Blender ウォッチング
AIがプロンプトや動画から3Dモデルを生成する「Luma AI」のツールが結構使える！
2024年3月5日 06:55
本連載では、無料の高機能3Dモデリングツール「Blender」の使い方や関連情報を幅広くお伝えします。
今回は機械学習による3Dモデルやシーンの生成をサポートする「Luma AI」についてご紹介したいと思います。こちらも編集氏に教えていただいたのですが、せっかくなので「Blender」と連携する観点でご紹介してみたいと思います。
Luma AIとは
「Luma AI」とは、マルチモーダルAIと呼ばれる、複数の異なる情報を一緒に取り扱う技術を利用し、人の創造性と可能性を拡張するのを目的とした企業だそうです。
執筆時点では、テキストからモデルを生成する「Genie」と、動画や画像群からインタラクティブな3Dシーンを再生成できる「Interactive Scenes」が利用できます。トップページの下の2つの扉をクリックして移動できます。
- ▼Luma AI
- https://lumalabs.ai/
なお、各ツールの使用にはこのサイトへのアカウント登録が必要です。登録には「Apple」または「Google」のアカウントが使用できます。残念ながら執筆時点では他の方法は利用できませんでした。
テキストから3Dモデルを生成するツール「Genie」
「Genie」は、機械学習によりテキストから3Dモデルを作成するツールです。
この手のツールはすでに2022年には point-Eが登場していたのですが、入力した文字に対して出てくるモデルは割と不具合が多く、微妙な印象でした。そこからどれだけ進化したか見て見ましょう。
アカウントを作成すると、テキストを入力するフィールドが現れます。とりあえず「Calico」（三毛猫）と入力してみました。すると「4つのモデル」が同時に作成され始めました。
作成後は、その中から1つを選ぶか、再度作り直すかを選択できます。要はガチャが四連ずつできて効率的になった感じですね（ソシャゲ脳感）。
なお、上部の［Creations］をクリックすると、今まで作成したモデルが表示されますので、取捨選択が簡単にできます。
モデル生成後のオプション
4つのうちの1つをクリックすると、拡大表示になり、オプションの選択や、ダウンロードが可能になります。
Variation
選んだモデルのバリエーションを作成します。
Make Hi-Res
「高解像度テクスチャ」を生成します。クリック後、しばらくしてから、画面右上に「Hi-Res」と表示されていれば成功です。
ダウンロードとダウンロード用オプション
［Download］をクリックすると、データがダウンロードできます。デフォルトの「glTF（.glb）」や「fbx」、「blend」ファイルなどの主要なフォーマットに対応しています。
またデフォルトでは［Retopologize］が有効になっており、AIが生成した数万頂点のモデルを、「リトポロジー」（構造を作り直すこと）でもっと扱いやすいモデルに変換しています。
モデルの解像度を「low」「med」「high」から選択でき、上のモデルでは「low」で2,600頂点、「high」で11,000頂点くらいになりました。
品質について
問題の品質ですが、前述の以前のPoint-Eの「Blender」用アドオン記事のように、入力文から想像もできない謎の生物が生産されるほどではないものの、変な穴や分離形状ができあがるのはこのツールでも同じようです。
これは「White rabbit」で作成したモデルの1つです。目や耳の形状がおかしくなっており、後ろ足が小さく、尾も変な形になっています。ただし、ここまで極端なのはあまりないので、選択の時点で排除してやればいいでしょう。
構造は左右対称になっていないのが気になりましたが、それ以外は概ね良好だと思います。
動画からモデルを作成するツール「Interactive Scenes」
こちらはアップロードした動画から3Dモデルを作成するツールです。いわゆる「3Dスキャン」や「フォトグラメトリ」と呼ばれている技術です。
下記リンク先のページでユーザーの皆さんのモデルを動かすことができます。
アップロードとオプション
アップロードフォーマットには動画ファイル（.mp4など）の他、複数の動画や静止画像を圧縮したZIPファイルも利用可能です。
撮影形態は通常のカメラの「normal」に加え、魚眼レンズによる「fisheye」や、いわゆる「360°画像」の「equirectangular」が利用できるようです。
また、「Title」はタイトル、「Privacy」は下のようにネット上に「公開」（Public）か「非公開」（Private）が選択でき、「Link Sharing」でリンク共有の可不可も設定可能です。これらは後で再編集できます。
詳しくは公式のFAQをご覧ください（英文）。
実際に上げてみた
実際に公園のすべり台の周囲をスマホで撮影した、1分16秒の縦長（1,080×1,920ピクセル）の動画をアップロードしてみました。念のため上にも登ってみたのですが、人が来そうなので大急ぎで撮影したため、めっちゃガクガクしています。
アップロード後、「Preprocessing」(5％)、それからしばらくして「Traning NeRF」(35％)、その後30分くらい後に「Rendering Video」(90％)、その数分後に「Generating Meshes」(95％)になりましたが、そこから表示が止まってしまいました……。
しかし、そこから数十分後にタブを再読み込みしてみるとちゃんとモデルが出来上がっていました！ アップロード開始から1時間程度ですが、混雑具合ではもっとかかるかもしれません。
前述のサンプル同様、こちらのリンクからWebブラウザー上で実際に動かすことができます。
データのダウンロード
構築されたモデルやシーン、360°画像のダウンロードも可能です。自分の作品なら、上の画像のページの［↓］ボタンからモデルやシーン、360度画像のデータをダウンロードできます。
下は「glTF（.glb）」形式の「high poly」でダウンロードしたデータを「Blender」に読み込んでみた図です。モデルは中心に撮った物が選択されているようで、テクスチャも付いています。手すりなどが微妙に感じますが、もう少し丁寧に撮影すれば品質も向上する物と思われます。
シーン（Scene）は「PLY」形式の「ポイントクラウド」（point clouds）と「フルメッシュ」（full mesh）が選択できます。ただしテクスチャではなく「頂点カラー」が付いています。ただし、ブラウザー上での表示ほど綺麗ではありません。
終わりに
「Genie」では機械学習によるモデル生成の進化を、「Interactive Scenes」ではフォトグラメトリによるシーンキャプチャがより身近になったと感じました。
他にもキャプチャしたシーン内をカメラで撮影する「動画作成機能」など、ご紹介できなかった機能がありますが、ぜひ皆さんの目で確かめてみてください。