テキストから3Dモデルを生成するAIアドオンを活用してみる ～「Dream Textures」との連携も

「DMT Meshes」と「Dream Texture」による廃墟と探検に来たエイリアン。廃墟は「Abandon Room」、エイリアンは「bird」で作成。どこが鳥？　と思っていたが、チキンレッグだこれ……

　今回は前回に引き続き、3Dモデル生成AI「Point-E」を「Blender」に組み込むアドオン「DMT Meshes」のフォローと、他のアドオンとの連携について解説します。

画像からの生成

　［Run Mode］を［Image to Point Cloud］や［Image to Mesh］にすることで、画像からポイントクラウドやメッシュが生成できます。こちらも初回起動で「base checkpoint」ファイルを読み込みます（約5GB）。

　［Source Image］にチェックを入れ、［開く］ボタンで参照する画像を指定します。背景は一色の方がうまく認識してくれるようです。

［Run Mode］（①）を［Image to Point Cloud］や［Image to Mesh］に変更し、［Source Image］（②）にチェックを入れて［開く］ボタン（③）で参照する画像を指定

　［Image to PC model］を「40M model」や「300M model」にすると細かい部分の再現精度が上がりますが、処理時間が長くなり、VRAM消費量も上がります。また、変更時に追加のダウンロード（300M modelで1.25GB）が発生します。

　ただ、そしてその結果が期待した物になるかどうかはまた別問題だったりします……一筋縄ではいかない機能です。

［Image to PC model］設定によるバリエーション。それぞれに再現度の高い部分があるのが悩ましい

「Dream Textures」アドオンとの連携

　以前ご紹介した「Dream Texture」の「Project」機能を使用し、3Dビューポートで形状に直接テクスチャを設定することもできます。

「corgi」で作成してみた例。実はこれでも割とマシな方である……

　「Project」機能の特性により、動かすことはほぼ不可能なので、形状自体が複雑な生物などより、家具のようなもっと単純な形状で、視点が限られている方が適しています。

「DMT Meshes」にて机と椅子を作成し、「Dream Texture」にて「desk chair」でテクスチャを追加した例。もちろん、机オブジェクトと椅子オブジェクトに別々にテクスチャを設定することも可能

　普通に家具モデルとして利用するなら、恐らくもっと軽いモデルアセットを探してきた方が効率的だと思われますが、「DMT Meshes」は穴の開いたモデルをよく生成する傾向があるため、これを利用した廃墟や瓦礫のモデル作成に使用するのが一番適しているのかもしれません。

「broken shelf」で作成後、同じ語句でテクスチャを作成。なお普通に「desk」などで生成しても、壊れていることはよくある

「Blender 3.4」で「Dream Textures」アドオンを使用する場合の注意

　「Blender 3.4」で「Dream Textures」アドオンを使用する場合、インターフェイスを日本語に設定しているとうまく動作しません。

　「Blender 3.3.x」で利用するか、プリファレンス画面の［インターフェイス］タブから［翻訳］－［言語］－［影響］－［新規データ］をOFFにしてください。

プリファレンス画面の［インターフェイス］タブ（①）から［翻訳］－［言語］－［影響］－［新規データ］（②）をOFFに切り替えて利用

終わりに

　まだ「v0.0.1」であるためか、現段階では文字・画像のどちらからの生成も不安定で、実用には程遠いです。とりあえず謎生物や廃屋の生成に利用はできるかもしれません。

　もっとも、今後のバージョンアップによっては大幅に進化する可能性もあります。また機会がありましたら、Dream Textureのように後日再レビューを行ってみたいと思います。

　ではまた。

「DMT Meshes」で爆誕した謎生物たち。デザインのアイデアに困った時、ヒントに利用するといいかも