Blender ウォッチング
3Dモデル生成AI「Tripo AI for Web」はリグの追加やスタイライズも可能！
プロンプトからの3Dオブジェクト生成を本格的に試してみた
2024年10月8日 16:45
本連載では、無料の高機能3Dモデリングツール「Blender」の使い方や関連情報を幅広くお伝えします。
前回、機械学習により、テキストまたは画像から数秒で3Dモデルを作成するWebサービス「Tripo AI」についてご紹介しました。今回は引き続き、様々な機能を持つ［Create］（と［Popcorn］）モードの詳細を見ていきたいと思います。
「Blender」関連の注目記事一覧
［Create］と［Popcorn］によるモデル生成とオプション
前回、［Create］ボタンと［Popcorn］ボタンによるモデル生成までをご紹介しました。［Create］はプロンプトや画像から、［Popcorn］は自動的に選ばれたプロンプトからモデルを4個作成します。実際に生成するには、提示されたサムネイルの右上にある拡大アイコンをクリックします。
前回に述べたように、提示されたモデルはすべて［My Model］の中に保存され、後でクリックして選択することもできます。
クリック後はモデルの閲覧やオプションを実行する、専用のウィンドウが開きます。
リグの付加（Rigging & Animation）
まずはオブジェクトのポージングに必要な「リグ」を付けてみます。右上のパネルで設定します。
［Rig (©20)］をクリックすると、デフォルトではポーズに［Stand］が選択されて生成されます。付加には20 Credit（サービス専用トークン）を消費しますので、あらかじめモデルに問題ないか確かめておいた方がいいかもしれません。
アニメーションも付加できます。なお、アニメーションの付加自体はトークンを消費しませんが、ダウンロードに適用されるのは1つだけで、ダウンロード自体にも10 Creditを消費します。
なお［Original］をクリックすると、スケルトンが表示されない状態になります。この状態ではダウンロードしてもリグが付かないため、ダウンロードする前には必ず［Rigging & Animationパネル］－［Skeleton］をONにしてください。
スタイライズ（Stylize）
モデルにボクセル化のような特殊なエフェクトで変形する機能があります。ちょうど「Blender」でいう「リメッシュモディファイアー」のような感じです。 リグや後述のリトポロジーとは併用できないので注意してください。
もし気の迷いで設定してしまい、元に戻したくなった場合は、［Original］をクリックするか、リグ付加後なら［Rigging & Animationパネル］－［Skeleton］を一度OFFにした後、ONにしてください。
モデルの構造とデータ形式の選択オプション
ダウンロードするモデルのリトポロジーやデータ形式が選択できます。
Custom（プリセット）
一番上の「Custom」と表示されている部分では、プリセット設定が選択できます。項目を選ぶと、各項目に設定された「リトポロジー」設定と「データ形式」が選択されます。
Retopologize（リトポロジー）
リトポロジーとは、モデルの構造を使いやすい、綺麗な構造に再構築することです。前回のようなボリュームデータを直接メッシュポリゴンにしたようなのではなく、それなりの構造かつ、指定のおおよそのポリゴン数にデータを調整してくれます。左下のパネルから設定します。
こちらはメッシュを違うサイズにリトポロジーするたび、ダウンロードに10 Creditかかります。ただし下のデータ形式とは重複しないため、違うサイズのリトポロジー＋データ形式の変更で出力しても、10 Creditのままです。
データ形式の選択
デフォルトの「glb」に加え、「usd」「fbx」が選択できます。5 Creditがかかります。
「Blender」による確認と編集
これらのデータが実際にどうなっているか、ダウンロードして確認してみましょう。
「Runアニメーション」のリグを付加し、［game asset］でリトポロジーしたモデルを「glb」ファイルにしてダウンロードし、ファイルを「Blender」にドラッグ＆ドロップ（v4.1以降）して表示します。
スケルトンから変換されたアーマチュアの各ボーンは球が設定されています。編集モードに変更すると、実際のボーンがどうなっているかわかります。
モデルオブジェクトを選択し、モデルの構造を見てみます。少なくとも「TripoSR」の時に比べて綺麗なトポロジーになっています。以前記事にした「Luma AI」のGenieが出力したモデルに似ています。
レンダープレビューでマテリアルを確認してみます。以前のような頂点カラーではなく、UV座標とテクスチャ、シェーダーノードがちゃんと設定されています。
アニメーションによる変形をみると、一部がくっついていることがわかります。この辺で修正が必要になるのは仕方ないですね。
実際に編集してみた
実際に最初の画像のように、スカートやジャケットと、手と腕を分離する作業を行ってみました。インポート状態では大半の面が離れている（頂点が共有されていない）ので、分離自体は簡単にできました。
しかし、開いた部分を埋めたり、周囲と綺麗につないで整える作業は難航しました。例えば、スカートの面ループが渦巻状だったり、テクスチャと部位が微妙にずれているなどです。また今回手は入れませんでしたが、顔も左右対称でなく、表情付けなどは困難だと思われます。
また、生成されたUVテクスチャも完全にはバラバラではないものの、基本的に部位という概念がないのか途中で分かれています。
そして皮肉にもスペースを効率的に使用しているため、後述のような欠損部分が生じても新たに形状を追加するのが困難になっています。
ちなみに「T-pose」や「A-pose」などのプロンプトで、衣服と腕が離れているポーズの生成もできますし、専用の設定も「Create」ページにあります。しかし、後述するように似たようなモデルしか作成されなかったため、利用しませんでした。
執筆時点での問題点
そして残念ながら、執筆時点で問題点がいくつかあります。
生成モデルの不具合
モデルの一部が欠損していたり、不自然に歪む、テクスチャデータに余計な模様があるなど、機械学習による生成ではおなじみのエラーは、残念ながらTripoAIでも回避できないようです。
おかげで［Create］や［Popcorn］で4つのモデルを提示してくれていても、これらのモデルの不具合によって実質選択肢が減ってしまっています。
なお、提示モデルの再生成には60 Creditかかります。これは恐らくサーバー側の負荷を軽減する側面もあるのでしょう。このあたりは毎月一定数無償で利用できるCreditで吸収してくれ、ということなのかもしれません。
ちなみに、無償のCreditは次の月に持ち越しできません（リセットされる）。
学習モデルの問題
学習に使用したモデルの絶対数が足りないのか、執筆時点では提示されるモデルにあまりバリエーションがないように思います。例えば「lady」と入れた場合、同じような顔が大量に並びますし、［Create］で作成したモデルの場合、上の「girl」のように同じようなモデルが被って表示されたり、「猫」で作成すると全部座っているモデルが提示されました（「cat stand」でも試しましたが、同じ結果でした）。前回作成したような猫は一切出てきません。
その結果から、プロンプトに単語を入れた時に背景に表示されるモデルは、ユーザーが画像から作成したモデルと、リグが付けられる比較的数の少ない学習済みモデルが混在しており、一見数があるように感じられても、実際は［Create］（と［Popcorn］）を押した時の候補には後者しか出てこない仕組みになっているのではないかと推測されます。
たった4つだと被るのも仕方ない、という意見もあると思いますが、以前記事にした「Luma AI」も同じ形式ながら、もっとバリエーションに富んでいました。
もっとも、結論を出すにはもっと試行回数が必要ですし、もしかすると時間が解決してくれる問題なのかもしれません。
終わりに
結局、そのまま使うにはまだ品質的に少し足りず、かといって手を入れるにはモデルの構造とUVテクスチャのおかげで難があるという、微妙な状況になっています。3Dプリンターによる出力や、動かない小物などならいいのかもしれません。
次回はTripoSRの特徴の1つであった「画像によるモデル作成」を試してみたいと思います。
ではまた。
