1枚の写真から高速で3Dオブジェクトを生成できる「TripoSR」の凄さを確認する

オプション

　「Marching Cubes Resolution」でメッシュモデルのグリッドの解像度を変更できます。

　指定可能な値は「32」から「320」で、デフォルトは「256」です。大きい値ほど足などの細い部分や曲線状の部分の表現が改善します。

左から「32」「256」「320」で生成したモデル。ちなみにこのモデルの場合、それぞれの頂点数は約「900」「6.8万」「10.8万」

背景付き画像のアップロード

　背景付き画像をアップロードして［Generate］ボタンを押すと、サンプル画像と同じようにすぐに3Dモデルを表示できます。デフォルトでは自動的に背景を削除してくれます。細い脚などはあまり得意ではありませんが、思ったよりうまく切り抜いてくれる印象です。

以前の記事の女性像を読み込ませてみた例。手と頭の間の空間以外はほぼ意図通りに切り抜いてくれている模様。なお3Dモデルは解像度の問題で割愛

　逆にサンプル画像のように、すでに背景を削除済みの画像の場合、「Remove Background」オプションを切ると品質が向上するとのこと。

　その下の「Foreground Ratio」はモデル化する形状が画面中で占める割合を決める物です。「0.5」から「1」までが指定可能で、大きくすると余白部分が減り、モデルの品質も改善されるそうです。

　そして実際に上記2つのオプションを試してみたのが下図です。それぞれに頂点数に違いはあるものの、Foreground Ratioが「0.5」の場合を除き、他のモデルに大きな違いは認められませんでした。元の画像によってはもっと差が感じられる結果になるのかもしれません。

「Foreground Ratio」の「0.85」「0.5」「1.0」、そして「Remove Background」を無効にしたモデルの比較。「0.5」以外に大きな差はないように見える

モデルの構造と推論について

　「TripoSR」が出力するモデルの生成には「torchmcubes」というライブラリを使用しており、「Blender」でいう分割数（解像度）の決まっている「スカルプトモデル」にような構造になっています。そのため、端がギザギザしており、曲線もなめらかではありません。逆にいえば「Blender」での「スカルプティング」のベースモデルとして活用するのに適しているのかもしれません。

　推論に関してはまだ学習が足りないのか、改善の余地はかなりありそうです。

　たとえばサンプルの「marble.png」では、腕で隠れた胸部がえぐれているように凹んでいたり、スズメの画像を食わせてみたところでは、横からの写真では比較的うまくモデル化していたにもかかわらず、前からの写真の場合では平べったい何かができてしまいました。

前からのスズメの画像を処理させた結果。スズメとは認識されていなかったのかもしれない

　背面の処理ですが、腕や脚のような筒状の物は思ったよりうまく生成されている印象を受けました。ただ、上記のように学習されていない物でも同じように処理してくれる保証はありません。そもそも1枚の写真で立体物を生成するのが無茶なので、この辺は仕方ないでしょう。

「marble.png」と「tiger_gir.png」から生成したモデルの後面。腕や脚の輪状の模様が裏側にも生成されている。翼が背中から生えていないのはご愛敬