ローカル処理で画像から3Dモデルを生成する「Pixal3D」を使いこなす！

リアルよりアニメ系キャラクター

　次にアニメ系キャラクター。編集氏から提供された画像の背景を除去したのですが、元画像には細かいパーティクルがあるため、完全に切り抜きできず、体の周囲に背景が少し残ってしまいました。

　その結果、それが体の周辺にオーラのような形状となって現れ、下図のように面白いことになったのはいいのですが、問題は顔。リアルな「鼻」と「唇」が作成されている所為で、なんとなくおばちゃんみたいな感じに……何度か作成してみましたが、やはり同じで困りました。

体の周囲に残った残骸がオーラのような形状に。顔は……うーん……

フリル満点のウェーブヘアーの少女

　もしかしたら、目の大きさでリアル人体と判定されているのかも……と思い、今度はもっと目が大きい、デフォルメの強い画像をGeminiに生成してもらいました。

　ついでにフリルマシマシのふわっふわなドレスと、ウェーブヘアーという、自分でモデリングするのは超面倒なデザインにしてみました。

　その結果、ボタンの数や顔のバランスは少し違うものの、フリルやウェーブヘアーは無事3Dモデルになりました。ありがたいです。

ボタンなどは少し違うが、地獄のような大量のフリルやウェーブヘアーが見事3Dモデル化されている。

ランダムシードの固定

　デフォルトでは、ランダムシード値は実行毎に変更されますが、［生成後の制御］を［fixed］に変更することで、シード値を固定できます。

パイプラインタイプの変更

　［Pixal3D Image To 3D］ノードのパイプラインタイプ（［pipeline_type］）で、生成する形状のディテールの細かさが決まります。

　VRAM 12GBや16GBの環境でデフォルトでの［pipeline_type］は［1024_cascade］が推奨されていますが、本体メモリと一部を共有する「共有GPUメモリ」が多ければ［1536_cascade］でも動作する可能性があります。

［pipeline_type］の［1024_cascade］と［1536_cascade］の違い

　上図のようにあからさまに変わるので、当然こちらで実行したいのですが、本体メモリへのアクセスで速度がかなり低下し、さらにスワップが発生した場合は大幅にスピードダウン、さらに穴などのエラーが増えるリスクもあります。

　VRAMが潤沢でない環境の場合、まずは［pipeline_type］を［1024_cascade］で実行しておき、いい3Dモデルが生成された時はシード値を［fixed］で固定し、［pipeline_type］を［1536_cascade］に上げて再実行するのが基本となります。

最大トークン数の増減

　［max_num_tokens］で設定されている最大トークン数は、形状の生成とテクスチャの品質に影響します。

　デフォルトはVRAM 12GB設定では［49152］に設定されていますが、形状に影響しない（または妥協できる）範囲でもっと小さめの値に設定し、他の設定にメモリを回すこともできます。

最大トークン数が［10240］と［32768］での違い。顔や胸のボタンで顕著（クリックで全体像）

　タスクマネージャーのパフォーマンスモードでVRAMの消費状態を監視しつつ、調整していくことをお勧めします。

ステップ数の増減

　［steps］はサンプリングするステップ数で、VRAMの使用量には影響しません。大きくすると品質があがりますが、計算時間が長くなります。下図の例では倍ぐらいかかりました。

　下はデフォルトの「12」と「20」を比較した例です。確かにディテールの増加やエラーの低減により品質は改善していますが、好みの結果になっているかは別問題なので、実際に生成して試してみる必要はあります。

［steps］が「12」と「20」の比較。品質が上がってはいるものの、顔は左の方が適度に省略されていて好み。穴や緑の髪の毛があるのはメモリ消費量がギリギリ（4096テクスチャで作成）なためか

デシメーションターゲット

　［decimation_target］はメッシュモデルの目標面数と思われます。減らしてもVRAM消費量はあまり変わりませんが、データ量が大きすぎて扱いに困る場合は、生成された形状の品質が劣化する代わりに小さくすることができます。

テクスチャサイズの増減

　［texture_size］で出力テクスチャのサイズが決まります。

　VRAM 12GB設定では［2048］が推奨されていますが、前述のようにメモリに余裕があればもっと増やせます。

　逆に、前述のシーサーや女性像のように全体的に色の変化がほぼない場合や、「Blender」で後で着色するのであれば、この値を最低まで減らし、他のパラメーターを優先することもできます。