生成AIストリーム
1行のプロンプトから3Dモデルを生成 ～Maker Faire Tokyoで動いていた「ComfyUI」デモが実は先端研究だった
2026年9月18日 19:15
こんにちは、しらいはかせです。筆者は普段、AICU Japanという会社で『つくる人をつくる』をビジョンに、生成AIやメディア芸術の研究・実践をしています。
2026年9月5日、「Maker Faire Tokyo」の会場を歩いていたら、本誌編集部が「ComfyUI」を動かしていました。画像を1枚生成して、それをそのまま3Dモデルにして、その場で回して見せる、という展示です。来場者が覗き込んでいく光景が、なかなかよかった。
筆者が声をかけると、担当編集ハセガワ氏は画面を指して、こう言いました。
『ここからもう私分からないので、先生お願いします』
聞けば、生成AIストリームの連載原稿の締切を止めてまで、2日でこれを組み上げたのだそうです。動いている。けれど、なぜ動いているのかは本人も説明できない。今回はその展示の画面を、頭から順に解説します。手元で同じことをやりたい人に向けて、触るべき場所は5つだけ、という形にまとめました。
VRAM 16GB、1体あたり約4分で3Dモデル＋テクスチャ生成。
まず、どれくらいのハードウェアで、どれくらいの時間がかかるのか。ここがいちばん知りたいところだと思います。
会場のマシンはマウスコンピューター提供の機材で、CPUがRyzen 7、GPUが「GeForce RTX 5060」、VRAMは16GBでした。素敵。僕にも貸して欲しい。
気になる所要時間は、画面の『ジョブキュー』を見ればわかります。3Dモデルの生成ジョブが 215.38秒、222.68秒、249.37秒 。つまり1体あたり3分半から4分です。担当編集ハセガワ氏も『3分くらいかかる』と説明していたので、体感とも合っています。その手前の画像生成は、1枚あたり9.72秒から12.36秒。こちらは十数秒で返ってきます。
16GBのVRAMで4分。たくさんの人がきている展示会のデモで、この短い時間で体験としては、なかなか素晴らしいのでは！
前半は「Gemini」、プロンプトは1行だけ。
展示デモで使われていたワークフローは、大きく前半と後半に分かれています。前半が画像生成、後半が3D化です。
前半で使われていたのは、Googleの「Gemini」でした。「ComfyUI」の拡張（comfyui-api-toolkit）が持っている［Gemini Image Generation (Nano Banana)］というノードから、gemini-3.1-flash-image-preview を呼んでいるようです。
『え、これは最新の画像生成モデルやローカルモデルもあるじゃないですか？なぜGemini？』と理由を聞くと、『ローカルの「Stable Diffusion」でもできるんですけど、使い勝手を考えて「Gemini」にしました』とのこと。会場という環境で、ネットワークが使える場合は、確実に、速く、3Dに向いたシンプルで崩れない絵が出てくるモデルを選択したということですね。展示としては正しい判断だと思います。なお課金については『初めてなので無料枠でやっています』という状態でした。なるほど。たしかにGeminiは初回のアカウントでは$300ぐらい無償で使えます。
過去の定番であるStable Diffusion XL(SDXL)系や、最新のGPT-Image-2.5といったモデルもありますが、プロンプトの書き方が複雑になることもあります。このワークフローなら会場で体験するであろう英語がわからない子供達でも大丈夫そう。動いていたワークフローでは、 プロンプトは日本語、1行だけ で動作しています。
画面から読めたものをそのまま書き出します。
白背景。カッパ。デフォルメ。三頭身。可愛い。右手を上げる。背中は甲羅だけ。
aspect_ratio 1:1
image_size 1K
temperature 1.00
seed randomize
candidate_count 1
句点で区切った短い指示が7つ。これだけで、3頭身のカッパが1,024×1,024ピクセルで出てきます。seedを固定すると同じ傾向で生成することができます。これはChatGPTやGeminiのWebインターフェースから使うよりも確実に制御できますね。
3D化を前提にした絵として、白背景は背景除去のため。デフォルメと三頭身は、細い手足が3D化で消えるのを避けるため。右手を上げるというポーズ指定は、腕が胴体に埋まらないようにするため。背中は甲羅だけ、という一言は、余計な装飾で形が濁るのを防いでいます。『3D化しやすい絵とは何か』を詰め込んだプロンプトです。
後半は公式テンプレートそのまま、でも最先端の研究だった！
では後半の3D化は何を使っているのか。ここもハセガワ氏に聞いてみると。
『いや、テンプレートです。テンプレートそのまんまで』
「ComfyUI」が公式に配っている「Pixal3D」のワークフローテンプレートを、ほぼ手を入れずに使ったそうです。後日、ワークフローファイルをいただいたので、そのまま公開しておきます。
で、このファイルを分析してみたら、結構な驚きがありました。
Tencent ARC Lab らが 2026年5月に MIT ライセンスで公開した画像→3D モデル「Pixal3D」です。今年のCGのトップカンファレンス「SIGGRAPH 2026」で発表された最新の研究成果です。
- 🔗Pixal3D: Pixel-Aligned 3D Generation from Images | Proceedings of the Special Interest Group on Computer Graphics and Interactive Techniques Conference Conference Papers
- https://dl.acm.org/doi/10.1145/3799902.3811175
- 🔗日本語での論文解説
- https://speakerdeck.com/tenten0727/lun-wen-shao-jie-pixal3d-siggraph-2026
さらに比較対象としてマイクロソフトの超リアル高品質3Dモデル化「TRELLIS.2」が入っています。
- 🔗TRELLIS.2: Native and Compact Structured Latents for 3D Generation
- https://microsoft.github.io/TRELLIS.2/
せっかくなので再現したい⼈向けに解説してみます。ハセガワ氏によると原作はこちらから入手したそうです。
- 🔗infinition/Pixal3D-pipeline: A batch automation layer that turns images into 3D assets (.glb) with no manual intervention. Drop an image into a watched folder and a ready-to-use GLB file comes out the other end, background removed and mesh decimated.
- https://github.com/infinition/Pixal3D-pipeline
必要なモデルファイルは7つで、置き場所はこうなります
📂ComfyUI/models/
├── 📂diffusion_models/
│ ├── pixal3d_int8_convrot.safetensors ← Pixal3D 本体
│ └── trellis_2_int8_convrot.safetensors ← TRELLIS.2 本体
├── 📂vae/
│ ├── trellis_2_shape_vae_bf16.safetensors ← 形をデコードする
│ └── trellis_2_texture_vae_bf16.safetensors ← 色をデコードする
├── 📂clip_vision/
│ └── dino_v3_L_naf_fp32.safetensors ← 入力画像を読む「目」
├── 📂geometry_estimation/
│ └── moge_2_vitl_normal_fp16.safetensors ← 画角を推定する
└── 📂background_removal/
└── birefnet.safetensors ← 背景を抜く
ファイル名に『int8』と入っているのがありがたいところで、重みを8ビットに量子化した配布物です。推奨は24GB以上だったはずですが、これが16GBのVRAMで動いている秘訣です。配布元はいずれもComfy-OrgのHugging Faceで、テンプレート自体はGitHubのworkflow_templatesにあります。
なお、このワークフローに プロンプト欄はありません 。テキストを入力するノードが1つも入っていないのです。入力は先ほどのGeminiが生成した1枚絵だけで、何を作るかはこの「タネ絵」で決めます。無いのが正しい。
スイッチ1個で、別のモデルに丸ごと入れ替わる
このテンプレートの中心にあるのが、［Switch Model Here］という紫色に囲われた小さな枠です。中身は真偽値を1つ出すノードと、メモが1枚だけ。
Set to false to use Pixal3D
Set to true to use Trellis.2
会場の設定は『false』でした。つまり「Pixal3D」で動いています。
［Ctrl］＋［B］キーで切り替えられるのですが、このスイッチ1個が、3カ所に同時につながっています。拡散モデル本体、ポジティブ条件、ネガティブ条件。だからスイッチを1つ動かすだけで、「Pixal3D」と「TRELLIS.2」が経路ごと入れ替わります。配線を差し替える必要はありません。両方を試して、出来のいいほうを採る。それがこのテンプレートの想定する使い方で、ここが最初に触るべき場所です。
もうひとつ、初見で意味がわからないノードがありました。［Get FoV from MoGe Geometry］。「MoGe」という別のモデルを使って、入力画像からカメラの画角を推定しています。同じキャラクターの絵でも、望遠っぽく描かれた絵と広角っぽく描かれた絵では、立体に戻したときの奥行きの伸び方が変わる。だからパースから逆算している、というテクニックです。絵を3Dに戻すときに『この絵は何ミリのレンズか』を推定するという発想は、地味ですが筋が通っています。なお、この画角の推定は「Pixal3D」側だけが使い、「TRELLIS.2」側は受け取りません。
生成は3回に分かれている ― 粗い塊、形、色
「ComfyUI」を触って画像を3D化している人向けに、いちばん要点になる話をします。このワークフローには「KSampler」がなぜか4つあります。
1つめが、細部のない粗い塊（ボクセル）を作る工程。32刻みのブロックの集まりが出てきます。ここでいったん3Dプレビューが挟まっていて、重い後段を回す前にシルエットの当たりを確認できるようになっています。2つめが、形を彫り込む工程です。ステップ数が20で、このワークフローで最も多い。ここが出来の良し悪しを決めます。3つめは、そのあと解像度を1,536まで上げて、もう一度回す工程です。こちらはステップ数12で、スケジューラだけが『simple』に変わります。4つめが色です。ここだけ設定が独特で、CFGが1になっています。形は条件に強く従わせて、色は素直に出させる、という設計です。
そして色の工程の出力は、画像ではありません。『立体のどの位置が何色か』という情報が出てきます。3Dの地色として表面のどこに何を塗るか、まず立体に色を持たせて、あとで平面の画像に焼き直す。その焼き直しが次の工程です。
4,096×4,096のテクスチャが5枚出てくる
後段でいちばん面積を取っているのが、テクスチャを焼く工程です。やっていることは1行で、立体が持っていた色や凹凸を、平面の画像に焼き付けています。
会場の画面には、その結果が並んでいました。
- ベースカラー（色）: 緑のパッチの集まり。4,096×4,096ピクセル
- メタリック（金属っぽさ）: ほぼ真っ黒。4,096×4,096ピクセル
- ラフネス（ざらつき）: ほぼ真っ白。4,096×4,096ピクセル
- アンビエントオクルージョン（くぼみの影）
- ノーマルマップ（細かい凹凸）
このメタリックとラフネスの見た目が、そのまま『カッパは金属ではなく、表面はざらざらしている』という意味になります。金属なら白く、つるつるなら黒くなる。抽象的な話に見えて、画像として素直に読めるのが面白いところです。
この5枚がいわゆるPBR（物理ベースレンダリング）のテクスチャセットで、これを持っていれば「Blender」でも「Unity」でも同じ見た目で光ります。
ここで効いている仕掛けをひとつ。影と凹凸を焼くノードは、メッシュを2つ受け取ります。UV展開した軽いメッシュと、面数を落とす前の細かいメッシュ。細かいほうの凹凸を、軽いほうの表面に写し取っているのです。面数を落としてディテールが減ったぶんを、テクスチャで取り返している。3Dの世界の定番の手なのですが、それがテンプレートに最初から組まれています。
出口はOBJ。そのまま「Blender」へ持っていける
完成した3Dモデルは、ファイルとして保存されます。会場で確認したところ、形式はOBJでした。GLBでも出せる作りになっています。
『これを「Blender」に取り込んだりすることもできます』というのが、この展示の着地点です。実際、机の上には「Blender」の入門書が置かれていました。画像を1枚生成して、4分待って、OBJが出てきて、それを3Dソフトで開く。ここまでが地続きになっている、というのがこの展示の見どころだったわけです。
自分で試すなら、触るのはこの5か所
テンプレートを開くと60個を超えるノードが出てきて、どこを触っていいのかわからなくなるとおもいます。会場の画面と実際の設定値を突き合わせた結果、触る価値があるのは5カ所だけでした。
- Load Image：自分の絵。ここが出来の8割を決める
- Switch Model Here：『false』で「Pixal3D」、『true』で「TRELLIS.2」。まず両方試す
- Voxel to Mesh の threshold：既定 0.6。下げると太り、上げると痩せる。細い部分（武器の柄、髪の毛先）が切れるなら下げる
- Texture Resolution：既定『4096』。重くて完走しないなら『2048』へ
- 各 KSampler の seed：全部 fixed になっているので、変えないと毎回同じ形が出る。形を引き直したいなら、2つめの KSampler のシードを変える
【設定】自分の絵で試すときに触る5か所
逆に、触らないほうがいい場所もはっきりしています。［CFG Override］と［Rescale CFG］という2つのノードです。ワークフローの中に黒いメモが置かれていて、そこに『元のパイプラインの既定の挙動に合わせるためのもの』と理由が書かれています。合わせ込みの部品なので、いじると破綻します。
配る側がワークフローの中に『これは触るな、理由はこうだ』と書き残している。この作法は、ワークフローを配布する人はぜひ真似してほしいところです。
シードが全部『fixed』になっている点も、あらためて。画像生成の癖で『同じ設定で回せば違うものが出る』と思っていると、何度回しても同じ3Dが出てきて首をかしげることになります。
向いているもの、向いていないもの
4分で3Dが出てくるとはいえ、何でもうまくいくわけではありません。会場で出ていたものと、筆者が手元で試した範囲で、傾向はこうです。
向いているのは、デフォルメされた単体のキャラクター、小物やプロップ、アイコン的な形。要するに、シルエットがはっきりしていて、細い部分が少ないものです。会場のカッパが3頭身だったのは、偶然ではありません。
苦しいのは、人物の顔の造作、複数体が写った絵、真横や真上から描かれた絵、透けているもの、細長い部品。生成された3Dは面の張り方が素直ではないので、そのままアニメーションさせるのも簡単ではありません。
だから使いどころは、造形の試作、3Dプリントの原型、ゲームの背景に置く小物、といったあたりになります。自分で3Dソフトを立ち上げて作る手間を考えると、4分でたたき台が出てくるのは十分に価値があります。
詳しい配線の話は、ComfyPodsの検証ブログに
本稿は会場で動いていた画面をもとに書きましたが、配布されているワークフローそのものを頭から検証した記録を、AICUのブログに置きました。KSampler4つの順序と設定値、［Texture Resolution］がどのノードにつながっているか、触ってはいけないノードに何が書かれているか。記事に書ききれなかった配線の話は、そちらにまとめてあります。
ワークフローのJSONそのもの、必要なモデル7本（合計15.2GB、「Pixal3D」だけなら9.95GB）のダウンロード先も、すべてそのページから辿れます。自分の絵で試したい人は、まずそちらへ。
3D化はできた。しかし、時代は動かすほうへ
ここまで解説しておいて言うのも何ですが、正直なところを書きます。
1枚の絵から3Dモデルが出てくること自体は、もう驚きの段階を過ぎました。この数か月、現場で見てきた関心の移り方はわりにはっきりしていて、3Dにできるのは前提で、それを安くすることも早くすることも、高品質にすることも、ほぼオープンモデルで無料でできる時代がやってきました。みんなが知りたいのは『で、それをどう動かすのか』です。
3Dモデルを作ってポーズを付けて動かす道もありますが、いま多くの人が実際に選んでいるのは、VTuberのようなキャラクターや、アニメのようなセルルックのキャラクターであり「3Dっぽい絵」はゲームの中だけ、という感覚があるのではないでしょうか。つまり、動画生成AIでキャラクターをそのまま動かす道が注目されています。もちろん3D化は、動かすための指示を行うプレビュー、プレビズ（PreViz）という一手段になった。「Maker Faire Tokyo」で3Dの展示を眺めながら、そのことを考えていました。
そして、ちょうどその『キャラクターを作って動かす』を1冊にまとめた本を書きましたので紹介させてください。9月19日、SBクリエイティブより『【キャラクターを創り動かす】画像・動画生成AI スタートガイド』が発売されます。B5判320ページ。画像生成AIでオリジナルキャラクターを生み出し、名前と表情を与えて、動画として動かすところまでを、手を動かしながら進める本です。
そして発売日の夜には、発売記念のトーク＆サイン会を渋谷で開きます。9月19日（土）19時から20時30分、会場は東京・渋谷ヒカリエ8階の書店内にある「渋谷アイキュー書店」です。AIお悩み解決系VTuberの道草雑草子さん、筆者とAI漫画『YOUKAI』を連載する家の殻尾さんと、本づくりとキャラクター制作の舞台裏をお話しするという豪華な内容です。会場の制限があり定員はたったの14名。事前申込が必要です。参加券はサイン本つき5,000円（税込）で、著者直筆サイン本と記念撮影を含みます。
告知ページと書籍の内容はこちらです。 割引コード「SG2630」で30％OFF になりますので、よかったらどうぞ。サイン本のプレゼント企画も走っています（応募方法はAICUのおしらせを参照してください）。
「ComfyUI」で立体にするのも、動画生成で動かすのも、入口は同じ1枚の絵です。まず1枚つくる。その先で、立体にするか、キャラクターとして詳細を極めて動かすか。どちらの道も、いまは自分の手元で試せる、作れる時代がやってきました。
