「Stable Diffusion」のAIでテクスチャを生成する「Dream Texture」がさらに進化

Projection（投影）機能を使用した例

　今回は以前ご紹介した「Dream Texture」に、ビューから見た形状に合わせたテクスチャを自動生成して貼り付ける機能など面白い新機能が追加されていたので、使用方法とともに解説したいと思います。

簡単な概要と環境

　「Dream Texture」はCarson Katri氏作の「Blender」用アドオンです。入力したキーワードや画像情報などを元に、画像生成AI「Stable Diffusion」を使ってテクスチャ画像を自動生成します。詳しくは以前の記事をお読みください。ただしインストールについては方法が変わっていますので、以降を参照してください。

• 本記事では「v0.0.9」を使用しています。
• 執筆時点で最新の「Blender 3.4.1」ではうまく動作しなかったため、「Blender 3.3.2 LTS」を使用しています
  
• VRAM 4GB以上のCUDA対応のGPUまたはApple Silicon GPUがあり、Cドライブに「20GB」程度の空きが必要。ただし「DreamStudio」が利用できる場合はその限りではありません（後述）
• GeForce RTX 2060（12GB）を搭載した64bit版のWindows 10 Proで検証しています

ダウンロードとインストール

　アドオンは公式サイトのリリースページから入手できます。Blender Marketにもありますが、こちらは寄付目的なので、恐らく同じ物だと思われます。

Releases · carson-katri/dream-textures

　上記のリリースページにはOSや所有のビデオカードによってダウンロードするファイルが違いますのでよく確認してください。

　また、v0.0.8から、「DreamStudio」によるクラウドレンダリングに対応しており、「Blender」が動いてネット接続可能であれば利用可能になっています。この場合は「Dream Textures for DreamStudio (OS名)」をダウンロードしてください。

OSや環境によってダウンロードするファイルが違うので注意

通常（Windows）版の場合のインストール

　Windows用のファイルは大きいため「.7zip」で圧縮されています。まずは「7zip」などでこちらを展開後、出てきた「dream_textures-windows-cuda.zip」をいつも通りアドオンとしてインストールします。完了後はアドオンの「dream_textures」フォルダー全体で「約4.38GB」になります。

【無料】圧縮・解凍のソフト一覧 - 窓の杜

いつものように［Blenderプリファレンス］ウィンドウの［アドオン］タブ（①）にある［インストール...］ボタン（②）から「dream_textures-windows-cuda.zip」を指定、アドオンを有効化してパネルを開く（③）

標準の学習モデルのインストール

　パネル中の［Download Stable Diffusion v2.1 (Recommended)］をクリックすると、Stable Diffusionの学習モデルをユーザーフォルダーにダウンロードし始めます。こちらは「C:¥Users¥（ユーザー名）¥.cache¥huggingface¥diffusers」にダウンロードされます（約4.8GB）。

　ただ、もし新機能の「Projection」（後述）のみ試用したいのであれば、スキップして次の「別のモデルのインストール」で「stabilityai/stable-diffusion-2-depth」モデルをインストールするだけでもかまいません。

パネル中の［Download Stable Diffusion v2.1 (Recommended)］をクリックして「Stable Diffusion」のダウンロードを開始

別のモデルのインストール

　新機能の「Projection」（後述）を使用するには、［Find Models］検索欄に「depth」と入力し、［Enter］キーを押します。

　すると、下図のように「stabilityai/stable-diffusion-2-depth」モデルがリストに出てきますので、囲み内の［↓］ボタンをクリックするとダウンロードを開始します（約10.5GB）。こちらも暇な時を選んでください。

「stabilityai/stable-diffusion-2-depth」（または単に「depth」）と入力（①）し、リストに出てきたモデル名の右にある［↓］ボタン（②）をクリックしてダウンロード

　ちなみにアドオンのページには「stabilityai/stable-diffusion-2-1-base」のダウンロードが推奨されていますが、すでに「stabilityai/stable-diffusion-2-1」があったため筆者はパスしました。もし他の機能で必要になれば同様に検索してダウンロードしてみてください。

Dream Texture Projectionの使用方法

　「Dream Texture Projection」は、この「Dream Texture」アドオンの新機能の1つで、ビューに表示した形状に合わせてテクスチャを作成したうえ、自動でマッピングしてくれるという機能です。3Dビューポートで操作します。

• ［Shading］（シェーディング）ワークスペースにします。ちなみに下図では左上が「UVエディター」になっていますが、撮影用です（後述）。
• シェーディングモードを「レンダープレビュー」にします（重要）。
• 3Dビューポートの右端の［≺］をクリック、もしくはマウスカーソルを3Dビューポート内に置き［N］キーを押して「サイドバー」を表示します。

［Shading］（シェーディング）ワークスペース（①）にし、シェーディングモードを「レンダープレビュー」（②）に、3Dビューポートの右端の［≺］をクリックして「サイドバー」を表示（③）

1. ［Dream］タブをクリックします。
2. 上記に「Unsupported model」と警告が表示されますので、上の［Model］をクリックし、「stabilityai/stable-diffusion-2-depth」に変更します。
3. テクスチャを付けたいモデルを選択し、［編集モード］にします。
4. テクスチャを付ける面を選択します。面倒なら別に全部でもOKです。

［Dream］タブをクリック（①）し、上方の［Model］をクリックして「stabilityai/stable-diffusion-2-depth」（②）に変更、テクスチャを付けたいモデルを選択して［編集モード］に入り（③）、面を選択（④）

　欲しい画像の種類を設定します。とりあえず以下のように設定してみました。

• ［プロンプト］：「Concept Art」
• ［Subject］に「House」
• ［Subject Type］に「環境」
• ［Genre］に「Cinematic」

　最後に一番下の［Project Dream Texture］をクリックします。

図のように設定し、一番下の［Project Dream Texture］をクリック

　ドットが表示され、しばらくすると形状にあったテクスチャが表示されるはずです。

左上の「UVエディター」には、選択面がビュー内の形状でUV展開されている

TIPS

• あまり複雑な形状は認識に失敗します。
• ビュー内で陰影がはっきりしていると、適切なテクスチャが作成されやすくなります。上の手順で「レンダープレビュー」にしたのもそのためです（下図）。
• 必要なら視点を変えたり、ライトを「サン」にしてみてください。
• テクスチャが歪む場合は面を分割してみてください。
• 生成されたテクスチャ画像の保存は、画像エディター内で［画像］メニューの［パック］を使用するか、「Blender」の終了時の警告のダイアログから［保存］をクリックしてください。

シェーディングモードによる形状の認識の違い。左の「マテリアルプレビュー」モードでは陰影が平坦なためか、テクスチャも平坦になっている。

　他にもアップスケーリングなど様々な機能がありますが、長くなるため割愛させていただきます。公式ページや、Blender Marketのページをチェックしてみてください。

　v0.0.6以前の機能については、以前の記事にも記載されています。

終わりに

　現時点では正常な表示になる角度は限られており、プレビズや遠景など用途は限られそうですが、将来的に制限が緩和されれば役立つ場面も増えると思います。

　今年の終わりに未来を感じさせるアドオン（の追加機能）が登場し、これからどんな風に進化するか想像するとワクワクが止まりません。来年も楽しみですね。

　それでは皆様良いお年を。