Text to Image With ControlNet

Depth/Normal 2 Img

ControlNetを利用した画像生成を行います。

Unityのカメラから取得したDepthまたはNormal情報を使用し画像を生成します。

Input	Depth	Normal

これにより形状が大事なゲームシステムに関連する箇所についても画像生成を用いることが出来るようになります。

※VRAMをかなり使用します。動作確認はVRAM12GBのGPUで行っています。VRAM不足で生成できない場合は解像度を落とすなどが必用となります。

Text2ImgWithControlNet.csコンポーネントをオブジェクトにアタッチして使用します

事前に設定用のカメラを設定します。CullingMaskのUIのチェックを外してください

＊これを行わない場合UI要素も最近傍のDepth情報を取得してしまうため下記RawImage等の影響を受けてしまいます。

以下ローカルサーバーが立ち上がっている前提です。下記を参考にStartServerしてからご使用ください

ローカルサーバーについて

カメラの範囲に3Dオブジェクトを配置して使用します

カメラ範囲

カメラ範囲に3Dモデルを配置

パラメータ概要を下記に示します。特によく調整を行うパラメータを太字にしています

パラメータ	内容
Prompt	生成したい画像を自然言語で入力
NegativePrompt	生成画像に含みたくない要素を自然言語で入力
Size	生成画像の横幅/高さをX/Yでpixelで入力します。
Steps	生成画像の精細さが変わります 生成画像がぼやけた感じになる場合に大きくしてください
Cfg Scale	プロンプトに従う強さ プロンプトの要素の反映が弱い場合に多きな値に調整してください。
Seed	シード値を固定すると同じような画像が生成かの可能 -1の場合ランダムとなる
Batch Count	画像生成を行う枚数を指定します 1~100枚で選択することが出来ます。 生成画像はStreamingAssets/StableDiffusion内に保存されます。エクスプローラーで日時順などにして確認してください
Camera	上記で設定を行ったカメラを設定してください。
ControlType	Depth/Normalが選択可能です。 どちらも3Dモデル形状に則した画像生成が可能です。
Weight	ControlNetの影響を反映する強さを調整できます
Sampler	生成画像のニュアンスを変える
Model	ベースとなるモデル 変え方はもモデル/LoRAの差し替えご覧ください
Lora	追加学習により特定の要素を出しやすくする要素 変え方はモデル/LoRAの差し替えをご覧ください Loraを選択するとPromptに<lora:ファイル名:1>が追加されて使用可能になります