Text to Image With ControlNet
Depth/Normal 2 Img
ControlNetを利用した画像生成を行います。
Unityのカメラから取得したDepthまたはNormal情報を使用し画像を生成します。
これにより形状が大事なゲームシステムに関連する箇所についても画像生成を用いることが出来るようになります。
※VRAMをかなり使用します。動作確認はVRAM12GBのGPUで行っています。VRAM不足で生成できない場合は解像度を落とすなどが必用となります。
Text2ImgWithControlNet.csコンポーネントをオブジェクトにアタッチして使用します
事前に設定用のカメラを設定します。CullingMaskのUIのチェックを外してください
＊これを行わない場合UI要素も最近傍のDepth情報を取得してしまうため下記RawImage等の影響を受けてしまいます。
以下ローカルサーバーが立ち上がっている前提です。下記を参考にStartServerしてからご使用ください
カメラの範囲に3Dオブジェクトを配置して使用します
パラメータ概要を下記に示します。特によく調整を行うパラメータを太字にしています
Last updated
