ControlNet Depthの使い方!設定方法から作り方など

ControlNet Depthの使い方!設定方法から作り方など

ControlNetのDepthは、参照画像の立体的な構図を抽出して生成できるStable Diffusionの拡張機能です。

画面内での奥行きに特化しているので、さまざまな場面で実用的な利用が可能です。

この記事ではControlNet Depthの使い方を解説していきます。

リリース記念、2,000Ptプレゼント!

目次

ControlNet Depthとは?

見出し画像

ControlNetの「Depth」は、「深度(Depth)情報」を活用するためのControlNetモデルの一種です。

線画などでは表現できない、奥行きがある構図を指定したい場合に、ControlNet Depthがおすすめです。

以下のような特徴があります。

ControlNet Depthの特徴①深度(Depth)情報を活用

ControlNet Depthでは、素材画像の深度マップをもとにして画像の構造を計測します。

三次元的な奥行きの構造を推定し、対象物と背景との距離感を正確に把握します。

ControlNet Depthの特徴②背景形状・遠近感の再現が得意

ControlNet Depthでは、深度マップを解析することで、元画像の空間的なレイアウトを正確に生成画像へ再現できます。

建物の背景や人物のポーズにより自然な奥行きを持たせたい場合、深度の解析によって遠近感のバランスを調整します。

ControlNet Depthの実用例

背景の質感や階層を保ったままの画像変換 

人物の奥行きや建物の位置関係を保ったまま、雰囲気を変更したり背景を描き換えたりできます。

イラストから立体感を持たせた画像に再構成 

イラストの線画などに対して深度情報を推定し、立体的な表現に反映することで、よりリアルな画像に仕上げられます。

ControlNet Depthの使い方

見出し画像

ControlNet Depthでは、奥行きがある構図の画像が素材として最も適しています。

深度のない平面が背景になっているような画像は、Depthでは反映ができずに内容が上書きされてしまうので注意しましょう。

ControlNet Depthのインストール方法

Depthは、ControlNet内にインストールされているので、Stable Diffusion内にControlNetを実装すれば導入は完了します。

ControlNetのインストール方法はこちらで詳しく紹介しています。

ControlNet Depthのモデルデータ設定

ControlNetのインストールが完了したら、Depthに使用するモデルデータを必要に応じてダウンロードします。

Hugging FaceにControlNetに関するモデルファイルの一覧から、Depthのモデルファイルをダウンロードします

ControlNetモデルデータ
SD1.5のCheckpointで利用するDepthをモデルファイル
  • control_v11f1p_sd15_depth.pth
  • control_v11f1p_sd15_depth.yaml
SD1XLのCheckpointで利用するDepthをモデルファイル
  • kohya_controllllite_xl_depth_anime.safetensors
  • kohya_controllllite_xl_depth.safetensors
  • sai_xl_depth_128lora.safetensors
  • sai_xl_depth_256lora.safetensors
(出典:huggingface.co)

ダウンロード後は、Stable Diffusion Web UIを「models」>「ControlNet」の順で開き、ダウンロードしたファイルを配置すれば完了です。

controlnet
配置のイメージです

Depthプリプロセッサの種類

ControlNetのDepthでは、深度情報を抽出するために複数のプリプロセッサが用意されています。

現在、Depth用のプリプロセッサには9種類のパターンがあり、それぞれ異なる特徴を持っています。

画像の内容や目的に応じて適切なものを選ぶことで、より理想的な生成結果に近づけることができます。

各プリプロセッサの特徴を解説していきます。

depth_midas

depth_midasは、画像から単一のRGB画像からピクセルごとの深度を推定するプリプロセッサです。

異なる環境や条件で撮影された画像でも、比較的一貫した結果を提供できるという点で優れています。

depth_zoe

depth_zoeは、プリプロセッサの中で最も精度が高くおすすめです。

抽出しにくい背景も高い精度で再現できます。

depth_leres

depth_leresは、オーソドックスなDepthの機能です。

パラメーターの可変性が広く、さまざまな画像に対して深度を収集できますが、汎用性が高い分、細かい情報が拾いにくいといった性質があります。

depth_leres++

depth_leresの改良版です。

複雑な背景の情報の読み取り量が強化され、再現しやすくなっています。

depth_hand_refiner

depth_hand_refinerは、画像から手を認識し、認識した位置での手の形や5本指などのリファレンス情報を深度データとして取得します。

その深度情報を利用して、欠損部分を補完できます。

depth_anything

Depth Anythingは、TikTokによって公開された単眼深度推定ができるAIシステムです。

Depthでは、オブジェクトとカメラとの間の距離を正確に画像の深度を推定することにすぐれています。

depth_anything_v2

depth_anythingと比べて、微細なディテールとロバスト性で大幅に向上しています。

処理速度が速く、パラメーターが少なく、深度の精度が高いという利点があります。

ControlNet Depthを活用した画像生成

ここからは、実際に元画像から深度を抽出し、ネガ画像を利用して新たな画像を生成していきます。

あらかじめ、ControlNetのインストールとDepthに使用するモデルデータのダウンロードを済ませておきましょう。

STEP
ControlNetのパネルを開く

ControlNetのインストールが完了すると、Stable DiffusionにControlNetのパネルが表示されます。

「◀マーク」をクリックしてControlNetパネルを開き、深度の抽出を行いたい画像をドラッグ&ドロップして読み込みます。

「有効化」、「Pixel Perfect」、「Allow Preview」、「深度」にチェックを入れましょう。

プリプロセッサに「depth_midas」、モデルに「diffusers_xl_depth_full」を選択します。

STEP
深度を抽出

画像の読み込みが完了したら、真ん中の「💥ボタン」を押して深度の抽出を開始し、右側に作成された白黒のネガの画像が表示されば抽出完了です。

Depth のモデルは深度抽出後に、使用したいモデル(Checkpoint)に合わせて選択しましょう。「diffusers_xl_depth_full」は、SDXL用のDepthのモデルです。

STEP
プロンプト入力

Depth のモデルは深度抽出後に、使用したいモデル(Checkpoint)に合わせて選択しましょう。

「diffusers_xl_depth_full」は、SDXL用のDepthのモデルです。

質感がしっかりと残され、背景の奥行きが細部まで丁寧に再現されています。

ControlNet Depthで手をきれいに表現

ControlNet Depthには、手だけをきれいに修正するプリプロセッサ「depth_hand_refiner」があります。

手の部分だけ生成に失敗してしまった画像も再生成が可能で、非常に実用性が高い機能です。

「depth_hand_refiner」は、Stable Diffusion Web UIの拡張機能である「ADetailer」とあわせて使います。

ADetailerは、以下の手順でインストールします。

ADetailerがインストール済の方は、「depth_hand_refinerの使い方」に進みましょう。

ADetailer事前準備

STEP
「ADetailer」をインストールする

「拡張機能」タブを開いて「URLからインストール」タブを選択し、拡張機能のリポジトリのURL欄に「https://github.com/Bing-su/adetailer」を入力すればインストールが始まります。

Stable Diffusion Web UI
STEP
Stable Diffusion Web UIを再起動

インストールが完了したら、Stable Diffusion Web UIを再起動し、「拡張機能」から「インストール済」タブを開いて「ADetailer」があることを確認しましょう。

「適用してUIを再起動」ボタンをクリックしてStable Diffusion Web UIに反映させましょう。

Stable Diffusion Web UI

シードの下に「ADetailer」が表示されていれば準備完了です。

Stable Diffusion Web UI

depth_hand_refinerの使い方

STEP
ADetailerを開く

インストールが完了したら、「ADetailer」の◀をクリックしてメニューを開き、「Enable ADetailer」にチェックを入れて「hand_yolov8n.pt」モデルを選択しましょう。

※「hand_yolov8n.pt」モデルはデフォルトで入っています。

STEP
depth_hand_refinerを設定

同じパネル内のページ下部に移動して以下のようにdepth_hand_refinerを設定します。

ControlNet module:control_v11f1p_sd15_depth_fp16

ControlNet model:depth_hand_refiner

その他のパラメーターは、デフォルト値で問題ありません。

STEP
生成開始

プロンプトやシード値などは元画像と同じ内容で生成を開始します。

Inpaint denoising strengthのパラメーターを0.6~0.8ぐらいの間で調整し、生成を繰り返しましょう。

ControlNet Depthを使うならPICSOROBANがおすすめ

PICSOROBANトップ

Stable DiffusionでControlNet Depthを最大限活用するには、生成回数を重ねて仕上げていく必要があります。

効率的にStable Diffusionで画像を生成するには、16GB以上のVRAMが搭載されたパソコンの利用がおすすめです。

しかし、高性能なパソコンの多くが30万円以上と高額になります。

そのような時は、PICSOROBANがおすすめです。

コストを抑えたい方へ:今のパソコンのまま使える「PICSOROBAN」

ピクソロのメリット

  • すぐ使える:高額PC不要で、ブラウザからすぐに利用可能。必要な分だけポイントを購入できます。
  • リーズナブル:30分約60円で利用可能。さらに今なら約2時間分が無料。
  • 無制限作成:時間内であれば、何枚でも画像生成可能。短時間で多くの作品を生成できます。

ブラウザで簡単!ピクソロ!

PICSOROBANトップ

PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。

さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント(約2時間分)貰えます!

詳しい使い方は下記の記事で紹介しています。

\今なら約2時間無料で使える!/

Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
EdgeHUBロゴ

メールマガジン登録

Stable Diffusion・LLM・RAGに関する最新情報をいち早くお届けします。

無料メルマガの配信をご希望の方は、下記フォームよりご登録ください。

    EdgeHUB編集部からのお知らせ

    無料ウェビナーのお知らせ

    ディープリサーチをローカルLLMで構築!ウェビナー【4/23開催】 

    業界を震撼させた革新的LLM「DeepSeek-R1」の使い方を解説する無料ウェビナー!

    開催日時:
    2025年4月23日(水) 14:00~15:00

    内容:

    • ディープリサーチ型AIエージェントをローカル環境で構築する方法を解説
    • 業界最安級GPUクラウド「GPUSOROBAN」の紹介・使い方デモ

    このウェビナーでは、「ディープリサーチ型のAIエージェントを構築」のデモを交えてGPUクラウドの使い方を紹介します。

    生成AIに関心のある方、AI技術をビジネスに活かしたい方は、ぜひこの貴重な機会にご参加ください!

    こんな方におすすめ!

    • ディープリサーチ型AIエージェントの構築方法を知りたい方
    • ローカルLLMが連携するマルチエージェントシステムの構築に興味がある方
    • 生成AIのコストやGPUのリソースに課題を感じている方
    • GPUのコスト、リソースに課題を感じている方

    希望者にはデモで使用したソースコードをプレゼント!

    \簡単30秒で申し込み!/

    この記事を書いた人

    EdgeHUBは、NVIDIAクラウドパートナーである株式会社ハイレゾが運営しています。「AIと共にある未来へ繋ぐ」をテーマに、画像生成AI、文章生成AI、動画生成AI、機械学習・LLM、Stable Diffusionなど、最先端の生成AI技術の使い方をわかりやすく紹介します。

    目次