ControlNet Segmentationの使い方！基本から応用まで【Stable Diffusion】

Stable Diffusion ControlNetのSegmentationは、「服だけ着せ替えたい」「背景だけ差し替えたい」といったワガママを簡単に叶えてくれる機能です。

この記事ではControlNet Segmentationの使い方を詳しく解説します。

ControlNetのSegmentationとは？

ControlNetのSegmentation（セグメンテーション）は、画像を「空」「建物」「人物」「動物」といった領域ごとに分けて、それぞれを別々にコントロールできる機能です。

まるで色分けしたパズルを組み替えるように、部分ごとに違う効果やスタイルを適用できます。

アート生成やスタイル転写

用途:セグメンテーションを活用して、複数のアートスタイルを1つの画像内で適用することができます。

各領域ごとに異なる効果を生成します。

具体例:風景画像をセグメンテーションで「空」「山」「湖」に分け、空を印象派風、山を写実風、湖を水彩画風に生成します。

独創的なデジタルアートやポスター制作に活用することができます。

キャラクターアートやイラスト制作

用途:キャラクターの服装や髪型、アクセサリーなどを細かくコントロールして生成します。

キャラクターの各部位（顔、髪、服など）をセグメンテーションで指定して、それぞれ異なるスタイルで描画することで、線画の素材を崩すことなく再描画が行えます。

具体例:キャラクターのセグメンテーションマップを用意して、髪を金髪に、服を赤いコートに、背景を特定の風景に設定することができます。

マンガやゲームのキャラクターアート制作に活用することができます。

建築およびインテリアデザイン

用途:部屋や建物の内部の各領域をセグメンテーションして、異なるデザインパターンを生成します。

壁、床、家具などの特定の要素を指定してカスタマイズすることができます。

具体例:部屋のセグメンテーションマップに基づいて、壁を木目調にし、床をタイル調にし、特定の家具を異なるデザインで生成します。

建築プロジェクトのプレゼンテーション用のビジュアル作成をその場で作り上げることが可能です。

ControlNet Segmentationの使い方

Segmentationは、ControlNet内にインストールされているので、Stable Diffusion内にControlNetを実装すれば導入は完了します。

ControlNetのインストール方法はこちらで詳しく紹介しています。

ControlNet Segmentationのモデルデータ設定

Stable DiffusionにControlNetのインストールが完了したら、Segmentationに使用するモデルデータを必要に応じてダウンロードします。

Hugging Face内にControlNetに関するモデルファイルの一覧があります。その中からSegmentationのモデルファイルをダウンロードしましょう。

ControlNetモデルデータ

SD1.5、SDXLを使う場合、それぞれのControlNetモデルデータが異なります。利用するStable Diffusionのモデルに合わせてダウンロードしましょう。

SD1.5のCheckpointで利用するSegmentationのモデルファイル

• control_lora_rank128_v11p_sd15_seg_fp16.safetensors

SDXLのCheckpointで利用するSegmentationのモデルファイル

• sdxl_segmentation_ade20k_controlnet.safetensors

ダウンロード後は、Stable Diffusion Web UIを「 models」>「 ControlNet」の順で開き、ダウンロードしたファイルを配置すれば完了です。

ControlNet Segmentationで画像生成

ControlNet Segmentationは、画像を「人物」「背景」「建物」などの領域ごとに分割して扱える機能です。

入力画像やセグメントマップを使って、自由にカスタマイズした画像を生成できます。

ここではControlNet Segmentationの実践例をステップごとに紹介します。

画像生成におけるControlNet Segmentationの応用

ControlNet Segmentationには、用途に応じて選べる複数のモデルがあります。

元画像や目的に合わせて最適なものを選ぶことで、生成結果を調整しやすくなります。

各モデルの性質は、以下の通りです。

seg_ofade20k

seg_ofade20k は、ADE20Kのデータセットを基にして訓練されたセグメンテーションモデルをControlNetに統合したものです。

ADE20K は、セグメンテーションの研究と開発のために広く使用されている大規模なデータセットで、約20,000枚の画像と150以上のカテゴリーにラベル付けされています。

最もオーソドックスにセグメントできます。

seg_ufade20k

seg_ufade20kは、建物と窓、テーブルと食器のようなオブジェクト間の自然な関係性を理解し、それらの一貫性を保ちながらセグメンテーションを行います。

汎用的なセグメンテーションタスクに特化しており、広範囲の画像やカテゴリーに対応が可能です。

複数の関連要素が複雑に絡み合う都市景観やインテリアシーンなどの生成に特に優れています。

seg_ofcoco

ControlNet Segmentation seg_ofcocoは、COCO（Common Objects in Context）データセットを基盤として学習されたセグメンテーションモデルを利用しています。

人、動物、車両、家具、電子機器など、日常的に見られる物体を高い精度で識別・分割ができます。

日常的なシーンや一般的なオブジェクトに最適化されているため、写真編集や現実的な画像生成に適しています。

seg_anime_face

seg_anime_face は、アニメやイラストのキャラクターの顔に特化したセグメンテーション（領域分割）機能を提供することができます。

アニメキャラクターのデザイン変更や表情の調整など、既存のキャラクターを新しいスタイルで簡単に再現することができます。

mobile_sam

Mobile SAM は、元の SAM モデルを大幅に軽量化し、モバイルデバイスなどリソースが限られた環境でも高速かつ効率的に動作するよう設計されています。

 メモリ使用量を抑えることで高性能 GPU を必要とせず、元のSAM に近い精度を維持しながらリアルタイムセグメンテーションが可能です。

カテゴリーに依存せず、ユーザーのプロンプトに基づいて画像内のあらゆるオブジェクトをセグメンテーションできます。

ControlNet Segmentationを駆使して領域描写をマスターしよう

ControlNet Segmentationは、Stable Diffusionで領域を区別して画像を生成する唯一のツールです。

Segmentationをマスターすれば、オブジェクトの特徴を維持しながら色々な特徴を思い通りに生成することができます。

インテリアデザインからファッションシーンまで幅広い使い方ができるので、是非Segmentationの利用にチャレンジしてみて下さい。

Stable DiffusionでControlNetのSegmentationを使いこなすには、高いスペックのPCと数多くの生成回数が必要です。

効率的に深度の抽出画像を生成するには、16GB以上のVRAMが搭載されたパソコンの利用がおすすめです。

しかし、高性能なパソコンの多くが30万円以上と高額になります。

コストを抑えたい方へ：今のパソコンのまま使える「PICSOROBAN」

ピクソロのメリット

• すぐ使える：高額PC不要で、ブラウザからすぐに利用可能。必要な分だけポイントを購入できます。
• リーズナブル：30分約60円で利用可能。さらに今なら約2時間分が無料。
• 無制限作成：時間内であれば、何枚でも画像生成可能。短時間で多くの作品を生成できます。

Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。