ControlNetのIP-Adapterは、指定した画像をプロンプトの代わりとして扱えるStable Diffusionの拡張機能です。
画像を基にすることで、実現が難しかった細かいスタイルの調整や、類似の画像が生成可能になります。
この記事ではControlNet IP-Adapterの基本から使い方、活用事例までを初心者向けにわかりやすく解説します。
ControlNet IP-Adapterとは？
ControlNet IP-Adapterは、Stable Diffusionに画像プロンプト機能を追加し、参照画像をもとに新しい画像を生成できる拡張機能です。
ここでの「IP」は「Image Prompt（画像プロンプト）」の略で、参照画像そのものがプロンプトとして機能し、新しい画像のベースになります。たとえば、特定の人物やスタイルを維持しつつ、新しい構図の画像を生成する際に役立ちます。
具体的な活用例として、ControlNetのIP-Adapterでは、お気に入りのキャラクターの表情や服装、背景を変更しながら別のパターンを作成することが可能です。
IP-Adapterを使えば、一貫性のあるビジュアル制作が容易になり、創作の幅を広げられます。
ControlNet IP-Adapterの仕組み
ControlNet のIP-Adapterは、参照画像から特徴を読み取り、その特徴をStable Diffusionでの画像生成に組み込みます。
この仕組みにより、元の画像の雰囲気やスタイルを保ちながら、服装や背景を柔軟にアレンジできるのです。
また、LoRAと似た役割を持ちながらも、ControlNet のIP-Adapterでは、テキストプロンプトと画像プロンプトの特徴が独立して作用します。
これにより、それぞれがぶつかり合うことなく、両方の特徴を引き継いだ画像を生成できます。
元画像で使用したプロンプト
((ultra-detailed)), (highly detailed CG illustration), (best quality:1.2), anime, perfect face,Portrait,(Ultra-high resolution, Super detailed), (((stylish fashion))), 8K Quality,Intense watercolor,(Bottom Lighting:1.2), lustrous skin, depth of field, soft lighting, lighting, ray tracing,Colorful color palette,high-level image quality,Unprecedented amount of drawing,style of anime,top-quality,ultra-detailliert, 2Danimation style,hyper detailed,solo, 1girl 18yo, pastel blue hair, two side up, medium hair, braid bangs, swept bangs, pale blue eyes, :3, fang, smile, closed one eye, open mouth, jester cap, clown costume, balloons, circus, ultra detailed picture, dynamic posing, Gorgeous splash of vibrant paint, popart, neon hues, smile, Super detailed eyes, Highly detailed face, Highly detailed eyes, smile, perfect face, highly detailed face, highly detailed eyes , perfect face, perfect nose, perfect hair, perfect eyes, beautiful hair, beautiful face, extremely detailed face, beautiful detailed eyes, beautiful body, beautiful legs, beautiful fingers, lovely, (very detailed background:1.0),(highly detailed background:1.0)
IP-Adapter1で使用したプロンプト
((ultra-detailed)), (highly detailed CG illustration), (best quality:1.2), anime, perfect face,Portrait,(Ultra-high resolution, Super detailed), (((stylish fashion))), 8K Quality,Intense watercolor,(Bottom Lighting:1.2), lustrous skin, depth of field, soft lighting, lighting, ray tracing,Colorful color palette,high-level image quality,Unprecedented amount of drawing,style of anime,top-quality,ultra-detailliert, 2Danimation style,hyper detailed,solo, 1girl 18yo, vivid pink hair ,two side up, medium hair, braid bangs, swept bangs, pale blue eyes, :3, fang, smile, closed one eye, open mouth, jester cap, clown costume, balloons, circus, ultra detailed picture, dynamic posing, Gorgeous splash of vibrant paint, popart, neon hues, smile, Super detailed eyes, Highly detailed face, Highly detailed eyes, smile, perfect face, highly detailed face, highly detailed eyes , perfect face, perfect nose, perfect hair, perfect eyes, beautiful hair, beautiful face, extremely detailed face, beautiful detailed eyes, beautiful body, beautiful legs, beautiful fingers, lovely, (very detailed background:1.0),(highly detailed background:1.0)
IP-Adapter2で使用したプロンプト
((ultra-detailed)), (highly detailed CG illustration), (best quality:1.2), anime, perfect face,Portrait,(Ultra-high resolution, Super detailed), (((stylish fashion))), 8K Quality,Intense watercolor,(Bottom Lighting:1.2), lustrous skin, depth of field, soft lighting, lighting, ray tracing,Colorful color palette,high-level image quality,Unprecedented amount of drawing,style of anime,top-quality,ultra-detailliert, 2Danimation style,hyper detailed,solo, 1girl 18yo,(hlfcol haired girl with vivid pink hair and vivid blue hair:1.0) , two side up, medium hair, braid bangs, swept bangs, pale blue eyes, :3, fang, smile, closed one eye, open mouth, jester cap, clown costume, balloons, circus, ultra detailed picture, dynamic posing, Gorgeous splash of vibrant paint, popart, neon hues, smile, Super detailed eyes, Highly detailed face, Highly detailed eyes, smile, perfect face, highly detailed face, highly detailed eyes , perfect face, perfect nose, perfect hair, perfect eyes, beautiful hair, beautiful face, extremely detailed face, beautiful detailed eyes, beautiful body, beautiful legs, beautiful fingers, lovely, (very detailed background:1.0),(highly detailed background:1.0)
Stable Diffusionの使い方は、機能別に下記の記事にまとめているのでぜひご覧ください
ControlNet IP-Adapterの使い方
ControlNet IP-Adapterの導入方法から使い方までを紹介します。
ControlNetのインストール
IP-Adapterは、ControlNet内に含まれているため、Stable DiffusionにControlNetを導入します。
以下の手順に従って、Stable Diffusion Web UIにControlNetを導入しましょう。
まずSable Diffusion Web UIにControlNetをインストールします。
Sable Diffusion Web UIの拡張機能タブから「URLをインストールする」を選びます。
「拡張機能のリポジトリのURL」入力欄に次のアドレスを入力し、「インストール」ボタンをクリックします。
拡張機能のリポジトリのURL
https://github.com/Mikubill/sd-webui-controlnet
ControlNetのインストールが完了したら「インストール済」タブに移動し、「適用して再起動」ボタンをクリックしてStable Diffusion Web UIを再起動します。
Stable Diffusion Web UIを再起動し、シード値の下にControlNetタブが表示されていることを確認します。
これで、ControlNetのインストールは完了です。
さらに、ControlNetの詳細や活用方法については、次の記事で詳しく解説しています。より深く理解したい方は、ぜひチェックしてみてください。
IP-Adapterモデルデータを導入
次に、IP-Adapterを使用するために必要なモデルデータをダウンロードし、ControlNetに反映させます。
Hugging FaceにControlNetに関するモデルファイルの一覧があるので、その中のIP-Adapterのモデルファイルをダウンロードします。
SD1.5、SDXLを使う場合で、IP-Adapterのモデルデータがそれぞれ異なりますので、普段から利用しているモデルに合わせてデータをダウンロードしましょう。
SD1.5、SDXL用ControlNetモデルデータ
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
※SD1.5とSDXL用Checkpointを使う場合は、以下の2つのデータをダウンロードします。
- ip-adapter_sd15_plus.pth
- ip-adapter_xl.pth
ダウンロードしたデータは、「ControlNet」フォルダに移します。
IP-Adapterの使い方
ControlNetのインストールが完了すると、Stable Diffusion Web UIにControlNetのパネルが実装されます。
「◀マーク」をクリックしてパネルを開きます。
画像プロンプトとして指定したい素材画像を左側にドラッグ＆ドロップして読み込みます。
「有効化」、「Pixel Perfect」、「Allow Preview」、「IP-Adapter」にチェックを入れ、プリプロセッサに「ip-adapter-auto」、モデルに「ip-adapter_sd15_plus」を選択します。
※IP-Adapterのモデルはベース画像の読み込み後に、使用したいモデル（Checkpoint）に合わせて選択します。
「ip-adapter_sd15_plus」は、SD1.5用のIP-Adapterのモデルです。
IP-Adapterのセットが完了したら、プロンプトを入力して生成を開始します。
プロンプトの内容は、ベース画像のそのままの内容で問題ありません。
短いプロンプトで、キャラと構図が固定されて、作風だけを変更できました。
使用したプロンプト
プロンプト：two girls,in classroom
ネガティブプロンプト：EasynegativeV2
ControlNet IP-Adapterの活用事例
ControlNet IP-Adapterは、画像プロンプトを組み合わせることによって、より詳細な画像生成ができるようになります。
特定の構図や色彩などを持つ画像を生成する際に、IP-Adapterを活用できるのです。
IP-Adapterを利用して画像生成を重ねていくことで、プロンプトでは長文を記述して複雑になってしまうことや効果が効きにくくなってしまうようなトラブルを解消できるようになります。
reference_onlyとの組み合わせ
IP-Adapterは元画像の構図や雰囲気を再現する能力が高く、「reference_only」を併用することで顔や雰囲気をさらに強調できます。
顔や髪型などのメインパーツの再現度を上げたい場合に有効です。
ControlNet IP-Adapterでトラブルが発生した場合
ControlNet IP-Adapterには、動作に関する不具合が見られる機能があります。
2025年3月19日現在で、Stable Diffusion Web UI（AUTOMATIC1111版）で使用できない機能は控えるようにしましょう。
IP-Adapterのプリプロセッサ
ControlNet最新版においてIP-Adapterの下記3点のプリプロセッサでは、抽出エラーが発生します。
生成は可能ですが、IP-Adapterは機能しませんので注意しましょう。
- ip-adapter_pulid
- ip-adapter_face_id_plus
- ip-adapter_face_id
IP-AdapterのSDXLモデルを使う
IP-AdapterにはSDXL用のモデルが配布されていますが、意図しない生成結果となることが多くあります。
フォーラムでは、度々議論が交わされており、改善が進んでいます。
同様の内容でSDXL用のIP-Adapterを使用して生成した結果。
今の段階では、機能性が高いSD1.5で生成を行うのが良いでしょう。
ControlNet IP-Adapterを使いこなすならピクソロがおすすめ
効率的にStable Diffusionで画像を生成するには、16GB以上のVRAMが搭載されたパソコンが必要ですが、ほとんどが30万円以上と高額です。
【おすすめ！】ブラウザで使えるStable Diffusion「PICSOROBAN」
「コストを抑えて、手軽に高品質な画像生成を楽しみたい！」と考えている方におすすめは、Webブラウザ上でサクッと利用できる「PICSOROBAN」です。
PICSOROBANなら、VRAMやスペックの心配は不要！ インターネットさえあれば、高度なAI画像生成を体験できます。
PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。
さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント貰えます！
詳しい使い方は下記の記事で紹介しています。
＼約2時間無料で使える！／
Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。
