ControlNet Referenceの使い方！エラーが出てしまったときの解決策も

Stable DiffusionのControlNet Referenceを使って、お気に入りのキャラクターにさまざまなアレンジを加えた差分画像をつくってみませんか？

背景やポーズ、服装を変えても、元のイメージをしっかりと残したまま、思い通りにアレンジできるので、画像生成の夢が大きく広がります。

この記事では、ControlNet Referenceの使い方を解説していきます。

ControlNet Referenceとは？

ControlNet Referenceは、画像生成AIであるStable Diffusionの機能の一つで、元画像から構図やスタイルを参照して、似た雰囲気の新しい画像を作ることができる拡張機能です。

例えば、好きなキャラクターや背景画像を素材として用意することで、それに似た構図や雰囲気の新しい画像を生成できます。

従来、同一人物や同じスタイルの画像生成は、LoRAを使わないと難しかったのですが、ControlNet Referenceを使うことで、簡単に再現できるようになりました。

ControlNet Referenceには、3種類のプリプロセッサ「Reference Only」「Reference AdaIN」「Reference AdaIN Attn」が用意されています。

以下、それぞれの違いを解説します。

Reference Only

Reference Onlyは、元画像を最も忠実に再現するプリプロセッサです。

AIが元画像に従って画像生成行うため、構図や色合い、スタイルがほぼそのまま反映されます。

元画像に忠実な複製やリメイクを生成したい場合に最適です。

Reference AdaIN

Reference AdaINは、元画像の色合いやスタイルを参照し画像生成するプリプロセッサです。

Reference Onlyよりも自由度が高く、元画像の雰囲気を保持しながら、AIが柔軟に新しい表現を生み出します。

例えば、キャラクターのポーズを少し変えたいけど、色合いやスタイルはそのままにしたい場合に最適です。

Reference AdaIN Attn

Reference AdaIN Attnは、Reference AdaINに特定の部分に注目する機能を加えたプリプロセッサです。

元画像の中で、特に重要な部分（顔や目立つ物など）に注目し、その部分のスタイルや色をより忠実に再現します。

重要なパーツをそのままにしながら、他の部分には多少の自由を持たせたい場合に適しています。

ControlNet Referenceの使い方

ここからは、ControlNet Referenceのインストール方法から使い方までを解説します。

ControlNet Referenceのインストール方法

ControlNet Referenceを使用するには、Stable Diffusion Web UIにControlNetをインストールします。

以下の手順で進めていきましょう。

ControlNetに関しては次の記事でも詳しく解説しているのでぜひご覧ください。

Referenceの使い方

ここからは、Referenceを実際に使いながら素材画像と生成された画像を比較していきます。

ControlNet Referenceの応用

ControlNet Referenceを2ユニット使用することで、画像を合成することができます。

ここでは、ControlNet Referenceを使った応用スタイル合成方法を紹介します。

ControlNet Referenceを活用してアニメと実写を相互変換する方法

ControlNet Referenceは、キャラクターを固定して差分を生成するだけでなく、アニメから実写、あるいはその逆への変換にも活用できます。

今回は、アニメから実写に変換する方法を例に解説します。

ControlNet Referenceでエラーが発生したときの対処法

ControlNet Referenceを使っていると、エラーが発生して機能が使えなくなることがあります

特に、Stable Diffusion Web UIやControlNetを最新版にアップデートした際に、エラーが起こりやすくなります。

プログラミングの知識がないと自力での修復は難しいため、問題が解決するまではダウングレードして以前のバージョンに戻す方法で対応するのが最も簡単です。

そのため、Stable Diffusion Web UIやControlNetをアップデートする前には、現在使えているバージョンを必ず保存しておくことをおすすめします。

現在のバージョンを保存する方法やダウングレードの詳しい手順については、次の記事をご覧ください。

ControlNet Referenceを使うならピクソロがおすすめ

ControlNet Referenceは、キャラクターをそのままアレンジ差分を作ることに適していて、アニメーションの制作やモデルの着せ替えのカタログなどに利用できます。

ただし、効率的にStable Diffusionで画像を生成するには、16GB以上のVRAMが搭載されたパソコンが必要ですが、ほとんどが30万円以上と高額です。

【おすすめ！】ブラウザで使えるStable Diffusion「PICSOROBAN」

「コストを抑えて、手軽に高品質な画像生成を楽しみたい！」と考えている方におすすめは、Webブラウザ上でサクッと利用できる「PICSOROBAN」です。

PICSOROBANなら、VRAMやスペックの心配は不要！　インターネットさえあれば、高度なAI画像生成を体験できます。

Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。