ControlNet Shuffleを使えば、元画像の色合いやスタイルをそのまま引き継ぎ、自然な雰囲気の新たな画像を簡単に作成できます。
この記事では、Stable Diffusionの拡張機能ControlNet Shuffleの使用法を解説していきます。
ControlNet Shuffleの概要
ControlNet Shuffleは、入力された画像を分解し、その色合いやスタイルを活用して新たな画像を生成するStable Diffusionの拡張機能です。
たとえば、夕焼けの風景画像を元画像として使用すると、生成される新しい画像も夕焼けの色合いや雰囲気を自然に反映したものになります。
このため、わざわざ「夕焼け色の空にしてほしい」といった具体的なプロンプトを入れる必要がなく、元画像そのものがプロンプトの役割を果たします。
ControlNet Shuffleを使えば、元の画像が持つスタイルや色を継承しながら、簡単に新しいバリエーションを作成できます。
Stable Diffusionの使い方は、機能別に下記の記事にまとめているのでぜひご覧ください
ControlNet Shuffleの使用法
ここからは、ControlNet Shuffleの使用法を解説します。
ControlNet Shuffleのインストール
ControlNet Shuffleは、ControlNet内にインストールされているので、Stable Diffusion内にControlNetを実装すれば導入は完了します。
まずSable Diffusion Web UIにControlNetをインストールします。
Sable Diffusion Web UIの拡張機能タブから「URLをインストールする」を選びます。
「拡張機能のリポジトリのURL」入力欄に次のアドレスを入力し、「インストール」ボタンをクリックします。
拡張機能のリポジトリのURL
https://github.com/Mikubill/sd-webui-controlnet
ControlNetのインストールが完了したら「インストール済」タブに移動し、「適用して再起動」ボタンをクリックしてStable Diffusion Web UIを再起動します。
Stable Diffusion Web UIを再起動し、シード値の下にControlNetタブが表示されていることを確認します。
これで、ControlNetのインストールは完了です。
ControlNetに関しては下記の記事で詳しく紹介していますので、ぜひご覧ください。
ControlNetのShuffleをインストールする手順
ControlNetの有効化が完了したら、使用するShuffleモデルをダウンロードします。
Hugging FaceにはControlNet向けのモデルが複数るため、使用するStable Diffusionのバージョン（SD1.5、SD2.1、SDXL）に適したデータを選びましょう。
SD1.5用ControlNetモデルデータ
https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main
SD2.1用ControlNetモデルデータ
https://huggingface.co/thibaud/controlnet-sd21/tree/main
SDXL用ControlNetモデルデータ
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
この記事のサンプルでは、SD1.5のCheckpointを使うため、以下のデータをダウンロードします。
- control_v11e_sd15_shuffle.pth
- control_v11e_sd15_shuffle.yaml
ダウンロードしたデータは、ControlNetのフォルダに移します。
ControlNet Shuffleの使い方
ControlNetのインストールが完了すると、Stable DiffusionにControlNetのパネルが実装されます。
「◀マーク」をクリックしてパネルを開きます。
次に、アイデアを抜き出したい画像を読み込みましょう。
「有効化」、「Pixel Perfect」、「Allow Preview」、「Shuffle」にチェックを入れます。
ControlNet Shuffleには、2種類のプリプロセッサ「none」「Shuffle」が用意されています。
以下、それぞれの違いを解説します。
プリプロセッサ「none」
プリプロセッサ「none」を選ぶと、元の画像のピクセル情報がバラバラに並べ替えられた状態になります。
使い方は、プリプロセッサ「none」、モデル「control_v11e_sd15_shuffle」を選択します。
今回はコーヒーを飲むシチュエーションをプロンプトに追加して画像を生成します。
素材画像を参考したコーヒーを飲むキャラの画像が生成されました。
プロンプト：drinking coffee
ネガティブプロンプト：EasyNegative
プリプロセッサ「Shuffle」
プリプロセッサ「Shuffle」を選ぶと、「none」と比べて、元の画像のピクセル情報が2回シャッフルされ、さらにバラバラになります。
これにより、元の画像の特徴がほとんど残らず、より抽象的な画像が生成できます。
使い方は、プリプロセッサ「Shuffle」、モデル「control_v11e_sd15_shuffle」を選択します。
真ん中の「💥」をクリックして描画データを抽出します。
抜き出しが完了すると、シャッフルされた絵が抽出されます。
今回は制服を着た学生をプロンプトに追加して画像を生成します。
色味や雰囲気を活かしたユニークな画像が生成されました。元の画像の具体的な特徴が消え、完全に新しい画像を作り出します。
結果のコントロールは難しいですが、創造的なアート作品の制作に最適です。
ControlNet Shuffleの活用法
ControlNet Shuffleは、「canny」や「openpose」のように線画やポーズを抽出するのではなく、入力画像の色合いやスタイルを基にして新たな画像を創造することに特化しています。
Shuffleの特徴として、元のイメージの色彩や雰囲気を生かしつつ、元画像にとらわれない自由な生成が可能です。
絵のアイデアを広げたい場合に非常に有効と言えるでしょう。
＼ベース画像／
真夏の太陽をイメージしたイラストをベースにして、春・秋・冬シーズンのプロンプトをShuffleしてみます。
Shuffle結果は下記になります。青空や色合いを引き継いだ内容で生成されました。
ControlNet Shuffleを使うならピクソロがおすすめ
ControlNet ShuffleをStable Diffusionで快適に使うには16GB以上のVRAMが搭載されたパソコンが必要です。
しかし、これらのパソコンは30万円以上と高額で、手軽に導入するのは難しい場合があります。
そこでおすすめなのが、ブラウザ上で利用できるStable Diffusionのアプリ「PICSOROBAN」です。
PICSOROBANなら、VRAMやスペックの心配は不要！ インターネットさえあれば、高度なAI画像生成を体験できます。
PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。
さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント貰えます！
詳しい使い方は下記の記事で紹介しています。
＼約2時間無料で使える！／
Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。
