ControlNet Shuffleの使用法を解説!何ができる?

ControlNet Shuffleの使用法を解説!何ができる?

ControlNet Shuffleを使えば、元画像の色合いやスタイルをそのまま引き継ぎ、自然な雰囲気の新たな画像を簡単に作成できます。

この記事では、Stable Diffusionの拡張機能ControlNet Shuffleの使用法を解説していきます。

ブラウザで使えるStable Diffusion!

目次

ControlNet Shuffleの概要

Shuffle

ControlNet Shuffleは、入力された画像を分解し、その色合いやスタイルを活用して新たな画像を生成するStable Diffusionの拡張機能です。

たとえば、夕焼けの風景画像を元画像として使用すると、生成される新しい画像も夕焼けの色合いや雰囲気を自然に反映したものになります。

このため、わざわざ「夕焼け色の空にしてほしい」といった具体的なプロンプトを入れる必要がなく、元画像そのものがプロンプトの役割を果たします。

ControlNet Shuffleを使えば、元の画像が持つスタイルや色を継承しながら、簡単に新しいバリエーションを作成できます。

ControlNet Shuffleの使用法

見出し画像

ここからは、ControlNet Shuffleの使用法を解説します。

ControlNet Shuffleのインストール

ControlNet Shuffleは、ControlNet内にインストールされているので、Stable Diffusion内にControlNetを実装すれば導入は完了します。

STEP
ControlNetをインストール

まずSable Diffusion Web UIにControlNetをインストールします。

Sable Diffusion Web UIの拡張機能タブから「URLをインストールする」を選びます。

「拡張機能のリポジトリのURL」入力欄に次のアドレスを入力し、「インストール」ボタンをクリックします。

拡張機能のリポジトリのURL
https://github.com/Mikubill/sd-webui-controlnet
controlnet
STEP
Stable Diffusion Web UIを再起動

ControlNetのインストールが完了したら「インストール済」タブに移動し、「適用して再起動」ボタンをクリックしてStable Diffusion Web UIを再起動します。

controlnet
STEP
ControlNetを確認

Stable Diffusion Web UIを再起動し、シード値の下にControlNetタブが表示されていることを確認します。

これで、ControlNetのインストールは完了です。

controlnet

ControlNetに関しては下記の記事で詳しく紹介していますので、ぜひご覧ください。

ControlNetのShuffleをインストールする手順

ControlNetの有効化が完了したら、使用するShuffleモデルをダウンロードします。

Hugging FaceにはControlNet向けのモデルが複数るため、使用するStable Diffusionのバージョン(SD1.5、SD2.1、SDXL)に適したデータを選びましょう。

SD1.5用ControlNetモデルデータ
https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main

SD2.1用ControlNetモデルデータ
https://huggingface.co/thibaud/controlnet-sd21/tree/main

SDXL用ControlNetモデルデータ
https://huggingface.co/lllyasviel/sd_control_collection/tree/main

この記事のサンプルでは、SD1.5のCheckpointを使うため、以下のデータをダウンロードします。

  • control_v11e_sd15_shuffle.pth
  • control_v11e_sd15_shuffle.yaml

ダウンロードしたデータは、ControlNetのフォルダに移します。

controlnetモデル保存場所

ControlNet Shuffleの使い方

ControlNetのインストールが完了すると、Stable DiffusionにControlNetのパネルが実装されます。

「◀マーク」をクリックしてパネルを開きます。

controlnet

次に、アイデアを抜き出したい画像を読み込みましょう。

「有効化」、「Pixel Perfect」、「Allow Preview」、「Shuffle」にチェックを入れます。

ControlNet Shuffleには、2種類のプリプロセッサ「none」「Shuffle」が用意されています。

以下、それぞれの違いを解説します。

プリプロセッサ「none」

プリプロセッサ「none」を選ぶと、元の画像のピクセル情報がバラバラに並べ替えられた状態になります。

使い方は、プリプロセッサ「none」、モデル「control_v11e_sd15_shuffle」を選択します。

shuffle

今回はコーヒーを飲むシチュエーションをプロンプトに追加して画像を生成します。

素材画像を参考したコーヒーを飲むキャラの画像が生成されました。

shuffle
プロンプト

プロンプト:drinking coffee

ネガティブプロンプト:EasyNegative

プリプロセッサ「Shuffle」

プリプロセッサ「Shuffle」を選ぶと、「none」と比べて、元の画像のピクセル情報が2回シャッフルされ、さらにバラバラになります。

これにより、元の画像の特徴がほとんど残らず、より抽象的な画像が生成できます。

使い方は、プリプロセッサ「Shuffle」、モデル「control_v11e_sd15_shuffle」を選択します。

真ん中の「💥」をクリックして描画データを抽出します。

shuffle

抜き出しが完了すると、シャッフルされた絵が抽出されます。

今回は制服を着た学生をプロンプトに追加して画像を生成します。

shuffle

色味や雰囲気を活かしたユニークな画像が生成されました。元の画像の具体的な特徴が消え、完全に新しい画像を作り出します。

結果のコントロールは難しいですが、創造的なアート作品の制作に最適です。

ControlNet Shuffleの活用法

shuffle

ControlNet Shuffleは、「canny」や「openpose」のように線画やポーズを抽出するのではなく、入力画像の色合いやスタイルを基にして新たな画像を創造することに特化しています。

Shuffleの特徴として、元のイメージの色彩や雰囲気を生かしつつ、元画像にとらわれない自由な生成が可能です。

絵のアイデアを広げたい場合に非常に有効と言えるでしょう。

\ベース画像/

shuffle

真夏の太陽をイメージしたイラストをベースにして、春・秋・冬シーズンのプロンプトをShuffleしてみます。

Shuffle結果は下記になります。青空や色合いを引き継いだ内容で生成されました。

shuffle

ControlNet Shuffleを使うならピクソロがおすすめ

PICSOROBANトップ

ControlNet ShuffleをStable Diffusionで快適に使うには16GB以上のVRAMが搭載されたパソコンが必要です。

しかし、これらのパソコンは30万円以上と高額で、手軽に導入するのは難しい場合があります。

そこでおすすめなのが、ブラウザ上で利用できるStable Diffusionのアプリ「PICSOROBAN」です。

PICSOROBANなら、VRAMやスペックの心配は不要! インターネットさえあれば、高度なAI画像生成を体験できます。

ブラウザで簡単!ピクソロ!

PICSOROBANトップ

PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。

さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント(約2時間分)貰えます!

詳しい使い方は下記の記事で紹介しています。

\今なら約2時間無料で使える!/

Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
EdgeHUBロゴ

メールマガジン登録

Stable Diffusion・LLM・RAGに関する最新情報をいち早くお届けします。

無料メルマガの配信をご希望の方は、下記フォームよりご登録ください。

    EdgeHUB編集部からのお知らせ

    無料ウェビナーのお知らせ

    話題のGraphRAGの使い方 ウェビナー【1/29無料開催】

    RAG進化のさらに先へ! 大好評につきRAGシリーズ第4弾が開催決定!

    開催日時:
    2025年1月29日(水) 14:00~15:00

    内容:

    • RAGの進化系!「GraphRAG」のデモ
    • 生成AI開発の強い味方「GPUSOROBAN」の活用方法

    このウェビナーでは、従来のRAGよりも大幅に精度が向上した「GraphRAG」のデモを交えてご紹介します。

    生成AIに関心のある方、AI技術をビジネスに活かしたい方は、ぜひこの貴重な機会にご参加ください!

    こんな方におすすめ!

    • GraphRAGに興味がある方
    • RAGの高度化を検討しているエンジニアや開発者
    • ローカル環境のLLM、グラフデータベースの利用を検討している方
    • GPUリソースに課題を感じている方

    \簡単1分で申し込み!/

    この記事を書いた人

    EdgeHUBは、NVIDIAクラウドパートナーである株式会社ハイレゾが運営しています。「AIと共にある未来へ繋ぐ」をテーマに、画像生成AI、文章生成AI、動画生成AI、機械学習・LLM、Stable Diffusionなど、最先端の生成AI技術の使い方をわかりやすく紹介します。

    目次