ControlNet Scribbleで線画抽出やイラストを作成する方法【SDXL対応】

ControlNet Scribbleで線画抽出やイラストを作成する方法【SDXL対応】

ControlNetのScribbleはStable Diffusionの拡張機能の一つで、手描きや大雑把なラフ画から画像を仕上げるのに利用できます。

この記事ではStable Diffusionの拡張機能「ControlNet Scribble」で線画抽出やイラストを作成する方法を解説していきます。

リリース記念、2,000Ptプレゼント!

目次

ControlNet Scribbleの概要

scribble

Stable Diffusionの拡張機能の一つであるControlNet Scribbleは、手描きのスケッチを詳細でリアルな画像に変換する機能です。

簡単な落書きを高度な技術で解釈し、意図に沿った美しいビジュアルを仕上げるため、ラフ画を描ける人にとって非常に強力なツールです。

Stable Diffusionでは、ControlNet Scribbleで抽出した線画をプロンプトで補正し、最終的な画像を完成させます。

ControlNet Scribbleのインストール方法

見出し画像

Scribbleは、ControlNetに含まれているため、まずStable Diffusion内にControlNetを実装します。

次に、Scribbleを使用するために必要なモデルデータをダウンロードし、ControlNetに反映させます。

ControlNetのインストール

STEP
ControlNetをインストール

まずSable Diffusion Web UIにControlNetをインストールします。

Sable Diffusion Web UIの拡張機能タブから「URLをインストールする」を選びます。

「拡張機能のリポジトリのURL」入力欄に次のアドレスを入力し、「インストール」ボタンをクリックします。

拡張機能のリポジトリのURL
https://github.com/Mikubill/sd-webui-controlnet
controlnet
STEP
Stable Diffusion Web UIを再起動

ControlNetのインストールが完了したら「インストール済」タブに移動し、「適用して再起動」ボタンをクリックしてStable Diffusion Web UIを再起動します。

controlnet
STEP
ControlNetを確認

Stable Diffusion Web UIを再起動し、シード値の下にControlNetタブが表示されていることを確認します。

これで、ControlNetのインストールは完了です。

controlnet

ControlNetに関しては、次の記事で詳しく紹介していますので、是非ご覧ください。

Scribbleモデルデータを導入

ControlNetのインストール後、Scribbleに必要なモデルデータをダウンロードします。

Hugging Face内にControlNetに関するモデルファイルの一覧がありますので、その中からScribbleのモデルファイルをダウンロードします。

SD1.5、SD2.1、SDXLを使う場合は、Scribbleのモデルデータがそれぞれ異なりますので、普段利用しているモデルに合わせてデータをダウンロードしましょう。

SD1.5用ControlNetモデルデータ
https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main

SD2.1用ControlNetモデルデータ
https://huggingface.co/thibaud/controlnet-sd21/tree/main

SDXL用ControlNetモデルデータ
https://huggingface.co/lllyasviel/sd_control_collection/tree/main

この記事では、SD1.5とSDXL用Checkpointを使いますので、以下のScribbleデータをダウンロードしています。

  • control_v11p_sd15_scribble_fp16
  • kohya_controllllite_xl_scribble_anime

ダウンロードしたデータは、「ControlNet」フォルダに移します。

controlnetモデル保存場所

ControlNet Scribbleで線画を抽出する

見出し画像

Stable DiffusionにおけるControlNet Scribbleの基本的な使い方を解説します。

STEP
ControlNetのパネルを開く

ControlNetのインストールが完了すると、Stable Diffusion Web UIにControlNetのパネルが実装されます。

「◀マーク」をクリックしてパネルを開きます。

controlnet
STEP
線画を抽出する

線画を抽出したい元画像を読み込み、「有効化」、「Pixel Perfect」、「Allow Preview」、「Scribble」にチェックを入れます。

その後、好きなプリプロセッサと対応するモデルを選択します。

チェックと選択が完了したら、真ん中の「💥ボタン」を押して線画抽出を開始します。

抽出が完了したら、画像の右側に抽出された白黒の線画が表示されます。

scribble

ControlNet Scribbleのプリプロセッサの種類

ControlNet Scribbleのプリプロセッサには異なる4つの種類があり、それぞれ抽出の仕方が異なります。

生成結果一覧を参考に、Scribbleで使用するプリプロセッサを選びましょう。

scribble_pidinet

scribble_pidinet

scribble_pidinetは、輪郭部分だけ線画を抽出し、やや粗い線で全体を描き出します。

scribble_xdog

全身が映っている被写体に対して効果的です。

scribble_xdog

scribble_xdogは、Scribbleのプリプロセッサの中で最も細かい線を抽出し、髪の毛などの細部まで描き出します。

scribble_hed

scribble_hed

scribble_hedは、主に輪郭と顔のパーツを詳細に抽出するプリプロセッサです。

invert (from white bg & black line)

scribble_invert

invert (from white bg & black line)は、主に手描きの線画など、白背景に黒線の画像を、AIで扱いやすいように黒背景に白線へと変更する機能です。

自身で描いた線画をStable Diffusionで使用する前に、invertで変換することをおすすめします。

Scribbleプリプロセッサのまとめ

Scribbleプリプロセッサでは、抽出される線の細かさは「pidinet < hed < xdog」の順であり、xdogが最も細かい線を抽出します。

全体のバランスを重視する場合や、顔などの細かいパーツに焦点を当てる場合によって、適切なプリプロセッサを使い分けると良いでしょう。

ControlNet Scribbleで線画からイラストを作成してみよう

scribble

ControlNet Scribbleを使用して線画からイラストを作成する方法を紹介します。

Scribbleを使えば、線画やラフを利用してイラストに仕上げることができます。

描き出した線画を使う

まずは、先の章で描き出した線画を使ってイラストを作成します。

ControlNetにて、線画を抽出した状態でプロンプトを入力します。線画を抽出した状態とは、ControlNetの右側に線画画像が表示されている状態です。

プロンプト欄には、指定したい色合いなどを入力します。

線画によって塗り方の特徴が異なるので比較してみましょう。

scribble_pidinet

scribble_pidinet

髪型や細部に少しアレンジが加わりますが、体型や全体のレイアウトはそのまま再現されています。

scribble_xdog

scribble_xdog

Scribbleのプリプロセッサの中では一番線が細かく、髪の毛など細部まで線を抽出します。

scribble_hed

scribble_hed

線画に対して最も忠実に書き出しが行われました。

手描きのラフ画から仕上げる

scribble

次に、手描きのラフ画をベースにScribbleで画像を生成します。

手順は、描き出した線画を使う方法と同じです。

プリプロセッサによって完成度に違いがあるので、参考にしてみてください。

scribble_pidinet

scribble_pidinet

輪郭と奥行きが再現されていますが、髪型の細部までは認識されていません。

scribble_xdog

scribble_xdog

首の長さから前髪までしっかりと再現されています。

scribble_hed

scribble_hed

線画が少し大雑把で画像はアレンジが加わった印象です。ラフ自体が近景だったのが影響しています。

Scribbleと他の線画抽出系を比較

Stable DiffusionのControlNetの線画抽出機能には、Scribbleの他にCanny、Lineart、SoftEdgeがあります。

どの機能も線画を抽出する機能ですが、抽出の特徴が異なります。実際に、同じ画像から各機能で線画抽出をしてみます。

ベース画像
素材画像
線画抽出

それぞれの特徴

  • Canny:輪郭を細かくはっきりと抽出します。
  • Lineart:輪郭をペンで描いたような線画として抽出します。
  • SoftEdge:Cannyより柔らかく自然な線を抽出します。
  • Scribble:手早くスケッチしたような粗い線で抽出します。

抽出した線画を元に同じプロンプトで色塗りをした画像が下記になります。

線画抽出

Scribbleは、手早く描いたような粗い線で大まかに抽出するため、他の手法に比べて雰囲気を保ちながらも少し違ったイラストになります。手早く描いた手描きの線画をベースにした場合でも、完成度の高い仕上がりになります。

各機能にはそれぞれに特徴があるので、用途や好みに合わせて使い分けることをおすすめします。

ControlNetのScribbleを快適に使うにはピクソロがおすすめ

快適のイメージ見出し画像

Stable DiffusionでControlNet Scribbleを使って快適に線画抽出するには、16GB以上のVRAMが搭載されたパソコンが必要です。

そこでおすすめなのがWebブラウザでStable Diffusionが使える「PICSOROBAN(ピクソロ)」です。

コストを抑えたい方へ:今のパソコンのまま使える「PICSOROBAN」

ピクソロのメリット

  • すぐ使える:高額PC不要で、ブラウザからすぐに利用可能。必要な分だけポイントを購入できます。
  • リーズナブル:30分約60円で利用可能。さらに今なら約2時間分が無料。
  • 無制限作成:時間内であれば、何枚でも画像生成可能。短時間でたくさんの作品を生成できます。

ブラウザで簡単!ピクソロ!

PICSOROBANトップ

PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。

さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント(約2時間分)貰えます!

詳しい使い方は下記の記事で紹介しています。

\今なら約2時間無料で使える!/

Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。

ControlNet Scribbleでアートの幅を広げよう

Stable DiffusionでControlNet Scribbleを利用すれば、手早く描いた手描きの線画をベースしても完成度の高い仕上がりになります。

その他のControlNetの機能と使い分けながら創作の幅を広げていきましょう。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
EdgeHUBロゴ

メールマガジン登録

Stable Diffusion・LLM・RAGに関する最新情報をいち早くお届けします。

無料メルマガの配信をご希望の方は、下記フォームよりご登録ください。

    EdgeHUB編集部からのお知らせ

    無料ウェビナーのお知らせ

    RAG進化のさらに先へ!自立型AIエージェント ウェビナー【12/25無料開催】

    RAG進化のさらに先へ! 大好評につきRAGシリーズ第3弾が開催決定!

    開催日時:
    2024年12月25日(水) 14:00~15:00

    内容:

    • RAGの精度を向上させる「自律型AIエージェント」のデモ
    • 生成AI開発の強い味方「GPUSOROBAN」の活用方法

    このウェビナーでは、オープンソース「LangGraph」で構築したAIエージェントの使い方や、デモを紹介します。

    生成AIに関心のある方、AI技術をビジネスに活かしたい方は、ぜひこの貴重な機会にご参加ください!

    こんな方におすすめ!

    • 自律型AIエージェントに興味がある方
    • RAGの高度化を検討しているエンジニアや開発者
    • 日本語のローカルLLMの利用を検討している方
    • GPUリソースに課題を感じている方

    \簡単1分で申し込み!/

    この記事を書いた人

    EdgeHUBは、NVIDIAクラウドパートナーである株式会社ハイレゾが運営しています。「AIと共にある未来へ繋ぐ」をテーマに、画像生成AI、文章生成AI、動画生成AI、機械学習・LLM、Stable Diffusionなど、最先端の生成AI技術の使い方をわかりやすく紹介します。

    目次