ControlNetのScribbleはStable Diffusionの拡張機能の一つで、手描きや大雑把なラフ画から画像を仕上げるのに利用できます。
この記事ではStable Diffusionの拡張機能「ControlNet Scribble」で線画抽出やイラストを作成する方法を解説していきます。
ControlNet Scribbleの概要
Stable Diffusionの拡張機能の一つであるControlNet Scribbleは、手描きのスケッチを詳細でリアルな画像に変換する機能です。
簡単な落書きを高度な技術で解釈し、意図に沿った美しいビジュアルを仕上げるため、ラフ画を描ける人にとって非常に強力なツールです。
Stable Diffusionでは、ControlNet Scribbleで抽出した線画をプロンプトで補正し、最終的な画像を完成させます。
ControlNet Scribbleのインストール方法
Scribbleは、ControlNetに含まれているため、まずStable Diffusion内にControlNetを実装します。
次に、Scribbleを使用するために必要なモデルデータをダウンロードし、ControlNetに反映させます。
ControlNetのインストール
まずSable Diffusion Web UIにControlNetをインストールします。
Sable Diffusion Web UIの拡張機能タブから「URLをインストールする」を選びます。
「拡張機能のリポジトリのURL」入力欄に次のアドレスを入力し、「インストール」ボタンをクリックします。
拡張機能のリポジトリのURL
https://github.com/Mikubill/sd-webui-controlnet
ControlNetのインストールが完了したら「インストール済」タブに移動し、「適用して再起動」ボタンをクリックしてStable Diffusion Web UIを再起動します。
Stable Diffusion Web UIを再起動し、シード値の下にControlNetタブが表示されていることを確認します。
これで、ControlNetのインストールは完了です。
ControlNetに関しては、次の記事で詳しく紹介していますので、是非ご覧ください。
Scribbleモデルデータを導入
ControlNetのインストール後、Scribbleに必要なモデルデータをダウンロードします。
Hugging Face内にControlNetに関するモデルファイルの一覧がありますので、その中からScribbleのモデルファイルをダウンロードします。
SD1.5、SD2.1、SDXLを使う場合は、Scribbleのモデルデータがそれぞれ異なりますので、普段利用しているモデルに合わせてデータをダウンロードしましょう。
SD1.5用ControlNetモデルデータ
https://huggingface.co/comfyanonymous/ControlNet-v1-1_fp16_safetensors/tree/main
SD2.1用ControlNetモデルデータ
https://huggingface.co/thibaud/controlnet-sd21/tree/main
SDXL用ControlNetモデルデータ
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
この記事では、SD1.5とSDXL用Checkpointを使いますので、以下のScribbleデータをダウンロードしています。
- control_v11p_sd15_scribble_fp16
- kohya_controllllite_xl_scribble_anime
ダウンロードしたデータは、「ControlNet」フォルダに移します。
ControlNet Scribbleで線画を抽出する
Stable DiffusionにおけるControlNet Scribbleの基本的な使い方を解説します。
ControlNetのインストールが完了すると、Stable Diffusion Web UIにControlNetのパネルが実装されます。
「◀マーク」をクリックしてパネルを開きます。
線画を抽出したい元画像を読み込み、「有効化」、「Pixel Perfect」、「Allow Preview」、「Scribble」にチェックを入れます。
その後、好きなプリプロセッサと対応するモデルを選択します。
チェックと選択が完了したら、真ん中の「💥ボタン」を押して線画抽出を開始します。
抽出が完了したら、画像の右側に抽出された白黒の線画が表示されます。
ControlNet Scribbleのプリプロセッサの種類
ControlNet Scribbleのプリプロセッサには異なる4つの種類があり、それぞれ抽出の仕方が異なります。
生成結果一覧を参考に、Scribbleで使用するプリプロセッサを選びましょう。
scribble_pidinet
scribble_pidinetは、輪郭部分だけ線画を抽出し、やや粗い線で全体を描き出します。
scribble_xdog
全身が映っている被写体に対して効果的です。
scribble_xdogは、Scribbleのプリプロセッサの中で最も細かい線を抽出し、髪の毛などの細部まで描き出します。
scribble_hed
scribble_hedは、主に輪郭と顔のパーツを詳細に抽出するプリプロセッサです。
invert (from white bg & black line)
invert (from white bg & black line)は、主に手描きの線画など、白背景に黒線の画像を、AIで扱いやすいように黒背景に白線へと変更する機能です。
自身で描いた線画をStable Diffusionで使用する前に、invertで変換することをおすすめします。
Scribbleプリプロセッサのまとめ
Scribbleプリプロセッサでは、抽出される線の細かさは「pidinet < hed < xdog」の順であり、xdogが最も細かい線を抽出します。
全体のバランスを重視する場合や、顔などの細かいパーツに焦点を当てる場合によって、適切なプリプロセッサを使い分けると良いでしょう。
ControlNet Scribbleで線画からイラストを作成してみよう
ControlNet Scribbleを使用して線画からイラストを作成する方法を紹介します。
Scribbleを使えば、線画やラフを利用してイラストに仕上げることができます。
描き出した線画を使う
まずは、先の章で描き出した線画を使ってイラストを作成します。
ControlNetにて、線画を抽出した状態でプロンプトを入力します。線画を抽出した状態とは、ControlNetの右側に線画画像が表示されている状態です。
プロンプト欄には、指定したい色合いなどを入力します。
線画によって塗り方の特徴が異なるので比較してみましょう。
scribble_pidinet
髪型や細部に少しアレンジが加わりますが、体型や全体のレイアウトはそのまま再現されています。
scribble_xdog
Scribbleのプリプロセッサの中では一番線が細かく、髪の毛など細部まで線を抽出します。
scribble_hed
線画に対して最も忠実に書き出しが行われました。
手描きのラフ画から仕上げる
次に、手描きのラフ画をベースにScribbleで画像を生成します。
手順は、描き出した線画を使う方法と同じです。
プリプロセッサによって完成度に違いがあるので、参考にしてみてください。
scribble_pidinet
輪郭と奥行きが再現されていますが、髪型の細部までは認識されていません。
scribble_xdog
首の長さから前髪までしっかりと再現されています。
scribble_hed
線画が少し大雑把で画像はアレンジが加わった印象です。ラフ自体が近景だったのが影響しています。
Scribbleと他の線画抽出系を比較
Stable DiffusionのControlNetの線画抽出機能には、Scribbleの他にCanny、Lineart、SoftEdgeがあります。
どの機能も線画を抽出する機能ですが、抽出の特徴が異なります。実際に、同じ画像から各機能で線画抽出をしてみます。
それぞれの特徴
- Canny：輪郭を細かくはっきりと抽出します。
- Lineart：輪郭をペンで描いたような線画として抽出します。
- SoftEdge：Cannyより柔らかく自然な線を抽出します。
- Scribble：手早くスケッチしたような粗い線で抽出します。
抽出した線画を元に同じプロンプトで色塗りをした画像が下記になります。
Scribbleは、手早く描いたような粗い線で大まかに抽出するため、他の手法に比べて雰囲気を保ちながらも少し違ったイラストになります。手早く描いた手描きの線画をベースにした場合でも、完成度の高い仕上がりになります。
各機能にはそれぞれに特徴があるので、用途や好みに合わせて使い分けることをおすすめします。
ControlNetのScribbleを快適に使うにはピクソロがおすすめ
Stable DiffusionでControlNet Scribbleを使って快適に線画抽出するには、16GB以上のVRAMが搭載されたパソコンが必要です。
そこでおすすめなのがWebブラウザでStable Diffusionが使える「PICSOROBAN（ピクソロ）」です。
コストを抑えたい方へ：今のパソコンのまま使える「PICSOROBAN」
ピクソロのメリット
- すぐ使える：高額PC不要で、ブラウザからすぐに利用可能。必要な分だけポイントを購入できます。
- リーズナブル：30分約60円で利用可能。さらに今なら約2時間分が無料。
- 無制限作成：時間内であれば、何枚でも画像生成可能。短時間でたくさんの作品を生成できます。
PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。
さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント貰えます！
詳しい使い方は下記の記事で紹介しています。
＼約2時間無料で使える！／
Stable Diffusionが快適に使えるおすすめのパソコンやグラボに関しては下記の記事で紹介しています。
ControlNet Scribbleでアートの幅を広げよう
Stable DiffusionでControlNet Scribbleを利用すれば、手早く描いた手描きの線画をベースしても完成度の高い仕上がりになります。
その他のControlNetの機能と使い分けながら創作の幅を広げていきましょう。
