Stable DiffusionではLoRAを利用することで、人物を固定したり、プロンプトでは表現が難しい画像を生成したりすることができます。
この記事では、Stable DiffusionのLoRAの特徴と使い方を詳しく解説していきます。
LoRAはStable Diffusionの追加学習データ
LoRAとは「Low-Rank Adaptation」の略で、日本語に訳すと「低ランク最適化」などになります。
LoRAはAIが学習するのにかかる時間を大幅に削減できる方法として、Stable Diffusionなどの画像生成ツールで活用されています。
Stable DiffusionにおけるLoRAは、簡単に言うとモデル(checkpoint)に対しての追加学習データです。
LoRAを利用することで、画像生成に独自のコンセプトを加えることが可能となります。
LoRAはモデルに対しての追加学習データですので、必ず対応するモデルとセットで利用する必要があります。
- プロンプトで表現が難しい画像を生成できる
- 簡単なプロンプトで高品質な画像が生成できる
- 人物・画風・特徴などを指定して画像を生成できる
プロンプトで表現が難しい画像を生成できる
Stable DiffusionでLoRAを使うと、通常のプロンプトでは表現が難しい細部のデザインなどを具体的に再現することができます。
例えば、フリルのある着物のような細かいデザインは、Stable Diffusionでプロンプトを使用するだけでは表現が難しいですが、専用のLoRAを使用すると簡単に再現することができます。
簡単なプロンプトで高品質な画像生成
Stable DiffusionでLoRAを使用すれば、プロンプトに詳細を記述する必要なく、高品質な画像を生成できます。
例えば、Stable Diffusionで美しい背景を学習したLoRAを使用すると、詳細を省略したプロンプトで高品質な背景を再現することができます。
人物・画風・特徴などを指定して画像を生成できる
Stable DiffusionでLoRAを使用すれば、人物・画風・特徴などを指定して画像を生成できます。
例えば、特定のポーズを学習したLoRAを使用することで、同じポーズの画像を生成することができます。
また、Stable Diffusionでは特定の人物を学習したLoRAを使用することで、その人物を忠実に再現した画像を生成することも可能です。
Stable Diffusion LoRAの配布元
Stable DiffusionのLoRAは、モデルと同様にファイル形式で扱われ、次の2サイトで配布しています。
- Civitai
- Hugging Face
Hugging Faceは、グラフィックを確認しながらLoRAを探すことができないので、Stable Diffusionで具体的に使いたいLoRAが決まっていない場合は、Civitaiで探すことをおすすめします。
Civitai
Civitaiは、Stable Diffusionで生成された作品やモデルを共有できるプラットフォームです。
公開されているデータはダウンロードして、Stable Diffusionのトレーニングやカスタマイズに使用できます。
LoRAファイルのダウンロード方法
気になるLoRAをクリックして詳細ページからデータ「.safetensorsファイル」をダウンロードします。
Stable Diffusion Web UIを「models」>「Lora」の順で開き、先ほどダウンロードした「○○.safetensors」ファイルを配置すれば完了です。
Hugging Face
Hugging Faceは、AIや機械学習に特化したGitHubのようなサービスサイトです。
実行環境や改善提案を共有することもできる技術者向けの作りになっており、Stable Diffusion関連の内容も充実しています。
LoRAファイルのダウンロード方法
ダウンロードボタンから「.safetensorsファイル」をダウンロードします。
Stable Diffusion Web UIを「models」>「Lora」の順で開き、先ほどダウンロードした「○○.safetensors」ファイルを配置すれば完了です。
Stable Diffusion用おすすめLoRA
ここからはStable Diffusion用のおすすめLoRAを紹介していきます。
- 画風のLoRA
- 人物のLoRA
- ポーズのLoRA
- パーツのLoRA（服装など）
- 背景のLoRA
アニメ/イラスト系LoRA
绪儿-月亮女巫 Moon witch
「绪儿-月亮女巫 Moon witch」は、幻想的な月を背景に魔女の立ち絵を生成してくれるLoRAです。
さっそくStable Diffusionで画像を生成してみました。
[<LoRA:Moon Witch_20230831151742:0.8>Moon Witch, 1girl, black hair, white fluffy magic robe, witch hat, Witch gown, jewelry, high heels, cleavage, earrings, bracelet, bare shoulders, white thighhighs, perfect face, perfect eyes, HD details, high details, sharp focus, studio photo, HD makeup]
ネガティブプロンプト
[(worst quality:2) , (low quality:2) , (normal quality:2) , ugly , missing fingers , bad hands , bad anatomy , monochrome , grayscale , watermark , bad legs , bad arms , mole]
costume cute kimono
「costume cute kimono」は、フリルが付いた可愛い着物を生成してくれるLoRAです。
Stable Diffusionでcostume cute kimonoを使うとこのような画像を生成できます。
[<lora:cute_kimono_N_V1_1:1>(masterpiece),((ultra-detailed)), (highly detailed CG illustration),(smile), (best quality:1.2) , 1girl, solo, anime, perfect face, Portrait, sidelighting, lustrous skin,sapphire blue eyes,((yellow hair color:1.5)), (shine), lighting, ray tracing, ultra-detailed,highly detailed,best quality,realistic,photorealistic, an extremely cute and beautiful girl,Japanese kimono with colorful print,frills, japanese clothes, hair flower,wide sleeves, white thighhighs, zettai ryouiki, floral print, skirt,detached sleeves,Japanese style room]
ネガティブプロンプト
[missing fingers , bad hands , bad anatomy , monochrome , grayscale , watermark , bad legs , bad arms , molebad hands ,(deformed, distorted, disfigured:1.3), ugly, noisy, blurry, (worst quality, low quality, normal quality, bad quality:1.4) , close up, zoomed in,cartoon, ((disfigured)), ((bad art)), ((deformed)), ((poorly drawn)), ((extra limbs)), ((close up)), ((b&w)), weird colors]
スケッチ/アート系LoRA
Pixel Portrait
「Pixel Portrait」は、ピクセルアートをポートレートの構図で学習したLoRAです。
Stable Diffusionでアートモデル（Art Masters + Sketch School）と組み合わせて羊の絵を生成しました。
[<LoRA:svportrait64-v1:1>1sheep, oil painting, fantasy art, portrait, Warm tone, Nostalgic, Dramatic lighting]
ネガティブプロンプト
[masterpiece,best quality,ultra detailed,cartoon]
Artista Watercolor
「Artista Watercolor」は、Stable Diffusionで水彩のエフェクトを背景に含めてくれるLoRAです。
アートの画風以外にも背景の水しぶきなどに利用できます。
[<lora:Artista Watercolor V6:1> (masterpiece),((ultra-detailed)), (highly detailed CG illustration),(smile), (best quality:1.2), wat3rc0l0r ,sidelighting, lustrous skin, lighting, ray tracing,wc_abstract, wc_soft_washes, wc_wet-on-wet, wc_color_drip, 1girl, Goth girl, gothicstyle, goth makeup, beautiful eyes, bright colors, high contrast, vivid lighting, rating_safe, BREAK, sapphire blue eyes, two tone hair (black and white)]
ネガティブプロンプト
[(worst quality, low quality, blurry:1.66), (bad hand:1.4), watermark, (greyscale:0.88), multiple limbs, (deformed fingers, bad fingers:1.2), (ugly:1.3), monochrome, horror, geometry, bad anatomy, bad limbs, (Blurry pupil), (bad shading), error, bad composition, Extra fingers, strange fingers, Extra ears, extra leg, bad leg, disability, Blurry eyes, bad eyes, Twisted body, confusion, (bad legs:1.3)]
Stable DiffusionでのLoRAの使い方
Stable DiffusionでLoRAを適用するには、ページ下部の「LoRA」タブから使用するLoRAファイルを選択するだけです。
ファイルを選択するとプロンプトにLoRAタグが表示されます。
< LoRAファイルネーム:1>が自動入力されているのを確認します。
「：1」の部分はLoRAを適用する強度で、強めたい場合は数値を高く入力します。
Stable DiffusionのLoRAをもっと快適に使うには？
Stable DiffusionのLoRAを使用して画像を生成する際、一度で理想通りの結果を得るのは難しいです。
GPUのスペックが足りていないと、Stable Diffusionで望み通りの画像を得るのに時間がかかってしまいます。
効率的にStable DiffusionのLoRAを利用するには、16GB以上のVRAMが搭載されたパソコンをおすすめします。
2024年6月現在、ラインナップでおすすめのパソコンはこちらです。
Stable Diffusionが快適に使えるスペックを持つおすすめのパソコンやグラボ関しては下記の記事で詳しく紹介していますので、ぜひ合わせてご覧ください。
【おすすめ！】クラウドGPUでコストを抑えて快適に利用
コストを抑えたいと考えている方におすすめは、クラウドGPUです。
クラウドGPUとは、インターネット上で高性能なパソコンを借りるようなものです。
GPUSOROBAN
GPUSOROBANは、高性能なGPU「NVIDIA A4000 16GB」を業界最安値の1時間50円で使用することができます。
さらに、クラウドGPUを利用しない時は停止にしておくことで、停止中の料金はかかりません。
クラウドGPUを使えばいつでもStable Diffusionの性能をフルに引き出すことができるので、理想の環境に近づけることができます。
＼快適に生成AI！1時間50円～／
Stable DiffusionでLoRAを使いこなして楽しもう！
Stable Diffusionは、LoRA使いこなすことで画像生成の幅を広げることができます。
クラウドGPUを使えば、LoRAを使用した画像生成を何度でも行うことができ、いつでもすぐに使用できるため便利です。
