Stable Diffusion LoRAの使い方!おすすめもご紹介します

Stable DiffusionではLoRAを利用することで、人物を固定したり、プロンプトでは表現が難しい画像を生成したりすることができます。

この記事では、Stable DiffusionのLoRAの特徴と使い方を詳しく解説していきます。

目次

LoRAはStable Diffusionの追加学習データ

AIイラストネモフィラと美少女

LoRAとは「Low-Rank Adaptation」の略で、日本語に訳すと「低ランク最適化」などになります。

LoRAはAIが学習するのにかかる時間を大幅に削減できる方法として、Stable Diffusionなどの画像生成ツールで活用されています。

Stable DiffusionにおけるLoRAは、簡単に言うとモデル(checkpoint)に対しての追加学習データです。

LoRAを利用することで、画像生成に独自のコンセプトを加えることが可能となります。

LoRAはモデルに対しての追加学習データですので、必ず対応するモデルとセットで利用する必要があります。

LoRAを使うメリット
  • プロンプトで表現が難しい画像を生成できる
  • 簡単なプロンプトで高品質な画像が生成できる
  • 人物・画風・特徴などを指定して画像を生成できる

プロンプトで表現が難しい画像を生成できる

Stable DiffusionでLoRAを使うと、通常のプロンプトでは表現が難しい細部のデザインなどを具体的に再現することができます。

例えば、フリルのある着物のような細かいデザインは、Stable Diffusionでプロンプトを使用するだけでは表現が難しいですが、専用のLoRAを使用すると簡単に再現することができます。

costume_cute_kimono
LoRA:costume cute kimono使用

簡単なプロンプトで高品質な画像生成

Stable DiffusionでLoRAを使用すれば、プロンプトに詳細を記述する必要なく、高品質な画像を生成できます。

例えば、Stable Diffusionで美しい背景を学習したLoRAを使用すると、詳細を省略したプロンプトで高品質な背景を再現することができます。

绪儿-水乡场景 Water town scene
LoRA:绪儿-水乡场景 Water town scene使用

人物・画風・特徴などを指定して画像を生成できる

Stable DiffusionでLoRAを使用すれば、人物・画風・特徴などを指定して画像を生成できます。

例えば、特定のポーズを学習したLoRAを使用することで、同じポーズの画像を生成することができます。

お嬢様ポーズ
LoRA:お嬢様ポーズ使用
お嬢様ポーズ
LoRA:お嬢様ポーズ使用

また、Stable Diffusionでは特定の人物を学習したLoRAを使用することで、その人物を忠実に再現した画像を生成することも可能です。

Stable Diffusion LoRAの配布元

注意を促す見出し画像

Stable DiffusionのLoRAは、モデルと同様にファイル形式で扱われ、次の2サイトで配布しています。

  • Civitai
  • Hugging Face

Hugging Faceは、グラフィックを確認しながらLoRAを探すことができないので、Stable Diffusionで具体的に使いたいLoRAが決まっていない場合は、Civitaiで探すことをおすすめします。

Civitai

Civitaiは、Stable Diffusionで生成された作品やモデルを共有できるプラットフォームです。

公開されているデータはダウンロードして、Stable Diffusionのトレーニングやカスタマイズに使用できます。

LoRAファイルのダウンロード方法

STEP
CivitaiのLoRAページへアクセス

CivitaiのLoRAページにアクセスします。

civitai
(出典:civitai.com)
STEP
LoRAをダウンロードする

気になるLoRAをクリックして詳細ページからデータ「.safetensorsファイル」をダウンロードします。

civitai
(出典:civitai.com)
STEP
Stable DiffusionにLoRAファイルに入れる

Stable Diffusion Web UIを「models」>「Lora」の順で開き、先ほどダウンロードした「○○.safetensors」ファイルを配置すれば完了です。

Stable Diffusion Web UI

Hugging Face

Hugging Faceは、AIや機械学習に特化したGitHubのようなサービスサイトです。

実行環境や改善提案を共有することもできる技術者向けの作りになっており、Stable Diffusion関連の内容も充実しています。

LoRAファイルのダウンロード方法

STEP
Hugging FaceのLoRAページへアクセス

Hugging FaceのLoRAページにアクセスします。

テキスト群の中から気になるLoRAをクリックしてダウンロードページに進みます。

huggingface
(出典:huggingface.co)
STEP
LoRAをダウンロードする

ダウンロードボタンから「.safetensorsファイル」をダウンロードします。

huggingface
(出典:huggingface.co)
STEP
Stable DiffusionにLoRAファイルに入れる

Stable Diffusion Web UIを「models」>「Lora」の順で開き、先ほどダウンロードした「○○.safetensors」ファイルを配置すれば完了です。

Stable Diffusion Web UI

Stable Diffusion用おすすめLoRA

AIイラスト美少女

ここからはStable Diffusion用のおすすめLoRAを紹介していきます。

Stable Diffusion LoRAの主な種類
  • 画風のLoRA
  • 人物のLoRA
  • ポーズのLoRA
  • パーツのLoRA(服装など)
  • 背景のLoRA

アニメ/イラスト系LoRA

绪儿-月亮女巫 Moon witch

「绪儿-月亮女巫 Moon witch」は、幻想的な月を背景に魔女の立ち絵を生成してくれるLoRAです。

さっそくStable Diffusionで画像を生成してみました。

LoRA画像(绪儿-月亮女巫 Moon witch)
プロンプト

[<LoRA:Moon Witch_20230831151742:0.8>Moon Witch, 1girl, black hair, white fluffy magic robe, witch hat, Witch gown, jewelry, high heels, cleavage, earrings, bracelet, bare shoulders, white thighhighs, perfect face, perfect eyes, HD details, high details, sharp focus, studio photo, HD makeup]

ネガティブプロンプト
[(worst quality:2) , (low quality:2) , (normal quality:2) , ugly , missing fingers , bad hands , bad anatomy , monochrome , grayscale , watermark , bad legs , bad arms , mole]

绪儿-月亮女巫 Moon witch
https://civitai.com/models/138191/moon-witch

costume cute kimono

「costume cute kimono」は、フリルが付いた可愛い着物を生成してくれるLoRAです。

Stable Diffusionでcostume cute kimonoを使うとこのような画像を生成できます。

costume cute kimono
プロンプト

[<lora:cute_kimono_N_V1_1:1>(masterpiece),((ultra-detailed)), (highly detailed CG illustration),(smile), (best quality:1.2) , 1girl, solo, anime, perfect face, Portrait, sidelighting, lustrous skin,sapphire blue eyes,((yellow hair color:1.5)), (shine), lighting, ray tracing, ultra-detailed,highly detailed,best quality,realistic,photorealistic, an extremely cute and beautiful girl,Japanese kimono with colorful print,frills, japanese clothes, hair flower,wide sleeves, white thighhighs, zettai ryouiki, floral print, skirt,detached sleeves,Japanese style room]

ネガティブプロンプト
[missing fingers , bad hands , bad anatomy , monochrome , grayscale , watermark , bad legs , bad arms , molebad hands ,(deformed, distorted, disfigured:1.3), ugly, noisy, blurry, (worst quality, low quality, normal quality, bad quality:1.4) , close up, zoomed in,cartoon, ((disfigured)), ((bad art)), ((deformed)), ((poorly drawn)), ((extra limbs)), ((close up)), ((b&w)), weird colors]

costume cute kimono
https://civitai.com/models/243292/costume-cute-kimono

スケッチ/アート系LoRA

Pixel Portrait

「Pixel Portrait」は、ピクセルアートをポートレートの構図で学習したLoRAです。

LoRA画像(Pixel Portrait)

Stable Diffusionでアートモデル(Art Masters + Sketch School)と組み合わせて羊の絵を生成しました。

プロンプト

[<LoRA:svportrait64-v1:1>1sheep, oil painting, fantasy art, portrait, Warm tone, Nostalgic, Dramatic lighting]

ネガティブプロンプト
[masterpiece,best quality,ultra detailed,cartoon]

Pixel Portrait
https://civitai.com/models/111793/pixel-portrait

Artista Watercolor

「Artista Watercolor」は、Stable Diffusionで水彩のエフェクトを背景に含めてくれるLoRAです。

アートの画風以外にも背景の水しぶきなどに利用できます。

Artista Watercolor
プロンプト

[<lora:Artista Watercolor V6:1> (masterpiece),((ultra-detailed)), (highly detailed CG illustration),(smile), (best quality:1.2), wat3rc0l0r ,sidelighting, lustrous skin, lighting, ray tracing,wc_abstract, wc_soft_washes, wc_wet-on-wet, wc_color_drip, 1girl, Goth girl, gothicstyle, goth makeup, beautiful eyes, bright colors, high contrast, vivid lighting, rating_safe, BREAK, sapphire blue eyes, two tone hair (black and white)]

ネガティブプロンプト
[(worst quality, low quality, blurry:1.66), (bad hand:1.4), watermark, (greyscale:0.88), multiple limbs, (deformed fingers, bad fingers:1.2), (ugly:1.3), monochrome, horror, geometry, bad anatomy, bad limbs, (Blurry pupil), (bad shading), error, bad composition, Extra fingers, strange fingers, Extra ears, extra leg, bad leg, disability, Blurry eyes, bad eyes, Twisted body, confusion, (bad legs:1.3)]

Artista Watercolor
https://civitai.com/models/354568/artista-watercolor

Stable DiffusionでのLoRAの使い方

Stable DiffusionでLoRAを適用するには、ページ下部の「LoRA」タブから使用するLoRAファイルを選択するだけです。

ファイルを選択するとプロンプトにLoRAタグが表示されます。

Stable Diffusion Web UI

< LoRAファイルネーム:1>が自動入力されているのを確認します。

「:1」の部分はLoRAを適用する強度で、強めたい場合は数値を高く入力します。

Stable DiffusionでLoRAが反映しない時に確認するポイント
LoRAはモデルに対しての追加学習データですので、必ず対応するモデルとセットで利用しましょう!

Stable DiffusionのLoRAをもっと快適に使うには?

快適のイメージ見出し画像

Stable DiffusionのLoRAを使用して画像を生成する際、一度で理想通りの結果を得るのは難しいです。

GPUのスペックが足りていないと、Stable Diffusionで望み通りの画像を得るのに時間がかかってしまいます。

効率的にStable DiffusionのLoRAを利用するには、16GB以上のVRAMが搭載されたパソコンをおすすめします。

2024年7月現在、ラインナップでおすすめのパソコンはこちらです。

Stable Diffusionが快適に使えるスペックを持つおすすめのパソコンやグラボ関しては下記の記事で詳しく紹介していますので、ぜひ合わせてご覧ください。

【おすすめ!】クラウドGPUでコストを抑えて快適に利用

コストを抑えたいと考えている方におすすめは、クラウドGPUです。

クラウドGPUとは、インターネット上で高性能なパソコンを借りるようなものです。

GPUSOROBAN

GPUSOROBAN

GPUSOROBANは、高性能なGPU「NVIDIA A4000 16GB」を業界最安値の1時間50円で使用することができます。

さらに、クラウドGPUを利用しない時は停止にしておくことで、停止中の料金はかかりません。

クラウドGPUを使えばいつでもStable Diffusionの性能をフルに引き出すことができるので、理想の環境に近づけることができます。

\快適に生成AI!1時間50円~/

Stable DiffusionでLoRAを使いこなして楽しもう!

Stable Diffusionは、LoRA使いこなすことで画像生成の幅を広げることができます。

クラウドGPUを使えば、LoRAを使用した画像生成を何度でも行うことができ、いつでもすぐに使用できるため便利です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
EdgeHUB編集部からのお知らせ

無料ウェビナーのお知らせ

ソフトバンクSarashinaウェビナー

日本語LLM「Sarashina」& OCR機能「Phi-3 Vision」の 無料オンラインウェビナー!

開催日時:
2024年7月24日(水) 14:00~15:00

内容:

  • 「Sarashina」や「Phi-3 Vision」の概要と使い方の紹介
  • 生成AI開発の強い味方「GPUSOROBAN」の活用方法

このウェビナーでは、ソフトバンクの日本語の強いの大規模言語モデル「Sarashina」の使い方や、実際にどのように使えるかを具体的に紹介します。

また、画像からテキストを抽出するOCR機能を簡単に作成できる「Phi-3 Vision」の使い方もデモを交えてお見せします。

生成AIに関心のある方、AI技術をビジネスに活かしたい方は、ぜひこの貴重な機会にご参加ください!

こんな方におすすめ!

  • 最新のAI技術やトレンドに興味がある方
  • AI開発に携わっている方
  • 生成AIの実用的な活用方法を学びたい方
  • 新しいツールや技術を積極的に取り入れたい方

\参加申し込みはこちら!/

この記事を書いた人

EdgeHUBは、NVIDIAクラウドパートナーである株式会社ハイレゾが運営しています。「AIと共にある未来へ繋ぐ」をテーマに、画像生成AI、文章生成AI、動画生成AI、機械学習・LLM、Stable Diffusionなど、最先端の生成AI技術の使い方をわかりやすく紹介します。

目次