Stable DiffusionのVAEとは?使い方や拡張機能について解説!

Stable DiffusionのVAEとは?使い方や拡張機能について解説!

Stable Diffusion VAEは、プロンプトでコントロールできない画像品質の調整を行うツールです。

Stable Diffusionで画像生成を行うと画像のくすみや彩度が低く仕上がってしまう事が起きますが、VAEを利用することで、画像の品質を向上させることができます。

この記事ではStable DiffusionのVAE導入方法と使い方、おすすめのVAEを紹介していきます。

ブラウザで使えるStable Diffusion!

目次

Stable DiffusionのVAEとは

VAEあり・なし

Stable Diffusionの「VAE(ブイエーイー)」とはVariational Auto-Encoderの略で、画像生成モデルに属する補助ツールの一種です。

VAEは様々な種類があり、クリア質感、彩度や色味など、それぞれに違いがあります。

Stable DiffusionにVAEを導入することによって画像の質が向上します。

Stable DiffusionにVAEを導入するメリット

Stable DiffusionにVAEを導入するメリットは、大きく3つあります。

VAEを導入するメリット
  • 鮮明度が上がり、画像の劣化が軽減される効果があります。
  • 細かい描写や装飾などのパーツが補正されます。
  • 肌の色みや光彩のバランスを取ってくれます。

VAEは多くのメリットをもたらすので、Stable Diffusionで積極的に活用していくのがおすすめです。

Stable DiffusionおすすめのVAE

AIイラストネモフィラと美少女

ここからはStable DiffusionのおすすめのVAEを紹介していきます。

注意したいのは、一つのVAEファイルが全てに対応している訳ではなく、Stable Diffusionのモデルごとに相性があるということです。

Stable Diffusion各モデル専用のVAEもあるので、新しく導入する時はそのモデルに対応したVAEの有無を確認しましょう。

リアル系におすすめのStable Diffusion VAE

vae-ft-mse-840000-ema-pruned

vae-ft-mse-840000-ema-pruned
vae-ft-mse-840000-ema-pruned使用

「vae-ft-mse-840000-ema-pruned」は、Stability AI社で公開しているデフォルトのVAEです。

実写系でもイラスト系でも対応ができ、様々なモデルに対して汎用性が高いのが特徴です。

ダウンロードURL:
vae-ft-mse-840000-ema-pruned

Mangled Merge VAE

Mangled Merge VAE
Mangled Merge VAE使用

「Mangled Merge VAE」は、コントラストを強く引き出すVAEです。

人物の存在感を強くしたいときに利用するのがおすすめです。

ダウンロードURL:
Mangled Merge VAE

アニメ・イラスト系におすすめのStable Diffusion VAE

Counterfeit-V2.5

Counterfeit-V2.5
Counterfeit-V2.5使用

「Counterfeit-V2.5」は、モデル・Counterfeit-V3.0専用に作られたVAEです。

アニメ系のイラストや背景画像を高品質に仕上げることができます。

専用に作られたVAEは適用するのとしないのとでは大きな差があるので、積極的に利用しましょう。

ダウンロードURL:
Counterfeit-V2.5

Clear VAE

clearVAE
Clear VAE使用

「Clear VAE」は、アニメ系のモデル向けて設計された汎用性があるVAEです。

鮮やかさと光彩が強くなる特徴があります。

ダウンロードURL:
Clear VAE

Stable Diffusion VAEのダウンロード方法

Stable Diffusion VAEファイルは、HuggingFaceとCivitaiのサイトからダウンロードします。

モデルと同じ場所にVAEファイルがセットで配布されていることもあるので、見逃さずにダウンロードしておきましょう。

VAEダウンロード方法

Stable Diffusion VAEの使い方

画像生成AIのイメージ

Stable Diffusion VAEの使い方は、モデルと同じようにドロップダウンメニューで切り替えるだけなので簡単です。

SDXLをベースにしたモデルでVAEを使う場合には、SDXL専用のVAE以外は互換性が無いため注意が必要です。

モデルとVAEのバージョンを必ず合わせるように確認してください。

バージョンが合っていなくても生成は可能ですが、色や形が崩壊してしまいますので注意しましょう。

Stable Diffusion VAEの入れ方

HuggingFaceとCivitaiからVAEをダウンロードしてStable Diffusionに入れる方法を紹介します。

HuggingFaceからVAEファイルをダウンロード

STEP
HuggingFaceでVAEを検索

HuggingFaceの検索窓からVAEファイル名を検索します。

huggingface1
(出典:huggingface.co)
STEP
「.safetensors」ファイルをダウンロード

Files and versionsタブから「.safetensors」ファイルをダウンロードします。

huggingface
(出典:huggingface.co)
STEP
VAEフォルダに入れる

ダウンロードしたファイルを「stable-diffusionwebui」>「models」>「VAE」に入れます。

フォルダ構成

CivitaiからVAEファイルをダウンロード

STEP
CivitaiでVAEを検索

Civitaiの左のメニューからVAEのファイルをフィルターにかけて探します。

civitai
(出典:civitai.com)
STEP
VAEをダウンロード

名ページに移動してボタンからVAEファイルをダウンロードします。

civitai
(出典:civitai.com)
STEP
VAEフォルダに入れる

ダウンロードしたファイルを「stable-diffusionwebui」>「models」>「VAE」に入れます。

フォルダ構成

Stable Diffusion VAEの設定と切り替え方

Stable DiffusionでVAEファイルの設定は、設定タブから左のメニュー欄の「VAE」の項目から指定します。

VAE設定
この画面は日本語設定です。

※ここでは設定の保存や再読み込みは必要ありません。

VAEは、モデルを変更するごとに適したVAEファイルを毎回指定しなければいけません。

そこで、VAEのドロップダウンメニューをTOP画面に持ってくる便利な機能があります。

左側のメニューから「User Interface(ユーザーインターフェース)」を選択します。

VAE設定
この画面は日本語設定です。

[info] クイック設定の項目から「sd_vae」を追加します。

「設定を適用」のボタンを押して、「UIの再読み込み」をすれば完了です。

VAE設定

日本語化の方法はこちら!

Stable Diffusion VAEの拡張機能

注意を促す見出し画像

Stable Diffusionには、スケールアップや高精細化ができる拡張機能「Tiled Diffusion with Tiled VAE」があります。

低スペックのPCでも高解像度の画像を生成できる上に、描写を細かく調整できるパラメータが設定できます。

アップスケールには大容量のVRAMが必要で、生成途中でエラーになって停止してしまうことがあります。

Tiled Diffusionは、安定して高解像度化してくれる便利な機能で、VAEも併せて起動してくれます。

下記の手順から拡張機能に追加しておきましょう。

STEP
URLからインストール

TOPページの「拡張機能タブ」から「URLからインストール」を選択します。

https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111」を入力してデータをダウンロードします。

Tiled-Diffusion
この画面は日本語設定です。
STEP
Tiled Diffusionが表示されていれば完了

ダウンロードが完了したらStable DiffusionWebUIを再起動します。

TOP画面のシードの下にTiled Diffusionが表示されていれば完了です。

Tiled-Diffusion
この画面は日本語設定です。

Stable Diffusionを快適に利用するには?

光のイメージの見出し画像

Stable Diffusionの推奨環境はメモリは16GB以上、GPUメモリ(VRAM)が16GB以上となっています。

Stable Diffusionで画像生成をしているうちに少し遅く感じた場合は、グラボの見直しやピクソロを利用することで快適に利用ができます。

おすすめのグラボに関しては次の記事で紹介しているので是非参考にしてみて下さい。

もっと手軽に利用したい場合は、ピクソロの利用がおすすめです!

ブラウザで簡単!ピクソロ!

PICSOROBANトップ

PICSOROBANは、インストールの必要なくブラウザで簡単にStable Diffusionを利用できます。

さらに、今ならリリースキャンペーンとして無料会員登録するだけで、2,000ポイント(約2時間分)貰えます!

詳しい使い方は下記の記事で紹介しています。

\今なら約2時間無料で使える!/

VAEを使ってStable Diffusionでワンランク上の画像生成!

VAEはStable Diffusionを利用する上で重要な機能の一つです。

VAEを使ってよりクリアな画像を生成するには、推奨環境より少し上のGPUパワーが必要になります。

今まで画像生成してきて少し遅く感じたり、パソコンの調子が落ちてきた時はオンラインで使えるピクソロがおすすめです。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
EdgeHUBロゴ

メールマガジン登録

Stable Diffusion・LLM・RAGに関する最新情報をいち早くお届けします。

無料メルマガの配信をご希望の方は、下記フォームよりご登録ください。

    EdgeHUB編集部からのお知らせ

    無料ウェビナーのお知らせ

    11/27ウェビナー

    RAG×日本語LLMの無料オンラインウェビナー第2弾!

    開催日時:
    2024年11月27日(水) 14:00~15:00

    内容:

    • 「LlamaIndex」と「Llama-3.1-Swallow」でRAG環境を構築
    • 生成AI開発の強い味方「GPUSOROBAN」の活用方法

    このウェビナーでは、オープンソース「LlamaIndex」で構築したRAGの使い方や、デモを紹介します。

    生成AIに関心のある方、AI技術をビジネスに活かしたい方は、ぜひこの貴重な機会にご参加ください!

    こんな方におすすめ!

    • 日本語LLMの利用を検討している方
    • AI開発に携わっている方
    • 最新のAI技術やトレンドに興味がある方
    • GPUスペック不足に悩んでいる方

    \簡単1分で申し込み!/

    この記事を書いた人

    EdgeHUBは、NVIDIAクラウドパートナーである株式会社ハイレゾが運営しています。「AIと共にある未来へ繋ぐ」をテーマに、画像生成AI、文章生成AI、動画生成AI、機械学習・LLM、Stable Diffusionなど、最先端の生成AI技術の使い方をわかりやすく紹介します。

    目次