Stable Diffusion inpaintの使い方！画像を部分修正・不要部分を消す方法

2024年5月31日2024年6月5日

Stable Diffusion にはinpaintと呼ばれる画像を変更・修正する機能が搭載されています。

inpaintを使いこなせば、生成ミスなどを部分的に修正することができるので、プロンプトを書き換えたりする手間を減らすことが可能です。

今回は、Stable Diffusion inpaintの使い方を解説します。

Stable Diffusionのinpaintとは？

Stable Diffusionのinpaintとは、img2img内に搭載されている機能です。

inpaintを使うことによって、生成した画像を部分的に変更することができます。

Stable Diffusion では、理想の画像が生成できるまでに何度か生成を繰り返す必要がありますが、 inpaintを使えば気に入らない部分のみを変更できるので、手間や時間を節約することができます。

あわせて読みたい

【Stable Diffusion】img2imgの使い方！画像から画像を生成する方法を解説 Stable Diffusionにはimg2imgと呼ばれる機能があり、この機能を使うと既存の画像を元に新たな画像を生成することができます。この記事ではimg2imgの機能と仕組みを紹介…

Stable Diffusionのinpaintのマスク設定

Stable Diffusion Web UI(AUTOMATIC1111版)のinpaintのマスク設定の詳細をドキュメントを参考に紹介していきます。

マスクのぼかし(Mask blur)

修正部分と元画像の境界部分の値設定。

値が大きいと、境界部分とより自然になじみますが、ぼかしの範囲が広がります。

マスクの方式(Mask mode)

マスクの範囲をinpaint (inpaint masked)	塗りつぶした部分を描きかえる
マスクの範囲以外をinpaint (inpaint not masked)	塗りつぶした部分以外を描きかえる

マスクされたコンテンツ(Masked Content)

inpaint開始前にマスク領域に配置されるコンテンツを決めます。

Stable Diffusion Online — (出典：github.com)

埋める(fil)	塗りつぶした部分を周囲の色を参照に埋める自然と溶け込む様にinpaintしたい時に有効
元の画像(original)	塗りつぶした部分を元の画像のまま保持するそのまま使用してinpaintしたい時に有効
潜在空間でのノイズ(latent noise)	塗りつぶした部分をランダムなノイズで埋める創造的な効果やテクスチャなどを生み出したい時に有効
潜在空間における無(latent nothing)	塗りつぶした部分を空白として扱う新しいオブジェクトや背景を作りたい時に有効

inpaintを行う領域(inpaint area)

画像全体 (whole picture)	画像全体をinpaintの対象にする画像全体を均一にしたい場合に有効
マスクのみ (only masked)	塗りつぶした部分のみをinpaint対象にするマスク部分をより鮮明で高品質に仕上げたい場合に有効
マスクのみ外側の余白 (only masked padding)	「マスクのみ」を選んだ時のオプション塗りつぶした部分の周囲に指定したピクセル数分の余白を追加するより自然に溶け込む様にinpaintしたい時に有効

あわせて読みたい

【画像あり】Stable Diffusionの使い方を初心者向けに解説！ Stable Diffusionを使ってみたい！最近話題のAIを使っての画像生成ですが、何から始めていいのか分からない人や英語表記の多い海外発のサービスを利用するのにとまどっ…

Stable Diffusionのinpaintの使い方

Stable Diffusion Web UI(AUTOMATIC1111版)のinpaintにはさまざまな機能があります。

ここでは基本的な使い方となる画像の変更方法と不要な部分を消す方法を紹介していきます。

画像の一部分を変更・修正する

inpaintを使って画像の一部を変更・修正してみます。

今回は素材画像の「蝶」の部分を「鳥」に変更してみます。

STEP

inpaintに素材を送る

変更・修正したい素材画像を用意してinpaintに送ります。

素材画像を生成した際のモデルとプロンプトを再利用します。

分からない場合は、できるだけ素材画像に近いプロンプトを入力します。

STEP

修正したい部分を塗りつぶす

修正したい部分をブラシで塗りつぶします。

STEP

プロンプトを入力

変更部分「蝶→鳥」をプロンプトに反映して生成を開始します。

パラメーターの設定は、今回はマスクのぼかしを20にし、そのほかの数値はデフォルト値で生成します。

プロンプト

[(masterpiece),((ultra-detailed)), (super-resolution),(expressionless), (best quality:1.2), professional photograph, A high school girl, finds a colorful bird, hurriedly, broadcasts it live, way home from school]

[(傑作)、((超精細))、(超解像)、(無表情)、(最高品質:1.2)、プロ写真、女子高生、カラフルな鳥を見つけて慌てて生中継、帰宅学校から(傑作)、((超精細))、(超解像)、(無表情)、(最高画質:1.2)、プロ写真、女子高生がカラフルな鳥を見つけて慌てて生放送、学校からの帰り道]

ネガティブプロンプト

[(worst quality:2) , (low quality:2) , (normal quality:2) , ugly , missing fingers , bad hands , bad anatomy , monochrome , grayscale , watermark , bad legs , bad arms , mole]

[(最悪の品質:2) 、(低品質:2) 、(通常の品質:2) 、醜い、欠けている指、悪い手、悪い解剖学、モノクロ、グレースケール、透かし、悪い足、悪い腕、ほくろ]

STEP

完成！

「蝶」が「鳥」に変更された画像が生成されました。

画像から不要な部分を消す

Stable Diffusion Web UI(AUTOMATIC1111版)のinpaintを使って画像から不要な部分を消去する方法を紹介します。

STEP

inpaintへ送信

Stable Diffusionのtxt2imgで作成した画像をinpaintへ送信します。

タブの「PNG内の情報を表示」からinpaintに転送をクリックすればプロンプトごと転送されます。

STEP

消したい部分を塗りつぶす

今回は、素材画像からモニター横のデスクPC本体を消してます。

消したい対象の部分をブラシで塗りつぶします。

プロンプトから「computer」を削除して、ネガティブプロンプトに「computer」を入力します。

プロンプト

[(masterpiece, raw photo, ultra quality), absurdres, (photo realistic:2), high detail raw color photo,skiny skin, professional photograph, japanese girl, 20 year old, long t-shirt, pajamas, fair skin, deep photo,dark brown straight long hair, perfect face and body, gaming-room, gaming chair, monitor, playing games, headphones, on chair, game controller, holding game controller, from side]

ネガティブプロンプト
[worst quality, low quality, illustration, 3d, 2d, painting, computer, cartoons, sketch, close-up,portrait]

STEP

設定を調整して生成

シード値は-1に指定します。シード値が固定されていると同じ画像が生成されてしまうので、最初は-1（ランダム）に設定します。

ノイズ除去強度は、数値が小さいほど元画像に近い画像が生成され、大きいほど元画像とは離れた画像が生成されます。

ノイズ除去強度は、最初はデフォルト値で始めて、生成結果に応じて調整していくのがおすすめです。

STEP

完成！

無事、モニター横のデスクPC本体が消えた画像が生成されました。

ノイズ除去強度については次の記事で詳しく紹介しています。

あわせて読みたい

Stable Diffusionのinpaintの例

Stable Diffusion Web UI(AUTOMATIC1111版)のinpaintの他の例を紹介します。

inpaintでできる事

服装、髪型などパーツだけを変更できる
手の形や口の開け閉めなど細かい差分が生成できる
プロンプトで制御が効きにくい内容を直感的に変更できる

先述した使い方の応用で、次の素材画像の細部のパーツを変更してみます。

基本の手順は同じで、変更したい部分を塗りつぶしてプロンプトを付け加えます。

髪型を変更する

画像の髪の部分を塗りつぶして、プロンプトを「silver hair」に変更して生成します。

髪色に合わせてヘッドホンの色まで自動で変わりました。

プロンプト

[(masterpiece, raw photo, ultra quality), absurdres, (photo realistic:2), high detail raw color photo,skiny skin, professional photograph, japanese girl, 20 year old, long t-shirt, pajamas, fair skin, deep photo,silver hair, perfect face and body, gaming-room, gaming chair, monitor, playing games, headphones, on chair, game controller, holding game controller, from side]

ネガティブプロンプト
[worst quality, low quality, illustration, 3d, 2d, painting, computer, cartoons, sketch, close-up,portrait]

服のデザインを変更する

服のデザインを変更します。服のロゴ部分を塗りつぶして、ペンギンデザインのTシャツを着るようプロンプトを変更します。

ネガティブプロンプトには、テキストとロゴが出現しないようにプロンプトに加えます。

プロンプト

[(masterpiece, raw photo, ultra quality), absurdres, (photo realistic:2), high detail raw color photo,skiny skin, professional photograph, japanese girl, 20 year old, (wearing T-shirt with an anime penguin printed on:2), pajamas, fair skin, deep photo,silver hair, perfect face and body, gaming-room, gaming chair, monitor, playing games, headphones, on chair, game controller, holding game controller, from side]

ネガティブプロンプト
[worst quality, low quality, illustration, 3d, 2d, painting, computer, cartoons, sketch, close-up, portrait , text , mark , logo]

目の周囲を変更する

眼鏡をかけたスタイルに変更します。

目の周りを大きめに塗りつぶして眼鏡をかけるプロンプトを追加します。

プロンプト

[wear glasses]

ネガティブプロンプト
[worst quality, low quality, illustration, 3d, 2d, painting, computer, cartoons, ugly ,bad eye ,sketch, close-up, portrait , text , mark , logo]

inpaintでの生成は、プロンプトや設定値の変更を何度か試行を繰り返すことになり、完成までに時間がかかることがあります。
その場合は、思い切ってプロンプトを変更したり、強調構文を利用するのがおすすめです。

あわせて読みたい