ComfyUIでは、Stable Diffusion Web UIと違い、独特なControlNetの使い方ができます。
独創性が高い生成AI画像を目指す方は、ComfyUIでのControlNetの使い方をマスターするのがおすすめです。
ComfyUIとは？
ComfyUIとは、Stable Diffusionなどの画像生成AIモデルを視覚的に簡単に操作するためのツールです。
ノードベースのワークフローを利用し、画像生成をビジュアル的に設定・管理できるように設計されています。
生成のプロセスやステップを細かく制御したり、カスタマイズしたりしたいユーザーにとって非常に便利なツールです。
ComfyUIでのControlNetの基本的な使い方
ControlNetは、素材画像のデータを書き出して制御を加え、新たな画像を生成するツールの総称です。
ComfyUIでは、Stable Diffusion Web UIとは異なり、ControlNetワークフローを利用して画像の生成過程に組み込みます。
初めは、ComfyUI公式のControlNetワークフローを使って慣れていくとよいでしょう。
まずは、ControlNetで利用する機能のモデルデータを入手します。
Hugging Faceの公式ページ、またはComfyUI-ManagerのModel Managerからダウンロードしたモデルデータを「ComfyUI」＞「models」「controlnet」に移します。
今回はControlNet cannyを使ってComfyUIで画像を生成します。
OpenArtで配布されているワークフローファイルをダウンロードし、ComfyUIにドラッグ＆ドロップで読み込みます。
今回はSD1.5のControlNet cannyモデルを使うので、SD1.5用のチェックポイントを設定し、Cannyの線画を抽出する素材の画像を読み込みます。
線画に対する色合いやイメージをプロンプトに入力して生成を開始します。
今回は、抽出された線画に対してファンタジー要素を加えて書き出してみました。
画像のサイズを素材の画像サイズに合わせた方が、仕上がりの精度が上がります。
ComfyUIで複数のControlNetを使用する方法
ComfyUIでは、複数のControlNetを同時に使用できるため、公式のワークフローからOpenposeとScribbleを使って画像を生成してみます。
Openpose とScribbleのモデルデータを Hugging Faceの公式ページ、またはComfyUI-ManagerのModel Managerからダウンロードし、「ComfyUI」＞「models」「controlnet」に移します。
先ほどダウンロードしたワークフロー画像をComfyUIにドラッグ＆ドロップで読み込みましょう。
Openpose の棒人形画像とScribbleの線画を用意します。
今回は、キャラの立ち絵と教室の背景を組み合わせて画像を生成します。
素材の画像をComfyUIのノード内に読み込みます。
OpenposeとScribbleには「強度」の設定があり、強度を設定することによって生成画像への影響をコントロールできます。
キャラクターと背景が、しっかり馴染むように調整を繰り返しましょう。
ComfyUIを快適に活用するならクラウドGPUがおすすめ
ComfyUIを快適に利用するなら、クラウドGPUの利用がおすすめです。
クラウドGPUとは、インターネット上で高性能なパソコンを借りることができるサービスで、最新の高性能GPUを手軽に利用することが可能です。
さらに、クラウドGPUの料金は使用時間に応じて加算されるため、停止すれば料金はかかりません。
クラウドGPUのメリット
- コスト削減：高額なGPUを購入する必要がなく、使用した分だけの支払い
- 高性能：最新の高性能GPUを利用できるため、高品質な画像生成が可能
- 柔軟性：必要なときに必要なだけ使えるので便利
こんな人におすすめ
- 少ない予算でComfyUIを快適に使いたい人
- 自分のパソコンの性能が不足していると感じる人
- 常に最新の高性能GPUを使いたい人
GPUSOROBANは、高性能なGPU「NVIDIA A4000 16GB」を業界最安値の1時間50円で使用することができます。
さらに、クラウドGPUを利用しない時は停止にしておくことで、停止中の料金はかかりません。
クラウドGPUを使えばいつでもStable Diffusionの性能をフルに引き出すことができるので、理想の環境に近づけることができます。
＼快適に生成AI！1時間50円～／
ComfyUIでControlNetを活用して画像のクオリティアップを目指そう！
ComfyUIは、Stable Diffusion Web UIよりも自由なAI画像の創作が可能で、今回紹介した方法以外にもさまざまな組み合わせでControlNetを活用できます。
自分のオリジナルのワークフローを創作して、ユニークな画像を数多く生成しましょう。
