私的AI研究会 > Diffusion > ComfyUI5

画像生成AI「ComfyUI」5(実習編) == 編集中 ==

 「ComfyUI」を使ってローカル環境でのAI画像生成を検証する

▲ 目 次
※ 最終更新:2025/12/01 

「ComfyUI」いろいろなワークフローの作成

いろいろな状況でのワークフローを作成してみる

プロジェクトで作成するワークフロー

アウトペインティング1:「Pad Image for Outpainting」ノードを使用する

  1. filebs_img2img.json『image-to-image』基本ワークフローを読み出す
    ①「Load Image」ノードに入力画像をドラッグ&ドロップする
    ②「Upscale Image」ノードを削除し「Pad Image for Outpainting」ノードを追加
    ③「VAE Encode」ノードを削除し「VAE Encode for inpainting」ノードを追加する
    ④「Load Image」の IMAGE と「Pad Image for Outpainting」image を接続
    ⑤「Pad Image ...」の IMAGE, MASK を「VAE Encode ...」の pixels, mask に接続
    ⑥「VAE Encode for inpainting」の LATENT を「KSampler」の latent_image に繋ぐ
    ⑦「Load Checkpoint」VAE 出力を「VAE Encode for inpainting」vae に接続する

  2. 『image-to-image outpainting』ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-11_00007_m.jpg
     ※ ワークフロー:filetest_img2img_outpaint.json

アウトペインティング2:「ComfyUI Wiki チュートリアル」 から構築する

  1. 『ComfyUI基本アウトペインティングワークフロー』
    ① 基本ワークフロー:filebasic-outpainting-workflow.json をダウンロード
    ② ComfyUI キャンバス上にドラッグ&ドロップ
    ③ 追加のモデルををダウンロード → sd-v1-5-inpainting.ckpt
    ④「StabilityMatrix/Data/Models/StableDiffusion/」に配置する
    ⑤「Run」を押して画像を生成する ⑥「Empty Latent Image」ノードを削除する
    ⑦「Load Image」「Upscale Image」「VAE Encode」ノードを追加して接続
    ⑧「Load Checkpoint」ノードのモデルを変更する
    ⑨ 入力画像・プロンプト・ネガティブ・プロンプトを変更する

  2. 『image-to-image outpainting』ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-11_00008_m.jpg
     ※ ワークフロー:filebs_i2i_outpaimt.json

Comfyui 公式サンプル :「Img2Img」「Txt2Img (Hires fix)」「Non latent Upscaling」

  1. 「Img2Img」
    Img2Img は画像をロードし VAEで潜在空間に変換 1.0未満の denoise でサンプリングすることによって機能する
    denoise は画像に追加されるノイズの量を制御する denoiseが低いほど追加されるノイズが少なくなり画像の変化も少なくなる
    ① パラメータを修正し「Run」を押して画像を生成する
    ComfyUI_2025-11-13_00002_m.jpg
     ※ ワークフロー:files01_img2img.json

  2. 「2 Pass Txt2Img (Hires fix) 」2パスTxt2Img(高解像度修正)
    Hires fix は低解像度で画像を作成しそれをアップスケールしてから img2img に送る
    ComfyUI では txt2img と img2img は同じノードである Txt2Img は最大のノイズ除去でサンプラーノードに空の画像を渡すことで実現される
    ① パラメータを修正し「Run」を押して画像を生成する
    ComfyUI_2025-11-13_00014_m.jpg
     ※ ワークフロー:files02_hiresfix_latent.json

  3. 「Non latent Upscaling」非潜在アップスケーリング
    アップスケーリングステップに esrgan アップスケーラーを使用する方法の例
    ESRGAN はピクセル空間で動作するため画像はアップスケールされた後にピクセル空間に変換され再び潜在空間に戻される必要がある
    ① パラメータを修正し「Run」を押して画像を生成する
    ComfyUI_2025-11-14_00002_m.jpg
     ※ ワークフロー:files02a_hiresfix_esrgan.json

画像から:同じ雰囲気の画像を生成する

  1. 元画像から「Tagger」でプロンプトを生成して生成

    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-28_00002_m.jpg
     ※ ワークフロー:filetagger_t2i_base.json

  2. 元画像から「Ollama」でプロンプトを生成して生成
    画像を扱うことのできる大規模言語モデル(LLM)でプロンプトを作成して画像を生成する
    入力するテキストの指示により詳細を追加することかできる
    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-28_00016_m.jpg
     ※ ワークフロー:fileollama_t2i_base.json

  3. 生成例:
    元画像
    n_28555_m.jpg Seed:355281835635361 Seed:1124844051026540 Seed:801962060352735
    n_27911_m.jpg Seed:2441820648 Seed:566544649 Seed:1834830809

画像から:同じ画像を再現する

  1. 元画像のプロンプトを生成して「ControlNet-canny」で生成

    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-28_00003_m.jpg
     ※ ワークフロー:filetagger_t2i_canny.json

  2. 生成例:
    元画像
    n_28555_m.jpg Seed:576537626115366 Seed:552711251462880 Seed:12619367719946
    n_27911_m.jpg Seed:2245522775 Seed:2021941182 Seed:1657859060

SDXL モデル「text2img」基本ワークフロー

  1. filebase.json 基本ワークフローを読み出す
    ①「Load Checkpoint」ノードの ckpt_name「fudukiMix_V20」を選択
    ②「CLIP Text Encoder」ノード 2つにプロンプト/ネガティブ・プロンプトをそれぞれ入力
    Prompt a woman with a short haircut and a white shirt is posing for a picture with a white background, perfect face, a character portrait, precisionism
    Negative Prompt worst quality,low quality,painting,sketch,flat color,monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples
    ③「Empty Latent Image」ノードの weight → 896, height → 1152
    ④「Load Image」ノードの IMAGE と「Pad Image for Outpainting」image を接続
    ⑤「Load LoRA」ノードを 2つ配置しそれぞれ「ayane_LoRA_V20」「ClearHand-V2」を指定
    ⑥「Load Checkpoint」と「CLIP Text Encode」ノードの間に「Load LoRA」ノードを直列に接続する

  2. LoRA「ayane_LoRa_V20」「ClearHand-V2」

    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-30_00003_m.jpg

  3. LoRA「ClearHand-V2」

    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-30_00004_m.jpg
     ※ ワークフロー:filebase-sdxl.json
 

更新履歴

 

参考資料