私的AI研究会 > ComfyUI4

画像生成AI「ComfyUI」4(応用編) == 編集中 ==

 「ComfyUI」を使ってローカル環境でのAI画像生成を検証する

▲ 目 次
※ 最終更新:2026/01/11 

「ComfyUI」カスタムノード

「ComfyUI」で用意されている様々な カスタムノードを使ってみる

プロジェクトで作成するワークフロー

カスタムノードのインストール(共通手順)

1.「Manager」ボタンを押し「ComfyUI Manager」から「Custom Nodes Manager」を選択
2. カスタムノード を検索。インストールするノードの「Install」を押す
3. バージョン番号を選択(基本「latest」を選択)
4. インストールが完了すると、ComfyUI の再起動を求められるので、下部の「Restart」ボタンを押す
5.「Confirm」(確認)ボタンを押すとインストール開始する
6. インストール完了すると再度確認ウインドウが開く(別のウインドウがオープンするので閉じる)
7. 前のブラウザ画面で「Confirm」(確認)ボタンを押す
8.「ComfyUI Manager」でインストール完了となっていることを確認してブラウザと「Stability Matrix」を一旦終了する

← インストール完了の状態

参照画像で生成をコントロールする「IPAdapter」『ComfyUI_IPAdapter_plus』

  1. カスタムノード『ComfyUI_IPAdapter_plus』をインストールする
    GitHub: ComfyUI_IPAdapter_plus

  2. IPAdapter モデルをダウンロードして配置する →「StabilityMatrix/Data/Models/」
    ① ClipVision/(ダウンロード後必ずファイル名を以下の名称に変更すること
    CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors
    CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors
    clip-vit-large-patch14-336.bin
    ② IpAdapter/
    https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter_sd15.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter_sd15_light_v11.bin
    https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter-plus_sd15.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter-plus-face_sd15.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter-full-face_sd15.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter_sd15_vit-G.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/ip-adapter_sdxl_vit-h.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/ip-adapter-plus_sdxl_vit-h.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/ip-adapter-plus-face_sdxl_vit-h.safetensors
    https://huggingface.co/h94/IP-Adapter/resolve/main/sdxl_models/ip-adapter_sdxl.safetensors
    ③ Lora/
    https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid_sd15.bin
    https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid-plusv2_sd15_lora.safetensors
    https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid_sdxl_lora.safetensors
    https://huggingface.co/h94/IP-Adapter-FaceID/resolve/main/ip-adapter-faceid-plusv2_sdxl_lora.safetensors

  3. ワークフローを作成する
    ① ノード添付の サンプル基本ワークフロー「custom_nodes/comfyui_ipadapter_plus/examples/ipadapter_simple.json」を読み出す
    ②「Load Checkpoint」ノードのモデルを指定する
    ③「IPAdapter Unified Loader」のノードで「PLUS(hight strength」を指定する
    ②「Load Image」ノードの参照画像を指定する(例:monalisa.png)
    ③ プロンプトを入力(例: a man with beard

    ①「Run」を押して画像を生成する
    Ccomfyui_228_m
     ※ ワークフロー:「test/」filetest_ipadapter_simple.json

  4. Face Modelを使用する
    ①「IPAdapter Unified Loader」のノードで「PLUS FACE(portraits」を指定する
    ②「Load Image」ノードの参照画像を指定する(の機能を使うときは顔のみの画像を使用する)
    ③ プロンプトを入力(例: a woman playing soccer, stadium, grass field, dribbling

    ①「Run」を押して画像を生成する
    Ccomfyui_230_m
     ※ ワークフロー:「test/」filetest_ipadapter_simple2.json

  5. 「Style & Composition」を使用する(SDXL モデル)
    ①「test_ipadapter_simple.json」ワークフローを別名「test_ipadapter_style.json」で保存して使用する
    ②「IPAdapter」を「IPAdapter Style & Composition SDXL」のノードに変更する
    ③「Load Checkpoint」ノードに SDXL モデルを指定する
    ④「Load Image」ノードを追加し画像を指定する
    ⑤「Empty Latent Image」でサイズを 10924x1024 に設定
    ⑥ プロンプトを入力(例: beautiful woman, high quality, detailed

    ①「Run」を押して画像を生成する
    Ccomfyui_236_m
     ※ ワークフロー:「test/」filetest_ipadapter_style.json

  6. 「ControlNet」を併用する

    ① サイト IPAdapter Plus (V2) | One-Image Style Transfer のワークフローを参考にする
    ②「test_ipadapter_style.json」をロードし変更を加える
    ・SD1.5 モデルを使用する
    ・① と同じように「ControlNet」関連ノードを配置する
    ・「Empty Latent Image」ノードを削除し代わりに入力イメージ →「VAE Encode」出力を繋ぐ
    ・生成画像サイズは入力イメージと同じになる

    ③ ワークフローの完成
    ④「Run」を押して画像を生成する
    Ccomfyui_239_m
    ⑤「ControlNet」は1段のみでもそれなりに動作する
     ※ ワークフロー:「test/」filetest_ipadapter_style2.json

  7. 「faceSAwap」をやってみる

    ① サイト ComfyUI.Tokyo: SD1.5 IPAdapter face swap のワークフローを参考にする
    ②「test_ipadapter_style.json」をロードし変更を加える
    ・SD1.5 モデルを使用する
    ・ClipVision のモデル「ip_adapter_sd_image_encoder.safetensors」は
     「CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors」と同じもの
    ・TextEncoders モデル「clip_l.safetensors」がないときは下記からダウンロードして配置する
     → clip_l.safetensors
    ・生成画像サイズは入力イメージと同じになる

    ③ ワークフローの完成
    ④「Run」を押して画像を生成する
    Ccomfyui_241_m
     ※ ワークフロー:「test/」filetest_ipadapter_faceswap.json

  8. 入力画像とパラメータ設定により効果の度合いが変化する
    ① サイト [ComfyMaster29] 参照画像でAIをコントロール!IPAdapterの使い方 のワークフローを参考にする
     ※ ワークフロー:「test/」filetest_ipadapter_base.json

顔を修正する「Face Detailer」『Impact Pack』

  1. カスタムノード2つ『ComfyUI-Impact-Pack』『ComfyUI-Impact-Subpack』をインストールする
    GitHub: ComfyUI-Impact-Pack
    GitHub: ComfyUI-Impact-Subpack
    (参考)comfyUI-extension-tutorials

  2. 『t2i_face_detailer』(text2ing)基本ワークフロー
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-03_00015_m.jpg
     ※ ワークフロー:「_base_t2i/」filet2i_face_detailer.json

  3. 『i2i_face_detailer』(img2img)基本ワークフロー
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-03_00016_m.jpg
     ※ ワークフロー:「_base_i2i/」filei2i_face_detailer.json

モノクロ画像をカラー画像にする「DDColor」『ComfyUI-DDColor』

  1. カスタムノード『ComfyUI-DDColor』をインストールする
    GitHub: ComfyUI-DDColor

  2. ワークフローを実行する
    ①「Run」を押して画像を生成する
    ComfyUI_temp_kqjrv_00003_m.jpg
     ※ ワークフロー:「test/」filetest_DDColor.json

  3. カスタムノード『WAS Node Suite (Revised)』をインストールする
    WAS Node Suite (Revised)

  4. 濃淡の調整を追加したワークフローを実行する
    ①「Run」を押して画像を生成する
    ComfyUI_temp_kqjrv_00004_m.jpg
     ※ ワークフロー:「test/」filetest_DDColor+blend.json

画像の一部を別の画像に入れ替える「paint by example」『paint-by-example_comfyUI』

  1. カスタムノード『paint-by-example_comfyUI』をインストールする
    GitHub: paint-by-example_comfyui
    ワークフロー phyblas/ironna_comfyui_workflow

  2. マスク画像を作成するワークフローを実行する
    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-14_00007_m.jpg
     ※ ワークフロー:「_utility/」filepaint-by-example_maskedit.json

  3. マスク画像を個別入力するワークフローを実行する
    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-14_00008_m.jpg
     ※ ワークフロー:「_utility/」filepaint-by-example_mask.json

  4. 実行結果の例

画像からプロンプトを得る「Tagger」『WD14 Tagger』

  1. カスタムノード『ComfyUI WD 1.4 Tagger』をインストールする
    GitHub: ComfyUI WD 1.4 Tagger

  2. filebs_text2img.json『text-to-image』基本ワークフローを読み出す
    ①「test_text2img.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Image」ノードを追加する
    ③「WD14 Tagger」ノードを追加する
    ④「String Function」ノードを追加する
    ⑤「Show Text」ノードを追加する
    ⑥「Load Image」IMAGE を「WD14 Tagger」image に接続
    ⑦「WD14 Tagger」STRING を「String Function」の中央のテキストボックスに接続する※
    ⑧「String Function」の STRING と「CLIP Text Encode (Prompt)」のテキストボックスに接続※
    ⑨「String Function」の STRING と「Show Text」の text を繋ぐ
    ⑩「CLIP Text Encode (Prompt)」のテキストボックスをクリア
    ⑪「String Function」の 上の適するボックスにプロンプト(前半)を入力
    masterpiece,best quality,8k,raw photo,photo realistic,
    ⑫「CLIP Text Encode (Prompt)」の ネガティブ・プロンプトを入力
    worst quality,low quality,painting,sketch,flat color,monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples
    ※ 以前の「Convert Widget to Input」による設定の必要はなくなった

  3. 『t2i_tagger』(text2ing)基本ワークフロー
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-04_00001_m.jpg
     ※ ワークフロー:「_base_t2i/」filet2i_tagger.json

    ・参考:「WD14 Tagger」の出力プロンプト
    1girl, solo, long_hair, looking_at_viewer, brown_hair, brown_eyes, jewelry, upper_body, earrings, outdoors, parted_lips, necklace, mole, blurry, lips, blurry_background, freckles, realistic, nose,

プロンプトを日本語入力する「AlekPet」『ComfyUI_Custom_Nodes_AlekPet』

  1. カスタムノード『ComfyUI_Custom_Nodes_AlekPet』をインストールする
    GitHub: ComfyUI_Custom_Nodes_AlekPet

  2. プロンプト/ネガティブ・プロンプトを日本語入力にする(使い方1)

    ①「Deep Transfer Text Node」の text を「CLIP Text Encode」ノードに注入する
    ②「Preview Textn Node」を翻訳後の確認のため接続しておく(任意)
     ※ ワークフロー:「_utility/」filetxt2img_ipn_input.json

  3. プロンプト/ネガティブ・プロンプトを日本語入力にする(使い方2)

    ①「Deep Transfer Text Node」を「CLIP Text Encode」ノードと入れ替える
    ②「Preview Textn Node」を翻訳後の確認のため接続しておく(任意)
     ※ ワークフロー:「_utility/」filetxt2img_ipn_input2.json

ComfyUIでLLMを使用する「Ollama」『ComfyUI Ollama』

  1. 以下のコマンドで画像を扱うことのできる「llava-phi3」LLM モデルをインストールする
    ollama run llava-phi3:latest
    ▼「llava-phi3」インストール・ログ

  2. カスタムノード『ComfyUI Ollama』をインストールする
    GitHub: ComfyUI Ollama

  3. 『ComfyUI Ollama』の使い方

    ①「OllamaConnectivity」ノードを配置しモデルを設定する
    ②「OllamaGenerate」ノードでシステムプロンプトとテキスト入力
    ③「Load Image」ノードで画像入力(必要であれば)
    ④「Preview Text Node」ノードで生成テキストを確認
    ⑤「Deep Transrator Text Node」「Preview Text Node」ノードで日本語訳を見ることができる
     ※ ワークフロー:「_prompt/」fileollama.json

  4. 「txt2img」ワークフローに追加して生成してみる
    ①「Run」を押して画像を生成する
    ComfyUI_2025-11-18_00014_m.jpg
     ※ ワークフロー:「_prompt/」fileollama_test.json

各種パラメータによる生成画像を比較する『XY Plot』

  1. カスタムノード『Efficiency Nodes for ComfyUI』をインストールする
    GitHub: Efficiency Nodes for ComfyUI Version 2.0+

  2. 実装確認のワークフローを作成する
    ① ノード添付の サンプル基本ワークフローを読み出す
     「custom_nodes/efficiency-nodes-comfyui/workflows/Eff_XYPlot - LoRA Model vs Clip Strengths01.png」をドラッグ&ドロップする
    ②「Efficient Loder」ノードの「ckpt_name」「vae_name」を指定する
    ③「XY Input: LoRA Plot」ノードの「Lola_name」「x_batch_count」「y_batch_count」を指定する

  3. ワークフローを生成してみる
    ①「Run」を押して画像を生成する
    xyplot_00_00001_m.jpg
     ※ ワークフロー:「test/」filetest_XYPlot -LoRA_Clip Str01.json

  4. 実行ログ
    ----------------------------------------
    XY Plot Results:
    (X) LoRA MStr
    (Y) LoRA CStr
    img_count: 4
    img_dims: 640 x 640
    plot_dim: 2 x 2
    ckpt: fudukiMix_v20.safetensors
    clip_skip: -2
    lora: ayame_LoRA_v20.safetensors
    lora_mstr: 0.0, 1.0
    lora_cstr: 0.0, 1.0
    vae:  sdxl_vae
    seed: 593927061734313
    steps: 20
    cfg: 7.0
    sampler: dpmpp_sde
    scheduler: karras
    denoise: 1.0
    ----------------------------------------
    XY Plot Models Cache:
    Ckpt:
      [1] fudukiMix_v20
    ----------------------------------------
    Prompt executed in 157.80 seconds

  5. 2025/12/11現在「Efficient Loder」ノードに不具合がある

    「lola_clip_strength」の値が変更できないので、変更が必要な場合は引き出して「Primitive」ノードを利用する

推奨する生成画像の保存場所

 

忘備録

『paint-by-example_comfyUI』ノードが CPU モードで実行できない

 

更新履歴

 

参考資料