私的AI研究会 > Diffusion > ComfyUI3

画像生成AI「ComfyUI」3(応用編) == 編集中 ==

 「ComfyUI」を使ってローカル環境でのAI画像生成を検証する

▲ 目 次
※ 最終更新:2025/11/03 

「ComfyUI」『ControlNet』

「ComfyUI」で『ControlNet』を使用する

カスタムノードのインストール

『ControlNet』で使用する基本ノード

 Open Pose  『text2img』で『ControlNet』を使用する基本ワークフロー

  1. 『text-to-image』基本ワークフローを読み出す
    ①「test_text2img.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ② 前項『ControlNet』で使用する基本ノード ① ~ ⑤ を配置する
     ・ ① ~ ⑤ ノードを接続する
    ③「Ksampler」の positive, negative の接続を外し「Apply ControlNet」に接続する
    ④「Apply ControlNet」の positive, negative 出力を「Ksampler」の入力に接続する
    ⑤「Load Checkpoint」の VAE を 「Apply ControlNet」vae 入力に繋ぐ
    ⑥「Load Image」ノードに入力画像をドラッグ&ドロップする

  2. 『text-to-image』+『ControlNet』OpenPose 基本ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-10-31_00011_m.jpg
     ※ ワークフロー:t2i_controlnet_openpose.json , test_text2img_controlnet.json

  3. 姿勢推定画像(棒人間の画像)を入力する場合
    ・「Load Image」のノードに棒人間の画像を入力している場合は「Openpose Pose」のノードは不要
    ・予め作られているポーズをダウンロードできるサイト → OpenPoses
    「Openpose Pose」ノードを右クリックで bypass を選択する
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-10-31_00015_m.jpg
     ※ ワークフロー:t2i_controlnet_openpose_s.json

 Canny  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで canny を選択する
    ③ プリプロセッサとして「Canny Edge」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Canny ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-10-31_00021_m.jpg
     ※ ワークフロー:t2i_controlnet_canny.json

 Depth  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで depth を選択する
    ③ プリプロセッサとして「Depth Anything」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Depth ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-10-31_00020_m.jpg
     ※ ワークフロー:t2i_controlnet_depth.json

 LineArt  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで lineart を選択する
    ③ プリプロセッサとして「AnyLine Lineart」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』LineArt ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-10-31_00019_m.jpg
     ※ ワークフロー:t2i_controlnet_lineart.json

 Scribble  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで scribble を選択する
    ③ プリプロセッサとして「Scribble Lines」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Scribble ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-01_00005_m.jpg
     ※ ワークフロー:t2i_controlnet_Scribble.json

 Segmentation  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで segmentation を選択する
    ③ プリプロセッサとして「SAM Segmentor」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Segmentation ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-01_00006_m.jpg
     ※ ワークフロー:t2i_controlnet_Segment.json

 Shuffle  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで shuffle を選択する
    ③ プリプロセッサとして「Content Shuttle」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Shuffle ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-01_00007_m.jpg
     ※ ワークフロー:t2i_controlnet_Shuffle.json

 MLSD  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで MLSD を選択する
    ③ プリプロセッサとして「M-LSD Lines」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』MLSD ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-01_00008_m.jpg
     ※ ワークフロー:t2i_controlnet_MLSD.json

 Normalmaps  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで nornmalbase を選択する
    ③ プリプロセッサとして「MDaS Normal Map」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Normalmaps ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-01_00009_m.jpg
     ※ ワークフロー:t2i_controlnet_Normalmap.json

 Soft Edge  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで softedge を選択する
    ③ プリプロセッサとして「PiDiNet Soft-Edge LLines」ノードに入れ替える
    ④ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Soft Edge ワークフローの完成
    ①「Run」を押して画像を生成する
    ComfyUI9_2025-11-01_00010_m.jpg
     ※ ワークフロー:t2i_controlnet_SoftEdge.json

 Tile  『text2img』+『ControlNet』

  1. 『text-to-image』ControlNet 基本ワークフローを読み出す
    ①「test_text2img_controlnet.json」ワークフローをキャンバス上にドラッグ&ドロップする
    ②「Load Controlnet Model」ノードのモデルで tile を選択する
    ③ プリプロセッサとして「Tile」ノードに入れ替える
    ④「Upscale Image By」ノードを「Load Image」「Tile」の間に入れて scale_by を 4倍にする
    ⑤ 基本ワークフローと同じように接続しなおす

  2. 『image-to-image』Tile ワークフローの完成
    ①「Run」を押して画像を生成する(入力画像を4倍に拡大)
    ComfyUI9_2025-11-03_00009_m.jpg ComfyUI9_2025-11-03_00005_m.jpg
     ※ ワークフロー:t2i_controlnet_tile.json

「ControlNet」モデルに対応したプリプロセッサ ノード名称

 

更新履歴

 

参考資料