私的AI研究会 > ComfyUI_sum
「ComfyUI」まとめ
| 名称 | モデル | カスタムノード | 機 能 |
| 画像生成 | |||
| IPAdapter | IPAdapter | ComfyUI_IPAdapter_plus | 参照画像で生成をコントロールする |
| Face Detailer | Clip | ComfyUI-Impact-Pack | 顔を修正する |
| ComfyUI-Impact-Subpack | |||
| DDColor | - | ComfyUI-DDColor | モノクロ画像をカラー画像にする |
| paint by example | --- | paint-by-example_comfyui | 画像の一部を別の画像に入れ替える |
| Tagger | - | ComfyUI-WD14-Tagger | 画像からプロンプトを得る |
| AlekPet | - | ComfyUI_Custom_Nodes_AlekPet | プロンプトを日本語入力する |
| Ollama | LLM | ComfyUI Ollama | ComfyUIでLLMを使用する |
| XY Plot | - | efficiency-nodes-comfyui | 各種パラメータによる生成画像を比較する |
| ControlNet | --- | comfyui_controlnet_aux | 『ControlNet』の使用 |
| 動画生成 | |||
| FramePackWrapper | FramePack Model Hunyan Video VAE Clip Vision Clip | ComfyUI-FramePackWrapper | 動画生成のための「FramePack」ラッパー |
| ComfyUI-KJNode | ComfyUI-KJNodes | 複数枚の画像を集約し、次ノードへ渡す | |
| ComfyUI_essentials | ComfyUI_essentials | 画像のリサイズを行う | |
| ComfyUI-VideoHelperSuite | ComfyUI-VideoHelperSuite | 複数枚の画像を結合し動画化する | |
| FramePackWrapper_Plus | ComfyUI-FramePackWrapper_Plus | 順方向動画生成「FramePack F1」ラッパー | |
| 音楽生成 | |||
| ACE-Step | ACE-Step | (多言語対応の場合) ComfyUI_ACE-Step | 楽曲生成 |
| MMAudio | MMAudio | ComfyUI-MMAudio | 効果音生成 |
| モデル名 | ファイル名 | 配置先 /StabilityMatrix/Data/Models/ | ダウンロード URL |
| 画像生成 | |||
| IpAdapter ClipVision | CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors | ClipVision/ | CLIP-ViT-H-14-laion2B-s32B-b79K |
| CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors | CLIP-ViT-bigG-14-laion2B-39B-b160k | ||
| clip-vit-large-patch14-336.bin | clip-vit-large-patch14-336 | ||
| IpAdapter | ip-adapter_sd15.safetensors | IpAdapter/ | ip-adapter_sd15 |
| ip-adapter_sd15_light_v11.bin | ip-adapter_sd15_light_v11 | ||
| ip-adapter-plus_sd15.safetensors | ip-adapter-plus_sd15 | ||
| ip-adapter-plus-face_sd15.safetensors | ip-adapter-plus-face_sd15 | ||
| ip-adapter-full-face_sd15.safetensors | ip-adapter-full-face_sd15 | ||
| ip-adapter_sd15_vit-G.safetensors | ip-adapter_sd15_vit-G | ||
| ip-adapter_sdxl_vit-h.safetensors | ip-adapter_sdxl_vit-h | ||
| ip-adapter-plus_sdxl_vit-h.safetensors | ip-adapter-plus_sdxl_vit-h | ||
| ip-adapter-plus-face_sdxl_vit-h.safetensors | ip-adapter-plus-face_sdxl_vit-h | ||
| ip-adapter_sdxl.safetensors | ip-adapter_sdxl | ||
| IpAdapter Lora | ip-adapter-faceid_sd15.bin | Lora/ | ip-adapter-faceid_sd15 |
| ip-adapter-faceid-plusv2_sd15_lora.safetensors | ip-adapter-faceid-plusv2_sd15_lora | ||
| ip-adapter-faceid_sdxl_lora.safetensors | ip-adapter-faceid_sdxl_lora | ||
| ip-adapter-faceid-plusv2_sdxl_lora.safetensors | ip-adapter-faceid-plusv2_sdxl_lora | ||
| outpainting | sd-v1-5-inpainting.ckpt | StableDiffusion/SD1.5/ | sd-v1-5-inpainting.ckpt |
| 動画生成 | |||
| FramePack Model | FramePackI2V_HY_fp8_e4m3fn.safetensors | DiffusionModels/ | Kijai/HunyuanVideo_comfy |
| (FramePackI2V_HY_bf16.safetensors) | |||
| Hunyan Video VAE | hunyuan_video_vae_bf16.safetensors | VAE/ | |
| Clip Vision | sigclip_vision_patch14_384.safetensors | ClipVision/ | Comfy-Org/sigclip_vision_384 |
| Clip | clip_l.safetensors llava_llama3_fp16.safetensors | TextEncoders/ | Comfy-Org/HunyuanVideo_repackaged |
| 音楽生成 | |||
| ACE-Step | ace_step_v1_3.5b.safetensors | StableDiffusion/ | ACE-Step_ComfyUI_repackaged |
| MMAudio | mmaudio_large_44k_v2_fp16.safetensors | /StabilityMatrix/Data/ComfyUI/ models/mmaudio/ | MMAudio_safetensors on Hugging Face |
| mmaudio_synchformer_fp16.safetensors | |||
| mmaudio_vae_44k_fp16.safetensors | |||
| apple_DFN5B-CLIP-ViT-H-14-384_fp16.safetensors | |||
| LLM モデル | llava-phi3 | 「OLLAMA_MODELS」環境変数 | ollama run llava-phi3:latest |
| ワークフロー | 必須モデル | 必須カスタムノード名 | 機 能 |
| 画像生成:基本機能 | |||
| base.json | - | - | 基本ワークフロー |
| txt2img_webui_test.json | Text to Image 練習 | ||
| bs_text2img.json | Text to Image 基本 | ||
| bs_text2img_hires.json | t2i Hires. Fix 高画質化 | ||
| bs_text2img_lola.json | t2i LoRA | ||
| test_text2img_nprompt.json | t2i Negative Prompt | ||
| test_text2img_nprompt2.json | t2i Prompt 生成演習 | ||
| bs_img2img.json | Image to Image 基本 | ||
| i2i_inpaint.json | 画像の部分修正 | ||
| i2i_stylechange.json | 画像のスタイル変換 | ||
| 画像生成:『ControlNet』 | |||
| t2i_controlnet_openpose.json bs_text2img_controlnet.json | --- | comfyui_controlnet_aux | Open Pose 画像からポーズ抽出 |
| t2i_controlnet_openpose_s.json | |||
| t2i_controlnet_canny.json | Canny 画像から輪郭抽出 | ||
| t2i_controlnet_depth.json | Depth 画像から震度抽出 | ||
| t2i_controlnet_lineart.json | LineArt 画像から輪郭抽出 | ||
| t2i_controlnet_Scribble.json | Scribble 画像から輪郭抽出 | ||
| t2i_controlnet_Segment.json | Segmentation セグメント分け | ||
| t2i_controlnet_Shuffle.json | Shuffle シャッフル | ||
| t2i_controlnet_MLSD.json | MLSD 画像から直線抽出 | ||
| t2i_controlnet_Normalmap.json | Normalmaps 法線マップ | ||
| t2i_controlnet_SoftEdge.json | Soft Edge 画像から輪郭抽出 | ||
| t2i_controlnet_tile.json | Tile 画像4倍拡大 | ||
| 画像生成:いろいろなカスタムノードの検証 | |||
| test_ipadapter_simple.json | IPAdapter | ComfyUI_IPAdapter_plus | 参照画像で生成をコントロール |
| test_ipadapter_simple2.json | Face Modelを使用する | ||
| test_ipadapter_style.json | Style & Composition を使用 | ||
| test_ipadapter_style2.json | ControlNetを使用する | ||
| test_ipadapter_faceswap.json | faceSAwapelをやってみる | ||
| test_ipadapter_base.json | IPAdapter 基本ワークフロー | ||
| t2i_face_detailer.json | Clip | ComfyUI-Impact-Pack ComfyUI-Impact-Subpack | Face Detailer text2img 基本 |
| i2i_face_detailer.json | Face Detailer img2img 基本 | ||
| test_DDColor.json | - | ComfyUI-DDColor | DDColor 白黒画像をカラー画像に |
| test_DDColor+blend.json | 濃淡の調整を追加 | ||
| paint-by-example_maskedit.json | - | paint-by-example_comfyui | paint by example 画像の一部入替 |
| paint-by-example_mask.json | マスク画像を個別入力 | ||
| t2i_tagger.json | - | ComfyUI-WD14-Tagger | Tagger 画像からプロンプトを得る |
| txt2img_ipn_input.json | - | ComfyUI_Custom_Nodes_AlekPet | AlekPet プロンプトを日本語入力 |
| txt2img_ipn_input2.json | Negative Prompt を日本語入力 | ||
| ollama.json | LLM | ComfyUI Ollama | Ollama LLMを使用する |
| ollama_test.json | 「txt2img」ワークフロー | ||
| test_XYPlot -LoRA_Clip Str01.json | - | efficiency-nodes-comfyui | XY Plot 生成画像を比較 |
| 画像生成:いろいろなワークフロー | |||
| test_img2img_outpaint.json | - | - | アウトペインティング1 |
| bs_i2i_outpaimt.json | アウトペインティング2 | ||
| s01_img2img.json | Comfyui 公式サンプル Img2Img | ||
| s02_hiresfix_latent.json | 2パスTxt2Img (高解像度修正) | ||
| s02a_hiresfix_esrgan.json | 非潜在アップスケーリング | ||
| tagger_t2i_base.json | ComfyUI-WD14-Tagger | - | 画像から同じ雰囲気の画像を生成 |
| ollama_t2i_base.json | ComfyUI Ollama | LLM | Ollama 同じ雰囲気の画像を生成 |
| tagger_t2i_canny.json | - | ComfyUI-WD14-Tagger comfyui_controlnet_aux | 画像から同じ画像を再現 |
| base-sdxl.json | - | - | SDXL「text2img」基本ワークフロー |
| 動画生成 | |||
| framepack_hv_example_ok.json | FramePack Model Hunyan Video VAE Clip Vision Clip | ComfyUI-FramePackWrapper ComfyUI-KJNode ComfyUI_essentials ComfyUI-VideoHelperSuite | 静止画から動画生成 FramePack |
| framepack_hv_test_00.json | |||
| framepack_sample_01.json | FramePack_01 | ||
| framepack_f1_sample_02.json | ComfyUI-FramePackWrapper_Plus | 順方向生成 FramePack F1 | |
| 音楽生成 | |||
| audio_ace_step_1_t2a_instrumentals.json | ACE-Step | 多言語対応の場合: ComfyUI_ACE-Step | Text to Instrumentals |
| audio_ace_step_1_t2a_song.json | Text to Song | ||
| ace_step_1_m2m_editing.json | M2m Editing | ||
| audio_test.json | テキストから楽曲生成の基本 | ||
| mmaudio_test.json | MMAudio | ComfyUI-MMAudio ComfyUI-VideoHelperSuite | 動画から効果音を生成 |
| ワークフロー | 機 能 | CPU | CPU | |||||
| RTX 4070 | RTX 4060 | RTX 4060L | RTX 3050 | GTX 1050 | i7-1260P | i7-1185G7 | ||
| 画像生成:基本機能 | ||||||||
| base.json | 基本ワークフロー | 00:01.38 | 00:19.74 | 00:28.92 | 00:35.06 | 00:43.61 | 03:21.05 | 03:01.28 |
| txt2img_webui_test.json | Text to Image 練習 | 00:04.07 | 00:05.42 | 00:11.22 | 00:11.18 | 00:40.34 | 04:37.27 | 04:23.26 |
| bs_text2img.json | Text to Image 基本 | 00:03.10 | 00:05.29 | 00:08.25 | 00:09.24 | 00:42.01 | 05:47.95 | 05:03.69 |
| bs_text2img_hires.json | t2i Hires. Fix 高画質化 | 00:07.82 | 00:16.16 | 00:20.80 | 00:30.48 | 03:32.41 | 40:47.20 | 26:47.36 |
| bs_text2img_lola.json | t2i LoRA | 00:02.02 | 00:03.81 | 00:04.61 | 00:09.56 | 00:42.68 | 05:17.58 | 05:10.12 |
| test_text2img_nprompt.json | t2i Negative Prompt | 00:01.92 | 00:03.65 | 00:04.50 | 00:07.91 | 00:42.52 | 05:18.24 | 05:03.33 |
| test_text2img_nprompt2.json | t2i Prompt 生成演習 | 00:02.10 | 00:03.87 | 00:04.71 | 00:08.27 | 00:42.43 | 05:17.48 | 05:03.33 |
| bs_img2img.json | Image to Image 基本 | 00:02.33 | 00:04.21 | 00:04.38 | 00:10.44 | 00:40.87 | 04:35.18 | 04:21.66 |
| i2i_inpaint.json | 画像の部分修正 | 00:01.63 | 00:02.30 | 00:03.46 | 00:05.77 | 00:27.89 | 03:06.43 | 02:56.82 |
| i2i_stylechange.json | 画像のスタイル変換 | 00:17.45 | 00:18.34 | 00:15.92 | 00:27.50 | 00:44.80 | 03:13.00 | 03:05.76 |
| 画像生成:『ControlNet』 | ||||||||
| t2i_controlnet_openpose.json bs_text2img_controlnet.json | Open Pose 画像からポーズ抽出 | 00:12.27 | 00:15.70 | 00:35.19 | 00:27.38 | 01:16.45 | 08:56.46 | 07:37.76 |
| t2i_controlnet_openpose_s.json | 00:02.68 | 00:04.79 | 00:05.72 | 00:10.35 | 00:58.57 | 08:28.84 | 07:00.77 | |
| t2i_controlnet_canny.json | Canny 画像から輪郭抽出 | 00:04.74 | 00:07.29 | 00:05.96 | 00:15.18 | 01:00.93 | 08:33.17 | 07:04.70 |
| t2i_controlnet_depth.json | Depth 画像から震度抽出 | 00:07.53 | 00:11.41 | 00:07.85 | 00:21.14 | 01:20.50 | 08:39.65 | 08:19.09 |
| t2i_controlnet_lineart.json | LineArt 画像から輪郭抽出 | 00:06.88 | 00:09.43 | 00:13.49 | 00:16.48 | 01:04.09 | 08:41.58 | 07:07.72 |
| t2i_controlnet_Scribble.json | Scribble 画像から輪郭抽出 | 00:05.07 | 00:08.06 | 00:08.04 | 00:13.77 | 01:01.03 | 08:10.12 | 07:00.35 |
| t2i_controlnet_Segment.json | Segmentation セグメント分け | 00:08.54 | 00:11.59 | 00:15.29 | 00:21.14 | 01:12.83 | 17:03.79 | 07:50.29 |
| t2i_controlnet_Shuffle.json | Shuffle シャッフル | 00:04.90 | 00:07.07 | 00:07.62 | 00:14.63 | 01:00.89 | 08:06.06 | 07:04.18 |
| t2i_controlnet_MLSD.json | MLSD 画像から直線抽出 | 00:06.99 | 00:10.03 | 00:14.20 | 00:16.77 | 01:04.49 | 07:24.77 | 07:02.57 |
| t2i_controlnet_Normalmap.json | Normalmaps 法線マップ | 00:07.11 | 00:09.91 | 00:12.33 | 00:18.34 | 01:10.01 | 19:34.86 | 07:41.75 |
| t2i_controlnet_SoftEdge.json | Soft Edge 画像から輪郭抽出 | 00:05.14 | 00:07.84 | 00:09.05 | 00:15.08 | 01:02.06 | 09:03.51 | 07:03.79 |
| t2i_controlnet_tile.json | Tile 画像4倍拡大 | 00:04.07 | 00:07.58 | 00:07.77 | 00:14.92 | 01:01.13 | 08:58.65 | 06:58.09 |
| 画像生成:いろいろなカスタムノードの検証 | ||||||||
| test_ipadapter_simple.json | 参照画像で生成をコントロール | 00:12.96 | 00:16.68 | 00:29.31 | 00:26.77 | 00:54.24 | 04:45.0 | |
| test_ipadapter_simple2.json | Face Modelを使用する | 00:03.62 | 00:05.27 | 00:06.99 | 00:10.52 | 00:42.66 | 05:54.65 | |
| test_ipadapter_style.json | Style & Composition を使用 | 01:39.48 | 01:13.15 | 01:21.93 | 01:31.91 | 05:02.54 | 41:12.24 | |
| test_ipadapter_style2.json | ControlNetを使用する | 01:20.56 | 00:46.68 | 01:09.03 | 01:29.00 | 08:45.98 | 95:12.10 | |
| test_ipadapter_faceswap.json | faceSAwapelをやってみる | 00:12.38 | 00:25.36 | 00:34.30 | 00:48.73 | 03:12.04 | 52:33.24 | |
| test_ipadapter_base.json | IPAdapter 基本ワークフロー | 00:02.57 | 00:04.29 | 00:07.28 | 00:08.68 | 00:30.41 | 03:03.55 | |
| t2i_face_detailer.json | Face Detailer text2img 基本 | 00:08.62 | 00:16.88 | 00:23.00 | 00:27.99 | 01:33.95 | 13:41.91 | |
| i2i_face_detailer.json | Face Detailer img2img 基本 | 00:04.83 | 00:09.57 | 00:23.33 | 00:18.45 | 01:15.43 | 10:05.17 | |
| test_DDColor.json | DDColor 白黒画像をカラー画像に | 00:02.15 | 00:02.11 | 00:02.55 | 00:02.79 | 00:03.37 | 00:05.36 | |
| test_DDColor+blend.json | 濃淡の調整を追加 | 00:00.05 | 00:00.04 | 00:00.06 | 00:00.05 | 00:00.10 | 00:00.05 | |
| paint-by-example_maskedit.json | paint by example 画像一部入替 | 00:10.03 | 00:11.21 | 00:11.41 | 00:38.21 | 00:59.66 | 03:38.28 | |
| paint-by-example_mask.json | マスク画像を個別入力 | 00:06.87 | 00:06.68 | 00:07.06 | 00:13.08 | 00:45.95 | 03:40:78 | |
| t2i_tagger.json | Tagger 画像からプロンプトを得る | 00:07.67 | 00:11.78 | 00:20.71 | 00:13.08 | 00:43.84 | 05:08.32 | |
| txt2img_ipn_input.json | AlekPet プロンプトを日本語入力 | 00:02.71 | 00:05.26 | 00:06.46 | 00:11.25 | 00:40.46 | 05:14.42 | |
| txt2img_ipn_input2.json | Negative Prompt を日本語入力 | 00:02.6 | 00:04.89 | 00:04.42 | 00:09.00 | 00:39.57 | 06:23.89 | |
| ollama.json | Ollama LLMを使用する | 00:31.25 | 00:19.42 | 00:11.71 | 00:35.31 | 00:39.61 | 00:48.61 | |
| ollama_test.json | 「txt2img」ワークフロー | 00:06.16 | 00:17.71 | 00:10.27 | 00:17.21 | 01:39.93 | 05:45.38 | |
| test_XYPlot -LoRA_Clip Str01.json | XY Plot 生成画像を比較 | 02:25.86 | 01:38.92 | 03:14.56 | 03:53.02 | 09:40.70 | 79:55.20 | |
| 画像生成:いろいろなワークフロー | ||||||||
| test_img2img_outpaint.json | アウトペインティング1 | 00:06.34 | 00:11.41 | 00:21.29 | 00:17.07 | 01:05.91 | 19:55.85 | |
| bs_i2i_outpaimt.json | アウトペインティング2 | 00:16.05 | 00:19.99 | 00:24.95 | 00:33.11 | 01:24.59 | 08:57.10 | |
| s01_img2img.json | Comfyui 公式サンプル Img2Img | 00:01.67 | 00:02.85 | 00:03.54 | 00:06.46 | 00:28.08 | 03:08.13 | |
| s02_hiresfix_latent.json | 2パスTxt2Img (高解像度修正) | 00:05.11 | 00:10.99 | 00:14.97 | 00:22.59 | 02:38.34 | 23:06.98 | |
| s02a_hiresfix_esrgan.json | 非潜在アップスケーリング | 00:07.50 | 00:15.41 | 00:18.73 | 00:33.31 | 03:00.41 | 26:30,40 | |
| tagger_t2i_base.json | 画像から同じ雰囲気の画像を生成 | 00:05.46 | 00:09.22 | 00:04,46 | 00:12.00 | 00:41.83 | 04:34.00 | |
| ollama_t2i_base.json | Ollama 同じ雰囲気の画像を生成 | 00:10.62 | 00:21.87 | 00:16.18 | 00:29.46 | 01:03.96 | 05:34.55 | |
| tagger_t2i_canny.json | 画像から同じ画像を再現 | 00:06.91 | 00:10.89 | 00:17.98 | 00:17.17 | 00:43.70 | 04:12.83 | |
| base-sdxl.json | SDXL「text2img」基本 | 00:39.86 | 01:05.69 | 00:56.79 | 01:24.05 | 04:09.59 | 29:28.01 | |
| 画像生成:動画生成 | ||||||||
| framepack_hv_test_00.json | 静止画から動画生成 FramePack | 14:07.45 | 29:21.42 | 39:40.66 | 54:10.41 | × | × | × |
| framepack_sample_01.json | FramePack_01 | 12:56.46 | 27:54.57 | 42:06.65 | 54:06.70 | × | × | × |
| framepack_f1_sample_02.json | 順方向生成 FramePack F1 | 11:55.94 | 25:11.83 | 41:23.33 | 50:40.30 | × | × | × |
| 画像生成:音楽生成 | ||||||||
| audio_ace_step_1_t2a_instrumentals.json | Text to Instrumentals | 00:08.61 | 00:22.63 | 00:33.30 | 00:43.14 | 03:06.65 | 14:14.08 | |
| audio_ace_step_1_t2a_song.json | Text to Song | 00:26.37 | 01:01.53 | 01:39.03 | 01:37.32 | 10:26.01 | 63:18.43 | |
| ace_step_1_m2m_editing.json | M2m Editing | 00:09.68 | 00:23.34 | 00:37.81 | 00:44.81 | 03:22.20 | 20:14.84 | |
| audio_test.json | テキストから楽曲生成の基本 | 00:25.65 | 01:03.56 | 01:34.33 | 01:40.37 | 10:59.16 | 61:21.31 | |
| mmaudio_test.json | 動画から効果音を生成 | 00:12.22 | 00:12.29 | 00:19.76 | 3:32.04 | 18:58.88 | × | × |