私的AI研究会 > ComfyMaster
「ComfyUI マスターガイド」を読み解く
| 「ComfyUI マスターガイド」学習メモ |
📂ComfyUI ├─📂input ← ワークフローに含まれる入力画像 └─📂user └─📂default └─📂workflows ← ワークフローの保存場所(この章で作成するワークフロー)・解凍してできる「ComfyUI/」フォルダを「StabilityMatrix/Data/Packages/ComfyUI」へ上書きコピーする
| ID | 方向 | 内容 |
| 1 | landscape | 横配置 |
| 2 | portrait | 縦配置 |
| 3 | square | 正方形 |
| ワークフロー | 機 能 | CPU | CPU | |||||
| RTX 4070 | RTX 4060 | RTX 4060L | RTX 3050 | GTX 1050 | i7-1260P | i7-1185G7 | ||
| 1001_sd15_t2i_base.json | SD15モデル T2I基本ワークフロー | 00:07.90 | 00:16.70 | 00:20.84 | 00:37.82 | 00:53.22 | 05:30.83 | 05:03.94 |
| 1002_sd15_t2i_hires.json | SD15モデル T2I高解像度 (hires.fix) | 00:10.24 | 00:16.55 | 00:23.46 | 00:32.25 | 03:24.60 | 30:21.26 | 25:54.37 |
| 1003_sd15_i2i_base.json | SD15モデル I2I基本ワークフロー | 00:05.64 | 00:06.22 | 00:18.66 | 00:33.65 | 00:29.81 | 03:13.47 | 02:58.65 |
| 1004_sd15_i2i_inpaint.json | SD15モデル Inpaintワークフロー | 00:02.14 | 00:02.57 | 00:04.09 | 00:05.85 | 00:26.25 | 03:09.29 | 02:56.59 |
| 1005_sd15_i2i_outpaint.json | SD15 モデル Outpaintワークフロー | 00:07.27 | ||||||
| 1006_sd15_t2i_controlnet.json | SD15 モデル ControlNet フロー | 00:08.44 | ||||||
| 1111_sdxl_t2i_base.json | SDXLモデル T2I基本ワークフロー | 00:36.48 | 00:50.17 | 00:44.20 | 02:36.31 | 03:29.06 | 26:12.80 | 21:03.79 |
| 1112_sdxl_t2i_hires.json | SDXLモデル T2I高解像度 (hires.fix) | 01:08.33 | 01:52.59 | 02:13.50 | 05:00.20 | 23:54.44 | 223:14.65 | 160:42.34 |
| 1113_sdxl_i2i_base.json | SDXLモデル I2I基本ワークフロー | 00:14.06 | 00:19.43 | 00:41.96 | 02:51.50 | 03:33.91 | 29:21.72 | 21:38.96 |
| 1114_sdxl_i2i_inpaint.json | SDXLモデル Inpaintワークフロー | 00:14.06 | 00:20.58 | 00:55.78 | 00:40.58 | 03:20.98 | 20:13.70 | 21:33.10 |
| 1115_sdxl_i2i_outpaint.json | SDXL モデル Outpaintワークフロー | 0015.52 | 00:52.09 | |||||
| 1116_sdxl_t2i_controlnet.json | SDXL モデル ControlNet フロー | 00:11.26 | 00:48.39 | |||||
| 1117_sdxl_ipadapter_base.json | SDXL モデル IPAdapter フロー | 00:13.18 | 00:38.42 | |||||
| 1118_sdxl_illust_to_real.json | SDXL モデル 画像のスタイル変換 | 00:20.24 | 00:64.68 | |||||
| 2101_z_image_turbo_simple.json | Z-Image-Turbo 基本ワークフロー | 00:07.46 | 00:18.99 | 00:27.22 | 00:39.74 | 05:05.45 | 34:09.71 | 27:47.87 |
| 2102_z_image_turbo_controlnet.json | Z-Image-Turbo コントロールネット | 00:07.22 | 00:21.02 | 00:29.68 | 00:43.61 | 05:38.72 | 41:15.66 | 31:09.73 |
| 2111_z_image_base_simple.json | Z-Image-Base 基本ワークフロー | 00:35.91 | 01:28.12 | 02:27.91 | 04:10.93 | 23:17.65 | 283:57.25 | 199:24.86 |
| 3111_flux1_schnell_simple.json | FLUX.1 モデル 基本ワークフロー | 01:06.92 | 01:23.28 | 01:22.22 | 05:37.47 | 04:24.33 | 37:26.13 | × |
| 3112_flux1_schnell_controlnet.json | FLUX.1 モデル ControlNet フロー | 00:30.95 | ||||||
| 3121_flux2_klein_distilled.json | FLUX.2モデル 基本(蒸留版 fp8) | 00:05.82 | 00:21.59 | 01:57.55 | 09:13.29 | |||
| 3122_flux2_klein_base.json | FLUX.2モデル 基本(base版 fp8) | 00:18.64 | 01:01.81 | 18:09.73 | 102:41.80 | |||
| 「ComfyUI マスターガイド」では SDXL モデルを主にしているが、これまでの SD1.5 系のワークフローについても見直して再構成してみる |
| width | height | 比率 | |
| 正方形 | 512 | 512 | 1:1 |
| 横長画像 | 768 | 512 | 3:2 |
| 縦長画像 | 512 | 768 | 2:3 |
| model | beautifulRealistic_brav5.safetensors, StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | beautifulRealistic_brav5.safetensors, StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | beautifulRealistic_brav5.safetensors, StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | beautifulRealistic_brav5.safetensors, StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | beautifulRealistic_brav5.safetensors, StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | beautifulRealistic_brav5.safetensors, StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| 「ComfyUI マスターガイド」で取り上げているモデルだけでなくこれまで作成した SDXL モデルのワークフローについても見直して再構成する |
| width | height | 比率 | |
| 正方形 | 1024 | 1024 | 1:1 |
| 横長画像 | 1152 | 896 | 4:3 |
| 1216 | 832 | 3:2 | |
| 1344 | 768 | 16:9 | |
| 1536 | 640 | 21:9 | |
| 縦長画像 | 896 | 1152 | 3:4 |
| 832 | 1216 | 2:3 | |
| 768 | 1344 | 9:16 | |
| 640 | 1536 | 9:21 |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 1152x896, 896x1152, 1024x1024 |
| Workflow | ![]() |
| ・基本的な「text to image」ワークフローに高解像度化を行うと Hires.fix を追加したワークフロー ・Hires.fix(High-Resolution Fix) は、生成された画像をもとにしてより高い解像度の画像を生成する技術 ・低解像度の画像に含まれる情報を元に AI が欠落している高周波成分(細部情報)を推論・補完することで高解像度化する ・単なる引き延ばしの拡大とは異なり画像の内部を理解することで補完する過程に AI による推論が行われている このような画像の拡大をアップスケール(高解像度化)という |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 2304x1792, 1792x2304, 2048x2048 |
| Workflow | ![]() |
| ・最も基本的な「image to image」ワークフロー。VAE エンコーダーで画像を潜在空間へ圧縮し、空の潜在空間画像の代わりにして画像を生成する ・「text to image」とほとんど同じだが、サンプリングに空の潜在空間ではなく、入力した画像を潜在空間に圧縮したものを使用する ・この技術は、写真の編集や修正、アートスタイルの返還、キャラクターデザインの変更、風景画の変更や拡張など、幅広い用途に活用できる |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 入力画像のサイズ |
| Workflow | ![]() |
| ・「image to image」にカテゴライズされる inpaint と呼ばれるマスクを利用して、入力画像の一部の書き換えを行う ・通常の img2img とは異なる専用の VAE エンコーダーで画像とマスク画像の処理を行う |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 入力画像のサイズ |
| Workflow | ![]() |
| ・「image to image」にカテゴライズされる Outpaint と呼ばれる入力画像の外側を新たに生成するもの ・ノード「Pad Image for Outpainting0」を利用し新たに拡張する領域を指定して、そこにプロンプトによる条件付けに従った画像を生成する |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 入力画像のサイズ + 指定した拡張サイズ |
| Workflow | ![]() |
| ・ControlNetは、既存の画像生成モデルに「制御」の要素を加える技術。ControlNetを使用すると、プロンプトに加えて、追加の情報をAIに与えることができる ・追加情報には、画像の輪郭線、深度情報、ポーズ、セグメンテーションマップなどの情報をもとに、より意図に合致した画像を生成することができるようになる ・SDXL には各種 ControlNet を 1つに集約した便利な Unionモデルがある |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, controlnet-union-sdxl-1.0-pro.safetensors, SDXL モデル |
| size (pixel) | 1152x896, 896x1152, 1024x1024 |
| Workflow | ![]() |
| ・IPAdapterは、テキストプロンプトに加えて参照画像を入力することで、AIによる画像生成をより精密に制御する技術。 ・画像のスタイル、特定の視覚要素、全体的な構図など、プロンプトでは表現しきれないニュアンスをAIに伝え、生成画像の品質、一貫性、再現性を向上させる |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, ip-adapter-plus_sdxl_vit-h.safetensors, SDXL モデル |
| size (pixel) | 1152x896, 896x1152, 1024x1024 |
| Workflow | ![]() |
| ・ControlNet を複数組み合わせて元画像のスタイルを変換した画像を生成する |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, controlnet-union-sdxl-1.0-pro.safetensors, SDXL モデル |
| size (pixel) | 1152x896, 896x1152, 1024x1024 |
| Workflow | ![]() |
| FLUX.1 の特徴は自然言語の理解力と、幅広い作風の生成力にある。プロンプトを工夫することで従来モデルでは難しかった作風や構成が可能になるかもしれない。 FLUX.1 のワークフローは SD1.5 / SDXL などの StableDiffusion モデルのものとは異なった構造をしている。 |
| 2.0M pixel | 1.0M pixel | 0.2M pixel | 0.1M pixel | 比率 | |||||
| width | height | width | height | width | height | width | height | ||
| 正方形 | 1408 | 1408 | 1024 | 1024 | 512 | 512 | 320 | 320 | 1:1 |
| 横長画像 | 1664 | 1216 | 1152 | 896 | 448 | 320 | 4:3 | ||
| 1728 | 1152 | 1216 | 832 | 768 | 512 | 354 | 256 | 3:2 | |
| 1920 | 1088 | 1344 | 768 | 448 | 256 | 16:9 | |||
| 2176 | 960 | 1536 | 640 | 1216 | 512 | 576 | 256 | 21:9 | |
| 縦長画像 | 1216 | 1664 | 896 | 1152 | 320 | 448 | 3:4 | ||
| 1152 | 1728 | 832 | 1216 | 512 | 768 | 256 | 384 | 2:3 | |
| 1088 | 1920 | 768 | 1344 | 256 | 448 | 9:16 | |||
| 960 | 2176 | 640 | 1536 | 512 | 1216 | 256 | 576 | 9:21 | |
| model | flux1-schnell-fp8.safetensors, t5xxl_fp8_e4m3fn.safetensors, ae.safetensors |
| size (pixel) | 1152x896, 1024x1024 |
| Workflow | ![]() |
| model | flux1-schnell-fp8.safetensors, t5xxl_fp8_e4m3fn.safetensors, ae.safetensors, FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8.safetensors |
| size (pixel) | 1152x896, 1024x1024 |
| Workflow | ![]() |
| FLUX.1 から大幅に進化し、最高峰の画質、プロンプトへの追従性、驚異的な生成速度を兼ね備えた FLUX.2 の 6GB程度の VRAM でも動作するといわれる超高速・軽量モデル「klein」についての検証 |