私的AI研究会 > ComfyMaster
「ComfyUI マスターガイド」を読み解く
| 「ComfyUI マスターガイド」学習メモ |
📂ComfyUI ├─📂input ← ワークフローに含まれる入力画像 └─📂user └─📂default └─📂workflows ← ワークフローの保存場所(この章で作成するワークフロー)・解凍してできる「ComfyUI/」フォルダを「StabilityMatrix/Data/Packages/ComfyUI」へ上書きコピーする
| ID | 方向 | 内容 |
| 1 | landscape | 横配置 |
| 2 | portrait | 縦配置 |
| 3 | square | 正方形 |
| ワークフロー | 機 能 | CPU | CPU | |||||
| RTX 4070 | RTX 4060 | RTX 4060L | RTX 3050 | GTX 1050 | i7-1260P | i7-1185G7 | ||
| 1001_sd15_t2i_base.json | SD15モデル T2I基本ワークフロー | 00:07.90 | 00:16.70 | 00:20.84 | 00:37.82 | 00:53.22 | 05:30.83 | 05:03.94 |
| 1002_sd15_t2i_hires.json | SD15モデル T2I高解像度 (hires.fix) | 00:10.24 | 00:16.55 | 00:23.46 | 00:32.25 | 03:24.60 | 30:21.26 | 25:54.37 |
| 1003_sd15_i2i_base.json | SD15モデル I2I基本ワークフロー | 00:05.64 | 00:06.22 | 00:18.66 | 00:33.65 | 00:29.81 | 03:13.47 | 02:58.65 |
| 1004_sd15_i2i_inpaint.json | SD15モデル Inpaintワークフロー | 00:02.14 | 00:02.57 | 00:04.09 | 00:05.85 | 00:26.25 | 03:09.29 | 02:56.59 |
| 1005_sd15_i2i_inpaint.json | SD15 モデル Outpaintワークフロー | |||||||
| 1111_sdxl_t2i_base.json | SDXLモデル T2I基本ワークフロー | 00:36.48 | 00:50.17 | 00:44.20 | 02:36.31 | 03:29.06 | 26:12.80 | 21:03.79 |
| 1112_sdxl_t2i_hires.json | SDXLモデル T2I高解像度 (hires.fix) | 01:08.33 | 01:52.59 | 02:13.50 | 05:00.20 | 23:54.44 | 223:14.65 | 160:42.34 |
| 1113_sdxl_i2i_base.json | SDXLモデル I2I基本ワークフロー | 00:14.06 | 00:19.43 | 00:41.96 | 02:51.50 | 03:33.91 | 29:21.72 | 21:38.96 |
| 1114_sdxl_i2i_inpaint.json | SDXLモデル Inpaintワークフロー | 00:14.06 | 00:20.58 | 00:55.78 | 00:40.58 | 03:20.98 | 20:13.70 | 21:33.10 |
| 1115_sdxl_i2i_outpaint.json | SDXL モデル Outpaintワークフロー | |||||||
| 2101_z_image_turbo_simple.json | Z-Image-Turbo 基本ワークフロー | 00:07.46 | 00:18.99 | 00:27.22 | 00:39.74 | 05:05.45 | 34:09.71 | 27:47.87 |
| 2102_z_image_turbo_controlnet.json | Z-Image-Turbo コントロールネット | 00:07.22 | 00:21.02 | 00:29.68 | 00:43.61 | 05:38.72 | 41:15.66 | 31:09.73 |
| 2111_z_image_base_simple.json | Z-Image-Base 基本ワークフロー | 00:35.91 | 01:28.12 | 02:27.91 | 04:10.93 | 23:17.65 | 283:57.25 | 199:24.86 |
| 3111_flux1_schnell_simple.json | FLUX.1 モデル 基本ワークフロー | 01:06.92 | 01:23.28 | 01:22.22 | 05:37.47 | 04:24.33 | 37:26.13 | × |
| 「ComfyUI マスターガイド」では SDXL モデルを主にしているが、これまでの SD1.5 系のワークフローについても見直して再構成してみる |
| width | height | 比率 | |
| 正方形 | 512 | 512 | 1:1 |
| 横長画像 | 768 | 512 | 3:2 |
| 縦長画像 | 512 | 768 | 2:3 |
| model | StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| model | StableDiffusion モデル(SD1.5 系) |
| size (pixel) | 768x512, 512x768, 512x512 |
| Workflow | ![]() |
| 「ComfyUI マスターガイド」で取り上げているモデルだけでなくこれまで作成した SDXL モデルのワークフローについても見直して再構成する |
| width | height | 比率 | |
| 正方形 | 1024 | 1024 | 1:1 |
| 横長画像 | 1152 | 896 | 4:3 |
| 1216 | 832 | 3:2 | |
| 1344 | 768 | 16:9 | |
| 1536 | 640 | 21:9 | |
| 縦長画像 | 896 | 1152 | 3:4 |
| 832 | 1216 | 2:3 | |
| 768 | 1344 | 9:16 | |
| 640 | 1536 | 9:21 |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 1152x896, 896x1152, 1024x1024 |
| Workflow | ![]() |
| ・基本的な「text to image」ワークフローに高解像度化を行うと Hires.fix を追加したワークフロー ・Hires.fix(High-Resolution Fix) は、生成された画像をもとにしてより高い解像度の画像を生成する技術 ・低解像度の画像に含まれる情報を元に AI が欠落している高周波成分(細部情報)を推論・補完することで高解像度化する ・単なる引き延ばしの拡大とは異なり画像の内部を理解することで補完する過程に AI による推論が行われている このような画像の拡大をアップスケール(高解像度化)という |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 2304x1792, 1792x2304, 2048x2048 |
| Workflow | ![]() |
| ・最も基本的な「image to image」ワークフロー。VAE エンコーダーで画像を潜在空間へ圧縮し、空の潜在空間画像の代わりにして画像を生成する ・「text to image」とほとんど同じだが、サンプリングに空の潜在空間ではなく、入力した画像を潜在空間に圧縮したものを使用する ・この技術は、写真の編集や修正、アートスタイルの返還、キャラクターデザインの変更、風景画の変更や拡張など、幅広い用途に活用できる |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 入力画像のサイズ |
| Workflow | ![]() |
| ・「image to image」にカテゴライズされる inpaint と呼ばれるマスクを利用して、入力画像の一部の書き換えを行う ・通常の img2img とは異なる専用の VAE エンコーダーで画像とマスク画像の処理を行う |
| Prompt | realistic, photograph, 8k, high quality, masterpiece, 1girl, smile, 20 years old, portrait, |
| リアル、写真、8k、高品質、傑作、女の子1人、笑顔、20歳、ポートレート、 | |
| Negative Prompt | worst quality, low quality, normal quality, text, |
| 最低品質、低品質、通常品質、テキスト、 |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 入力画像のサイズ |
| Workflow | ![]() |
| ・「image to image」にカテゴライズされる Outpaint と呼ばれる入力画像の外側を新たに生成するもの ・ノード「Pad Image for Outpainting0」を利用し新たに拡張する領域を指定して、そこにプロンプトによる条件付けに従った画像を生成する |
| Prompt | bright and clear blue sky, light but saturated blue, vibrant sky, no deep blues, white clouds, abundant clouds, detailed clouds, dramatic clouds, cumulus clouds, summertime brightness, clear atmosphere, soft light, vast blue sky |
| 明るく澄んだ青空、淡いが彩度の高い青、鮮やかな空、深い青がない、白い雲、豊かな雲、細かい雲、ドラマチックな雲、積雲、夏の明るさ、澄んだ空気、柔らかな光、広大な青空 | |
| Negative Prompt | worst quality, low quality, normal quality, text, |
| 最低品質、低品質、通常品質、テキスト、 |
| model | realvisxlV50_v50LightningBakedvae.safetensors, add-detail-xl.safetensors, SDXL モデル |
| size (pixel) | 入力画像のサイズ + 指定した拡張サイズ |
| Workflow | ![]() |
| FLUX.1 の特徴は自然言語の理解力と、幅広い作風の生成力にある。プロンプトを工夫することで従来モデルでは難しかった作風や構成が可能になるかもしれない。 FLUX.1 のワークフローは SD1.5 / SDXL などの StableDiffusion モデルのものとは異なった構造をしている。 |
| 2.0M pixel | 1.0M pixel | 0.2M pixel | 0.1M pixel | 比率 | |||||
| width | height | width | height | width | height | width | height | ||
| 正方形 | 1408 | 1408 | 1024 | 1024 | 512 | 512 | 320 | 320 | 1:1 |
| 横長画像 | 1664 | 1216 | 1152 | 896 | 448 | 320 | 4:3 | ||
| 1728 | 1152 | 1216 | 832 | 768 | 512 | 354 | 256 | 3:2 | |
| 1920 | 1088 | 1344 | 768 | 448 | 256 | 16:9 | |||
| 2176 | 960 | 1536 | 640 | 1216 | 512 | 576 | 256 | 21:9 | |
| 縦長画像 | 1216 | 1664 | 896 | 1152 | 320 | 448 | 3:4 | ||
| 1152 | 1728 | 832 | 1216 | 512 | 768 | 256 | 384 | 2:3 | |
| 1088 | 1920 | 768 | 1344 | 256 | 448 | 9:16 | |||
| 960 | 2176 | 640 | 1536 | 512 | 1216 | 256 | 576 | 9:21 | |
| model | flux1-schnell-fp8.safetensors, t5xxl_fp8_e4m3fn.safetensors, ae.safetensors |
| size (pixel) | 1152x896, 1024x1024 |
| Workflow | ![]() |