ComfyUI12 の履歴(No.1)

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
ComfyUI12 へ行く。
- 1 (2026-04-05 (日) 10:10:05)

私的AI研究会 > ComfyUI12

画像生成AI「ComfyUI」１２（復習）†

#ref(): File not found: "comfyui_711a_m.jpg" at page "ComfyUI12"

　「ComfyUI」を使ってローカル環境でのAI画像生成を検証する

▲　目　次

画像生成AI「ComfyUI」１２（復習）
- 『SDXL』を新しいモデルで検証する
- 更新履歴
参考資料

※ 最終更新:2026/04/05　

　『SDXL』を最新モデルで検証する

↑

『SDXL』を新しいモデルで検証する†

　『SDXL』を新しいモデルで検証する

↑

概要†

モデルのダウンロードと配置

モデル名	ファイル名（.safetensors）	配置先		ダウンロード URL
SDXL model	realvisxlV50_v50LightningBakedvae	/StabilityMatrix/Data/ Models/	StableDiffusion/	https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors
LoRA	add-detail-xl		Lora/	https://civitai.com/models/122359/detail-tweaker-xl
ControlNet	ダウンロード後ファイル名を下記に変更 controlnet-union-sdxl-1.0-pro		ControlNet/	https://huggingface.co/xinsir/controlnet-union-sdxl-1.0
IPAdapter	ip-adapter-plus_sdxl_vit-h		IpAdapter/	https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/ip-adapter-plus_sdxl_vit-h.safetensors

↑

プロジェクトで作成するワークフロー†

このプロジェクトで作成するワークフローと関連データは下記にアップロードしている（更新されている場合は再度ダウンロードのこと）

ComfyUI_ex_proj.zip をダウンロード（随時更新中）※2026/04/05更新
・解凍してできるフォルダ

📂ComfyUI
  ├─📂input　　　　　　　　　　　　　　← ワークフローに含まれる入力画像
  └─📂user
        └─📂default
              └─📂workflows 　　　　　　← ワークフローの保存場所
                    :
                    ├─📂etc
                    └─📂SDXL　　　　　　← この章で作成するワークフロー

・解凍してできる「ComfyUI/」フォルダを「StabilityMatrix/Data/Packages/ComfyUI」へ上書きコピーする

ワークフローと動作環境による生成時間（分：秒）

ワークフロー	機　能	CPU					CPU
ワークフロー	機　能	RTX 4070	RTX 4060	RTX 4060L	RTX 3050	GTX 1050	i7-1260P	i7-1185G7
1111_sdxl_t2i_base	SDXLモデル T2I基本ワークフロー	00:36.48	00:50.17	00:44.20	02:36.31	03:29.06	26:12.80	21:03.79
1112_sdxl_t2i_hires	SDXLモデル T2I高解像度 (hires.fix)	01:08.33	01:52.59	02:13.50	05:00.20	23:54.44	223:14.65	160:42.34
1113_sdxl_i2i_base	SDXLモデル I2I基本ワークフロー	00:14.06	00:19.43	00:41.96	02:51.50	03:33.91	29:21.72	21:38.96
1114_sdxl_i2i_inpaint	SDXLモデル Inpaintワークフロー	00:14.06	00:20.58	00:55.78	00:40.58	03:20.98	20:13.70	21:33.10
1115_sdxl_i2i_outpaint	SDXL モデル Outpaintワークフロー	0015.52	01:00.23	00:52.09	03:03.07	04:25.00	44:40.18	30:17.81
1116_sdxl_t2i_controlnet	SDXL モデル ControlNet フロー	00:11.26	00:31.99	00:48.39	01:53.47	04:35.38	40:35.98	×
1117_sdxl_ipadapter_base	SDXL モデル IPAdapter フロー	00:13.18	00:31.44	00:38.42	01:17.36	03:19.39	26:18.35	51:42.41
1118_sdxl_illust_to_real	SDXL モデル画像のスタイル変換	00:20.24	00:50.99	00:64.68	01:38.25	05:58.73	51:26.70	96:59.36

↑

Step 1：基本ワークフローの作成†

もとになるワークフローを選ぶ
① 「_base/」base.json 基本ワークフローを読み出す
②「CLIP Text Encoder」ノードを1つにする
③「Load Checkpoint」ノードの ckpt_name「realvisxlV50_v50LightningBakedvae.safetensors」を選択
④「Load LoRA」の LoRA を「add-detail-xl.safetensors」に変更する
⑤ ワークフローを整理して保存する

ワークフローを実行する

プロンプト
beautiful scenery nature glass bottle landscape, purple galaxy bottle,
美しい風景の自然のガラス瓶の風景、紫色の銀河の瓶、
worst quality, low quality, normal quality
最悪品質、低品質、通常品質

ワークフロー：「SDXL/」&ref(): File not found: "1111_sdxl_t2i_base.json" at page "ComfyUI12";
&ref(): File not found: "comfyui_731_m.jpg" at page "ComfyUI12";

#ref(): File not found: "1111_2026-03-03_00015_m.jpg" at page "ComfyUI12"

↑

Step 2： Inpaint ワークフローの作成†

もとになるワークフローを選ぶ
① 「_base/」base.json 基本ワークフローを読み出す
②「CLIP Text Encoder」ノードを1つにする
③「Load Checkpoint」ノードの ckpt_name「realvisxlV50_v50LightningBakedvae.safetensors」を選択
④「Load LoRA」の LoRA を「add-detail-xl.safetensors」に変更する
⑤「Latent Image」ノードを「VAE Encoder (for Inpainting)」に変更する
⑥「Load Image」ノードを追加して「IMAGE」「MASK」を「VAE Encoder (for Inpainting)」に接続する
⑦「Load Image」ノード上で右クリックしますくえでぃたでマスク画像を作成する
⑧ ワークフローを整理して保存する

ワークフローを実行する

Prompt	realistic, photograph, 8k, high quality, masterpiece, 1girl, smile, 20 years old, portrait,
	リアル、写真、8k、高品質、傑作、女の子1人、笑顔、20歳、ポートレート、
Negative Prompt	worst quality, low quality, normal quality, text,
	最低品質、低品質、通常品質、テキスト、

入力画像	マスク画像	生成画像

ワークフロー：「SDXL/」&ref(): File not found: "1114_sdxl_i2i_inpaint.json" at page "ComfyUI12";
&ref(): File not found: "comfyui_736_m.jpg" at page "ComfyUI12";

↑

Step 3： Outpaint ワークフローの作成†

もとになるワークフローを選ぶ
① 「SDXL/」&ref(): File not found: "1114_sdxl_i2i_inpaint.json" at page "ComfyUI12"; Inpaint ワークフローを読み出す
②「Load Image」と「VAE Encoder (for Inpainting)」ノードの間に「Pad Image for Outpainting」を追加する
③ ワークフローを整理して保存する

ワークフローを実行する

Prompt	bright and clear blue sky, light but saturated blue, vibrant sky, no deep blues, white clouds, abundant clouds, detailed clouds, dramatic clouds, cumulus clouds, summertime brightness, clear atmosphere, soft light, vast blue sky
	明るく澄んだ青空、淡いが彩度の高い青、鮮やかな空、深い青がない、白い雲、豊かな雲、細かい雲、ドラマチックな雲、積雲、夏の明るさ、澄んだ空気、柔らかな光、広大な青空
Negative Prompt	worst quality, low quality, normal quality, text,
	最低品質、低品質、通常品質、テキスト、

入力画像	上に 128 pixel 追加生成画像	上に 128+128 pixel 追加生成画像

ワークフロー：「SDXL/」&ref(): File not found: "1115_sdxl_i2i_outpaint.json" at page "ComfyUI12";
&ref(): File not found: "comfyui_739_m.jpg" at page "ComfyUI12";

↑

Step 4： ControlNet を使用する†

ControlNet とは
・ControlNetは、既存の画像生成モデルに「制御」の要素を加える技術
・ControlNetを使用すると、プロンプトに加えて、追加の情報をAIに与えることができる
・画像の輪郭線、深度情報、ポーズ、セグメンテーションマップなど、様々な追加情報をもとに、より意図に合致した画像を生成することができるようになる

モデルのダウンロードと配置

モデル名	ファイル名（.safetensors）	配置先		ダウンロード URL
ControlNet	ダウンロード後ファイル名を下記に変更 controlnet-union-sdxl-1.0-pro	/StabilityMatrix/Data/ Models/	ControlNet/	https://huggingface.co/xinsir/controlnet-union-sdxl-1.0

ワークフローを実行する

Prompt	a japanease woman with a short haircut and a white shirt is posing for a picture with a white background, perfect face, a character portrait, precisionism
	ショートヘアで白いシャツを着た日本人女性が白い背景の前でポーズをとっている。完璧な顔立ち、人物像、精密さ
Negative Prompt	worst quality,low quality,painting,sketch,flat color,monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples
	最低品質、低品質、絵画、スケッチ、フラットカラー、モノクロ、グレースケール、醜い顔、悪い顔、解剖学的に悪い、変形した目、指の欠損、ニキビ、肌のシミ、NSFW、ヌード、乳首

text to image	入力画像	canny	pose	depth	line art

ワークフロー：「SDXL/」&ref(): File not found: "1116_sdxl_t2i_controlnet.json" at page "ComfyUI12";
&ref(): File not found: "comfyui_746_m.jpg" at page "ComfyUI12";

「Scribｂle」を追加して実行する

ワークフロー：「SDXL/」&ref(): File not found: "1116_sdxl_t2i_controlnet.json" at page "ComfyUI12";	手書き線画	生成画像
&ref(): File not found: "comfyui_746a_m.jpg" at page "ComfyUI12";	&ref(): File not found: "scribble_01_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1116_2026-03-18_00001_m.jpg" at page "ComfyUI12";

↑

Step 5： IPAdapter でスタイルを検出して画像を生成†

IPAdapter とは
・IPAdapterは、テキストベースのプロンプトと視覚的な参照画像を組み合わせることで、より詳細で正確な指示を与えることを可能にする技術
・生成される画像の品質、スタイルの一貫性、特定の視覚要素の再現性が大幅に向上する

モデルのダウンロードと配置

モデル名	ファイル名（.safetensors）	配置先		ダウンロード URL
SDXL model	realvisxlV50_v50LightningBakedvae	/StabilityMatrix/Data/ Models/	diffusion_models/	https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors
Clip Vision	CLIP-ViT-H-14-laion2B-s32B-b79K		ClipVision/	https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k
IPAdapter	ip-adapter-plus_sdxl_vit-h		IpAdapter/	https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/ip-adapter-plus_sdxl_vit-h.safetensors

ワークフローを実行する

Prompt	a japanease woman with a short haircut and a white shirt is posing for a picture with a white background, perfect face, a character portrait, precisionism
	ショートヘアで白いシャツを着た日本人女性が白い背景の前でポーズをとっている。完璧な顔立ち、人物像、精密さ
Negative Prompt	worst quality,low quality,painting,sketch,flat color,monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples
	最低品質、低品質、絵画、スケッチ、フラットカラー、モノクロ、グレースケール、醜い顔、悪い顔、解剖学的に悪い、変形した目、指の欠損、ニキビ、肌のシミ、NSFW、ヌード、乳首

ワークフロー：「SDXL/」&ref(): File not found: "1117_sdxl_ipadapter_base.json" at page "ComfyUI12";	入力画像
&ref(): File not found: "comfyui_747_m.jpg" at page "ComfyUI12";	&ref(): File not found: "butterfly_01_m.jpg" at page "ComfyUI12";

#ref(): File not found: "1117_2026-03-18_00001_m.jpg" at page "ComfyUI12"

パラメータを調整する

weight_type	参照する内容	特徴
linear	形状＋スタイル	参照画像の全体的特徴を均等に適用する
ease in, ease out, ease in-out, reverse in-out, weak input, weak output, weak middle, strong middle	形状＋スタイル（時間変化）	参照画像の全体的特徴を、それぞれ weight_type の名前通りに、サンプリングの経過に合わせて影響力を変化させて適用する
style transfer	スタイル	形状は維持しつつ、参照画像の色調や質感を適用する
composition	構図	参照画像のレイアウトやバランスを適用する
strong style transfer	スタイル（強）	style transfer より強くスタイルを適用する

weight_type:style transfer, weight:0.5	weight_type:style transfer, weight:0.78	weight_type:style transfer, weight:0.9	weight_type:style transfer, weight:1.0
&ref(): File not found: "1117_2026-03-18_00002_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1117_2026-03-18_00003_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1117_2026-03-18_00004_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1117_2026-03-18_00005_m.jpg" at page "ComfyUI12";
weight_type:linear, weight:0.3	weight_type:linear, weight:0.5	weight_type:linear, weight:0.68	weight_type:linear, weight:0.8
&ref(): File not found: "1117_2026-03-18_00006_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1117_2026-03-18_00001_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1117_2026-03-18_00008_m.jpg" at page "ComfyUI12";	&ref(): File not found: "1117_2026-03-18_00009_m.jpg" at page "ComfyUI12";

↑

Step 6：ControlNet で画像のスタイルを変換する†

　アニメ調の参照画像を入力して、その詳細な特徴を反映した写実的な画像を img2img で生成する
ControlNet の使用により、入力画像の構造が出力に強く反映され、同時にプロンプトとモデルの力を借りることで現実感のある詳細な描写が付加され、元のイラストに描写されている情報を保ちつつ、より写実的な画像が描かれることが期待できる

ワークフローの構成
・ControlNet の「Depth」「Lineart」を組み合わせて使用する
・「Depth」は被写体と背景の関係を明示し「Lineart」は参照画像に描写されている細かな形状を維持する目的で利用する
・ControlNet を複数組み合わせる場合「Apply ControlNet」を直列に接続する
・それぞれの ControlNet の「strength」の値や、サンプリングのタイミングをずらすことで過剰な条件付けによる生成画像の破綻を防ぐ

ワークフローを実行する

Prompt	realistic, photorealistic, profile picture, japanease 1girl, standing, happy , long brown hair, outside, sunny park, trees, background, digital art
	リアル、フォトリアル、プロフィール写真、日本人少女1人、立っている、幸せ、長い茶色の髪、屋外、晴れた公園、木々、背景、デジタルアート
Negative Prompt	anime, illustration,
	アニメ、イラスト、

ワークフロー：「SDXL/」&ref(): File not found: "1118_sdxl_illust_to_real.json" at page "ComfyUI12";	入力画像
&ref(): File not found: "comfyui_748_m.jpg" at page "ComfyUI12";	&ref(): File not found: "StableDiffusion_247L_m.jpg" at page "ComfyUI12";

#ref(): File not found: "1118_2026-03-19_00001_m.jpg" at page "ComfyUI12"

↑

更新履歴†

2026/02/20 初版
2026/04/05「Z-Image」「FLUX」「SDXL」ページ分割

↑

参考資料†

ComfyUI SDXL
- RealVisXL V5.0 - V5.0 Lightning (BakedVAE)
- Detail Tweaker XL