私的AI研究会 > ComfyUI10

画像生成AI「ComfyUI」10(実践編) == 編集中 ==

 「ComfyUI」を使ってローカル環境でのAI画像生成を検証する

▲ 目 次
※ 最終更新:2026/03/20 
 今話題の最新モデル『Z-Image-Turbo』『Z-Image-base』『FLUX.1』『SDXL』『FLUX.2』を検証する

プロジェクトで作成するワークフロー

このプロジェクトで作成するワークフローと関連データは下記にアップロードしている(更新されている場合は再度ダウンロードのこと)

『Z-Image-Turbo』を検証する

 高速かつ高品質な画像を生成することができると評価の高い最新の画像生成AIモデル『Z-Image-Turbo』を検証する

概要

画像生成のための環境構築

  1. 必要モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    Z-Image-Turbo本体
    diffusion_models
    z_image_turbo_nvfp4/StabilityMatrix/Data/
    Models/
    diffusion_models/https://huggingface.co/Comfy-Org/z_image_turbo/tree/main/split_files/diffusion_models
    z_image_turbo_bf16
    テキストエンコーダー
    text_encoders
    qwen_3_4b_fp4_mixedtext_encoders/https://huggingface.co/Comfy-Org/z_image_turbo/tree/main/split_files/text_encoders
    qwen_3_4b_fp8_mixed
    qwen_3_4b
    vaeaeVAE/https://huggingface.co/Comfy-Org/z_image_turbo/tree/main/split_files/vae
    ControlNetZ-Image-Turbo-Fun-Controlnet-Union/StabilityMatrix/Data/
    Packages/ComfyUI/models/
    model_patches/https://huggingface.co/alibaba-pai/Z-Image-Turbo-Fun-Controlnet-Union/tree/main

Step 1:標準テンプレートによる生成

  1. ワークフローを選ぶ
    ① 左端のメニューから「Template」を選択
    ② 検索欄に「Z-Image-Turbo」を入力する
    ③「Z-Image-Turbo Text to Image」を選ぶ
    ④ アラートダイアログが出るが無視して閉じる
    ⑤ ワークフローを拡大して「clip_name」をクリック
    ⑥ 表示されるリストから「qwen_3_4b_fp4_mixed.safetensors」を指定する

  2. ワークフローを実行する
    ①「Run」を押して画像を生成する
    z-image-turbo_00002_m.jpg

  3. ワークフローを整理する
     ※ ワークフロー:「z_image/」fileimage_z_image_turbo.json

Step 2:ComfyUI_examples サイト のワークフローによる生成

  1. サイトからワークフローをダウンロード

    ① ダウンロードしたワークフローに「Preview Image」ノードを追加
    ② ネガティブ・プロンプトは不要なので「ConditioningZeroOut」に置き換える
    ③ プロンプトを変更する
    ④ イメージサイズを 1024x768 / 768x1024 / 1024x1024 ピクセル を選択できるようにする
    ⑤ ノード配置を整理する

  2. ワークフローを実行する
    プロンプト
    Close-up portrait of a young woman in her 20s, natural makeup, soft expression.
    85mm lens, f/1.4, shallow depth of field, bokeh background.
    Soft window light from the left, golden hour glow, warm skin tones.
    Cinematic, realistic, high detail, professional photography.
    NOT: oversaturated, anime style, low resolution, distorted face.
    20代の若い女性のクローズアップポートレート。ナチュラルメイク、柔らかな表情。
    85mmレンズ、f/1.4、浅い被写界深度、背景のボケ。
    左から差し込む柔らかな窓の光、ゴールデンアワーの輝き、温かみのある肌色。
    映画のような、リアルな、細部までこだわった、プロフェッショナルな写真。
    注意点:彩度過度、アニメ調、低解像度、歪んだ顔。
    ワークフロー:「z_image/」file2101_z_image_turbo_simple.json
    comfyui_711_m.jpg

  3. 日本語文字の入ったカタログを生成してみる
    プロンプト
    A luxury-style bilingual (Japanease + English) poster advertisement for a minimalist wireless earphone.
    Show the product on a matte black surface with premium studio lighting, soft highlights on metal edges, deep controlled shadows, and flawless color accuracy.
    Textures should appear refined and tactile, with micro-detail clarity and a high-end commercial finish.
    Design the poster in an elegant, high-fashion aesthetic: generous negative space, balanced composition, and minimal visual noise.
    Use a sophisticated monochrome palette with subtle gold or silver accents to emphasize the premium feel.
    Include a minimal English headline: “Pure Sound. Perfect Silence.”
    Add the Japanease counterpart in refined typography: “純粋な音 · 静寂の極み”.
    Place a small bilingual tagline beneath: “Wireless Crafted Quality · 職人技が宿る仕上り”.
    Ensure the text integrates naturally with the design without distracting from the product.
    Background should be a smooth gradient charcoal black with a luxury ambiance.
    Use centered composition, vertical 3:4 aspect ratio, no logo, no watermark.
    ミニマルなワイヤレスイヤホンの、高級感あふれるバイリンガル(日本語+英語)ポスター広告です。
    マットブラックの表面に、プレミアムスタジオ照明、金属エッジの柔らかなハイライト、深くコントロールされた陰影、そして完璧な色彩精度で製品を映し出します。
    テクスチャは洗練され、触感があり、微細なディテールまで鮮明で、高級感のある商業的な仕上がりを実現します。
    ポスターは、エレガントでハイファッションな美学に基づき、十分なネガティブスペース、バランスの取れた構成、そして最小限の視覚的ノイズでデザインします。
    洗練されたモノクロパレットに、さりげないゴールドまたはシルバーのアクセントを加え、高級感を強調します。
    簡潔な英語の見出し「Pure Sound. Perfect Silence.」を記載します。
    洗練されたタイポグラフィで日本語の見出し「純粋な音・静寂の極み」を追加します。
    その下に、小さなバイリンガルのタグライン「Wireless Crafted Quality・職人技が宿る仕上り」を配置します。
    テキストは、製品から気を散らすことなく、デザインに自然に溶け込むようにしてください。
    背景は、高級感のある滑らかなグラデーションのチャコールブラックにしてください。
    中央配置、縦長の3:4アスペクト比、ロゴや透かしは使用しないでください
    ワークフロー:「z_image/」file2101_z_image_turbo_simple.json
    comfyui_712_m.jpg

Step 3:コントロールネットで画像を制御する

  1. ワークフローを作成する
    ワークフロー:「z_image/」file2102_z_image_turbo_controlnet.json入力画像プロンプト
    comfyui_713_m.jpg portrait_02_m.jpg Close-up portrait of a young woman in her 20s, natural makeup, soft expression.
    85mm lens, f/1.4, shallow depth of field, bokeh background.
    Soft window light from the left, golden hour glow, warm skin tones.
    Cinematic, realistic, high detail, professional photography.
    NOT: oversaturated, anime style, low resolution, distorted face.
  2. ワークフローを実行する
    種類ワークフロー(変更部分)コントロール画像生成画像
    Canny comfyui_714_m.jpg ComfyUI_temp_vpqkh_00001_m.jpg zimage_2026-02-25_00001_m.jpg
    Pose comfyui_715_m.jpg ComfyUI_temp_vpqkh_00002_m.jpg zimage_2026-02-25_00002_m.jpg
    Depyh comfyui_716_m.jpg ComfyUI_temp_vpqkh_00003_m.jpg zimage_2026-02-25_00003_m.jpg
    HED
    LineArt
    comfyui_717_m.jpg ComfyUI_temp_vpqkh_00004_m.jpg zimage_2026-02-25_00004_m.jpg
    MLSD comfyui_718_m.jpg ComfyUI_temp_vpqkh_00005_m.jpg zimage_2026-02-25_00005_m.jpg
  3. ワークフローを改良する(V2)
    ワークフロー:「z_image/」file2102_z_image_turbo_controlnet_v2.json改良点
    comfyui_713_v2_m.jpg・それぞれの「ControlNet」ノード出力を切り替えることで、ワークフローを接続し直す必要がないようにした
     → ノードをスイッチで切り替える「rgthree-comfy」

    ・「Fast Muter」ノードの該当項目をクリックすることで「ControlNet」の各機能を実行することができる
 

『Z-Image-base』を検証する

 基本モデル『Z-Image-base』を検証する

概要

  1. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    Z-Image-Base本体
    diffusion_models
    z_image_bf16/StabilityMatrix/Data/
    Models/
    diffusion_models/https://huggingface.co/Comfy-Org/z_image/tree/main/split_files/diffusion_models
    text_encoders※ z_image_turbo と同じtext_encoders/
    vaeVAE/

Step 1:標準テンプレートによる生成

  1. ワークフローを選ぶ
    ① 左端のメニューから「Template」を選択
    ② 検索欄に「Z-Image」を入力する
    ③「Z-Image Text to Image」を選ぶ
    ④ アラートダイアログが出るが無視して閉じる
    ⑤ ワークフローを拡大して「clip_name」をクリック
    ⑥ 表示されるリストから「qwen_3_4b_fp4_mixed.safetensors」を指定する

  2. ワークフローを実行する
    ①「Run」を押して画像を生成する
    z-image_00002_m.jpg

  3. ワークフローを整理する
     ※ ワークフロー:「z_image/」fileimage_z_image_base.json

Step 2:基本ワークフローを作成

  1. Step 1 のワークフローを修正する
    ① Subgraph を展開して元に戻す
    ② Group は不要なので削除する ③ 画像サイズを選択できるようにノードを追加してレイアウト全体を再配置
    ④ 必要なときのみ生成画像を記録できるように変更する

  2. ワークフローを実行する
    プロンプト
    Close-up portrait of a Japanease young woman in her 20s, natural makeup, soft expression.
    85mm lens, f/1.4, shallow depth of field, bokeh background.
    Soft window light from the left, golden hour glow, warm skin tones.
    Cinematic, realistic, high detail, professional photography.
    NOT: oversaturated, anime style, low resolution, distorted face.
    20代の日本の若い女性のクローズアップポートレート。ナチュラルメイク、柔らかな表情。
    85mmレンズ、f/1.4、浅い被写界深度、背景のボケ。
    左から差し込む柔らかな窓の光、ゴールデンアワーの輝き、温かみのある肌色。
    映画のような、リアルな、細部までこだわった、プロフェッショナルな写真。
    注意点:彩度過度、アニメ調、低解像度、歪んだ顔。
    ワークフロー:「z_image/」file2111_z_image_base_simple.json
    comfyui_722_m.jpg

    ・シード値を変更した場合(z-image-turbo はほとんど同じになる)
    228533163497426965272908476212577359144257283937350415573337
    2111_2026-02-28_00002_m.jpg 2111_2026-02-28_00003_m.jpg 2111_2026-02-28_00004_m.jpg 2111_2026-02-28_00005_m.jpg
 

『FLUX.1』「schnell(シュネル)」を検証する

 『FLUX.1』の軽量モデル「schnell(シュネル)」を検証する

概要

  1. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    FLUX.1「schnell」flux1-schnell-fp8/StabilityMatrix/Data/
    Models/
    diffusion_models/https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors
    text_encoderst5xxl_fp8_e4m3fntext_encoders/https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
    vaeaeVAE/https://huggingface.co/lovis93/testllm/blob/ed9cf1af7465cebca4649157f118e331cf2a084f/ae.safetensors
    ControlNetFLUX.1-dev-ControlNet-Union-Pro-2.0ControlNet/https://huggingface.co/Shakker-Labs/FLUX.1-dev-ControlNet-Union-Pro-2.0/tree/main
    FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8https://huggingface.co/ABDALLALSWAITI/FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8

Step 1:標準テンプレートによる生成

  1. ワークフローを選ぶ

    ① 左の画像または下記からダウンロードする
     ・ComfyUI_examples/flux/flux_schnell_example.png
    ② キャンバスへドラッグ&ドロップ
    ③ モデル / VAE / テキスト・エンコーダを設定したものに変更する ④ ワークフローを整理して保存する

  2. ワークフローを実行する
    プロンプト
    a bottle with a beautiful rainbow galaxy inside it on top of a wooden table in the middle of a modern kitchen beside a plate of vegetables and mushrooms and a wine glasse that contains a planet earth with a plate with a half eaten apple pie on it
    モダンなキッチンの真ん中にある木製のテーブルの上に、美しい虹の銀河が描かれたボトルがあり、その横には野菜とキノコの皿と地球が描かれたワイングラスがあり、その上には食べかけのアップルパイが乗った皿がある。
    ワークフロー:「FLUX/」file3111_flux1_schnell_simple.json
    comfyui_730_m.jpg

Step 2:コントロールネットで画像を制御する

  1. 『FLUX.1』「schnell(シュネル)」での ControlNet
    ・「SamplerCustumAdvanced」ノードで ControlNet のワークフローが見当たらないので、従来モデルの手法でアレンジして作成する
    ・正解かどうかは不明だがとりあえずは動作して生成画像ができる

  2. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    ControlNetFLUX.1-dev-ControlNet-Union-Pro-2.0-fp8/StabilityMatrix/Data/
    Models/
    ControlNet/https://huggingface.co/ABDALLALSWAITI/FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8
  3. ワークフローを実行する
    プロンプト
    Close-up portrait of a Japanease young woman in her 20s, natural makeup, soft expression.
    85mm lens, f/1.4, shallow depth of field, bokeh background.
    Soft window light from the left, golden hour glow, warm skin tones.
    Cinematic, realistic, high detail, professional photography.
    NOT: oversaturated, anime style, low resolution, distorted face.
    20代の日本の若い女性のクローズアップポートレート。ナチュラルメイク、柔らかな表情。
    85mmレンズ、f/1.4、浅い被写界深度、背景のボケ。
    左から差し込む柔らかな窓の光、ゴールデンアワーの輝き、温かみのある肌色。
    映画のような、リアルな、細部までこだわった、プロフェッショナルな写真。
    注意点:彩度過度、アニメ調、低解像度、歪んだ顔。
    ワークフロー:「z_image/」file3112_flux1_schnell_controlnet.json入力画像ControlNet なし
    comfyui_749_m.jpg portrait_02_m.jpg 3112_2026-03-19_00001_m.jpg

 

『FLUX.2』「klein(クライン)」を検証する

 『FLUX.2』の超高速・軽量モデル「klein(クライン)」を検証する

概要

  1. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    FLUX.2「klein」
    (蒸留版)
    -flux-2-klein-4b/StabilityMatrix/Data/
    Models/
    diffusion_models/https://huggingface.co/black-forest-labs/FLUX.2-klein-4B/blob/main/flux-2-klein-4b.safetensors
    fp8flux-2-klein-4b-fp8https://huggingface.co/black-forest-labs/FLUX.2-klein-4b-fp8
    nvfp4flux-2-klein-4b-nvfp4https://huggingface.co/black-forest-labs/FLUX.2-klein-4b-nvfp4
    FLUX.2「klein」
    (base版)
    -flux-2-klein-base-4bhttps://huggingface.co/black-forest-labs/FLUX.2-klein-base-4B/tree/main
    fp8flux-2-klein-base-4b-fp8https://huggingface.co/black-forest-labs/FLUX.2-klein-base-4b-fp8
    nvfp4flux-2-klein-base-4b-nvfp4https://huggingface.co/black-forest-labs/FLUX.2-klein-base-4b-nvfp4
    text_encodersqwen_3_4b_fp4_mixedtext_encoders/https://huggingface.co/Comfy-Org/z_image_turbo/tree/main/split_files/text_encoders
    vaeflux2-vaeVAE/https://huggingface.co/Comfy-Org/flux2-dev/resolve/main/split_files/vae/flux2-vae.safetensors
  2. 量子化モデルの違い
    蒸留版base版
    -fp8nvfp4-fp8nvfp4
    モデル名
    (.savtensors)
    flux-2-klein-4bflux-2-klein-4b-fp8flux-2-klein-4b-nvfp4flux-2-klein-base-4bflux-2-klein-base-4b-fp8flux-2-klein-base-4b-nvfp4
    サイズ (GB)7.213.792.297.213.802.31
    生成画像 3121_fp16_m.jpg 3121_fp8_m.jpg 3121_nvfp4_m.jpg 3122_fp16_m.jpg 3122_fp8_m.jpg 3122_nvfp4_m.jpg
    生成時間
    (分:秒)
    蒸留版base版
    -fp8nvfp4-fp8nvfp4
    GPURTX-407000:11.2800:05.8200:05.0300:29.3500:18.6400:23.32
    RTX-4060
    RTX-4060L01:03.0900:21.5900:15.8701:48.4101:01.8101:13.79
    RTX-3050
    GTX-105002:17.6101:57.5501:59.8718:12.5018:09.7318:40.80
    CPUi7-1260P09:40.7209:13.2909:29.2084:28.84102:41.80121:37.23
  3. 「fp8」モデルを選択する理由
    ・通常モデルよりサイズが小さい(およそ半分)
    ・速度が倍近く早い
    ・「nvfp4」モデルは GPU によっては高速になるがハードウェアに存性が高い
    ・CPU 環境でも動作する
    ・通常版に比べ画像品質(特に文字表現)は若干低下する

Step 1:標準テンプレートによる生成

  1. ワークフローを選ぶ

    ① 左端のメニューから「Template」を選択
    ② 検索欄に「FLUX2」を入力する
    ③「Flux.2[klein] Text to Image」を選ぶ
    ④ アラートダイアログが出るが無視して閉じる
    ⑤「clip_name」に「qwen_3_4b_fp4_mixed.safetensors」を指定する(上下 2 か所)
    ⑥ 上側「unet_name」に「flux-2-klein-base-4b.safetensors」を指定する
    ⑦ 下側「unet_name」に「flux-2-klein-4b.safetensors」を指定する
    ⑧「vae_name」に「flux2-vae.safetensors」を指定する(上下 2 か所)

  2. ワークフローを実行する
    ワークフロー:image_flux2_klein_text_to_image.json蒸留版base版
    comfyui_742_m.jpg Flux2-Klein_00002_m.jpg Flux2-Klein-base_00002_m.jpg
    ※ このワークフローは 蒸留版(下側) / base版(上側) 2つのモデルに対応する。いずれかを有効にして実行する

  3. ワークフローを整理する
    プロンプト
    A hedgehog wearing a tiny party hat surrounded by confetti, early digital camera style, slight noise, flash photography, candid moment, 2000s digicam aesthetic, festive birthday celebration atmosphere A vintage motorcycle parked in front of a retro diner at sunset, warm orange and pink sky, neon signs glowing, 80s vintage photo style, film grain, warm color cast
    紙吹雪に囲まれた小さなパーティーハットをかぶったハリネズミ、初期のデジタルカメラスタイル、わずかなノイズ、フラッシュ撮影、自然な瞬間、2000年代のデジカメの美学、お祭り気分の誕生日のお祝い夕暮れ時、レトロなダイナーの前に停められたビンテージバイク、温かみのあるオレンジとピンクの空、ネオンサインが光る、80年代風のビンテージ写真スタイル、フィルムグレイン、温かみのある色調
    ワークフロー (蒸留版):「FLUX/」file3211_flux2_klein_distilled.jsonワークフロー (base版):「FLUX/」file3311_flux2_klein_base.json
    comfyui_743_m.jpg comfyui_744_m.jpg
 

『SDXL』を新しいモデルで検証する

 『SDXL』を新しいモデルで検証する

概要

  1. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    SDXL modelrealvisxlV50_v50LightningBakedvae/StabilityMatrix/Data/
    Models/
    diffusion_models/https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors
    LoRAadd-detail-xlLora/https://civitai.com/models/122359/detail-tweaker-xl
    ControlNetダウンロード後ファイル名を下記に変更
    controlnet-union-sdxl-1.0-pro
    ControlNet/https://huggingface.co/xinsir/controlnet-union-sdxl-1.0
    IPAdapterip-adapter-plus_sdxl_vit-hIpAdapter/https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/ip-adapter-plus_sdxl_vit-h.safetensors

Step 1:基本ワークフローの作成

  1. もとになるワークフローを選ぶ
    ① 「_base/」filebase.json 基本ワークフローを読み出す
    ②「CLIP Text Encoder」ノードを1つにする
    ③「Load Checkpoint」ノードの ckpt_name「realvisxlV50_v50LightningBakedvae.safetensors」を選択
    ④「Load LoRA」の LoRA を「add-detail-xl.safetensors」に変更する
    ⑤ ワークフローを整理して保存する

  2. ワークフローを実行する
    プロンプト
    beautiful scenery nature glass bottle landscape, purple galaxy bottle,
    美しい風景の自然のガラス瓶の風景、紫色の銀河の瓶、
    worst quality, low quality, normal quality
    最悪品質、低品質、通常品質
    ワークフロー:「SDXL/」file1111_sdxl_t2i_base.json
    comfyui_731_m.jpg

Step 2: Inpaint ワークフローの作成

  1. もとになるワークフローを選ぶ
    ① 「_base/」filebase.json 基本ワークフローを読み出す
    ②「CLIP Text Encoder」ノードを1つにする
    ③「Load Checkpoint」ノードの ckpt_name「realvisxlV50_v50LightningBakedvae.safetensors」を選択
    ④「Load LoRA」の LoRA を「add-detail-xl.safetensors」に変更する
    ⑤「Latent Image」ノードを「VAE Encoder (for Inpainting)」に変更する
    ⑥「Load Image」ノードを追加して「IMAGE」「MASK」を「VAE Encoder (for Inpainting)」に接続する
    ⑦「Load Image」ノード上で右クリックしますくえでぃたでマスク画像を作成する
    ⑧ ワークフローを整理して保存する

  2. ワークフローを実行する
    Prompt realistic, photograph, 8k, high quality, masterpiece, 1girl, smile, 20 years old, portrait,
    リアル、写真、8k、高品質、傑作、女の子1人、笑顔、20歳、ポートレート、
    Negative Prompt worst quality, low quality, normal quality, text,
    最低品質、低品質、通常品質、テキスト、
    入力画像マスク画像生成画像
    girl-for-inpainting_m.jpg girl-for-inpainting_msk_m.jpg 1114_2026-03-06_00001__m.jpg
    ワークフロー:「SDXL/」file1114_sdxl_i2i_inpaint.json
    comfyui_736_m.jpg

Step 3: Outpaint ワークフローの作成

  1. もとになるワークフローを選ぶ
    ① 「SDXL/」file1114_sdxl_i2i_inpaint.json Inpaint ワークフローを読み出す
    ②「Load Image」と「VAE Encoder (for Inpainting)」ノードの間に「Pad Image for Outpainting」を追加する
    ③ ワークフローを整理して保存する

  2. ワークフローを実行する
    Prompt bright and clear blue sky, light but saturated blue, vibrant sky, no deep blues, white clouds, abundant clouds, detailed clouds, dramatic clouds, cumulus clouds, summertime brightness, clear atmosphere, soft light, vast blue sky
    明るく澄んだ青空、淡いが彩度の高い青、鮮やかな空、深い青がない、白い雲、豊かな雲、細かい雲、ドラマチックな雲、積雲、夏の明るさ、澄んだ空気、柔らかな光、広大な青空
    Negative Prompt worst quality, low quality, normal quality, text,
    最低品質、低品質、通常品質、テキスト、
    入力画像上に 128 pixel 追加生成画像上に 128+128 pixel 追加生成画像
    girl_03_m.jpg 1115_2026-03-08_00001_m.jpg 1115_2026-03-08_00002_m.jpg
    ワークフロー:「SDXL/」file1115_sdxl_i2i_outpaint.json
    comfyui_739_m.jpg

Step 4: ControlNet を使用する

  1. ControlNet とは
    ・ControlNetは、既存の画像生成モデルに「制御」の要素を加える技術
    ・ControlNetを使用すると、プロンプトに加えて、追加の情報をAIに与えることができる
    ・画像の輪郭線、深度情報、ポーズ、セグメンテーションマップなど、様々な追加情報をもとに、より意図に合致した画像を生成することができるようになる

  2. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    ControlNetダウンロード後ファイル名を下記に変更
    controlnet-union-sdxl-1.0-pro
    /StabilityMatrix/Data/
    Models/
    ControlNet/https://huggingface.co/xinsir/controlnet-union-sdxl-1.0
  3. ワークフローを実行する
    Prompt a japanease woman with a short haircut and a white shirt is posing for a picture with a white background, perfect face, a character portrait, precisionism
    ショートヘアで白いシャツを着た日本人女性が白い背景の前でポーズをとっている。完璧な顔立ち、人物像、精密さ
    Negative Prompt worst quality,low quality,painting,sketch,flat color,monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples
    最低品質、低品質、絵画、スケッチ、フラットカラー、モノクロ、グレースケール、醜い顔、悪い顔、解剖学的に悪い、変形した目、指の欠損、ニキビ、肌のシミ、NSFW、ヌード、乳首
    text to image入力画像cannyposedepthline art
    girl-for-controlnet_m.jpg 1116_2026-03-17_00005_m.jpg 1116_2026-03-17_00001_m.jpg 1116_2026-03-17_00002_m.jpg 1116_2026-03-17_00003_m.jpg 1116_2026-03-17_00004_m.jpg
    ワークフロー:「SDXL/」file1116_sdxl_t2i_controlnet.json
    comfyui_746_m.jpg

  4. 「Scribble」を追加して実行する
    ワークフロー:「SDXL/」file1116_sdxl_t2i_controlnet.json手書き線画生成画像
    comfyui_746a_m.jpg scribble_01_m.jpg 1116_2026-03-18_00001_m.jpg

Step 5: IPAdapter でスタイルを検出して画像を生成

  1. IPAdapter とは
    ・IPAdapterは、テキストベースのプロンプトと視覚的な参照画像を組み合わせることで、より詳細で正確な指示を与えることを可能にする技術
    ・生成される画像の品質、スタイルの一貫性、特定の視覚要素の再現性が大幅に向上する

  2. モデルのダウンロードと配置
    モデル名ファイル名(.safetensors)配置先ダウンロード URL
    SDXL modelrealvisxlV50_v50LightningBakedvae/StabilityMatrix/Data/
    Models/
    diffusion_models/https://huggingface.co/Comfy-Org/flux1-schnell/blob/main/flux1-schnell-fp8.safetensors
    Clip VisionCLIP-ViT-H-14-laion2B-s32B-b79KClipVision/https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k
    IPAdapterip-adapter-plus_sdxl_vit-hIpAdapter/https://huggingface.co/h94/IP-Adapter/blob/main/sdxl_models/ip-adapter-plus_sdxl_vit-h.safetensors
  3. ワークフローを実行する
    Prompt a japanease woman with a short haircut and a white shirt is posing for a picture with a white background, perfect face, a character portrait, precisionism
    ショートヘアで白いシャツを着た日本人女性が白い背景の前でポーズをとっている。完璧な顔立ち、人物像、精密さ
    Negative Prompt worst quality,low quality,painting,sketch,flat color,monochrome,grayscale,ugly face,bad face,bad anatomy,deformed eyes,missing fingers,acnes,skin blemishes,nsfw,nude,nipples
    最低品質、低品質、絵画、スケッチ、フラットカラー、モノクロ、グレースケール、醜い顔、悪い顔、解剖学的に悪い、変形した目、指の欠損、ニキビ、肌のシミ、NSFW、ヌード、乳首
    ワークフロー:「SDXL/」file1117_sdxl_ipadapter_base.json入力画像
    comfyui_747_m.jpg butterfly_01_m.jpg

  4. パラメータを調整する
    weight_type参照する内容特徴
    linear形状+スタイル参照画像の全体的特徴を均等に適用する
    ease in, ease out, ease in-out,
    reverse in-out, weak input, weak output,
    weak middle, strong middle
    形状+スタイル(時間変化)参照画像の全体的特徴を、それぞれ weight_type の名前通りに、サンプリングの経過に合わせて影響力を変化させて適用する
    style transferスタイル形状は維持しつつ、参照画像の色調や質感を適用する
    composition構図参照画像のレイアウトやバランスを適用する
    strong style transferスタイル(強)style transfer より強くスタイルを適用する
    weight_type:style transfer, weight:0.5weight_type:style transfer, weight:0.78weight_type:style transfer, weight:0.9weight_type:style transfer, weight:1.0
    1117_2026-03-18_00002_m.jpg 1117_2026-03-18_00003_m.jpg 1117_2026-03-18_00004_m.jpg 1117_2026-03-18_00005_m.jpg
    weight_type:linear, weight:0.3weight_type:linear, weight:0.5weight_type:linear, weight:0.68weight_type:linear, weight:0.8
    1117_2026-03-18_00006_m.jpg 1117_2026-03-18_00001_m.jpg 1117_2026-03-18_00008_m.jpg 1117_2026-03-18_00009_m.jpg

Step 6:ControlNet で画像のスタイルを変換する

 アニメ調の参照画像を入力して、その詳細な特徴を反映した写実的な画像を img2img で生成する
ControlNet の使用により、入力画像の構造が出力に強く反映され、同時にプロンプトとモデルの力を借りることで現実感のある詳細な描写が付加され、元のイラストに描写されている情報を保ちつつ、より写実的な画像が描かれることが期待できる
  1. ワークフローの構成
    ・ControlNet の「Depth」「Lineart」を組み合わせて使用する
    ・「Depth」は被写体と背景の関係を明示し「Lineart」は参照画像に描写されている細かな形状を維持する目的で利用する
    ・ControlNet を複数組み合わせる場合「Apply ControlNet」を直列に接続する
    ・それぞれの ControlNet の「strength」の値や、サンプリングのタイミングをずらすことで過剰な条件付けによる生成画像の破綻を防ぐ

  2. ワークフローを実行する
    Prompt realistic, photorealistic, profile picture, japanease 1girl, standing, happy , long brown hair, outside, sunny park, trees, background, digital art
    リアル、フォトリアル、プロフィール写真、日本人少女1人、立っている、幸せ、長い茶色の髪、屋外、晴れた公園、木々、背景、デジタルアート
    Negative Prompt anime, illustration,
    アニメ、イラスト、
    ワークフロー:「SDXL/」file1118_sdxl_illust_to_real.json入力画像
    comfyui_748_m.jpg StableDiffusion_247L_m.jpg
 

更新履歴

 

参考資料