私的AI研究会 > ComfyUI1
「ComfyUI」を使ってローカル環境でのAI画像生成を検証する
| 「ComfyUI」は現在、毎日数回の更新が行われている活発なプロジェクトであり本サイト上の情報は確認時点のものであることに注意すること。 操作方法や結果に齟齬がある場合は情報の時期を確認してください。 |
| インストールが簡単・モデルファイルの共用・メンテナンスの容易さなどから「Stability Matrix」環境下でのインストールを強く推奨する |
| デフォールト設定のままでは以降の手順に齟齬が生じるので設定を変更する |
| ComfyUI/%date:yyyy%-%date:MM%-%date:dd%/ComfyUI_%date:yyyy%-%date:MM%-%date:dd% |
| 添付のチュートリアルを実行してインストールに問題がないかを確認する |
| 種別 | フォルダ /StabilityMatrix/Data/Models/ |
| checkpoints | StableDiffusion |
| diffusers | Diffusers |
| loras | Lora LyCORIS |
| clip | TextEncoders |
| clip_vision | ClipVision |
| embeddings | Embeddings |
| vae | VAE |
| vae_approx | ApproxVAE |
| controlnet | ControlNet T2IAdapter |
| gligen | GLIGEN |
| upscale_models | ESRGAN RealESRGAN SwinIR |
| hypernetworks | Hypernetwork |
| ipadapter | IpAdapter IpAdapters15 IpAdaptersXl |
| prompt_expansion | PromptExpansion |
| ultralytics | Ultralytics |
| ultralytics_bbox | Ultralytics/bbox |
| ultralytics_segm | Ultralytics/segm |
| sams | Sams |
| diffusion_models | DiffusionModels |
引用サイト → https://www.digitalcreativeai.net/ja/post/comfyui-basic-usage
| 番号 | メニュー | 機 能 |
| ① | Workflow | 新規ワークフローやテンプレートの呼び出し、セーブ・ロード・エクスポート |
| ② | Edit | アンドゥ・リドゥ、ノード更新、ワークフローの全消去、クリップスペースにコピーした画像の表示 |
| ③ | Help | ComfyUI のイシューやドキュメント、Discodeなどのリンク |
| ④ | Workflowタブ | 現在開いているワークフロー |
| ⑤ | Manager | ComfyUI Managerを開く |
| ⑥ | Unload Models | 現在読み込まれているモデルをアンロード |
| ⑦ | Free model and node cache | キャッシュされているモデルとノードを解放 |
| ⑧ | Share | 現在開いているワークフローを複数サービスから選択して共有 |
| ⑨ | Run | 現在のワークフローを実行または順番待ちに追加。右の 'V'ボタンで モードを変更が可能 |
| ⑩ | Batch Count | Run ボタンをを1回押したときに実行されるワークフローの回数 |
| ⑪ | Cancel current run | 現在実行中のワークフローを中断 |
| ⑫ | Clear Pending Tasks | 待機中のワークフローを削除 |
| ⑬ | Toggle Bottom Panel | ログを開いて確認 |
| ⑭ | Hide Menu | メニューを非表示 |
| ⑮ |  Queue | Queueリストを開く。現在のキュー状態や生成された画像の確認 |
 Node Library | ノードの一覧。クッリクでノードを呼び出すことができる | |
 Model Library | モデルの一覧。クリックでモデルを含んだノードが呼び出される | |
 Workflows | ComfyUI 内に保存された Workflow一覧 を表示 | |
 Toggle Theme | UI のライトモード・ダークモードの切り替え | |
 Settings | ComfyUI の設定 | |
| ⑯ |  Zoom In | キャンバスをズームイン |
 Zoom Out | キャンバスをズームアウト | |
 Fit View | ワークフロー全体が収まるまで縮小 | |
 Select Mode / Pan Mode | Select Modeは通常のモード、Pan Mode はノードに触れなくなりドラッグでキャンバスを移動 | |
 Toggle Link Visibility | ワイヤーの表示・非表示を切り替え | |
| ⑰ | ワークフロー表示エリア |
| 番号 | メニュー | 機 能 |
| ① | Fill Image Preview | 生成された画像の全体表示・拡大表示の切り替え |
| ② | Show Flat List | 生成結果の情報を生成時間のみまたはアウトプットノード、生成時間、ハッシュコードの切り替え |
| ③ | Clear | リストを初期状態（空欄）にする |
| ④ | Preview | 生成画像にマウスを持っていくと目のボタンが出てくるのでクリックで拡大 |
| メニュー | 機 能 |
| Load Checkpoint | ノードの名称 |
| Convert to Groupe Node | 複数選択したノードを一つのノードに変換 |
| Properties | S&R 変数名を編集 |
| Properties Panel | プロパティパネルを開く |
| Title | ノードのタイトルを変更。変更後 OKボタンを押さないと適応されない |
| Mode | モード変更 |
| Resize | ノードをオリジナルの大きさに戻す |
| Collapse | ノードを最小化。最小化状態でクリックすれば元の大きさに戻す |
| Pin | ノードを固定。解除したい場合はもう一度クリック |
| Colors | ノードの色を変更。表示された色からご希望の色を選択 |
| Shapes | ノードの形を変更。ボックス・ラウンド・カードの中から希望の形を選択 |
| Bypass | ノードをバイパス（スキップ）。またはノードを選択状態でCtrl + bでも可能 |
| Copy (Clipspace) | ノードのパラメーターを Clipspace にコピー |
| Past (Clipspace) | ノードのパラメーターを Clipspace からペースト |
| Convert Widget to Input | パラメーターを外部のノードから操作したい場合に選択 |
| Clone | ノードのクローン（複製）を作成 |
| Remove | ノードを削除 |
| 番号 | メニュー | 機 能 |
| ① | Fill Image Preview | 生成された画像の全体表示・拡大表示の切り替え |
| ① | Input | ノードの有効なインプットを表示 |
| ② | Output | 有効なアウトプットを表示 |
| ③ | Parameter | ノードのパラメーターを設定するエリア |
| GPU/CPU | NVIDIA GPU | Intel® CPU | |||||
| RTX-4070Ti | RTX-4060 | RTX-4060L | RTX-3050 | GTX-1050Ti | i7-1260P | i7-1185G7 | |
| VRAM (system mem) | 12GB (64GB) | 8GB (32GB) | 8GB (32GB) | 6GB (32GB) | 4GB (32GB) | - (32GB) | - (32GB) |
| 機種名 | HP-ENVY | HP-VICTUS | MSI Cyborg 14 | HP-EliteDesk 800 | HP-EliteDesk 800 | DELL XPS 9320 | DELL Vostro 3500 |
| 生成時間 (分:秒) | 00:01 | 00:02 | 00:02 | 00:04 | 00:22 | 02:14 | 02:42 |
参照サイト：→ https://comfyui-wiki.com/ja/comfyui-nodes
| ノード名 | 形状 | 機能 | 備考 |
| Load Checkpoint （CheckpointLoaderSimple） |  | 設定を指定することなくモデルのチェックポイントをロードする | 「ComfyUI/extra_model_paths.yaml」ファイルで設定された追加のパスからモデルを読み取る |
| CLIP Text Encode |  | CLIPモデルを使用してテキスト入力をエンコードし、生成タスクでのコンディショニングに利用できる形に変換する | (Prompt) ポジティブプロンプトをエンコード |
| (Negative Prompt) ネガティブプロンプトをエンコード 「ComfyUI/models/embeddings」ディレクトリに埋め込みモデルを追加すると、その埋め込みモデルをプロンプトで使用できる（対応するモデル名が EasyNegative の場合、プロンプトで embedding:EasyNegative） | |||
| KSampler |  | 生成モデル内での高度なサンプリング操作を目的として設計されており、さまざまなパラメータを通じてサンプリングプロセスをカスタマイズする | 潜在空間の表現を操作し、コンディショニングを活用し、ノイズレベルを調整することで、新しいデータサンプルの生成を促進 |
| VAE Decode |  | 指定されたVariational Autoencoder（VAE）を使用して潜在表現を画像にデコードする | 圧縮データ表現から画像を生成し、潜在空間エンコーディングからの画像再構築を促進 |
| Save Image |  | ComfyUI の output フォルダに生成画像を保存 | デフォルトの保存場所：ComfyUI/output/ 中間処理で画像を保存せずにプレビューだけしたい場合は、Preview Image-画像のプレビューノードを使用 |
| Empty Latent Image |  | 指定された寸法とバッチサイズで空の潜在空間表現を生成する | 潜在空間での画像生成や操作の基礎となるステップを提供し、さらなる画像合成や修正プロセスの出発点となる |
| Preview Image |  | 一時的なプレビュー画像を作成 | 各画像に対して一意の一時ファイル名を自動生成し、指定されたレベルに圧縮して一時ディレクトリに保存します。この機能は、処理中に元のファイルに影響を与えずに画像のプレビューを生成する |
| ノード名 | 形状 | 機能 | 備考 |
| Apply ControlNet |  | コントロールネットの適用 | 与えられた画像とコンディショニングに ControlNet を適用し、Depth、OpenPose、Canny、HEDなどのコントロールネットワークのパラメータと指定された強度に従って画像の属性を調整する |
| BasicGuider |  | 基本ガイダー | （画像処理ノード） |
| BasicScheduler |  | 指定されたスケジューラー、モデル、およびデノイズパラメータに基づいて、拡散モデルのためのシグマ値のシーケンスを計算する | デノイズファクターに基づいて総ステップ数を動的に調整し、拡散プロセスを微調整する |
| Batch Images |  | 2つの画像を1つのバッチに結合する | 画像の寸法が一致しない場合、2番目の画像を自動的にリスケールして最初の画像の寸法に合わせてから結合する |
| CLIP Set Last Layer |  | 特定の層を最後に実行するように設定することで、CLIPモデルの動作を変更する | CLIPモデル内の処理の深さをカスタマイズでき、処理される情報量を制限することでモデルの出力に影響を与える |
| CLIPTextEncodeFlux |  | 主にテキストをエンコードし、条件付き制御のためのデータを生成する機能 | CLIPモデルを使用してclip_lのテキスト入力をエンコードし、テキストから主要な特徴とセマンティック情報を抽出する |
| CLIPTextEncodeSDXL |  | SDXLアーキテクチャに特化したCLIPモデルを使用してテキスト入力をエンコードする | テキスト記述を画像生成や操作に効果的に利用できる形式に変換することに重点を置き、視覚コンテンツの文脈でテキストを理解し処理するための CLIP モデルの能力を活用 |
| CLIPTextEncodeSDXLRefiner |  | CLIPテキストエンコードSDXLリファイナー | CLIPモデルを使用してテキスト入力のエンコーディングを洗練し、美的スコアと寸法を組み込むことで生成タスクの条件付けを強化することに特化 |
| Conditioning (Combine) |  | 条件合成 | 2つのコンディショニング入力を1つの出力に結合し、その情報を効果的に統合する |
| ConditioningSetTimestepRange |  | 出力は、指定されたタイムステップ範囲が適用された修正済みの条件付けであり、さらなる処理や生成の準備が整っている | |
| Conditioning Zero Out |  | コンディショニングデータ構造内の特定の要素をゼロにし、後続の処理ステップでの影響を効果的に中和する | コンディショニングの内部表現を直接操作する必要がある高度なコンディショニング操作用に設計 |
| Convert Image to Mask |  | 指定されたカラーチャンネルに基づいて画像をマスクに変換 | 画像の赤、緑、青、またはアルファチャンネルに対応するマスクレイヤーを抽出し、チャンネル特定のマスキングや処理を必要とする操作を容易にする |
| Convert Mask to Image |  | マスクを画像形式に変換する | マスクを画像として視覚化し、さらなる処理が可能。マスクベースの操作と画像ベースのアプリケーションの間の橋渡しが可能になる |
| Dual CLIP Loader |  | 2つのCLIPモデルを同時にロードする | 2つの異なるCLIPモデルを同時にロードして使用することができ、それぞれのユニークな機能とスタイルを組み合わせて、より多様で洗練されたAI生成アートを作成できる |
| Empty Image |  | 指定された寸法と色の空白画像を生成する | 均一な色の画像を作成でき、さまざまな画像処理タスクで背景やプレースホルダーとして使用できる |
| Grow Mask |  | 指定されたマスクのサイズを拡大または縮小し、オプションで角にテーパ効果を適用する | 画像処理タスクでマスクの境界を動的に調整するために重要であり、関心領域をより柔軟かつ正確に制御することができる |
| Image Blend |  | 指定されたブレンドモードとブレンドファクターに基づいて、2つの画像をブレンドする | 通常、乗算、スクリーン、オーバーレイ、ソフトライト、差分など、さまざまなブレンドモードをサポートしており、多様な画像操作と合成技術を可能にします。このノードは、2つの画像レイヤー間の視覚的な相互作用を調整することで、合成画像を作成するために不可欠 |
| Image Composite Masked |  | イメージコンポジットマスクド | 指定された座標でソース画像を宛先画像にオーバーレイするために設計されており、オプションでリサイズやマスキングを行うことができる |
| Image Only Checkpoint Loader (img2vid model) |  | ビデオ生成ワークフロー内で画像ベースのモデル専用のチェックポイントをロードすることに特化 | ComfyUI/models/checkpoints フォルダー内のモデルを検出し、 また、extra_model_paths.yaml ファイルで設定された追加パスのモデルも読み込む |
| Image Sharpen |  | 画像のエッジとディテールを強調することで、画像の鮮明さを向上させる | 画像にシャープ化フィルターを適用し、その強度と半径を調整することで、より明確で鮮明な画像を作成する |
| Invert Image |  | 画像の色を反転させる | 各ピクセルの色を色相環上の補色に変換する。ネガティブ画像の作成や色反転を必要とする視覚効果に役立つ |
| InvertMask |  | 指定されたマスクの値を反転させ、マスクされた領域とマスクされていない領域を効果的に入れ替える | 前景と背景の関心の焦点を切り替える必要がある画像処理タスクにおいて基本的なもの |
| KAampler (Advanced) |  | サンプリングプロセスを強化するために高度な設定と技術を提供する | モデルからサンプルを生成するためのより洗練されたオプションを提供し、基本的なKSampler機能を向上させる |
| KSamplerSelect |  | 指定されたサンプラー名に基づいて特定のサンプラーを選択する | サンプラー選択の複雑さを抽象化し、ユーザーがタスクに応じて異なるサンプリング戦略を簡単に切り替えることができる |
| Load ControlNet Model |  | コントロールネットモデルのロード | ComfyUI/models/controlnet フォルダーにあるモデルを検出し、extra_model_paths.yaml ファイルで設定された追加パスのモデルも読み込む |
| Load Diffusion Model |  | U-Netモデルを名前でロードする | システム内で事前訓練されたU-Netアーキテクチャの使用を容易にする |
| Load CLIP Vision |  | CLIP Visionをロードする | ComfyUI/models/clip_vision フォルダーにあるモデルを検出し、extra_model_paths.yaml ファイルで設定された追加のパスからモデルを読み取る |
| Load Image |  | 指定されたパスから画像をロードし、前処理を行う | 複数フレームを持つ画像フォーマットを処理し、EXIFデータに基づく回転などの必要な変換を適用し、ピクセル値を正規化し、オプションでアルファチャンネルを持つ画像のマスクを生成 |
| Load Upscale Model |  | アップスケールモデルをロード | ComfyUI/models/checkpoints フォルダーにあるモデルを検出し、extra_model_paths.yaml ファイルで設定された追加パスのモデルも読み込む |
| Load LoLA |  | LoRAモデルをロードする | LoRAフォルダ（サブフォルダを含む）内のモデルを自動的に検出する。 対応するモデルパスは ComfyUI/models/loras |
| Load VAE |  | VAEをロード | ComfyUI/models/vae フォルダーにあるモデルを検出、extra_model_paths.yaml ファイルで設定された追加パスのモデルも読み込む |
| LolaLoaderModelOnly |  | Loraローダーモデルのみ | ComfyUI/models/loras フォルダーにあるモデルを検出し、extra_model_paths.yaml ファイルで設定された追加パスのモデルも読み込む |
| Mask Composite |  | 加算、減算、論理演算などのさまざまな操作を通じて2つのマスク入力を組み合わせ、新しい修正されたマスクを生成する | マスクデータの操作を抽象的に処理し、複雑なマスキング効果を達成するための重要なコンポーネントとして、マスクベースの画像編集および処理ワークフローで機能する |
| Model Sampling Discrete |  | モデルのサンプリング動作を離散サンプリング戦略を適用することで修正する | epsilon、v_prediction、lcm、x0などの異なるサンプリング方法を選択でき、オプションでゼロショットノイズ比（zsnr）設定に基づいてモデルのノイズ削減戦略を調整する |
| Note |  | メモを追加 | ワークフローにテキスト注釈を追加する |
| Primitive |  | プリミティブノードは接続された入力の種類を認識し、それに応じた入力データを提供する 複数の異なるノード間で統一されたパラメータを使用するために利用できる （例：複数のKsamplerで同じシードを使用） |  |
| RandomNoise |  | ランダムノイズを生成 | 再現可能な結果のために固定シードを設定できる |
| SamplerCustom |  | さまざまなアプリケーションに対して柔軟でカスタマイズ可能なサンプリングメカニズムを提供する | 特定のニーズに合わせた異なるサンプリング戦略を選択し、設定することができ、サンプリングプロセスの適応性と効率を向上させる |
| SamplerCustomAdvanced |  | サンプリングプロセスを実行 | 最終生成のためにすべてのサンプリング関連パラメータを統合 |
| Set Latent Noise Mask |  | 潜在サンプルのセットにノイズマスクを適用する | 指定されたマスクを統合することで、入力サンプルのノイズ特性を変更する |
| Scale Image To Total Pixels (Image Scale To Total Pixels} |  | アスペクト比を維持しながら、画像を指定された総ピクセル数にリサイズする | 目的のピクセル数を達成するために、さまざまなアップスケール方法を提供 |
| Solid Mask |  | 指定された値で全体が均一なマスクを生成 | 特定の寸法と強度のマスクを作成するように設計されており、さまざまな画像処理やマスキングタスクに役立つ |
| Upscale Image |  | 特定の寸法に画像をリサイズする | さまざまなアップスケール方法を提供し、リサイズされた画像をクロップする機能も備えている。画像のアップスケールとクロップの複雑さを抽象化し、ユーザー定義のパラメータに基づいて画像の寸法を変更するための簡単なインターフェースを提供 |
| Upscale Image By |  | 指定されたスケールファクターを使用して、さまざまな補間方法で画像をアップスケールする | 柔軟に画像サイズを調整でき、さまざまなアップスケールのニーズに対応 |
| Upscale Image (using Model) |  | モデルを使用した画像拡大 | 指定されたアップスケールモデルを使用して画像を拡大する 画像を適切なデバイスに調整し、メモリを効率的に管理し、タイル状にアップスケールモデルを適用することで、メモリ不足のエラーを回避する |
| VAE Encode |  | 指定されたVAEモデルを使用して画像を潜在空間表現にエンコードする | エンコードプロセスの複雑さを抽象化し、画像を潜在表現に変換する簡単な方法を提供 |
| VAEDecodeTiled |  | 潜在空間の動画を実際の動画にデコード | VAEDecodeTiledはVAEDecodeよりVRAM効率が良いため優先して使用すること |
| Video Linear CFG Guidance |  | ビデオモデルに線形条件付けガイダンススケールを適用し、指定された範囲内で条件付きおよび非条件付きコンポーネントの影響を調整する | 生成プロセスを動的に制御し、望ましい条件付けレベルに基づいてモデルの出力を微調整することが可能になる |
| ComfyUI/%date:yyyy%-%date:MM%-%date:dd%/ComfyUI_%date:yyyy%-%date:MM%-%date:dd% |
base.json| ワークフロー | 機 能 | CPU | CPU | |||||
| RTX 4070 | RTX 4060 | RTX 4060L | RTX 3050 | GTX 1050 | i7-1260P | i7-1185G7 | ||
| base.json | 基本ワークフロー | 00:01.38 | 00:19.74 | 00:28.92 | 00:35.06 | 00:43.61 | 03:21.05 | 03:01.28 |