ComfyUI6 の履歴(No.3)

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
ComfyUI6 へ行く。
- 1 (2026-01-11 (日) 19:01:24)
- 2 (2026-01-13 (火) 04:05:30)
- 3 (2026-01-13 (火) 14:07:27)

私的AI研究会 > ComfyUI6

画像生成AI「ComfyUI」６（動画編）　== 編集中 ==†

　「ComfyUI」を使ってローカル環境でのAI画像生成を検証する

▲　目　次

画像生成AI「ComfyUI」６（動画編）　== 編集中 ==
参考資料

※ 最終更新:2026/01/13　

↑

「ComfyUI」FramePack による動画生成†

「FramePackWrapper」を使って「FramePack」で動画を作成してみる

↑

プロジェクトで作成するワークフロー†

ComfyUI_proj.zip をダウンロード
・解凍してできるフォルダ

ComfyUI
├─input　　　　　　　　　　　　　　← ワークフローに含まれる入力画像
└─user
    └─default
        └─workflows　　　　　　　　← ワークフローの保存場所
            ├─_audio
            ├─_base
            ├─_base_i2i
            ├─_base_t2i
            ├─_prompt
            ├─_utility
            ├─_video
            └─test

・解凍してできる「ComfyUI/」フォルダを「StabilityMatrix/Data/Packages/ComfyUI」へ上書きコピーする

ワークフローと動作環境による生成時間（分：秒）

ワークフロー	機　能	CPU					CPU
ワークフロー	機　能	RTX 4070	RTX 4060	RTX 4060L	RTX 3050	GTX 1050	i7-1260P	i7-1185G7
framepack_hv_test_00.json	静止画から動画生成 FramePack	14:07.45	29:21.42	39:40.66	54:10.41	×	×	×
framepack_sample_01.json	FramePack_01	12:56.46	27:54.57	42:06.65	54:06.70	×	×	×
framepack_f1_sample_02.json	順方向生成 FramePack F1	11:55.94	25:11.83	41:23.33	50:40.30	×	×	×

↑

動画生成のための環境構築†

「Stability Matrix」上の「ComfyUI」にカスタムノード「ComfyUI-FramePackWrapper」を導入

ComfyUI-Manager ではレポジトリからの導入が出来ないので「Git via URL」からの導入か「Git clone」での導入が必要。
Git via URL だと、ComfyUI-Manager のセキュリティを変更する必要があるので、Git clone を使って導入する

・「Anaconda PowerShell」を起動し一時的に PATH を変更（例：D:\StabilityMatrix に設置の場合）

①	python -V	Python のバージョン確認
②	$env:Path = "D:\StabilityMatrix\Data\Assets\Python310;" + $env:Path	一時的なPATHの変更
③	python -V	パッケージ実行時のPython のバージョン確認

・パッケージ・ディレクトリに移動してパッケージ内の仮想環境を起動する

④	cd "D:/StabilityMatrix/Data/Packages/ComfyUI"	パッケージのディレクトリに移動
⑤	./venv/Scripts/activate	仮想環境を起動
⑤	コマンドラインに (venv) の表示がある（仮想環境下である）ことを確認すること

・「custom_nodes」フォルダへ階層変更し、git clone を実行

⑥	cd custom_nodes	custom_nodes フォルダへ移動
⑦	git clone https://github.com/kijai/ComfyUI-FramePackWrapper	git clone を実行

・「ComfyUI_Local_Media_Manager」階層に移動して必要なパッケージ類を導入する

⑧	cd ComfyUI-FramePackWrapper	ComfyUI-FramePackWrapper フォルダへ移動
⑨	pip install -r requirements.txt	必要なパッケージ類を導入

・カスタムノードの導入は完了。「Anaconda PowerShell」を終了する

動画生成のワークフロー作成に必要なカスタムノードの導入

以下は ComfyUI-Manager 使って導入する

・複数枚の画像を集約し、次ノードへ渡す「Get Image Size & Count」
　　kijai/ComfyUI-KJNodes　→「 KJNodes 」で検索
・画像のリサイズを行う「Image Resize」
　　cubiq/ComfyUI_essentials　→「 ComfyUI_essentials 」で検索
・複数枚の画像を結合し動画化するノード「Video Combine」
　　Kosinkadink/ComfyUI-VideoHelperSuite　→「 VideoHelperSuite 」で検索

必要モデルのダウンロードと配置

「Stability Matrix」上の「ComfyUI」ではモデルフォルダの場所が異なっていることに注意 → モデルフォルダの配置

モデル名	ファイル名	配置先 /StabilityMatrix/Data/Models/	ダウンロード URL
FramePack Model	FramePackI2V_HY_fp8_e4m3fn.safetensors	DiffusionModels/	Kijai/HunyuanVideo_comfy
FramePack Model	(FramePackI2V_HY_bf16.safetensors)	DiffusionModels/
Hunyan Video VAE	hunyuan_video_vae_bf16.safetensors	VAE/
CLIP Vision	sigclip_vision_patch14_384.safetensors	ClipVision/	Comfy-Org/sigclip_vision_384
CLIP	clip_l.safetensors llava_llama3_fp16.safetensors	TextEncoders/	Comfy-Org/HunyuanVideo_repackaged

↑

サンプル・ワークフローによる生成†

「ComfyUI-FramePackWrapper」添付のサンプル・ワークフロー
・「StabilityMatrix/Data/Packeges/ComfyUI/custom_nodes/ComfyUI-FramePackWrapper/example_workflows/」フォルダ内の
　「framepack_hv_example.json」ファイルをドラッグ＆ドロップする
「Load FramePackModel」ノードを確認する

・「model」が「FramePackI2V_HY_fp8_e4m3fn.safetensors」
・「load device」が「offload device」
　（VRAM が少ない場合にエラーとなるため）
「DualCLIPLoader」ノードを確認する

・「clip_name1」が「clip_l.safetensors」
・「clip_name2」が「llava_llama3_fp16.safetensors」
「Load CLIP Vision」ノードを確認する

・「clip_name」が「sigclip_vision_patch14_384.safetensors」
「Load VAE」ノードを確認する

・「vae_name」が「hunyuan_video_vae_bf16.safetensors」
「Load Image」ノードで画像を指定する
・「first_frame」例：　00010-1751599963.png
・「last_frame」例：　必要ない場合は、Bypass
「CLIP Text Encoder」ノードの「prompt」を入力する
・例：　 The girl dances gracefully, with clear movements, full of charm.
「VAE Decode (Tiled)」ノードのパラメータを調整する

・デフォールト値でメモリーエラーとなったのでこの値に変更
「FramePackSampler」ノードを確認する

・「total_second_length」パラメータで再生時間を指定できる
「Video Conbine」ノードで生成結果の指定がきる
・「save_output」が「Faulse」の場合自動保存しないが、右クリック「Save preview」でダウンロードできる
「Run」を押して生成する

① 生成完了後右上のボタンで生成時間を確認できる
　例：848.22s（14分08秒）

　※ ワークフロー：「_video/」framepack_hv_example_ok.json
生成結果
生成時間を後から検証できるようにワークフローを修正する

① 生成完了後ファイル更新時間の差でで生成時間を確認できる

　※ ワークフロー：「_video/」framepack_hv_test_00.json
生成結果

↑

「FramePack」基本ワークフロー†

　「FramePack」オリジナルのワークフローを再現してみる

https://note.com/konapieces/n/n7dd6e78edebb 添付のワークフローを使用する
・ダウンロードした「FramePackSample.json」をキャンバス上にドラッグ＆ドロップ
前項と同じように各ノードを確認して必要であれば修正する
・「Load FramePackModel」「DualCLIPLoader」「Load CLIP Vision」「Load VAE」ノード
「Save Image」ノードの生成結果をワークフローで区別できるようにする
・生成結果の保存ファイル指定 → ComfyUI/video/FramePack_01
生成時間を後から検証できるように「Load Image」ノードの後に「Save Image」ノードを追加
・生成開始の確認ファイル指定 → ComfyUI/video/_start_01
「Load Image」ノードで画像を指定する
ワークフローを「framepack_sample_01」として保存する
「Run」を押して生成する

　※ ワークフロー：「_video/」framepack_sample_01.json

↑

「ComfyUI」FramePack F1 による順方向動画生成†

「ComfyUI-FramePackWrapper_Plus」 を使って「FramePack F1」の順方向動画作成してみる

↑

順方向動画生成のための環境構築†

「Manager」ボタンを押し「ComfyUI Manager」から「Custom Nodes Manager」を選択

① 検索欄に「framepack」と入力
② 表示された一覧から「ComfyUI-FramePackWrapper_Plus」を選択
③ 右にスクロールして Author 項目「ShmuelRonen」を確認
④「Install」ボタンを押す
バージョン番号を選択（基本「latest」を選択）
インストールが完了すると、ComfyUI の再起動を求められるので、下部の「Restart」ボタンを押す
「StabilityMatrix」コンソール画面でパッケージ停止の表示になるが実行中なので焦らずに待つ（スクロールすれば実行状態がわかる）
「Confirm」（確認）ボタンを押すとインストール開始する
インストール完了すると別のウインドウがオープンするので閉じる）
前のブラウザ画面に戻るので「Confirm」（確認）ボタンを押す
再度表示された「ConfyUI」画面から「ComfyUI Manager」→「Custom Nodes Manager」→「framepack」を検索
「ComfyUI Manager」でインストール完了となっていることを確認してブラウザと「Stability Matrix」を一旦終了する

↑

「FramePack F1」基本ワークフロー†

　順方向生成の「FramePack F1」を検証する

「ComfyUI-FramePackWrapper_Plus」添付のサンプル・ワークフロー
・「StabilityMatrix/Data/Packeges/ComfyUI/custom_nodes/ComfyUI-FramePackWrapper_Plus/example_workflows/」フォルダ内の
　「framepack_F1_example.json」ファイルをドラッグ＆ドロップする
前項と同じように各ノードを確認して必要であれば修正する
・「Load FramePackModel」「DualCLIPLoader」「Load CLIP Vision」「Load VAE」ノード
「Save Image」ノードの生成結果をワークフローで区別できるようにする
・生成結果の保存ファイル指定 → ComfyUI/video/FramePack_02
生成時間を後から検証できるように「Load Image」ノードの後に「Save Image」ノードを追加
・生成開始の確認ファイル指定 → ComfyUI/video/_start_02
「Load Image」ノードで画像を、「FramePackTimestampedTextEncode」でプロンプト指定する
ワークフローを「framepack_f1_sample_02」として保存する
「Run」を押して生成する

　※ ワークフロー：「_video/」framepack_f1_sample_02.json

↑

拡張ノード・リファレンス†

「FramePackTimestampedTextEncode」
・タイムスタンプ付きのテキストプロンプトをエンコードし、時間制限をつける

① CLIP テキストモデル
② タイムスタンプ付きのテキストプロンプト
③ ネガティブプロンプト
④ 動画の長さ（秒単位）
⑤ 処理ウィンドウサイズ
⑥ プロンプトをブレンドするためのセクション数

・タイムスタンプ付きのプロンプトのフォーマット
```
[0s: A beautiful landscape, mountains in the background]
[5s-10s: Camera pans to reveal a lake, reflections of clouds]
[10s: A boat appears on the horizon, sailing slowly]
```
　[Xs: prompt]: X秒から始まり、次のタイムスタンプまで続く
　[Xs-Ys: prompt]: X秒からY秒まで有効
「FramePackLoraSelect」
・LoRAモデルの選択と設定

① LoRA モデル選択
② LoRA の強さ（0.0-2.0）
③ LoRA の重りをベースモデルに融合させるかどうか
④ (任意) 複数のLoRAを連結する場合

・LoRA を使用する場合
　HunyuanVideo LoRA を「StabilityMatrix/Data/Models/Lora」フォルダに入れる
　FramePackLoraSelect ノードをワークフローに追加する
　強度は必要に応じて調整（通常0.5〜1.2）
　柔軟性のために fuse_lora を false に設定し、パフォーマンスを true に設定する
「FramePackSampler(F1)」
・F1サンプリング技術を用いたメインジェネレーションノード

① ロードされた FramePack モデル
② タイムスタンプ付きのポジティブプロンプト
③ ネガティブプロンプト条件付け
④ 生成の初期潜在
⑤ CLIP Vision 埋め込み開始画像
⑥ （任意）遷移の終わりの潜在
⑦ （オプション）エンド画像用の CLIP Vision 埋め込み
⑧ （任意）ビデオ間生成用
⑨ さまざまなサンプリングパラメータ（ステップ、CFG、ガイダンススケールなど）
「LoadFramePackModel / DownloadAndLoadFramePackModel」
・FramePack モデルに様々な精度オプションを読み込む

↑

忘備録†

↑

動画生成時間「FramePack」/「FramePack F1」†

GPU による生成時間の違い

動作環境		GPU	RTX 4070Ti	RTX 4060	RTX 4060L	RTX 3050	GTX 1050
		VRAM	12GB	8GB	8GB	6GB	4GB
		System Memory	64GB	32GB	32GB	32GB	32GB
TeaCsche ON	FramePack	FramePack	10:19	25:38	29:40	01:45:13	×
	FramePack	ComfyUI: framepack_sample_01.json	12:56	27:55	42:07	54:07	×
	FramePack F1	FramePack F1	10:02	23:32	25:34	01:51:27	×
	FramePack F1	ComfyUI: framepack_f1_sample_02.json	11:56	25:12	41:23	50:40	×
TeaCsche OFF	FramePack	FramePack	18:06	42:17	43:01	02:12:33	×
	FramePack	ComfyUI: framepack_sample_01.json	27:05	58:04	01:18:45	01:52:09	×
	FramePack F1	FramePack F1	18:03	42:16	51:05	02:01:43	×
	FramePack F1	ComfyUI: framepack_f1_sample_02.json	19:17	38:21	01:00:15	01:22:23	×

↑

ここまでのまとめ†

現在、ComfyUI で Frame Pack 機能を実装したカスタムノードは 3名の作者オリジナル版といくつかのフォーク版が存在する
① Kijai：ComfyUI-FramePackWrapper
② HM-RunningHub：ComfyUI_RH_FramePack
③ TTPlanetPig：TTP_Comfyui_FramePack_SE
・フォルダは一に柔軟性のある Kijai版をインストールする

実装手順に関するサイトは多数存在するが「ComfyUI Wiki」サイトの解説がわかりやすい
・ComfyUI Wiki：ComfyUI Frame Packワークフロー完全ステップバイステップチュートリアル

環境によって生成時間が非常に長くかかるので、生成秒数 2～3秒から初めてとにかく生成完了する設定を確立する
・時間の経過とともにバージョンアップなどで内容に齟齬が生じるものが多数あるので注意が必要

順方向生成「FramrPack F1」を実装する拡張ノードも複数存在する
① ShmuelRonen:ComfyUI-FramePackWrapper_Plus
② dorpxam:XXXXX ComfyUI-FramePack-F1-T2V
③ CY-CHENYUE:ComfyUI-FramePack-HY
・①をインストールする。Kijai版「FramePackWrapper」環境下では②③実行できなかった（2025/12）
・サイトではマニュアルインストールの手順があるが「ComfyUI Manager」からインストール可能

↑