FramePack のバックアップ(No.12)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• FramePack へ行く。
  • 1 (2025-09-16 (火) 14:30:48)
  • 2 (2025-09-16 (火) 16:53:15)
  • 3 (2025-09-16 (火) 19:17:25)
  • 4 (2025-09-17 (水) 13:58:29)
  • 5 (2025-09-17 (水) 17:18:52)
  • 6 (2025-09-17 (水) 18:56:19)
  • 7 (2025-09-18 (木) 08:12:07)
  • 8 (2025-09-18 (木) 08:16:03)
  • 9 (2025-09-20 (土) 04:29:05)
  • 10 (2025-09-21 (日) 16:44:43)
  • 11 (2025-09-21 (日) 19:46:31)
  • 12 (2025-09-22 (月) 06:54:40)
  • 13 (2025-09-22 (月) 13:31:23)
  • 14 (2025-09-23 (火) 16:38:09)

---

私的AI研究会 > FramePack

　動画生成 AI「FramePack」 †

　「FramePack」検証する

「FramePack」 †

概要 †

• 「FramePack」とは
  
  • lllyasviel（イリヤスフィール）氏 によって開発された、低スペックなPCでも高品質な長尺動画を生成できるAI動画生成ツール
    
  • 2025年4月17日、GitHubで公開.。lllyasviel氏は「ControlNet」や「Stable Diffusion WebUI Forge」・「Fooocus」を開発した開発者
    
  • 低スペックな PC でも高品質な最大120秒(30 fps)の動画を破綻なく、ローカルGPUで高速に生成できる
    
    
    

• 必須要件（オフィシャルサイトより）
  

  GPU	NVIDIA RTX 30XX / 40XX / 50XX シリーズ（fp16/bf16 対応）
  VRAM（GPUメモリ）	最低6GB以上
  OS	Windows 10 / 11 または Linux

• 論文「FramePack」
  
  • <元になる公式論文>
    
    • Packing Input Frame Context in Next-Frame Prediction Models for Video Generation
      「ビデオ生成のための次のフレーム予測モデルにおける入力フレームコンテキストのパッキング」
      ・Lvmin Zhang（ルミン・チャン）・Maneesh Agrawala（マニーシュ・アグラワラ）著
      ・Stanford University（スタンフォード大学）
      ・arXiv:2504.12626v2 [cs.CV] 21 Apr 2025
      
  • <lllyasviel（Lvmin Zhang）氏による FramePack の公式実装>
    
    • lllyasviel/FramePack: Lets make video diffusion practical!
      

「FramePack」の導入 †

• 統合環境「Stability Matrix」からパッケージの追加でインストールするのが最も簡単
  
  
  
  ① StabilityMatrix v2.15.0 以降を使用する
  ②『＋パッケージの追加』ボタンを押す
  ③「Frame Pack」パッケージを選んで『インストール』ボタンを押す
  ④ インストール完了後『Launch』ボタンで「Frame Pack」を起動する
  ※ 初回起動時は 数百MB～数GBのモデルをダウンロードするため、回線環境によっては少し時間がかかる
  

「FramePack」の使い方 †

• 基本操作
  
  
  
  
  
  ① 元になる静止画像をドラッグ＆ドロップ
  ② プロンプトを入力
  ③「Quick List」にサンプルのプロンプトが表示されており、クリックすることで使用できる
  　・The girl dances gracefully, with clear movements, full of charm.（少女は優雅に、はっきりとした動きで、魅力にあふれて踊ります）
  　・A character doing some simple body movements.（簡単な体の動きをしているキャラクター）
  ④「teacache」ON（デフォルト）では生成速度は速くなるが結果に大きな影響を与える可能性がある
  　・teacache を使用してアイデアを試し、完全な拡散プロセスを使用して高品質の結果を得ることが推奨されている
  ⑤「Total Video Length（Second）」で動画の秒数（デフォルト5秒、最大120秒！）を変更できる
  ⑥「Start Generation」ボタンをクリックすると生成がスタートする
  ⑦ 生成中の動画フレーム　生成中パフォーマンスモニターで確認すると、メインメモリー、ビデオメモリー共にかなりの消費量
  ⑧ 完成したところまでの動画をループ再生（動画の後半（最後のフレーム）から逆算して生成している）
  ⑨ 生成ステップ表示
  ⑩ 完成した動画
  

  設定パラメータ	機　能	初期値	備　考
  Use TeaCache	処理の高速化	ON	精度重視ならOFF
  Total Video Length	生成する動画の秒数	5	～ 最大 120秒
  Steps	1 フレームを描く精密さ	25	高画質：40 〜 50
  Distilled CFG Scale	プロンプトの反映度	10	7 〜 10 低いと自由度が上がる
  GPU Inference Preserved Memory	使用するVRAMの量	6	大きいと安定するが処理は遅くなる（基本そのまま）
  MP4 Compression	出力動画の圧縮率	0 〜 16	0 は非圧縮（高画質）16 以上で黒画面回避可

生成動画１：プロンプトなし, デフォールトパラメータ †

• 512x512 pixel 画像
  

生成動画２：サンプルプロンプト, デフォールトパラメータ †

• 512x512 pixel 画像
  
  
  

• 768x512 pixel 画像
  
  
  

• 512x768 pixel 画像
  

• 生成データ
  ・Prompt: The girl dances gracefully,with clear movements,full of charm.（少女は優雅に、はっきりとした動きで、魅力にあふれて踊っています）
  ・その他のパラメータはデフォールトで生成
  

生成動画３：オリジナルプロンプト, デフォールトパラメータ †

• 768x512 pixel 画像
  

• 生成データ
  ・Prompt: Young woman notices us and waves her hand.（若い女性が私たちに気づいて手を振った）
  ・その他のパラメータはデフォールトで生成
  

生成動画４：オリジナルプロンプト, TeaCsche ON/OFF の違い †

• 512x512 pixel 画像
  

  TeaCsche = ON	TeaCsche = OFF

• 生成データ
  ・Prompt: Young woman drinking juice outdoors, smiling with enjoyment.（若い女性が屋外でジュースを飲みながら、楽しそうに微笑んでいます）
  ・その他のパラメータはデフォールトで生成（TeaCsche のみ ON/OFF）
  

動画 生成時間 †

• GPU による生成時間の違い
  

  動作環境	GPU	RTX 4070Ti	RTX 4060	RTX 4060L	RTX 3050	GTX 1050
  	VRAM	12GB	8GB	8GB	6GB	4GB
  	System Memory	64GB	32GB	32GB	32GB	32GB
  TeaCsche ON	1 frame 生成	5.24秒	11.68秒	14.71秒	24.17秒	×
  	動画生成 5秒 (150 frame)	11分14秒	26分27秒	32分17秒	167分04秒	×
  TeaCsche OFF	1 frame 生成	14.71秒	22.22秒	27.39秒	46.47秒	×
  	動画生成 5秒 (150 frame)	32分17秒	43分05秒	54分43秒	166分47秒	×

更新履歴 †

• 2025/09/16 初版
  

参考資料 †

• FramePack
  
  • lllyasviel/FramePack
    
  • Packing Input Frame Context in Next-Frame Prediction Models for Video Generation
    ビデオ生成のための次のフレーム予測モデルでの入力フレームコンテキストのパッキング
    
  • Lvmin Zhang (Lyumin Zhang)
    

• 天才エンジニア・イリヤスフィール氏、突如ローカル環境で動かすとんでもない動画生成AI「FramePack」を投下し界隈が沸騰中
  
• ローカル動画生成AIの革命児「FramePack」の使い方
  
• FramePack and FramePack-eichi 〜高速・省メモリなローカル動画生成AI〜
  
• git-ai-code/FramePack-eichi
  

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.33. HTML convert time: 0.013 sec.