私的AI研究会 > VideoGen2

「ComfyUI」Video generation2 == 制作中 ==†

 「ComfyUI」 による動画生成

▲ 目 次
※ 最終更新:2026/11/18 

「ComfyUI」 による動画生成(その2)†

 1枚の静止画からショート動画を作成する手順を考える

「MiniMax H3」による動画生成†

 【テーマ】静止画像からストーリーを自動生成して動画をつくる~

「Gemini」にストーリーをつくってもらう†

  1. 「Gemini」に質問する
    添付画像質問内容
    8461x_2026-10-31_00009_m.jpgあなたはプロの映像クリエイターです。
    プロンプトガイド https://docs.comfy.org/ja/tutorials/video/minimax/minimax-h3-prompt-guide
    に準拠し
    、添付の静止画を起点にして、「15秒のショート動画ストーリー」の構成と、動画生成AI(Image-to-Video)に入力する英語プロンプトを作成してください。

    【条件】
    - 全体の尺:15秒(5秒 × 3カット、または15秒一括)
    - シーンの雰囲気:[例:ノスタルジック / サイバーパンク / 温かい日常]
    - 出力してほしいもの:
      1. 全体のストーリー概要(1文)
      2. カット1(0?5秒):映像内容、カメラワーク、AI用プロンプト(英語)
      3. カット2(5?10秒):映像内容、カメラワーク、AI用プロンプト(英語)
      4. カット3(10?15秒):映像内容、カメラワーク、AI用プロンプト(英語)
      5. 推奨されるBGMやSEのイメージ

  2. 回答結果から 15秒一括で生成
    15秒一括生成用プロンプト「H3 Prompt Writer」で再生成
    ▼ プロンプト

  3. 回答結果の構成部分 を「H3 Prompt Writer」に入力して生成
    ▼ プロンプト

  4. 以上のの結果からできた「Gemini」への質問テンプレート
    あなたはプロの映像クリエイターです。
    添付の静止画を起点にして、下記のような「15秒のショート動画ストーリー」の構成を英語で作成してください。日本語訳も出力してください。

    【条件】
    - 全体の尺:15秒(5秒 × 3カット、または15秒一括)
    - シーンの雰囲気:[例:ノスタルジック / サイバーパンク / 温かい日常]
    - 出力してほしいもの:
    1. 全体のストーリー概要(1文)
    2. カット1(0?5秒):映像内容、カメラワーク(英語)
    3. カット2(5?10秒):映像内容、カメラワーク(英語)
    4. カット3(10?15秒):映像内容、カメラワーク(英語)
    5. 推奨されるBGMやSEのイメージ

    【出力例】
    1. Overall Story Overview
    A 15-second, elegant sequence featuring a woman sitting on a bed in a luxury hotel. She gazes toward a window overlooking a city nightscape, smiles softly, and relaxes with a glass in her hand.
    2. Shot 1 (0?5 seconds): Adjusting hair and smiling at the camera
    Content: Begins with the initial pose shown in the attached image. The woman touches her hair and offers a gentle smile toward the camera.
    Camera Work: Static; a steady medium shot that remains closely focused on the subject.
    3. Shot 2 (5?10 seconds): Shifting gaze and relaxing
    Content: After smiling, the woman leans back, relaxing her posture, and turns her gaze toward the beautiful city nightscape visible outside the window.
    Camera Work: Slow pan to the right; follows the subject while guiding the viewer’s eye toward the shimmering city lights in the background.
    4. Shot 3 (10?15 seconds): Picking up a glass and smiling (Ending)
    Content: The woman slowly turns her face back from the window toward the camera, picks up a wine glass from the side table, and smiles gracefully. (Close-up)
    Camera Work: A very subtle, slow zoom-in; enhances the atmospheric, emotional quality as the scene concludes.
    5. Recommended BGM and Sound Effects (SE)
    BGM: Sophisticated Lo-Fi Jazz or electronic ambient music. A track featuring the soothing tones of a Rhodes piano and a restrained bassline?evoking both the quietude and the warmth of an urban night?would be ideal.
    SE (Sound Effects): Subtle ambient sounds from outside the window in Shot 2 (e.g., the faint hum of distant traffic or a gentle breeze), and the delicate, refined sound of the glass being lifted in Shot 3.

  5. 構成ストーリーからプロンプトをつくる →「H3 Prompt Writer」導入と使い方
    手順内容
    1静止画像を添付して、上記テンプレートで「Gemini」にストーリー構成の作成を依頼する
    2得られた回答を「H3 Prompt Writer」brief欄に入力して「MiniMax H3」用のプロンプトを生成する
     ※ Gemini の「回答をコピー」ボタンを押して得られる 'マークアップ・テキスト' の該当部分をそのまま入力する方が結果が良い
    3できたプロンプトを「MiniMax H3」のプロンプトとして15秒の動画を生成する

静止画から 15秒の動画をつくる†

 前節の手順でテンプレートがら「Gemini」に構成してもらう~
  1. モデル写真から
    ①②③
    28464_2026-11-16_00001a_m.jpg 8461_2026-11-06_00030_m.jpg 8461_2026-11-06_00016_m.jpg
    ▼ ① プロンプト
    ▼ ② プロンプト
    ▼ ③ プロンプト

  2. 夜の雰囲気で
    ④⑤
    8452_2026-11-09_00005_m.jpg 8461_2026-11-01_00004a_m.jpg
    ▼ ④ プロンプト
    ▼ ⑤ プロンプト

  3. 颯爽と街を歩く女性
    ⑥⑦⑧⑨
    8464_2026-11-18_00001_m.jpg 8464_2026-11-18_00002_m.jpg 8464_2026-11-18_00003_m.jpg 8464_2026-11-18_00004_m.jpg
    ▼ ⑥ プロンプト
    ▼ ⑦ プロンプト
    ▼ ⑧ プロンプト
    ▼ ⑨ プロンプト

 

更新履歴†

 

参考資料†