私的AI研究会 > VideoGen1
「ComfyUI」 による動画生成
| いろいろな手法で動画を生成する |
| 【テーマ】日本語のセリフを話す Image to Video 参考サイト → https://note.com/loyal_koala8607/n/na9e89f3da9fa~ |
| 入力画像 | ワークフロー | 生成画像 | コメント |
| サンプル画像 | 8210_krea2_text_encode_simple |  | サイトのサンプル画像からプロンプトを作り同じ画像を生成する Krea2 のワークフローでイメージに合った参照画像を生成する |
| プロンプト | 入力画像 / 生成動画 |
|
For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced. integrated_multimodal_description: [Shot 1] Live-action, cinematic, the young Japanese woman shown in <Picture 1> remains seated beside the rain-covered cafe window, preserving her facial features, hairstyle, clothing, posture, cup position, table arrangement, and the warm interior lighting. The camera slowly pushes in with small amplitude while she looks through the window at the blurred city lights. She lowers her gaze toward the coffee, takes a quiet breath, then raises her eyes slightly and says in a restrained, wistful voice: <d>[Japanese] 雨、止まないね。</d> Her lips move naturally in sync with the Japanese dialogue. At the end of the shot, she forms a faint bittersweet smile while keeping both hands around the warm cup. Steam continues to rise gently from the coffee throughout the shot. overall_soundscape: Steady rain taps against the cafe window. A low room tone, distant traffic on wet pavement, a faint porcelain cup sound, and the woman's soft breath remain naturally balanced beneath the dialogue. non_diegetic_music: Sparse, quiet piano notes with long pauses, subdued and melancholic, fading gently at the end. | 参照画像 |
| 対象となる動画では、開始時点（0.00秒）において、<Picture 1>（[Shot 1]より）の状態がそのまま反映されています。 統合マルチモーダル記述: [Shot 1] 実写、映画的な映像。<Picture 1>に映っている若い日本人女性が、雨に濡れたカフェの窓際に座っています。彼女の容姿、髪型、服装、姿勢、カップの位置、テーブルの配置、そして室内の温かみのある照明はそのまま維持されています。彼女が窓越しにぼやけた街の明かりを眺める中、カメラはわずかな振幅でゆっくりと彼女に寄っていきます（プッシュイン）。彼女はコーヒーに視線を落として静かに息を整え、再び少し顔を上げて、抑え気味の、どこか物悲しい声でこう言います：<d>[日本語] 雨、止まないね。 </d> 日本語のセリフに合わせて、彼女の唇は自然に動きます。ショットの終わりにかけて、彼女は温かいカップを両手で包み込んだまま、ほろ苦さを帯びたかすかな笑みを浮かべます。ショットの間、コーヒーからは湯気が穏やかに立ち上り続けています。 全体的な音響環境: カフェの窓を絶え間なく叩く雨音。低い室内の環境音、濡れた路面を走る遠くの車の音、かすかな陶器のカップの音、そして女性の柔らかな息遣いが、セリフの背後で自然なバランスを保ちながら響いています。 非劇伴（ノン・ダイエジェティック・ミュージック）: 長い間隔を置いた、まばらで静かなピアノの音色。控えめで哀愁を帯びており、最後は穏やかにフェードアウトしていきます。 | 生成動画 |
| 【テーマ】同じ情景で異なるキャラクターを動かす |
| 項目 | 内容 |
| プロンプト | High-quality, realistic full-body photo. A Japanese woman walking along a paved path lined with trees under a blue sky. |
| 高品質リアルな全身写真。日本人女性が青空の下、並木のある舗装された小道を歩いている。 | |
| ワークフロー | 「Krea/」8213_krea2_identity_edit.json |
| 番号 | 入力画像 | 生成画像 |
| ① |  |  |
| ② |  |  |
| ③ |  |  |
| ④ |  |  |
| 番号 | 最初のフレーム画像 / 解析結果から得られる人物の特徴 | 解析した内容 |
| ① | | A young woman with dark hair styled in a single braid adorned with a small white flower stands center-frame on a quiet asphalt country road under bright, natural daylight, wearing a flowing off-white sleeveless midi dress with subtle texture and simple brown sandals; she smiles gently at the camera while her hands rest lightly by her sides, surrounded by lush green grass lining both sides of the road and a row of tall, leafy trees receding into soft focus in the background beneath a clear blue sky with scattered white clouds, captured as a realistic photograph with shallow depth of field emphasizing her figure against the serene, sunlit rural landscape. |
| black braided hair adorned with a small white flower, an off-white sleeveless midi-length dress with a subtle texture, and simple brown sandals | 明るい自然光が降り注ぐ静かな田舎のアスファルト道路の中央に、小さな白い花をあしらった三つ編みヘアの若い女性が立っています。彼女は、ほのかな質感のあるオフホワイトのノースリーブ・ミディ丈ドレスをまとい、シンプルな茶色のサンダルを履き、両手を体の脇に軽く添えてカメラに向かって優しく微笑んでいます。澄み渡る青空に白い雲が浮かぶ中、道路の両脇には青々とした草が広がり、背景には背の高い木々が連なって柔らかなボケ味の中に溶け込んでいます。陽光あふれる穏やかな田舎の風景を背景に、被写体を際立たせる浅い被写界深度で捉えられた、リアルな写真です。 | |
| 小さな白い花をあしらった黒い三つ編みヘア、ほのかな質感のあるオフホワイトのノースリーブ・ミディ丈ワンピース、シンプルな茶色のサンダル | ||
| ② | | A serene, full-length photograph of a young woman with long dark hair styled in a single braid walking confidently down a paved country road lined with tall, evenly spaced green trees under a bright blue sky with soft white clouds; she wears a light blue sleeveless top paired with a matching tiered skirt cinched at the waist with a fabric tie, and light-colored sandals, standing centered in the frame with her gaze directed forward, surrounded by lush green grass on either side of the road, with natural sunlight casting soft shadows beneath the trees and highlighting the gentle folds of her clothing, rendered in crisp, realistic detail with a shallow depth of field that blurs the background trees while keeping her sharply in focus. |
| long black hair in a single braid; wearing a light blue sleeveless top and a matching tiered skirt with a waist ribbon; light-colored sandals | 明るい青空に柔らかな白い雲が浮かぶ中、背の高い緑の木々が等間隔に並ぶ舗装された田舎道を、長い黒髪を一本の三つ編みにした若い女性が自信に満ちた様子で歩いている、穏やかな雰囲気の全身写真です。彼女は水色のノースリーブ・トップスに、共布の紐でウエストを絞った同色のティアードスカートを合わせ、明るい色のサンダルを履いています。道の両側には青々とした草が広がり、自然光が木々の下に柔らかな影を落とすとともに、彼女の服の優しいひだを際立たせています。背景の木々をぼかしつつ彼女には鮮明にピントを合わせた浅い被写界深度により、鮮明かつリアルなディテールで表現されています。 | |
| 黒髪の長い三つ編み、水色のノースリーブトップスと共布のウエストリボン付きティアードスカート、淡い色のサンダル | ||
| ③ | | A joyful young woman with shoulder-length dark wavy hair stands smiling warmly at the center of a sunlit country road lined with tall, evenly spaced green trees on both sides, wearing a flowing, sleeveless floral dress in soft beige, orange, and teal tones with delicate ruffled straps and a tied waist, paired with simple light-colored sandals; her dress gently flares as if caught by a breeze, and she looks directly at the camera with bright eyes under a clear blue sky with scattered white clouds, the scene rendered in vivid, natural daylight with shallow depth of field blurring the background foliage into a soft bokeh, capturing a serene, carefree summer moment. |
| featuring dark, shoulder-length wavy hair and wearing a light, sleeveless floral dress—with a color palette of pale beige, orange, and teal, and details including delicate ruffled straps and a waist ribbon—paired with simple, light-colored sandals | 明るい日差しの降り注ぐ田舎道の中央に、肩までの長さのウェーブのかかったダークヘアの若い女性が、温かな笑みを浮かべて立っています。彼女は、淡いベージュ、オレンジ、ティール（青緑）の色調で、繊細なフリル付きのストラップとウエストリボンがあしらわれた、ふんわりとしたノースリーブの花柄ワンピースを身にまとい、シンプルな明るい色のサンダルを合わせています。そよ風に揺れてワンピースの裾が優しく広がる中、彼女は澄み渡る青空と白い雲を背景に、輝くような瞳でまっすぐにカメラを見つめています。鮮やかで自然な光に満ちたこの光景は、浅い被写界深度によって背景の木々が柔らかなボケ味となり、穏やかで開放感あふれる夏のひとときを美しく切り取っています。 | |
| 肩までの長さの暗いウェーブヘア、淡いベージュ・オレンジ・ティール色を基調とし、繊細なフリル付きストラップやウエストリボンなどのディテールが施されたノースリーブの花柄ドレス、シンプルな淡い色のサンダルを着用 | ||
| ④ | | ③ と同じ |
| ③ と同じ |
| 項目 | 内容 |
| プロンプト |
High-quality, realistic live-action footage. Accurately maintain the appearance of the Japanese woman from the input image (<参照画像の特徴を記述>). Create a beautiful, continuous 8-second shot without cuts, set on a paved path lined with trees under a blue sky. The woman walks along the path with a light, cheerful step. Along the way, she gracefully turns around and spins, letting her skirt and hair flutter in the breeze. Afterward, she clasps her hands behind her back, leans toward the camera with a cute, mischievous, and teasing smile, and gives a charming wink with her right eye. Maintain character consistency, facial details, clothing, and the outdoor background throughout the video. Ensure natural movement and avoid morphing or abrupt cuts. overall_soundscape: Gentle breeze sound, and soft footsteps. non_diegetic_music: Pure instrumental music only, |
| 高品質でリアルな実写映像。入力画像に写っている日本人女性の容姿（<参照画像の特徴を記述>）を正確に再現してください。青空の下、木々が立ち並ぶ舗装された道を舞台に、カットなしの美しい8秒間の連続ショットを作成してください。女性は軽やかで明るい足取りで道を歩き、途中で優雅に振り返り、スカートと髪を風になびかせます。その後、両手を後ろで組み、可愛らしくいたずらっぽい笑顔でカメラに寄りかかり、右目で魅力的なウインクをします。映像全体を通して、キャラクターの表情、顔のディテール、服装、屋外の背景の一貫性を維持してください。自然な動きを確保し、モーフィングや唐突なカットは避けてください。 全体的なサウンドスケープ：そよ風の音と、静かな足音。 非ダイジェティック音楽：純粋なインストゥルメンタル音楽のみ。 | |
| ワークフロー | 「MiniMax/」5602_minimax_h3_i2v.json |
| 番号 | プロンプト<参照画像の特徴> | 参照画像 | 生成動画 |
| ① | &clipboard){black braided hair adorned with a small white flower, an off-white sleeveless midi-length dress with a subtle texture, and simple brown sandals}; | | |
| 小さな白い花をあしらった黒い三つ編みヘア、ほのかな質感のあるオフホワイトのノースリーブ・ミディ丈ワンピース、シンプルな茶色のサンダル | |||
| ② | &clipboard){long black hair in a single braid; wearing a light blue sleeveless top and a matching tiered skirt with a waist ribbon; light-colored sandals}; | | |
| 黒髪の長い三つ編み、水色のノースリーブトップスと共布のウエストリボン付きティアードスカート、淡い色のサンダル | |||
| ③ | &clipboard){featuring dark, shoulder-length wavy hair and wearing a light, sleeveless floral dress—with a color palette of pale beige, orange, and teal, and details including delicate ruffled straps and a waist ribbon—paired with simple, light-colored sandals}; | | |
| 肩までの長さの暗いウェーブヘア、淡いベージュ・オレンジ・ティール色を基調とし、繊細なフリル付きストラップやウエストリボンなどのディテールが施されたノースリーブの花柄ドレス、シンプルな淡い色のサンダルを着用 | |||
| ④ | &clipboard){featuring dark, shoulder-length wavy hair and wearing a light, sleeveless floral dress—with a color palette of pale beige, orange, and teal, and details including delicate ruffled straps and a waist ribbon—paired with simple, light-colored sandals}; | | |
| 肩までの長さの暗いウェーブヘア、淡いベージュ・オレンジ・ティール色を基調とし、繊細なフリル付きストラップやウエストリボンなどのディテールが施されたノースリーブの花柄ドレス、シンプルな淡い色のサンダルを着用 |
| 【テーマ】動画の人物の服装を替える |
| 項目 | 内容 |
| プロンプト | Please change the outfit of the person in <Video1> to the outfit in <Picture1>. |
| <Video1>の人物の服装を、<Picture1>の服装に変更してください。 | |
| ワークフロー | 「MiniMax/」5615_minimax_h3_r2v.json |
| 参照動画 | 参照画像 | 生成動画 | |
| ① |  | ||
| ② |  | ||
| ③ |  | ||
| ④ |  |
| 【テーマ】動画の人物の服装と背景を替える |
| 項目 | 内容 |
| プロンプト | Please remove the person in the foreground (including their clothing), leaving only the （<参照画像の特徴を記述>）, and make it sharp and clear. |
| 手前にいる人物（服装を含む）を取り除き、（<参照画像の特徴を記述>）の風景だけを残して、鮮明でくっきりとした画像にしてください。 | |
| ワークフロー | 「JoyAI/」8304v2_joyai_image_edit_plus_simple.json |
| 番号 | プロンプト 参照画像の記述 | 参照画像 | 生成画像 |
| ① | Please remove the person in the foreground (including their clothing), leaving only the café scene, and make it sharp and clear. |  |  |
| 手前にいる人物（服装を含む）を取り除き、カフェの風景だけを残して、鮮明でくっきりとした画像にしてください。 | |||
| ② | Please remove the person in the foreground (including their clothing), leaving only the seascape extending to the horizon, and make it sharp and clear. |  |  |
| 手前にいる人物（服装を含む）を取り除き、地平線まで広がる海景だけを残して、鮮明でくっきりとした画像にしてください。 | |||
| ③ | Please remove the person in the foreground (including their clothing), leaving only the street corner scene, and make it sharp and clear. |  |  |
| 手前にいる人物（服装を含む）を取り除き、街角の風景だけを残して、鮮明でくっきりとした画像にしてください。 | |||
| ④ | Please remove the person in the foreground (including their clothing), leaving only the park scenery, and make it sharp and clear. |  |  |
| 手前にいる人物（服装を含む）を取り除き、公園の風景だけを残して、鮮明でくっきりとした画像にしてください。 |
| 項目 | 内容 | 参照動画 |
| プロンプト | Change background of <Video 1> to the （<参照画像の特徴を記述>） of <Picture 1>.Change beige ribbed long-sleeve cardigan, white inner top, and pale-colored pleated skirt of <Video 1> to the wear of <Picture2>. | |
| <Video 1>の背景を<Picture 1>の（<参照画像の特徴を記述>）に変更してください。また、<Video 1>のベージュのリブ長袖カーディガン、白いインナー、淡い色のプリーツスカートを、<Picture 2>の服装に変更してください。 | ||
| ワークフロー | 「MiniMax/」5615_minimax_h3_r2v.json |
| プロンプト 参照画像の記述 | 参照画像1 / 参照画像2 | 生成動画 | |
| ① | Change background of <Video 1> to the caffe of <Picture 1>.Change beige ribbed long-sleeve cardigan, white inner top, and pale-colored pleated skirt of <Video 1> to the wear of <Picture2>. | | |
| <Video 1>の背景を<Picture 1>のカフェに変更してください。また、<Video 1>のベージュのリブ長袖カーディガン、白いインナー、淡い色のプリーツスカートを、<Picture 2>の服装に変更してください。 | |||
| ② | Change background of <Video 1> to the seascape extending to the horizon of <Picture 1>.Change beige ribbed long-sleeve cardigan, white inner top, and pale-colored pleated skirt of <Video 1> to the wear of <Picture2>. | | |
| <Video 1>の背景を、<Picture 1>にある地平線まで広がる海景に変更してください。また、<Video 1>のベージュのリブ編み長袖カーディガン、白いインナー、淡い色のプリーツスカートを、<Picture 2>の服装に変更してください。 | |||
| ③ | Change background of <Video 1> to the street corner scene of <Picture 1>.Change beige ribbed long-sleeve cardigan, white inner top, and pale-colored pleated skirt of <Video 1> to the wear of <Picture2>. |  | |
| <Video 1>の背景を、<Picture 1>の街角の風景に変更してください。また、<Video 1>のベージュのリブ編み長袖カーディガン、白いインナー、淡い色のプリーツスカートを、<Picture 2>の服装に変更してください。 | |||
| ④ | Change background of <Video 1> to the park scenery of <Picture 1>.Change beige ribbed long-sleeve cardigan, white inner top, and pale-colored pleated skirt of <Video 1> to the wear of <Picture2>. | | |
| <Video 1>の背景を、<Picture 1>の公園の風景に変更してください。また、<Video 1>のベージュのリブ編み長袖カーディガン、白いインナー、淡い色のプリーツスカートを、<Picture 2>の服装に変更してください。 |