私的AI研究会 > FramePack2
「FramePack」検証する
| FramePack のプロンプト生成に「Ollama + OpenWebUI」を利用したローカルLLM を使ってみる |
You are an assistant that writes short, motion-focused prompts for animating images. When the user sends an image, respond with a single, concise prompt describing visual motion (such as human activity, moving objects, or camera movements). Focus only on how the scene could come alive and become dynamic using brief phrases. Larger and more dynamic motions (like dancing, jumping, running, etc.) are preferred over smaller or more subtle ones (like standing still, sitting, etc.). Describe subject, then motion, then other things. For example: "The girl dances gracefully, with clear movements, full of charm." If there is something that can dance (like a man, girl, robot, etc.), then prefer to describe it as dancing. Stay in a loop: one image in, one motion prompt out. Do not explain, ask questions, or generate multiple options. Please add the prompt in English and Japanese translation.
あなたは、画像をアニメーション化するための、動きに重点を置いた短いプロンプトを作成するアシスタントです。 ユーザーが画像を送信してきたら、視覚的な動き（人間の動作、動く物体、カメラの動きなど）を説明する簡潔なプロンプトを1つだけ返します。短いフレーズを用いて、シーンがどのように生き生きと躍動感を帯びるかに焦点を当ててください。 小さく繊細な動き（静止、座るなど）よりも、大きくダイナミックな動き（ダンス、ジャンプ、走るなど）が好まれます。 対象、動き、その他の順に説明してください。例：「少女は優雅に、はっきりとした動きで、魅力にあふれて踊っています。」 男性、少女、ロボットなど、踊ることができるものがある場合は、「ダンス」と表現するようにしてください。 画像1枚に対して、モーションプロンプト1つというループを維持してください。説明したり、質問したり、複数の選択肢を生成したりしないでください。 プロンプトは英語と日本語の翻訳で追加してください。
 |  |  |  |
| The river flows calmly, while the camera smoothly pans across the Parisian landscape. | The car bursts forward with a burst of speed, kicking up a spray of gravel. | A river of vehicles flows steadily through the bustling city. | The dolphin leaps joyfully out of the water, creating a shower of droplets. |
| 穏やかな流れの川、パリの風景をカメラが滑らかにパンニングする | 車は猛スピードで前に飛び出し、砂利が跳ね上がる | 車の川が賑やかな都市を静かに流れ去ります | イルカが喜びながら水面から跳ね上がり、水滴がシャワーのように降る |
 | |  |  |
| The seagull soars and dives effortlessly. | The seagull hops playfully across the rock. | The palm fronds sway gently in the breeze. | The sports car bursts forward with blinding speed. |
| カモメは楽々と舞い上がり、急降下します | カモメが岩の上を遊びながら飛び跳ねます | ヤシの葉がそよ風に優しく揺れています | スポーツカーは目もくらむようなスピードで突進する |
 |  |  |  |
| The camera slowly moves forward along the cobblestone street, revealing the village. | The tall ship powerfully cuts through the water. | The sailboat glides smoothly forward, creating waves and wake. | The palm fronds sway gently in the breeze. |
| カメラは村を明らかにし、石畳の道を進みます | 大型船が力強く水を切り裂いて進んでいきます | 帆船は波と航跡を作りながら滑らかに前進します | ヤシの葉がそよ風に優しく揺れています |
| The girl dances gracefully, with clear movements, full of charm. 少女は優雅に、はっきりとした動きで、魅力にあふれて踊ります |
| A character doing some simple body movements. 簡単な体の動きをしているキャラクター |
| Young woman notices us and waves her hand. 若い女性が私たちに気づいて手を振った |
| Young woman drinking juice outdoors, smiling with enjoyment. 若い女性が屋外でジュースを飲みながら、楽しそうに微笑んでいます |
| smiling girl zoom up smooth 笑顔の女の子のズームアップスムーズ |
| The man dances energetically, leaping mid-air with fluid arm swings and quick footwork. 男性は流れるような腕の振りと素早い足さばきで空中に飛び跳ねながら、精力的に踊っています |
| The girl skateboarding, repeating the endless spinning and dancing and jumping on a skateboard, with clear movements, full of charm. スケートボードに乗っている女の子は、スケートボードの上で回転したり、踊ったり、ジャンプしたりを延々と繰り返しており、動きがはっきりしていて魅力にあふれています |
| The man dances flamboyantly, swinging his hips and striking bold poses with dramatic flair. 男性は腰を振り、ドラマチックな演出で大胆なポーズをとりながら、華やかに踊ります |
| The woman dances elegantly among the blossoms, spinning slowly with flowing sleeves and graceful hand movements. 女性は花の間で優雅に踊り、袖をなびかせながらゆっくりと回転し、優雅な手の動きをしています |
| The young man writes intensely, flipping papers and adjusting his glasses with swift, focused movements. 若者は熱心に書き続け、素早く集中した動作で紙をめくり、眼鏡を調整している |
| 静止状態のプロンプト |
| The character stands still while the wind gently moves their hair and clothes. キャラクターは静止したまま、風が髪と服を優しく揺らしている |
| The woman remains motionless, only her eyes blink occasionally and she breathes softly. 女性は動かず、時折まばたきをするだけで、静かに呼吸している |
| 単純なループ動作 |
| The character cheerfully hops in place while moving its big eyes left and right. キャラクターは楽しそうにその場でぴょんぴょん跳ねながら、大きな目を左右に動かしている |
| The flower sways back and forth in a gentle breeze, petals occasionally rustling. 花が優しい風にゆっくりと前後に揺れ、花びらが時々かすかに動く |
| 細かな動きを表現 |
| The portrait painting subtly changes expressions, as if the subject is alive and breathing. 肖像画の表情が微妙に変化し、まるで描かれた人物が生きていて呼吸しているかのよう |
| The lake surface ripples slightly with small waves, reflecting the sunlight. 湖の表面がわずかに波打ち、小さな波が太陽光を反射している |
| ダンス・ポーズの変化 |
| The girl practices dancing under a cherry blossom tree, moving gracefully with flowing motions. 少女は桜の木の下で踊りの練習をしており、優雅に流れるような動きで踊っている |
| Striking various poses as if you were in a model magazine shoot, changing poses every few seconds. モデル雑誌の撮影のようにさまざまなポーズを取り、数秒ごとにポーズを変える |
| 表情の変化を促す |
| The character's face shows a range of emotions, from surprise to joy to curiosity. キャラクターの顔は驚きから喜び、好奇心までさまざまな感情を見せる |
| The woman smiles gradually, her eyes lighting up as if remembering something wonderful. 女性はゆっくりと微笑み始め、素晴らしいことを思い出したかのように目が輝く |
| 歩行・走行動作 |
| The character walks forward confidently, with natural arm swings and posture. キャラクターは自信を持って前進し、自然な腕の振りと姿勢で歩いている |
| The child runs excitedly through the meadow, arms outstretched like airplane wings. 子供は興奮して草原を走り、腕を飛行機の翼のように広げている |
| ズームイン・アウト |
| The camera slowly zooms in on the flower, revealing intricate details of its petals. カメラはゆっくりと花にズームインし、花びらの複雑な細部を明らかにする |
| Starting with a close-up of the eye, the camera gradually zooms out to reveal the full face. 目のアップから始まり、カメラは徐々にズームアウトして顔全体を表示する |
| パン・チルト |
| The camera pans slowly from left to right across the landscape, revealing mountains in the distance. カメラは風景を左から右へゆっくりとパンし、遠くの山々を映し出す |
| The camera tilts upward from the ground to the sky, capturing the full height of the tower.&brカメラは地面から空へと上方にチルトし、塔の全高を捉える |
| カメラ焦点変更 |
| The focus shifts from the foreground object to the background, blurring what was sharp and sharpening what was blurred. 焦点が前景のオブジェクトから背景へと移動し、鮮明だったものをぼかし、ぼやけていたものを鮮明にする |
| The depth of field changes gradually, bringing different parts of the scene into focus one after another. 被写界深度が徐々に変化し、シーンのさまざまな部分を次々と焦点に合わせる |
| 自然現象（風、雨、雪など） |
| Gentle snowflakes begin to fall, gradually increasing in intensity to create a winter wonderland. 優しい雪片が落ち始め、徐々に強さを増して冬の不思議な世界を作り出す |
| Leaves rustle and branches sway as a breeze turns into a strong wind. そよ風が強風に変わるにつれて、葉がカサカサと音を立て、枝が揺れる |
| 光の変化 |
| The lighting shifts from morning to evening, with sunlight moving across the scene and colors warming. 照明が朝から夕方へと変化し、日光がシーン全体を移動し、色が暖かくなる |
| Soft light flickers and dances, creating moving shadows as if from a nearby campfire. 柔らかな光がちらつき踊り、近くの焚き火のように動く影を作り出す |
| 背景オブジェクトの動き |
| Clouds drift slowly across the sky while birds occasionally fly by in the distance. 雲が空をゆっくりと流れ、時折遠くで鳥が飛んでいく |
| The cityscape comes alive with tiny moving cars, blinking lights, and bustling activity. 都市の景観が小さな動く車、点滅する光、そしてにぎやかな活動で活気づく |
| 人物と物体のインタラクション |
| The woman picks up the teacup, brings it to her lips, takes a sip, and sets it back down. 女性はティーカップを手に取り、唇に運び、一口飲んで、再び置く |
| The child reaches out to touch the butterfly, which flutters away just before contact. 子供が蝶に触れようと手を伸ばすが、蝶は接触の直前にひらひらと飛び去る |
| 複数の動きを組み合わせる |
| The dancer twirls gracefully while the camera slowly circles around, capturing her from different angles. ダンサーが優雅に回転する間、カメラはゆっくりと周りを回り、さまざまな角度から彼女を捉える |
| The character walks forward, the wind blows their hair, and the lighting gradually brightens as the sun rises. キャラクターが前進し、風が髪を吹き、太陽が昇るにつれて照明が徐々に明るくなる |
| 複雑なシーケンス例 |
| The character first looks surprised, then smiles broadly, and finally bursts into laughter. キャラクターははじめ驚いた表情をし、次に大きく微笑み、最後に大笑いする |
| The bird lands on the branch, looks around cautiously, and then takes off into the sky. 鳥は枝に着地し、用心深く周りを見回し、それから空へと飛び立つ |
(base) PS > conda activate open-webui (open-webui) PS > $env:DATA_DIR="C:\anaconda_win\workspace_3\open-webui\data" (open-webui) PS > $env:DATA_DIR (open-webui) PS > pip install -U open-webuiLinux 「Anaconda ターミナル」から
(base) $ conda activate open-webui (open-webui) $ export DATA_DIR=$HOME/workspace_3/open-webui/data (open-webui) $ echo $DATA_DIR (open-webui) $ pip install -U open-webui