GanFOMM2 のバックアップ(No.8) - PukiWiki

[ トップ ] [ 一覧 | 検索 | 履歴 | ログイン ]

私的AI研究会 > GanFOMM2

静止画から動画を作る：First Order Motion Model（その２）== 編集中 == †

　同じカテゴリの静止画と動画を使って、静止画を動画のように動かす「First Order Motion Model」技術を使って静止画を動画にする

静止画から動画を作る：First Order Motion Model（その２）== 編集中 ==
参考資料

※ 最終更新:2024/06/22　

First Order Motion Model †

概要 †

「first-order-model」は、2019年に発表された『First Order Motion Model for Image Animation』という論文に基づいて作成された、同じカテゴリの静止画と動画を使って、静止画を動画のように動かすというモデル
静止画 source と動画 Driving Frame から入力動画の動きに沿って動く入力画像の動画を生成する
学習時は、静止画と動画は同一の動画から任意のフレームを選択して行う
推論時は、学習時と同じカテゴリーであれば静止画と動画とも任意のもので行うことができる

モデル概要図（下記論文所収）
論文「First Order Motion Model for Image Animation」
<Official site>
・https://aliaksandrsiarohin.github.io/first-order-model-website/
<paper>
・https://papers.nips.cc/paper_files/paper/2019/file/31c0b36aef265d9221af80872ceb62f9-Paper.pdf
・(new) https://arxiv.org/pdf/2104.11280
<framework>
・https://github.com/AliaksandrSiarohin/first-order-model
・(new) https://github.com/snap-research/articulated-animation

「Google Colab」での実行デモ
・静止画から作るフェイク動画：First Order Motion Model

実行環境の構築 †

GitHub サイトからプロジェクトをダウンロード

cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

git clone https://github.com/AliaksandrSiarohin/first-order-model

プロジェクト・パッケージ update_2024XXXX.zip (XXXMB) <アップデートファイル> をダウンロード
・解凍してできるフォルダ

update
├─workspace_2
│  ├─first-order-model　　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
│  │  ├─result
│  │  ├─result_save
│  │  └─sample
│  │      ├─images
│  │      └─videos
│  └─mylib2 　　　　　　　　　　　　　　　　　　　　　　　　　　　← ローカル環境で実行するための汎用ライブラリ
│      ├─mylib_test
│      └─result
└─workspace_py37
    └─mylib　　　　　　　　　　　　　　　　　　　　　　　　　　　　← 私的汎用ライブラリ

・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」

新しく仮想環境「py38_learn」を構築する
『仮想環境 (py38_learn)』の手順で仮想環境を作成

前準備 †

ローカル環境で「First Order Motion Model」を実行するために必要となるライブラリを作成する（上記プロジェクト・パッケージに含む）
→ Python 私的汎用ライブラリ２

「mylib2/」フォルダにパスが通っているか環境変数（PYTHONPATH）を確認する

echo $env:PYTHONPATH　　　　　　　　　　　　　　　　　　　　　　　　← Windows の場合
printenv PYTHONPATH 　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

顔のカテゴリー †

生成される画像例 †

ニュースのビデオと静止画から動画を生成（音声付き）

全身のカテゴリー †

アニメーション(Moving GIF) のカテゴリー †

太極拳(Taichi) のカテゴリー †

対処した問題点とエラー詳細 †

更新履歴 †

2024/06/18 初版

参考資料 †

First Order Motion Model

Error
- Windows環境：`NamedTemporaryFile`で作成したファイルを再度openすると、`PermissionError`が発生する
- Pythonで一時ディレクトリを作って安全に後始末する

Others
- cedro-blog: AI（人工知能）