GanFOMM2 のバックアップ(No.5) - PukiWiki

[ トップ ] [ 一覧 | 検索 | 履歴 | ログイン ]

私的AI研究会 > GanFOMM2

静止画から動画を作る：First Order Motion Model（その２）== 編集中 == †

　同じカテゴリの静止画と動画を使って、静止画を動画のように動かす「First Order Motion Model」技術を使って静止画を動画にする

静止画から動画を作る：First Order Motion Model（その２）== 編集中 ==
参考資料

※ 最終更新:2024/06/20　

First Order Motion Model †

概要 †

「first-order-model」は、2019年に発表された『First Order Motion Model for Image Animation』という論文に基づいて作成された、同じカテゴリの静止画と動画を使って、静止画を動画のように動かすというモデル
静止画 source と動画 Driving Frame から入力動画の動きに沿って動く入力画像の動画を生成する
学習時は、静止画と動画は同一の動画から任意のフレームを選択して行う
推論時は、学習時と同じカテゴリーであれば静止画と動画とも任意のもので行うことができる

モデル概要図（下記論文所収）
論文「First Order Motion Model for Image Animation」
<paper>
・https://papers.nips.cc/paper_files/paper/2019/file/31c0b36aef265d9221af80872ceb62f9-Paper.pdf
・(new) https://arxiv.org/pdf/2104.11280
<framework>
・https://aliaksandrsiarohin.github.io/first-order-model-website/
・(new) https://github.com/snap-research/articulated-animation

実行環境の構築 †

前準備 †

顔のカテゴリー †

生成される画像例 †

ニュースのビデオと静止画から動画を生成（音声付き）

全身のカテゴリー †

アニメーション(Moving GIF) のカテゴリー †

太極拳(Taichi) のカテゴリー †

対処した問題点とエラー詳細 †

更新履歴 †

2024/06/18 初版

参考資料 †

First Order Motion Model