MotionSeg のバックアップ(No.2) - PukiWiki

[ トップ ] [ 一覧 | 検索 | 履歴 | ログイン ]

私的AI研究会 > MotionSeg

動画のパーツを入れ替える：Motion Supervised co-part Segmentation　== 編集中 == †

　画像のセグメンテーションを使い静止画から動画パーツを入れ替える技術「Motion Supervised co-part Segmentation」をローカルマシンで検証する

動画のパーツを入れ替える：Motion Supervised co-part Segmentation　== 編集中 ==
参考資料

※ 最終更新:2024/07/14　

Motion Supervised co-part Segmentation †

概要 †

2004年に発表された『Motion-supervised Co-Part Segmentation』という論文に基づいて作成されたモデル
静止画 source と動画 Terget Frame から静止画のセグメント分割を行い入力動画の部分入れ替えを行った動画を生成する
論文「Motion-supervised Co-Part Segmentation」
<paper>
・https://arxiv.org/pdf/2004.03234
<framework>
・https://github.com/AliaksandrSiarohin/motion-cosegmentation
・https://github.com/AliaksandrSiarohin/face-makeup.PyTorch

実行環境の構築 †

GitHub サイトからプロジェクトをダウンロード

cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

git clone https://github.com/AliaksandrSiarohin/motion-cosegmentation motion-co-seg

プロジェクト・パッケージ update_2024XXXX.zip <アップデートファイル> をダウンロード
・解凍してできるフォルダ
・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」
以下の項目は仮想環境「py38_learn」で実行する
未作成の場合は → 『仮想環境 (py38_learn)』の手順で仮想環境を作成

前準備 †

「Google Colab」にデモが公開されているので動作確認ののち、ローカルマシンで実行できるようにする
→ Part-swap demo for paper "Motion Supervised co-part Segmentation"
セルの最初から順次実行していく
エラーが出た場合は適宜対応する
・Google Drive をマウントした後、「logger.py」「part_swap.py」に下記の修正をしたファイルで上書きする
・サンプル画像と学習済みモデルは下記サイトから予めダウンロードして Google Drive に「motion-supervised-co-segmentation/」のフォルダを作成してアップロードしておく
　→ https://drive.google.com/drive/folders/1SsBifjoM_qO0iFzb8wLlsz_4qW2j8dZe
パッケージのバージョンアップなどの多少の不具合を修正すれば問題なく動作する
最後のセルまで実行できることを確認して次のステップに移行する

提供されているデモ「part_swap.py」を試す †

学習済みモデル（プロジェクト・パッケージに組み込み済み）を使ってデモプログラムを動かす
・提供されている「part_swap.py」は若干の不具合があるので対処した版を「part_swap2.py」とする
・GPU未搭載やメモリー容量などで CUDAエラーが起きる場合は「--cpu」オプションを付加する
・処理結果は「--result_video <filepath>」オプションで指定するファイルに出力される

赤い唇のトランプ (make trump with red lips) を作成

(py38_learn) python part_swap2.py  --config ./config/vox-256-sem-10segments.yaml --target_video ./sample/videos/04.mp4 --source_image ./sample/images/16.png --checkpoint sample/vox-10segments.pth.tar --swap_index 2 --result_video ./result_lips.mp4
100%|████████████████████████████████████████████████████████████████████████████████| 211/211 [00:03<00:00, 66.93it/s]

・GPU動作の場合（「--cpu」オプションなし）

100%|████████████████████████████████████████████████████████████████████████████████| 211/211 [00:03<00:00, 66.93it/s]

目の色を変える (Changing eye color)

(py38_learn) python part_swap2.py  --config ./config/vox-256-sem-10segments.yaml --target_video ./sample/videos/11.mp4 --source_image ./sample/images/26.png --checkpoint sample/vox-10segments.pth.tar --swap_index 7,9 --result_video ./result_eye_cor.mp4
100%|████████████████████████████████████████████████████████████████████████████████| 109/109 [00:01<00:00, 67.05it/s]

・GPU動作の場合（「--cpu」オプションなし）

100%|████████████████████████████████████████████████████████████████████████████████| 109/109 [00:01<00:00, 67.05it/s]

GUI で操作できるプログラム「motion_seg.py」を作成する †

主な機能
・カテゴリーを指定すると、学習済みモデルの設定を自動でできるようにする
・入力として必要な静止画像と動画は ダイアログにより選択指定する
・オリジナルのオプションパラメータ指定はそのまま利用できる
・GPU未搭載やメモリー容量などで CUDAエラーが起きる場合は「--cpu」オプションを付加する
・処理後に生成される動画と元の静止画/元の動画/処理結果の動画を生成し表示する

出力ファイルの保存場所とファイル名（--result_video './result/face.mp4' 指定の時）
・「./result」フォルダに保存される（「./result」フォルダは存在しなければならない）
・静止画から生成された動画 → 'face + <静止画> + <元動画> + .jpg'
・静止画/元動画/動画一覧　 → 'face + <静止画> + <元動画> + _a + .jpg'

コマンドオプション一覧

コマンドオプション	引数	初期値	意味
-c, --category	str	'0'	カテゴリー指定（必須）
--config	str	指定しなければ内部設定※	学習済みモデルの設定ファイル（.yaml）
--checkpoint	str		学習済みモデル・ファイル
--source_image	str		静止画ファイルパス
--driving_video	str		動画ファイルパス
--result_video	str		出力保存ファイルパス

コマンド実行例

モジュール・ソースコード

▼「motion_seg.py」

▲「motion_seg.py」

対処した問題点とエラー詳細 †

「part_swap.py」→「part_swap2.py」変更点 †

更新履歴 †

2024/07/14 初版

参考資料 †

Motion Supervised co-part Segmentation

First Order Motion Model

Error

Others