私的AI研究会 > MotionSeg
静止画から動画のパーツを入れ替える：Motion Supervised co-part Segmentation == 編集中 == †
画像のセグメンテーションを使い静止画から動画パーツを入れ替える技術「Motion Supervised co-part Segmentation」をローカルマシンで検証する
※ 最終更新:2024/07/14
Motion Supervised co-part Segmentation †
概要 †
実行環境の構築 †
- GitHub サイトからプロジェクトをダウンロード
cd /anaconda_win/workspace_2 ← Windows の場合
cd ~/workspace_2 ← Linux の場合
git clone https://github.com/AliaksandrSiarohin/motion-cosegmentation motion-co-seg
- プロジェクト・パッケージ update_2024XXXX.zip <アップデートファイル> をダウンロード
・解凍してできるフォルダ
・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
Windows の場合 →「anaconda_win/」 Linux の場合 → 「~/」
- 仮想環境「py38_learn」で実行する
未作成の場合は → 『仮想環境 (py38_learn)』 の手順で仮想環境を作成
前準備 †
提供されているデモ「part_swap.py」を試す †
- 学習済みモデル（プロジェクト・パッケージに組み込み済み）を使ってデモプログラムを動かす
・提供されている「part_swap.py」は若干の不具合があるので対処した版を「part_swap2.py」とする
・GPU未搭載やメモリー容量などで CUDAエラーが起きる場合は「--cpu」オプションを付加する
・処理結果は「--result_video <filepath>」オプションで指定するファイルに出力される
GUI で操作できるプログラム「motion_seg.py」を作成する †
- 主な機能
・カテゴリーを指定すると、学習済みモデルの設定を自動でできるようにする
・入力として必要な静止画像と動画は ダイアログにより選択指定する
・オリジナルのオプションパラメータ指定はそのまま利用できる
・GPU未搭載やメモリー容量などで CUDAエラーが起きる場合は「--cpu」オプションを付加する
・処理後に生成される動画と 元の静止画/元の動画/処理結果の動画 を生成し表示する
- 出力ファイルの保存場所とファイル名（--result_video './result/face.mp4' 指定の時）
・「./result」フォルダに保存される（「./result」フォルダは存在しなければならない）
・静止画から生成された動画 → 'face + <静止画> + <元動画> + .jpg'
・静止画/元動画/動画一覧 → 'face + <静止画> + <元動画> + _a + .jpg'
- コマンドオプション一覧
| コマンドオプション | 引数 | 初期値 | 意味 |
| -c, --category | str | '0' | カテゴリー指定（必須） |
| --config | str | 指定しなければ内部設定※ | 学習済みモデルの設定ファイル（.yaml） |
| --checkpoint | str | 学習済みモデル・ファイル |
| --source_image | str | 静止画ファイルパス |
| --driving_video | str | 動画ファイルパス |
| --result_video | str | 出力保存ファイルパス |
- モジュール・ソースコード
▼「motion_seg.py」
▲「motion_seg.py」
対処した問題点とエラー詳細 †
「part_swap.py」→「part_swap2.py」変更点 †
更新履歴 †
参考資料 †
- Motion Supervised co-part Segmentation
