MotionSeg のバックアップ(No.6)

私的AI研究会 > MotionSeg

動画のパーツを入れ替える：Motion Supervised co-part Segmentation　== 編集中 == †

　画像のセグメンテーションを使い静止画から動画パーツを入れ替える技術「Motion Supervised co-part Segmentation」をローカルマシンで検証する

動画のパーツを入れ替える：Motion Supervised co-part Segmentation　== 編集中 ==
参考資料

※ 最終更新:2024/07/16　

↑

Motion Supervised co-part Segmentation †

↑

概要 †

2004年に発表された『Motion-supervised Co-Part Segmentation』という論文に基づいて作成されたモデル
静止画 source と動画 Terget Frame から静止画のセグメント分割を行い入力動画の部分入れ替えを行った動画を生成する
論文「Motion-supervised Co-Part Segmentation」
<paper>
・https://arxiv.org/pdf/2004.03234
<framework>
・https://github.com/AliaksandrSiarohin/motion-cosegmentation
・https://github.com/AliaksandrSiarohin/face-makeup.PyTorch

↑

実行環境の構築 †

GitHub サイトからプロジェクトをダウンロード

cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

git clone https://github.com/AliaksandrSiarohin/motion-cosegmentation motion-co-seg

・「motion-co-seg」フォルダ内にもう一つプロジェクトをダウンロードする

cd motion-co-seg
git clone https://github.com/AliaksandrSiarohin/face-makeup.PyTorch face_parsing

プロジェクト・パッケージ update_2024XXXX.zip <アップデートファイル> をダウンロード
・解凍してできるフォルダ

update
└─workspace_2
    └─motion-co-seg　　　　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
        ├─face_parsing 　　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
        │  └─result_save
        ├─results
        ├─results_save
        └─sample
            ├─images
            └─videos

・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」

以下の項目は仮想環境「py38_learn」で実行する
未作成の場合は → 『仮想環境 (py38_learn)』の手順で仮想環境を作成

↑

前準備 †

「Google Colab」にデモが公開されているので動作確認ののち、ローカルマシンで実行できるようにする
→ Part-swap demo for paper "Motion Supervised co-part Segmentation"
セルの最初から順次実行していく
エラーが出た場合は適宜対応する
・Google Drive をマウントした後「logger.py」「part_swap.py」に下記の修正をし上書きする
　→ 対処した問題点とエラー詳細
・サンプル画像と学習済みモデルは下記サイトから予めダウンロードして Google Drive に「motion-supervised-co-segmentation/」のフォルダを作成してアップロードしておく
　→ https://drive.google.com/drive/folders/1SsBifjoM_qO0iFzb8wLlsz_4qW2j8dZe
Loading checkpoints with 10 parts の項目最初のセルの次に追加する
```
%matplotlib inline
```
パッケージのバージョンアップなどの多少の不具合を修正すれば問題なく動作する
最後のセルまで実行できることを確認して次のステップに移行する

↑

提供されているデモ「part_swap.py」を試す †

「GoogleColabo」で検証したカテゴリー別オプション指定のまとめ

カテゴリー	--config	--checkpoint	--source_image	--terget_video	--swap_index	出力例
0:10seg	config/ vox-256-sem-10segments.yaml	./sample/ vox-10segments.pth.tar	./sample/images/ 16.png	./sample/videos/ 04.mp4	[2]	赤い唇のトランプ
0:10seg	config/ vox-256-sem-10segments.yaml	./sample/ vox-10segments.pth.tar	./sample/images/ 26.png	./sample/ videos/11.mp4	{7,3]	青い目なった女優
1:5seg	config/ 256-sem-5segments.yaml	./sample/ vox-5segments.pth.tar	./sample/images/ 27.png	./sample/videos/ 02.mp4	[3,4,5]	金髪になった女優
			./sample/images/ 27.png	./sample/videos/ 04.mp4	[3,4,5]	トランプ顔の女優
			./sample/images/ 23.png	./sample/videos/ 07.mp4	[1]	髭が生えた男優
2:super	config/ vox-256-sem-10segments.yaml	./sample/ vox-first-order.pth.tar	./sample/images/ anim16.png	./sample/videos/ 04.mp4	[1,2,3.. ...14,15]	女優の顔のトランプ

学習済みモデル（プロジェクト・パッケージに組み込み済み）を使ってデモプログラムを動かす
・提供されている「part_swap.py」は若干の不具合があるので対処した版を「part_swap2.py」とする
・GPU未搭載やメモリー容量などで CUDAエラーが起きる場合は「--cpu」オプションを付加する
・処理結果は「--result_video <filepath>」オプションで指定するファイルに出力される

赤い唇のトランプ (make trump with red lips) を作成

（原文）Identify index of the part that you want to swap. For example to make trump with red lips part 2 should be used

・スワップするパーツのインデックスを特定する。この場合は 2 を使用する

(py38_learn) python part_swap2.py  --config ./config/vox-256-sem-10segments.yaml --target_video ./sample/videos/04.mp4 --source_image ./sample/images/16.png --checkpoint sample/vox-10segments.pth.tar --swap_index 2 --result_video ./result_lips.mp4
100%|████████████████████████████████████████████████████████████████████████████████| 211/211 [00:03<00:00, 66.93it/s]

・GPU動作の場合（「--cpu」オプションなし）

100%|████████████████████████████████████████████████████████████████████████████████| 211/211 [00:03<00:00, 66.93it/s]

目の色を変える (Changing eye color)
・右上のパーツ（セグメント）表示からインデックス 7,9 を指定する

(py38_learn) python part_swap2.py  --config ./config/vox-256-sem-10segments.yaml --target_video ./sample/videos/11.mp4 --source_image ./sample/images/26.png --checkpoint sample/vox-10segments.pth.tar --swap_index 7,9 --result_video ./result_eye_cor.mp4
100%|████████████████████████████████████████████████████████████████████████████████| 109/109 [00:01<00:00, 67.05it/s]

・GPU動作の場合（「--cpu」オプションなし）

100%|████████████████████████████████████████████████████████████████████████████████| 109/109 [00:01<00:00, 67.05it/s]

↑

GUI で操作できるプログラム「motion_seg.py」を作成する †

主な機能
・カテゴリーを指定すると、学習済みモデルの設定を自動でできるようにする
・入力として必要な静止画像と動画は ダイアログにより選択指定する
・オリジナルのオプションパラメータ指定はそのまま利用できる
・GPU未搭載やメモリー容量などで CUDAエラーが起きる場合は「--cpu」オプションを付加する
・処理後に生成される動画と元の静止画/元の動画/処理結果の動画を生成し表示する

出力ファイルの保存場所とファイル名（--result_video './result/result_10seg.mp4' 指定の時）
・「./result」フォルダに保存される（「./result」フォルダは存在しなければならない）
・静止画から生成された動画 → 'result_10seg_ + <静止画> + <元動画> + .mp4'
・静止画/元動画/動画一覧　 → 'result_10seg_ + <静止画> + <元動画> + _a + .mp4'

コマンドオプション一覧

コマンドオプション	引数	初期値	意味
-c, --category	str	'0'	カテゴリー指定（必須）
--config	str	指定しなければ内部設定※	学習済みモデルの設定ファイル（.yaml）
--checkpoint	str		学習済みモデル・ファイル
--source_image	str		静止画ファイルパス
--driving_video	str		動画ファイルパス
--result_video	str		出力保存ファイルパス
--swap_index"	list	[-1]	index of swaped parts
--hard	bool	False	use hard segmentation labels for blending
--use_source_segmentation	bool	False	use source segmentation for swaping
--first_order_motion_model	bool	False	use first order model for alignment
--supervised	bool	False	use supervised segmentation labels for blending. Only for faces.
--cpu	bool	False	cpu mode

※ 指定がないときの内部指定

コマンドオプション	-c 0 (10seg)	-c 1 (5seg)	-c 3 (super)
--config	./config/vox-256-sem-10segments.yaml	./config/vox-256-sem-5segments.yaml	./config/vox-256-sem-10segments.yaml
--checkpoint	./sample/vox-10segments.pth.tar	./sample/vox-5segments.pth.tar	./sample/vox-first-order.pth.tar
--source_image	ダイアログによる静止画選択
--driving_video	ダイアログによる動画選択（swap_index=[-1] の時はなし）
--result_video	./result/result_10seg.mp4	./result/result_5seg.mp4	./result/result_super.mp4
--result_video	./result/result_10seg.png 注1	./result/result_5seg.png 注1	./result/result_super.png 注1

　注1: swap_index=[-1] の時はセグメント表示画像となる

← プログラム実行中にダイアログからファイルを選択

カテゴリー別のセグメント分割

-c 0: 10-segment -c 1: 5-segment -c 2: supervised

コマンド実行例（赤い唇のトランプ）

(py38_learn) python motion_seg.py -c 0 --swap_index 2

Motion Supervised co-part Segmentation Ver. 0.01: Starting application...

   - Category                :  0: ** 10-segments model **
   - config                  :  ./config/vox-256-sem-10segments.yaml
   - checkpoint              :  ./sample/vox-10segments.pth.tar
   - source_image            :  C:/anaconda_win/workspace_2/motion-co-seg/sample/images/16.png
   - target_video            :  C:/anaconda_win/workspace_2/motion-co-seg/sample/videos/04.mp4
   - result_video            :  ./results/result_10seg.mp4
   - swap_index              :  [2]
   - hard                    :  False
   - use_source_segmentation :  False
   - first_order_motion_model:  False
   - supervised              :  False
   - cpu                     :  False

100%|████████████████████████████████████████████████████████████████████████████████| 211/211 [00:02<00:00, 71.21it/s]
 Saving... → './results/result_10seg_16_04.mp4'
 Saving... → './results/result_10seg_16_04_a.mp4'

 Finished.

・CPU動作の場合（「--cpu」オプション指定）

100%|████████████████████████████████████████████████████████████████████████████████| 211/211 [00:02<00:00, 71.21it/s]

コマンド実行例（目の色を変える）

(py38_learn) python motion_seg.py -c 0 --swap_index 7,9

Motion Supervised co-part Segmentation Ver. 0.01: Starting application...

   - Category                :  0: ** 10-segments model **
   - config                  :  ./config/vox-256-sem-10segments.yaml
   - checkpoint              :  ./sample/vox-10segments.pth.tar
   - source_image            :  C:/anaconda_win/workspace_2/motion-co-seg/sample/images/26.png
   - target_video            :  C:/anaconda_win/workspace_2/motion-co-seg/sample/videos/11.mp4
   - result_video            :  ./results/result_10seg.mp4
   - swap_index              :  [7, 9]
   - hard                    :  False
   - use_source_segmentation :  False
   - first_order_motion_model:  False
   - supervised              :  False
   - cpu                     :  False

100%|████████████████████████████████████████████████████████████████████████████████| 109/109 [00:01<00:00, 69.68it/s]
 Saving... → './results/result_10seg_26_11.mp4'
 Saving... → './results/result_10seg_26_11_a.mp4'

 Finished.

・CPU動作の場合（「--cpu」オプション指定）

100%|████████████████████████████████████████████████████████████████████████████████| 109/109 [00:01<00:00, 69.68it/s]

そのほかの実行例

音声付きの生成例（元の動画の音声トラックを引き継ぐ）

モジュール・ソースコード

▼「motion_seg.py」

# -*- coding: utf-8 -*-
##------------------------------------------
##   Motion Supervised co-part Segmentation
##                           Demo Ver 0.01
##
##               2024.07.13 Masahiro Izutsu
##------------------------------------------
## motion_seg.py

# Examples with 10-segments model
#   10seg:  source_image = './sample/image/16.png'
#           target_video = './sample/videos/04.mp4'
#           index        = [2]          (唇)
#
#   10seg:  source_image = './sample/image/25.png'
#           target_video = './sample/videos/11.mp4'
#           index        = [7,9]        (目)
#
#   5seg:   source_image = './sample/image/27.png'
#           target_video = './sample/videos/02.mp4'
#           index        = [3,4,5]      (髪)
#
#   5seg:   source_image = './sample/image/27.png'
#           target_video = './sample/videos/04.mp4'
#           use_source_segmentation = True
#           index        = [3,4,5]      (顔)
#
#   5seg:   source_image = './sample/image/23.png'
#           target_video = './sample/videos/07.mp4'
#           index        = [1]          (髭)
#
#   super:  source_image = './sample/image/16.png'
#           target_video = './sample/videos/04.mp4'
#           index        = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15]    (髪以外)

# Color Escape Code
GREEN = '\033[1;32m'
RED = '\033[1;31m'
NOCOLOR = '\033[0m'
YELLOW = '\033[1;33m'

# 定数定義
DEF_CONFIG_10SEG = './config/vox-256-sem-10segments.yaml'
DEF_CHECKPOINT_10SEG = './sample/vox-10segments.pth.tar'
DEF_CONFIG_5SEG = './config/vox-256-sem-5segments.yaml'
DEF_CHECKPOINT_5SEG = './sample/vox-5segments.pth.tar'
DEF_CONFIG_SUPER = './config/vox-256-sem-10segments.yaml'
DEF_CHECKPOINT_SUPER = './sample/vox-first-order.pth.tar'

DEF_RESULT_10SEG_VIDEO = './results/result_10seg.mp4'
DEF_RESULT_5SEG_VIDEO = './results/result_5seg.mp4'
DEF_RESULT_SUPER_VIDEO = './results/result_super.mp4'
DEF_RESULT_10SEG_IMAGE = './results/result_10seg.png'
DEF_RESULT_5SEG_IMAGE = './results/result_5seg.png'
DEF_RESULT_SUPER_IMAGE = './results/result_super.png'

DEF_RESULT_10SEG_INDEX_LIP = [2]

# import
import os
import argparse
import imageio.v2 as imageio
import numpy as np
import matplotlib.pyplot as plt
import matplotlib.animation as animation
import matplotlib.patches as mpatches
import torch
import torch.nn.functional as F
from skimage.transform import resize
from skimage import img_as_ubyte

from part_swap2 import load_checkpoints
from part_swap2 import load_face_parser
from part_swap2 import make_video
import my_dialog
import my_imagetool
import my_videotool
import my_movieplay

import warnings
warnings.simplefilter('ignore', UserWarning)            # warning error 対応

# タイトル
title = 'Motion Supervised co-part Segmentation Ver. 0.01'
sub_title = '10-segments model', '5-segments model', 'supervised  part-swaps'

# Parses arguments for the application
def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('-c', '--category', default = '0', type = str, help = 'Category (0:10-segment, 1:5-segment, 2:supervised) Default value is 0')
    parser.add_argument("--config", default='', help="path to config")
    parser.add_argument("--checkpoint", default='', help="path to checkpoint to restore")

    parser.add_argument("--source_image", default='', help="path to source image")
    parser.add_argument("--target_video", default='', help="path to target video")
    parser.add_argument("--result_video", default='', help="path to output")

    parser.add_argument("--swap_index", default="-1", type=lambda x: list(map(int, x.split(','))), help='index of swaped parts')
    parser.add_argument("--hard", action="store_true", help="use hard segmentation labels for blending")
    parser.add_argument("--use_source_segmentation", action="store_true", help="use source segmentation for swaping")
    parser.add_argument("--first_order_motion_model", action="store_true", help="use first order model for alignment")
    parser.add_argument("--supervised", action="store_true", help="use supervised segmentation labels for blending. Only for faces.")
    parser.add_argument("--cpu", action="store_true", help="cpu mode")

    return parser

# 基本情報の表示
def display_info(opt, title):
    if opt.category[0] == '0':
        cat = f'{opt.category}: ** {sub_title[0]} **'
    elif opt.category[0] == '1':
        cat = f'{opt.category}: ** {sub_title[1]} **'
    elif opt.category[0] == '2':
        cat = f'{opt.category}: ** {sub_title[2]} **'
    else:
        cat = f'{opt.category}: ** setup **'

    print('\n' + GREEN + title + ': Starting application...' + NOCOLOR)
    print('\n   - ' + YELLOW + 'category                : ' + NOCOLOR, cat)
    print('   - ' + YELLOW + 'config                  : ' + NOCOLOR, opt.config)
    print('   - ' + YELLOW + 'checkpoint              : ' + NOCOLOR, opt.checkpoint)
    print('   - ' + YELLOW + 'source_image            : ' + NOCOLOR, opt.source_image)
    print('   - ' + YELLOW + 'target_video            : ' + NOCOLOR, opt.target_video)
    print('   - ' + YELLOW + 'result_video            : ' + NOCOLOR, opt.result_video)

    print('   - ' + YELLOW + 'swap_index              : ' + NOCOLOR, opt.swap_index)
    print('   - ' + YELLOW + 'hard                    : ' + NOCOLOR, opt.hard)
    print('   - ' + YELLOW + 'use_source_segmentation : ' + NOCOLOR, opt.use_source_segmentation)
    print('   - ' + YELLOW + 'first_order_motion_model: ' + NOCOLOR, opt.first_order_motion_model)
    print('   - ' + YELLOW + 'supervised              : ' + NOCOLOR, opt.supervised)
    print('   - ' + YELLOW + 'cpu                     : ' + NOCOLOR, opt.cpu)
    print(' ')

# セグメンテーションの視覚化
def visualize_segmentation(image, network, supervised=False, hard=True, colormap='gist_rainbow'):
    with torch.no_grad():
        inp = torch.tensor(image[np.newaxis].astype(np.float32)).permute(0, 3, 1, 2).cuda()
        if supervised:
            inp = F.interpolate(inp, size=(512, 512))
            inp = (inp - network.mean) / network.std
            mask = torch.softmax(network(inp)[0], dim=1)
            mask = F.interpolate(mask, size=image.shape[:2])
        else:
            mask = network(inp)['segmentation']
            mask = F.interpolate(mask, size=image.shape[:2], mode='bilinear')
    
    if hard:
        mask = (torch.max(mask, dim=1, keepdim=True)[0] == mask).float()
    
    colormap = plt.get_cmap(colormap)
    num_segments = mask.shape[1]
    mask = mask.squeeze(0).permute(1, 2, 0).cpu().numpy()
    color_mask = 0
    patches = []
    for i in range(num_segments):
        if i != 0:
            color = np.array(colormap((i - 1) / (num_segments - 1)))[:3]
        else:
            color = np.array((0, 0, 0))
        patches.append(mpatches.Patch(color=color, label=str(i)))
        color_mask += mask[..., i:(i+1)] * color.reshape(1, 1, 3)
    
    fig, ax = plt.subplots(1, 2, figsize=(12,6), dpi=64)
    fig.subplots_adjust(left=0, right=1, bottom=0, top=1) # 2024.07.13

    ax[0].imshow(color_mask)
    ax[1].imshow(0.3 * image + 0.7 * color_mask)
    ax[1].legend(handles=patches)
    ax[0].axis('off')
    ax[1].axis('off')

# 終了処理（結果の表示と保存）
def end_Process(save_path, dispf = False):
    if len(save_path) > 0:
        plt.savefig(save_path)
    if dispf:
        plt.show()
    plt.close()
    return


# セグメント表示
def segment_disp(opt, msg = 'Visualize segmentation', maxsize = 0, loop_f = True):
    source_image = imageio.imread(opt.source_image)
    source_image = resize(source_image, (256, 256))[..., :3]

    if opt.supervised:
        face_parser = load_face_parser(opt.cpu)
        visualize_segmentation(source_image, face_parser, supervised = True, hard = opt.hard, colormap = 'tab20')
    else :
        reconstruction_module, segmentation_module = load_checkpoints(opt.config, checkpoint = opt.checkpoint, blend_scale = 1)
        visualize_segmentation(source_image, segmentation_module, hard = opt.hard)

    # 出力ファイル名
    out_path = ''                                                   # 処理結果画像
    base_dir_pair = os.path.split(opt.source_image)
    s_name, ext = os.path.splitext(base_dir_pair[1])
    name, ext = os.path.splitext(opt.result_video)
    out_path = name + '_' + s_name + ext

    end_Process(out_path)
    my_imagetool.image2disp(out_path, winname = msg, maxsize = my_imagetool.WINDOW_WIDTH, loop_f = loop_f)


# ビデオ生成
def part_swap(opt, maxsize = 0, loop_f = True):

    # ファイルの存在確認
    if not os.path.isfile(opt.source_image):
        print(RED + f"File not found !! '{opt.source_image}' " + NOCOLOR)
        return
    if not os.path.isfile(opt.target_video):
        print(RED + f"File not found !! '{opt.target_video}' " + NOCOLOR)
        return

    # 静止画/動画 読み出し
    source_image = imageio.imread(opt.source_image)
    target_video, fps = my_videotool.read_video(opt.target_video)

    # 256x256 にリサイズ6
    source_image = resize(source_image, (256, 256))[..., :3]
    target_video = [resize(frame, (256, 256))[..., :3] for frame in target_video]

    # 静止画/動画から処理
    blend_scale = (256 / 4) / 512 if opt.supervised else 1
    reconstruction_module, segmentation_module = load_checkpoints(opt.config, opt.checkpoint, blend_scale=blend_scale,
                                                                first_order_motion_model=opt.first_order_motion_model, cpu=opt.cpu)
    if opt.supervised:
        face_parser = load_face_parser(opt.cpu)
    else:
        face_parser = None

    predictions = make_video(opt.swap_index, source_image, target_video, reconstruction_module, segmentation_module,
                                        face_parser, hard=opt.hard, use_source_segmentation=opt.use_source_segmentation, cpu=opt.cpu)

    # 出力ファイル名
    out_path1 = ''                                                  # 処理結果画像
    out_path2 = ''                                                  # 静止画/元動画/処理結果画像
    ext = ''
    if len(opt.result_video) > 0:
        base_dir_pair = os.path.split(opt.source_image)
        s_name, ext = os.path.splitext(base_dir_pair[1])
        base_dir_pair = os.path.split(opt.target_video)
        d_name, ext = os.path.splitext(base_dir_pair[1])
        
        name, ext = os.path.splitext(opt.result_video)
        out_path1 = name + '_' + s_name + '_' + d_name + ext
        out_path2 = name + '_' + s_name + '_' + d_name + '_a' + ext

    # 処理結果の保存 1
    if out_path1 != '':
        if ext == '.gif':
            imageio.mimsave(out_path1, [img_as_ubyte(frame) for frame in predictions], fps = fps, loop = 0)
        else:
            imageio.mimsave(out_path1, [img_as_ubyte(frame) for frame in predictions], fps = fps)

        print(f" Saving... → '{out_path1}'")

        # 音声トラックの付加
        my_videotool.add_audio(opt.target_video, out_path1, log_f = False)

        # 生成動画の表示 1
        my_movieplay.movie_play(out_path1, title = 'Processed result image 1')

    # 静止画/元動画/処理結果画像の作成
    ani = my_videotool.img_movie3x1(source_image, target_video, predictions, interval = fps)

    # 処理結果の保存 2
    if out_path2 != '':
        my_videotool.save_video(ani, out_path2)
        print(f" Saving... → '{out_path2}'")

        # 音声トラックの付加
        my_videotool.add_audio(opt.target_video, out_path2, log_f = False)

        # 入力画像/元動画/生成動画の表示 2
        my_movieplay.movie_play(out_path2, title = 'Processed result image 2')

    print('\n Finished.')
    return out_path1, out_path2


# main関数エントリーポイント(実行開始)
if __name__ == "__main__":
    parser = parse_args()
    opt = parser.parse_args()

    segment_f = opt.swap_index == [-1]                              # visualizing the segmentation flag

    if len(opt.source_image) == 0:
        opt.source_image = my_dialog.select_image_file('静止画像　', './sample/images')
        if len(opt.source_image) == 0:
            exit(0)

    if len(opt.target_video) == 0 and not segment_f:
        opt.target_video = my_dialog.select_movie_file('参照動画　', './sample/videos')
        if len(opt.target_video) == 0:
            exit(0)

    # カテゴリー別の前処理
    if opt.category[0] == '0':                                      # 0: 10-segment
        opt.supervised = False
        opt.config = DEF_CONFIG_10SEG if len(opt.config) == 0 else opt.config
        opt.checkpoint = DEF_CHECKPOINT_10SEG if len(opt.checkpoint) == 0 else opt.checkpoint

        if segment_f:
            opt.result_video = DEF_RESULT_10SEG_IMAGE
            opt.hard = True

        else:
            opt.result_video = DEF_RESULT_10SEG_VIDEO if len(opt.result_video) == 0 else opt.result_video

    if opt.category[0] == '1':                                      # 1: 5-segment
        opt.supervised = False
        opt.config = DEF_CONFIG_5SEG if len(opt.config) == 0 else opt.config
        opt.checkpoint = DEF_CHECKPOINT_5SEG if len(opt.checkpoint) == 0 else opt.checkpoint

        if segment_f:
            opt.result_video = DEF_RESULT_5SEG_IMAGE
            opt.hard = True

        else:
            opt.result_video = DEF_RESULT_5SEG_VIDEO if len(opt.result_video) == 0 else opt.result_video

    elif opt.category[0] == '2':                                    # 2: supervised
        opt.supervised = True
        opt.config = DEF_CONFIG_SUPER if len(opt.config) == 0 else opt.config
        opt.checkpoint = DEF_CHECKPOINT_SUPER if len(opt.checkpoint) == 0 else opt.checkpoint
        opt.first_order_motion_model = True

        if segment_f:
            opt.result_video = DEF_RESULT_SUPER_IMAGE
            opt.hard = True

        else:
            opt.result_video = DEF_RESULT_SUPER_VIDEO if len(opt.result_video) == 0 else opt.result_video

    display_info(opt, title)
    if segment_f:
        segment_disp(opt, msg = sub_title[int(opt.category[0])], maxsize = my_imagetool.WINDOW_WIDTH, loop_f = False)
    else:
        part_swap(opt, maxsize = my_imagetool.WINDOW_WIDTH, loop_f = False)

↑

face-parsing: 顔のパーツに関するピクセル単位のラベルマップを求める †

↑

概要 †

「face-parsing」という顔の部品ごとのマスクを学習したセマンティックセグメンテーションモデル
上記「Motion Supervised co-part Segmentation」プロジェクトのカテゴリー'2:supervised' で使用

<framework>
・ https://github.com/AliaksandrSiarohin/face-makeup.PyTorch
・ https://github.com/zllrunning/face-parsing.PyTorch

↑

提供されているデモ「makeup.py」を試す †

カレントディレクトリを移動する
```
cd face_parsing
```

「ヘアー」「唇」メークアップのデモ
```
python makeup.py
```
・「model.py」に不具合があるので変更を加えた

↑

GUI で操作できるプログラム「makeup2.py」を作成 †

主な機能
・入力として必要な静止画像は ダイアログにより選択指定する
出力ファイルの保存場所とファイル名（--result_image'./result.jpg' 指定の時）
・「./」フォルダ（カレントディレクトリ）に保存される
・処理結果画像　 → 'result_ + <静止画> + .jpg'

コマンドオプション一覧

コマンドオプション	引数	初期値	意味
--source_image	str	初期値	静止画ファイルパス
--result_image	str	'.result'	出力保存ファイルパス
--checkpoint	str	'./cp/79999_iter.pth'	学習済みモデル・ファイル

コマンド実行例

(py38_learn) python makeup2.py

Motion Supervised co-part Segmentation Ver. 0.01: Starting application...

   - source_image            :  C:/anaconda_win/workspace_2/motion-co-seg/face_parsing/imgs/116.jpg
   - result_image            :  ./result_116.jpg
   - checkpoint              :  ./cp/79999_iter.pth

そのほかのコマンド実行例

モジュール・ソースコード

▼「makeup2.py」

# -*- coding: utf-8 -*-
##------------------------------------------
##   Face-makeup demo           Ver 0.01
##
##               2024.07.15 Masahiro Izutsu
##------------------------------------------
## makeup2.py           (original:  makeup.py)

# Color Escape Code
GREEN = '\033[1;32m'
RED = '\033[1;31m'
NOCOLOR = '\033[0m'
YELLOW = '\033[1;33m'

# import
import cv2
import os
import numpy as np
from skimage.filters import gaussian
from test import evaluate
import argparse

import my_imagetool
import my_dialog

# タイトル
title = 'Motion Supervised co-part Segmentation Ver. 0.01'
sub_title = '10-segments model', '5-segments model', 'supervised  part-swaps'


# Parses arguments for the application
def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--source_image", default='', help="path to source image")
    parser.add_argument("--result_image", default='./result.jpg', help="path to output")
    parser.add_argument("--checkpoint", default='./cp/79999_iter.pth', help="path to checkpoint to restore")

    return parser

# 基本情報の表示
def display_info(opt, title):
    print('\n' + GREEN + title + ': Starting application...' + NOCOLOR)
    print('\n   - ' + YELLOW + 'source_image            : ' + NOCOLOR, opt.source_image)
    print('   - ' + YELLOW + 'result_image            : ' + NOCOLOR, opt.result_image)
    print('   - ' + YELLOW + 'checkpoint              : ' + NOCOLOR, opt.checkpoint)
    print(' ')


def sharpen(img):
    img = img * 1.0
    gauss_out = gaussian(img, sigma=5, multichannel=True)

    alpha = 1.5
    img_out = (img - gauss_out) * alpha + img

    img_out = img_out / 255.0

    mask_1 = img_out < 0
    mask_2 = img_out > 1

    img_out = img_out * (1 - mask_1)
    img_out = img_out * (1 - mask_2) + mask_2
    img_out = np.clip(img_out, 0, 1)
    img_out = img_out * 255
    return np.array(img_out, dtype=np.uint8)

def get_key_from_value(d, val):
    keys = [k for k, v in d.items() if v == val]
    if keys:
        return keys[0]
    return None

def hair(image, parsing, part=17, color=[230, 50, 20]):
    b, g, r = color      #[10, 50, 250]       # [10, 250, 10]
    tar_color = np.zeros_like(image)
    tar_color[:, :, 0] = b
    tar_color[:, :, 1] = g
    tar_color[:, :, 2] = r

    image_hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
    tar_hsv = cv2.cvtColor(tar_color, cv2.COLOR_BGR2HSV)

    if part == 12 or part == 13:
        image_hsv[:, :, 0:2] = tar_hsv[:, :, 0:2]
    else:
        image_hsv[:, :, 0:1] = tar_hsv[:, :, 0:1]

    changed = cv2.cvtColor(image_hsv, cv2.COLOR_HSV2BGR)

    if part == 17:
        changed = sharpen(changed)

    changed[parsing != part] = image[parsing != part]
    return changed


# main関数エントリーポイント(実行開始)
if __name__ == '__main__':
    # 1  face
    # 11 teeth
    # 12 upper lip
    # 13 lower lip
    # 17 hair

    parser = parse_args()
    opt = parser.parse_args()

    if len(opt.source_image) == 0:
        opt.source_image = my_dialog.select_image_file('静止画像　', './imgs')
        if len(opt.source_image) == 0:
            exit(0)

        # 出力ファイル名
        base_dir_pair = os.path.split(opt.source_image)
        s_name, ext = os.path.splitext(base_dir_pair[1])
        name, ext = os.path.splitext(opt.result_image)
        opt.result_image = name + '_' + s_name + ext

    display_info(opt, title)

    table = {
        'hair': 17,
        'upper_lip': 12,
        'lower_lip': 13
    }

    image_path = opt.source_image
    cp = opt.checkpoint

    image = cv2.imread(image_path)
    ori = image.copy()
    parsing = evaluate(image_path, cp)
    parsing = cv2.resize(parsing, image.shape[0:2], interpolation=cv2.INTER_NEAREST)

    parts = [table['hair'], table['upper_lip'], table['lower_lip']]
    colors = [[230, 50, 20], [20, 70, 180], [20, 70, 180]]

    ds_image = np.zeros((1024,1024,3), dtype = np.uint8)
    n = 1
    win_name = 'original + '
    for part, color in zip(parts, colors):
        image = hair(image, parsing, part, color)
        img = image.copy()

        x = (n % 2) * 512
        y = (n // 2) * 512
        img = cv2.resize(img, (512, 512))
        ds_image[y:y + 512, x:x + 512] = img
        n = n + 1

    ds_image[0:512, 0:512] = cv2.resize(ori, (512, 512))

    win_name = 'original + hair + upper_lip + lower_lip'

    my_imagetool.image_disp(ds_image, win_name, save_path = opt.result_image)

↑

対処した問題点とエラー詳細 †

↑

「logger.py」変更点 †

from skimage.draw import circle エラー対応 → 7行目
```
from skimage.draw import ellipse as cricle
```

↑

「part_swap.py」変更点（ローカル環境では「part_swap2.py」）とする †

import imageio エラー対応 → 19行目
```
import imageio.v2 as imageio
```

warning error を消す → 22行目から

import imageio.v2 as imageio
import warnings
warnings.simplefilter('ignore', UserWarning)

TypeError: load() missing 1 required positional argument: 'Loader' エラー対応 → 119行目
```
#        config = yaml.load(f)
        config = yaml.load(f,Loader=yaml.Loader)
```

↑

「face_parsing/model.py」変更点 †

10行目

try:
    from face_parsing.resnet import Resnet18
except ImportError:
    from resnet import Resnet18

warning error を消す → 15行目から

import warnings
warnings.simplefilter('ignore')

↑

更新履歴 †

2024/07/14 初版

↑

参考資料 †

Motion Supervised co-part Segmentation

face-parsing

First Order Motion Model

Error

Others

MotionSeg のバックアップ(No.6)

動画のパーツを入れ替える：Motion Supervised co-part Segmentation == 編集中 == †

Motion Supervised co-part Segmentation †

概要 †

実行環境の構築 †

前準備 †

提供されているデモ「part_swap.py」を試す †

GUI で操作できるプログラム「motion_seg.py」を作成する †

face-parsing: 顔のパーツに関するピクセル単位のラベルマップを求める †

概要 †

提供されているデモ「makeup.py」を試す †

GUI で操作できるプログラム「makeup2.py」を作成 †

対処した問題点とエラー詳細 †

「logger.py」変更点 †

「part_swap.py」変更点（ローカル環境では「part_swap2.py」）とする †

「face_parsing/model.py」変更点 †

更新履歴 †

参考資料 †

動画のパーツを入れ替える：Motion Supervised co-part Segmentation　== 編集中 == †