DLFS2 のバックアップ(No.10)

私的AI研究会 > DLFS2

人間の年齢による顔の変化：DLFS（その２）== 編集中 == †

　AI技術「DLFS（Disentangled Lifespan Face Synthesis）」で人間の年齢による顔の変化をシミュレーションする。
　ローカル環境で「DLFS」を動かす　（※ GPU 環境でのみ動作する）

人間の年齢による顔の変化：DLFS（その２）== 編集中 ==
参考資料

※ 最終更新:2024/08/08　

↑

「DLFS: Disentangled Lifespan Face Synthesis」 †

↑

概要 †

　「http://cedro3.com/ai/dlfs/」より引用

DLFS（Disentangled Lifespan Face Synthesis）とは年齢による顔の変化をシミュレーションできる技術
入力画像（Input Image）からエンコーダ（ε）で潜在変数を求め、CNNを使って形状特徴（Shape feature）とテクスチャ特徴（Texture feature）とアイデンティティを抽出
アイデンティティを維持しながら、形状特徴とテクスチャ特徴に潜在年齢コード（Latent age code）を加味して特徴を変換し、ジェネレーター（g）でミックスして画像を生成する
潜在年齢コードは、年齢範囲を６つの離散グループに分割し、対応する年齢コードは隣接した２つの年齢グループの線形補間によって取得する
　

モデル概要図（下記論文所収）
論文「DLFS: Disentangled Lifespan Face Synthesis (ICCV 2021)」
<paper>
・https://arxiv.org/pdf/2108.02874
<framework>
・https://github.com/SenHe/DLFS

前回の検証
・人間の年齢による顔の変化：DLFS

↑

実行環境の構築 †

仮想環境「py38_learn」で実行する（2024/08/06 版以降であること）
未作成の場合は → 『仮想環境 (py38_learn)』の手順で仮想環境を作成

GitHub サイトからプロジェクトをダウンロード

cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

git clone https://github.com/SenHe/DLFS.git

補助モデルのダウンロード
```
cd DLFS
python download_models.py
```

プロジェクト・パッケージ project_DLFS.zip (393MB) <DLFS> をダウンロード
・解凍してできるフォルダ

update
└─workspace_2
    └─DLFS　　　　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
        ├─checkpoints
        │  ├─females_model
        │  ├─males_model
        │  └─__MACOSX
        │      └─males_model
        ├─images
        ├─models_distan
        ├─options
        ├─results
        └─results_save

・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」

↑

前回 GoogleColab 上で実行したプログラム「dlfs_test.py」を実行 †

実行コマンド　※ 2024/08/03 現在 GPUでのみ動作
```
(py38_learn) python dlfs_test2.py
```
ログ抑制とワーニングエラーに対処した「dlfs_test2.py」を実行する
→ ログ抑制　「dlfs_test.py」→「dlfs_test2.py」変更点

実行結果
・「./output.mp4」が生成される

(py38_learn) python dlfs_test2.py
AgingDataLoader
dataset [MulticlassUnalignedDataset] was created
./checkpoints\males_model\latest_net_g_running.pth
convert complete.

processing start >>      2024/08/03 07:17:34
processing end >>        2024/08/03 07:17:44
processing time >>       0:00:10.049580

Finished.

▼「dlfs_test2.py」ソースコード

# -*- coding: utf-8 -*-
##------------------------------------------
##  DLFS test program      Ver 0.01
##    Disentangled Lifespan Face Synthesis (ICCV 2021)
##    DLFSで、人間の年齢による顔の変化をシミュレーションする
##          http://cedro3.com/ai/dlfs/
##
##               2023.11.02 Masahiro Izutsu
##------------------------------------------
## Official DLFS https://github.com/SenHe/DLFS#training-and-testing-link-to-the-pretrained-models-in-the-colab
##
## dlfs_test2.py

import warnings
warnings.simplefilter('ignore')

# インポート＆初期設定
import os
import argparse
from collections import OrderedDict
from options.test_options import TestOptions
from data.data_loader import CreateDataLoader
from models_distan.models import create_model
import util.util as util
from util.visualizer import Visualizer

def convert_mp4(out_path):
    import subprocess
    import shutil

    shutil.copy(out_path, './results/out.mp4')
    if os.path.exists('./output.mp4'):
        os.remove('./output.mp4')

    cmd = 'ffmpeg -i ./results/out.mp4 -vcodec h264 -pix_fmt yuv420p output.mp4 -loglevel quiet'
    try:
        subprocess.call(cmd, shell=True)
        print("convert complete.")
    except subprocess.CalledProcessError as e:
        print("convert error")
        print(e)

def main(opt):

    data_loader = CreateDataLoader(opt)
    dataset = data_loader.load_data()
    visualizer = Visualizer(opt)

    # 年齢による顔アニメーション作成
    opt.name = 'males_model' if opt.model == 'male' else 'females_model'       # females_model'あるいは'males_model'を選択する
    model = create_model(opt)
    model.eval()

    image_path = opt.source_image
    base_dir_pair = os.path.split(image_path)
    img_file = base_dir_pair[1]

    data = dataset.dataset.get_item_from_path(image_path)
    visuals = model.inference(data)

    os.makedirs('results', exist_ok=True)
    out_path ='results/'+img_file[:-4]+'.mp4'
    visualizer.make_video(visuals, out_path)

    convert_mp4(out_path)       #  ffmpegでコーデック変換（MP4V→H264）

if __name__ == '__main__':
    import datetime

    opt = TestOptions().parse(save=False)
    opt.display_id = 0          # do not launch visdom
    opt.nThreads = 1            # test code only supports nThreads = 1
    opt.batchSize = 1           # test code only supports batchSize = 1
    opt.serial_batches = True   # no shuffle
    opt.no_flip = True          # no flip
    opt.in_the_wild = True      # This triggers preprocessing of in the wild images in the dataloader
    opt.traverse = True         # This tells the model to traverse the latent space between anchor classes
    opt.interp_step = 0.05      # this controls the number of images to interpolate between anchor classes

    opt.source_image = './images/14.jpg'        # テスト・ファイル名

    start_time = datetime.datetime.now()        # 時間計測開始
    main(opt)

    # 経過時間
    end_time = datetime.datetime.now()
    print(start_time.strftime('\nprocessing start >>\t %Y/%m/%d %H:%M:%S'))
    print(end_time.strftime('processing end >>\t %Y/%m/%d %H:%M:%S'))
    print('processing time >>\t', end_time - start_time)

    print('\nFinished.\n')

↑

GUI で操作できるプログラム「dlfs_gui.py」を作成 †

主な機能
・入力として必要な静止画像は ダイアログにより選択指定する
・GPU自動選択（メモリー容量不足で CUDAエラーが起きる場合は「--cpu」オプションを付加）

出力ファイルの保存場所とファイル名（--result_image'./results/result.mp4' 指定の時）
・「./result」フォルダに保存される（「./result」フォルダは存在しなければならない）
・処理結果画像　 → 'result_ + <静止画> + .mp4'

コマンドオプション一覧

コマンドオプション	引数	初期値	意味
--model	str	'male'	男性(male)/女性(female) 指定
--source_image	str	''　 (ダイアログによる指定)	静止画ファイルパス
--result_image	str	'./result/result.jpg'	出力保存ファイルパス
--gpu_ids			GPU 確認

コマンド実行例　※ 2024/08/03 現在 GPUでのみ動作

(py38_learn) python dlfs_gui.py --model female

DLFS GUI program  Ver. 0.01: Starting application...

   - model                   :  female
   - source_image            :  C:/anaconda_win/workspace_2/DLFS/images/07.jpg
   - result_image            :  ./results/result_07.mp4
   - gpu_ids                 :  [0]

AgingDataLoader
dataset [MulticlassUnalignedDataset] was created
./checkpoints\females_model\latest_net_g_running.pth

processing start >>      2024/08/03 13:29:00
processing end >>        2024/08/03 13:29:13
processing time >>       0:00:12.853809

Finished.

▼「dlfs_gui.py」ソースコード

# -*- coding: utf-8 -*-
##------------------------------------------
##  DLFS GUI program      Ver 0.01
##    Disentangled Lifespan Face Synthesis (ICCV 2021)
##    DLFSで、人間の年齢による顔の変化をシミュレーションする
##
##               2024.07.31 Masahiro Izutsu
##------------------------------------------
##  Official DLFS https://github.com/SenHe/DLFS
##  http://cedro3.com/ai/dlfs/      (dlfs_test.py)
##
## dlfs_gui.py

import warnings
warnings.simplefilter('ignore')

# Color Escape Code
GREEN = '\033[1;32m'
RED = '\033[1;31m'
NOCOLOR = '\033[0m'
YELLOW = '\033[1;33m'

# インポート＆初期設定
import os
import argparse
from collections import OrderedDict
from options.test_options import TestOptions
from data.data_loader import CreateDataLoader
from models_distan.models import create_model
import util.util as util
from util.visualizer import Visualizer

import my_imagetool
import my_dialog

# タイトル
title = 'DLFS GUI program  Ver. 0.01'

# 基本情報の表示
def display_info(args, title):
    print('\n' + GREEN + title + ': Starting application...' + NOCOLOR)
    print('\n   - ' + YELLOW + 'model                   : ' + NOCOLOR, args.model)
    print('   - ' + YELLOW + 'source_image            : ' + NOCOLOR, args.source_image)
    print('   - ' + YELLOW + 'result_image            : ' + NOCOLOR, args.result_image)
    print('   - ' + YELLOW + 'gpu_ids                 : ' + NOCOLOR, args.gpu_ids)
    print(' ')

# ソースファイル名を含んだ出力ファイル名を得る
def get_outpath(source_image, result_image):
    base_dir_pair = os.path.split(source_image)
    s_name, ext = os.path.splitext(base_dir_pair[1])
    name, ext = os.path.splitext(result_image)
    result_image = name + '_' + s_name + ext
    return result_image

def main(opt):
    data_loader = CreateDataLoader(opt)
    dataset = data_loader.load_data()
    visualizer = Visualizer(opt)

    # 年齢による顔アニメーション作成
    opt.name = 'males_model' if opt.model == 'male' else 'females_model'       # females_model'あるいは'males_model'を選択する
    model = create_model(opt)
    model.eval()

    data = dataset.dataset.get_item_from_path(opt.source_image)
    visuals = model.inference(data)
    visualizer.make_video(visuals, opt.result_image)

    my_imagetool.image2disp(opt.result_image, loop_f = False)


if __name__ == '__main__':
    import datetime

    opt = TestOptions().parse(save=False)
    opt.display_id = 0          # do not launch visdom
    opt.nThreads = 1            # test code only supports nThreads = 1
    opt.batchSize = 1           # test code only supports batchSize = 1
    opt.serial_batches = True   # no shuffle
    opt.no_flip = True          # no flip
    opt.in_the_wild = True      # This triggers preprocessing of in the wild images in the dataloader
    opt.traverse = True         # This tells the model to traverse the latent space between anchor classes
    opt.interp_step = 0.05      # this controls the number of images to interpolate between anchor classes

    if len(opt.source_image) == 0:
        opt.source_image = my_dialog.select_image_file(msg = '静止画像　', initdir = './images')
        if len(opt.source_image) == 0:
            exit(0)

    opt.result_image = get_outpath(opt.source_image, opt.result_image)

    display_info(opt, title)
    start_time = datetime.datetime.now()        # 時間計測開始
    main(opt)

    # 経過時間
    end_time = datetime.datetime.now()
    print(start_time.strftime('\nprocessing start >>\t %Y/%m/%d %H:%M:%S'))
    print(end_time.strftime('processing end >>\t %Y/%m/%d %H:%M:%S'))
    print('processing time >>\t', end_time - start_time)

    print('\nFinished.\n')

↑

ここまでのまとめ †

ハードウェアによる実行速度の違い

プログラム GPU CPU

RTX 4070 GTX 1050 i9-13900 i7-1260P i7-1185G7

dlfs_test2.py 10秒 54分32秒 ※ × × ×

dlfs_gui.py 13秒 53分26秒 ※ × × ×

　×: CPU 動作不可
　※ メモリ不足によりキャシュ動作のため

プログラム	GPU	CPU
dlfs_test2.py	10秒	54分32秒 ※	×	×	×
dlfs_gui.py	13秒	53分26秒 ※	×	×	×

↑

対処した問題点とエラー詳細 †

↑

「dlfs_test.py」→「dlfs_test2.py」変更点 †

ワーニングエラー出力抑制　24行目に追加

import warnings
warnings.simplefilter('ignore', UserWarning)

「ffmpeg」出力抑制　35行目

#    cmd = 'ffmpeg -i ./results/out.mp4 -vcodec h264 -pix_fmt yuv420p output.mp4'
    cmd = 'ffmpeg -i ./results/out.mp4 -vcodec h264 -pix_fmt yuv420p output.mp4 -loglevel quiet'

↑

ログ出力の抑制 †

「./models_distan/networks.py」→ 155,179,134 行コメントアウト
```
#    print(netG)
```

「./options/base_options.py」→ 110～113 行コメントアウト

#        print('------------ Options -------------')
#        for k, v in sorted(args.items()):
#            print('%s: %s' % (str(k), str(v)))
#        print('-------------- End ----------------')

↑

pip install dib エラー †

対処方法
・下記コマンドでインストールする

(py38_learn) conda install -c conda-forge dlib

▼　- log -　「conda install -c conda-forge dlib」

(py38_learn) conda install -c conda-forge dlib
Retrieving notices: ...working... done
Channels:
 - conda-forge
 - defaults
Platform: win-64
Collecting package metadata (repodata.json): done
Solving environment: done

## Package Plan ##

  environment location: C:\Users\izuts\anaconda3\envs\py38_learn

  added / updated specs:
    - dlib


The following packages will be downloaded:

    package                    |            build
"By downloading and using the cuDNN conda packages, you accept the terms and conditions of the NVIDIA cuDNN EULA - http

done

↑

AttributeError: module 'PIL.Image' has no attribute 'ANTIALIAS’ †

原因
「pillow」パッケージで 10.0 移行廃止された属性を使用している

対処方法
エラー対応のため pillow をダウングレード
```
(py38_learn) pip install --force-reinstall -v "Pillow==9.5.0"
```

↑

更新履歴 †

2024/07/31 初版

↑

参考資料 †

DLFS
- Disentangled Lifespan Face Synthesis (ICCV 2021)
- DLFSで、人間の年齢による顔の変化をシミュレーションする

プログラム	GPU		CPU
プログラム	RTX 4070	GTX 1050	i9-13900	i7-1260P	i7-1185G7
dlfs_test2.py	10秒	54分32秒 ※	×	×	×
dlfs_gui.py	13秒	53分26秒 ※	×	×	×