StyleGAN2 のバックアップ(No.7)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• StyleGAN2 へ行く。
  • 1 (2024-09-20 (金) 17:56:11)
  • 2 (2024-09-20 (金) 19:53:29)
  • 3 (2024-09-21 (土) 04:50:16)
  • 4 (2024-09-21 (土) 11:52:32)
  • 5 (2024-10-09 (水) 14:17:12)
  • 6 (2024-10-09 (水) 15:43:06)
  • 7 (2024-10-10 (木) 11:35:44)
  • 8 (2024-10-10 (木) 14:31:58)
  • 9 (2024-10-12 (土) 09:02:28)

---

私的AI研究会 > StylerGAN2

StyleGAN3による画像の編集：StyleGAN3（その２）== 編集中 == †

　ローカルマシン上の「StyleGAN3」で画像を編集する

StyleGAN3による画像の編集 †

概要 †

• StyleGANとは、高解像度の画像を生成する敵対的生成ネットワーク（GAN）
  
• StyleGANを活用すると、本物とは見分けが付かないような人間の顔など、リアルな画像を生成できる
  
• リアリティが高すぎる SyleGAN で「写真は証拠として役に立たなくなる」とまで言われている
  
  
  モデル概要図（下記論文所収）
  
  
• 論文「Alias-Free Generative Adversarial Networks (StyleGAN3)」
  <paper>
  ・https://nvlabs.github.io/stylegan3/
  ・https://arxiv.org/pdf/1812.04948
  <framework>
  ・https://github.com/yuval-alaluf/stylegan3-editing
  

• 前回の検証
  ・StyleGAN3による画像とビデオの編集：StyleGAN3
  

実行環境の構築 †

1. 仮想環境「py38_learn」で実行する
   未作成の場合は → 『仮想環境 (py38_learn)』 の手順で仮想環境を作成
   
   
2. GitHub サイトからプロジェクトをダウンロード
   

   cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　← Windows の場合
   cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合
   
   git clone https://github.com/cedro3/stylegan3-editing.git

3. プロジェクト・パッケージ project_stylegan3.zip (1.47GB) <StyleGAN> をダウンロード
   ・解凍してできるフォルダ
   

   project_StyleGAN
   └─workspace_2
       └─stylegan3-editing　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
           ├─edit
           │  ├─align
           │  ├─crop
           │  ├─invert_psp
           │  └─latents_psp
           ├─editing
           │  ├─interfacegan
           │  │  └─boundaries
           │  │      └─ffhq
           │  │              age_boundary.npy                ①
           │  │              Male_boundary.npy               ②
           │  │              pose_boundary.npy               ③
           │  │              Smiling_boundary.npy            ④
           │  │
           │  └─styleclip_global_directions
           │      └─sg3-r-ffhq-1024
           │              delta_i_c.npy                       ⑤
           │              s_stats                             ⑥
           │
           └─pretrained_models
                   restyle_e4e_ffhq.pt                         ⑦
                   restyle_pSp_ffhq.pt                         ⑧
                   shape_predictor_68_face_landmarks.dat       ⑨

   　※ ①～⑨ 予めダウンロードした画像から潜在変数を求めるエンコーダ（e4e/pSp）と画像編集用のパラメータ
   
   ・解凍してできる「project_StyleGAN/」フォルダ内を次のフォルダの下に上書きコピーする
   　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」
   
   
4. 不足しているパッケージの導入
   

   pip install pyrallis
   pip install git+https://github.com/openai/CLIP.git

InterFaceGANによる編集プログラム「stylegan.py」 †

• 主な仕様
  ・編集前処理
  　(1) 画像フォルダ「./edit/pic」内の顔画像をサンプル画像を align 処理（顔固定）し「./edit/align」フォルダに同じファイル名で保存
  　(2) 「./pic」内の顔画像をサンプル画像を clop 処理（背景固定固定）し「./edit/crop」フォルダに同じファイル名で保存
  　(3) 顔固定の画像から潜在変数を求め「./edit/latents_psp」、潜在変数は無編集で、背景固定の画像を生成し「./edit/invert_psp」に保存する
  
  ・生成した潜在変数を用いて画像編集をおこなう
  　<編集のための設定パラメータ> 　1. edit_direction 編集用パラメータ（age, smile, pose, male）（初期値:age）
  　2. min_value　　　適用係数（初期値:-5）
  　3. max_value　　　適用係数（初期値: 5）
  
  ・生成パラメータ（min/max）はスライダーにより値を変更できる
  ・GPU が使用できないマシンの場合は「ビューモード」となり、GPU による処理結果を再生することができる
  
  
• コマンドオプション一覧
  

  コマンドオプション	引数	初期値	意味
  --model	str	'psp'	エンコーダ選択（psp/e4e）
  --source_dir	str	'./edit/pic/001.jpg'	静止画ファイル
  --result_path	str	'./result'	出力保存フォルダ
  --align	boot	True	すでに切り出し画像がある場合も再作成しない
  --cpu	bool	False	CPU指定 (指定のない場合は自動選択)
  --log	int	3	Log level(-1/0/1/2/3/4/5)

• コマンド実行例
  

  (py38_learn_test) python stylegan3.py
  
  StyleGAN3 edit    Ver 0.01: Starting application...
  
     - model                   :  psp
     - source_image            :  ./edit/pic/001.jpg
     - result_path             :  ./results
     - align                   :  True
     - log                     :  3
   
   check_target_image = True './edit/align'
   check_target_image = True './edit/invert_psp'
  
  Finished.

  ▼「stylegan.py」ソースコード
  ▲「stylegan.py」ソースコード

StyleClipによる編集プログラム「stylegan_clip.py」 †

• 主な仕様
  ・編集前処理
  　(1) 画像フォルダ「./edit/pic」内の顔画像をサンプル画像を align 処理（顔固定）し「./edit/align」フォルダに同じファイル名で保存
  　(2) 「./pic」内の顔画像をサンプル画像を clop 処理（背景固定固定）し「./edit/crop」フォルダに同じファイル名で保存
  　(3) 顔固定の画像から潜在変数を求め「./edit/latents_psp」、潜在変数は無編集で、背景固定の画像を生成し「./edit/invert_psp」に保存する
  
  ・生成した潜在変数を用いて画像編集をおこなう
  　<編集のための設定パラメータ> 　1. neutral_text : 基準テキスト（英文）（初期値:-5）
  　2. target_text　: 対象テキスト（英文）（初期値:-5）
  　3. alpha　　　　: 適用係数（初期値: 40）
  　4, beta 　　　　: 適用係数（初期値: 13）
  
  ・生成パラメータ（min/max）はスライダーにより値を変更できる
  ・GPU が使用できないマシンの場合は「ビューモード」となり、GPU による処理結果を再生することができる
  
  
• コマンドオプション一覧
  

  コマンドオプション	引数	初期値	意味
  --model	str	'psp'	エンコーダ選択（psp/e4e）
  --source_dir	str	'./edit/pic/001.jpg'	静止画ファイル
  --result_path	str	'./result'	出力保存フォルダ
  --align	boot	True	すでに切り出し画像がある場合も再作成しない
  --cpu	bool	False	CPU指定 (指定のない場合は自動選択)
  --log	int	3	Log level(-1/0/1/2/3/4/5)

• コマンド実行例
  

  (py38_learn) python stylegan3_clip.py
  
  StyleGAN3-Clip edit    Ver 0.01: Starting application...
  
     - model                   :  psp
     - source_image            :  ./edit/pic/001.jpg
     - result_path             :  ./results
     - align                   :  True
     - log                     :  3
   
   check_target_image = True './edit/align'
   check_target_image = True './edit/invert_psp'
  
  Finished.

  ▼「stylegan_clip.py」ソースコード
  ▲「stylegan_clip.py」ソースコード

StyleGAN3 実行モジュール「_stylegan.py」 †

　「StyleGAN3クラス」としてパッケージ化する

• 関数メソッド (パラメータ詳細はソースコード参照)
  

  機能	関数
  クラスの初期化	FileTreatment(src, result, model, logsel = 3)
  画像・エンコーダ再設定	set_param(src, model)
  フォルダー内の一覧画像の作成	folder_image(folder, save_path='', pixel_size=(256,256), dpi=64, xn=10)
  terget画像の存在確認	check_target_image(img_path, target_path)
  画像を動画に変換	make_movie(movie_path, rate, disp_f = True)
  align 画像一覧ファイル名の取得	get_align_filename()
  invert 画像一覧ファイル名の取得	get_invert_filename()
  align & crop 画像の作成	align_images(image_dir)
  invert 画像の作成	invert_images()
  エンコーダ・ロード	load_encoder()
  infer_path 取得	get_infer_path(direction, min_value, max_value)
  infer_clip_path 取得	get_infer_clip_path(neutral_text, target_text, alpha, beta)
  align 画像一覧作成	make_align(disp_f=True)
  invert 画像一覧作成	make_invert(disp_f=True)
  interFaceGANによる編集	edit_interface_gan(edit_direction, min_value, max_value, disp_f=True)
  StyleCLIPによる編集	edit_styleclip(neutral_text, target_text, alpha, beta, disp_f=True)

• 「_stylegan.py」クラスメンバを順にテスト
  

  (py38_learn) python _stylegan3.py

  1. 各種変数の取得（ログ）
  

   GPU mode: True
   インスタンス変数:   gan.pic_dir = ./edit/pic
   インスタンス変数:   gan.source_image = 001.jpg
   クラス変数:         gan.OUT_MOVIE = ./tmpimg/output.mp4
   インスタンス変数:   gan.invert_dir = ./edit/invert_psp

  2. align & crop 画像の作成
  ・１列目が入力画像、２列目がalign処理（顔固定）、３列目がcrop処理（背景固定）結果画像
  
  
  ・実行ログ
  

  100%|██████████████████████████████████████████████████| 5/5 [01:09<00:00, 13.91s/it]
  Loading ReStyle pSp from checkpoint: ./pretrained_models/restyle_pSp_ffhq.pt
  Loading StyleGAN3 generator from path: None
  Model successfully loaded!

  3. invert 画像作成
  ・１列目が実写から切り抜いた背景固定の画像、２列目が潜在変数から生成した背景固定の画像
  
  
  ・実行ログ
  

  Setting up PyTorch plugin "filtered_lrelu_plugin"... Done.
  100%|██████████████████████████████████████████████████| 5/5 [00:54<00:00, 10.85s/it]

  4. interFaceGANによる編集
  
  
  　・設定パラメータ
  　invert: 　　　　001.jpg
  　edit_direction: age
  　min_value: 　　-5
  　max_value: 　　5
  
  
  ・実行ログ
  

  <interFaceGAN> Performing edit for age...
  <interFaceGAN> result image → ./results/psp-gan_age_-5_5_001.jpg
   ffmpeg -r 5 -i ./tmpimg/img/%3d.jpg -vcodec libx264 -pix_fmt yuv420p ./tmpimg/output.mp4 -loglevel quiet -y
   making movie... → ./results/psp-gan_age_-5_5_001.mp4

  5. StyleCLIPによる編集
  
  
  　・設定パラメータ
  　neutral_text:　　a face
  　target_text: 　　a smiling face
  　alpha: 　　　　　40
  　beta: 　　　　 　13
  
  ・実行ログ
  

  <StyleCLIP> Performing edit for: "a smiling face"...
  <StyleCLIP> result image → ./results/psp-clip_a~face_a~smiling~face_40_13_001.jpg
  <StyleCLIP> result image → ./results/psp-clip_a~face_a~smiling~face_40_13_001_a.jpg

• モジュール・ソースコード
  
  ▼「_stylegan.py」
  ▲「_stylegan.py」

• 参考サイト
  
  • cedro3/stylegan3-editing
    

ここまでのまとめ †

対処した問題点とエラー詳細 †

ワーニングエラー出力抑制 †

更新履歴 †

• 2024/09/20 初版
  
   

参考資料 †

• StyleGAN3
  
  • Third Time's the Charm? Image and Video Editing with StyleGAN3 (AIM Workshop ECCV 2022)
    
  • StyleGAN3 NVIDIA オフィシャルサイト Alias-Free Generative Adversarial Networks (StyleGAN3) Official PyTorch implementation of the NeurIPS 2021 paper
    

• StyleGAN3による画像とビデオの編集
  
• StyleGAN＋CLIPによる汎用的な顔画像編集アプローチ
  
• TargetCLIPで、画像のスタイルを転送する
  
• テキスト入力によって画像生成プロセスを操作できるStyleClipの紹介
  
• [StyleGAN3] 機械学習で顔写真を編集する
  
• StyleGANを遊び尽くせ!! ~追加学習不要の画像編集~
  
• Pythonライブラリ(画像生成)：StyleGAN3
  

• Others
  
  • [令和版]モナリザに「表情」をつける（なんなら表情以外もつけちゃう）
    
  • AIに自分好みのアイドルを生成させる
    

• 空気を読むを科学する研究所
  
• 日本顔学会
  
• 顔学2020 Advent Calendar 2020
  

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.3-4ubuntu2.24. HTML convert time: 0.026 sec.