StyleGAN2 のバックアップ(No.5)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• StyleGAN2 へ行く。
  • 1 (2024-09-20 (金) 17:56:11)
  • 2 (2024-09-20 (金) 19:53:29)
  • 3 (2024-09-21 (土) 04:50:16)
  • 4 (2024-09-21 (土) 11:52:32)
  • 5 (2024-10-09 (水) 14:17:12)
  • 6 (2024-10-09 (水) 15:43:06)
  • 7 (2024-10-10 (木) 11:35:44)
  • 8 (2024-10-10 (木) 14:31:58)
  • 9 (2024-10-12 (土) 09:02:28)

---

私的AI研究会 > StylerGAN2

StyleGAN3による画像の編集：StyleGAN3（その２）== 編集中 == †

　ローカルマシン上の「StyleGAN3」で画像を編集する

StyleGAN3による画像の編集 †

概要 †

• StyleGANとは、高解像度の画像を生成する敵対的生成ネットワーク（GAN）
  
• StyleGANを活用すると、本物とは見分けが付かないような人間の顔など、リアルな画像を生成できる
  
• リアリティが高すぎる SyleGAN で「写真は証拠として役に立たなくなる」とまで言われている
  
  
  モデル概要図（下記論文所収）
  
  
• 論文「Alias-Free Generative Adversarial Networks (StyleGAN3)」
  <paper>
  ・https://nvlabs.github.io/stylegan3/
  ・https://arxiv.org/pdf/1812.04948
  <framework>
  ・https://github.com/yuval-alaluf/stylegan3-editing
  

• 前回の検証
  ・StyleGAN3による画像とビデオの編集：StyleGAN3
  

実行環境の構築 †

1. 仮想環境「py38_learn」で実行する
   未作成の場合は → 『仮想環境 (py38_learn)』 の手順で仮想環境を作成
   
   
2. GitHub サイトからプロジェクトをダウンロード
   

   cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　← Windows の場合
   cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合
   
   git clone https://github.com/cedro3/stylegan3-editing.git

3. プロジェクト・パッケージ project_stylegan3.zip (1.47GB) <StyleGAN> をダウンロード
   ・解凍してできるフォルダ
   

   project_StyleGAN
   └─workspace_2
       └─stylegan3-editing　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
           ├─edit
           │  ├─align
           │  ├─crop
           │  ├─invert_psp
           │  └─latents_psp
           ├─editing
           │  ├─interfacegan
           │  │  └─boundaries
           │  │      └─ffhq
           │  │              age_boundary.npy                ①
           │  │              Male_boundary.npy               ②
           │  │              pose_boundary.npy               ③
           │  │              Smiling_boundary.npy            ④
           │  │
           │  └─styleclip_global_directions
           │      └─sg3-r-ffhq-1024
           │              delta_i_c.npy                       ⑤
           │              s_stats                             ⑥
           │
           └─pretrained_models
                   restyle_e4e_ffhq.pt                         ⑦
                   restyle_pSp_ffhq.pt                         ⑧
                   shape_predictor_68_face_landmarks.dat       ⑨

   　※ ①～⑨ 予めダウンロードした画像から潜在変数を求めるエンコーダ（e4e/pSp）と画像編集用のパラメータ
   
   ・解凍してできる「project_StyleGAN/」フォルダ内を次のフォルダの下に上書きコピーする
   　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」
   
   
4. 不足しているパッケージの導入
   

   pip install pyrallis
   pip install git+https://github.com/openai/CLIP.git

InterFaceGANによる編集プログラム「stylegan.py」 †

• 主な仕様
  ・編集前処理
  　(1) 画像フォルダ「./edit/pic」内の顔画像をサンプル画像を align 処理（顔固定）し「./edit/align」フォルダに同じファイル名で保存
  　(2) 「./pic」内の顔画像をサンプル画像を clop 処理（背景固定固定）し「./edit/crop」フォルダに同じファイル名で保存
  　(3) 顔固定の画像から潜在変数を求め「./edit/latents_psp」、潜在変数は無編集で、背景固定の画像を生成し「./edit/invert_psp」に保存する
  
  ・生成した潜在変数を用いて画像編集をおこなう
  　<編集のための設定パラメータ> 　1. edit_direction 編集用パラメータ（age, smile, pose, male）（初期値:age）
  　2. min_value　　　適用係数（初期値:-5）
  　3. max_value　　　適用係数（初期値: 5）
  
  ・生成パラメータ（min/max）はスライダーにより値を変更できる
  ・GPU が使用できないマシンの場合は「ビューモード」となり、GPU による処理結果を再生することができる
  
  
• コマンドオプション一覧
  

  コマンドオプション	引数	初期値	意味
  --model	str	'psp'	エンコーダ選択（psp/e4e）
  --source_dir	str	'./edit/pic/001.jpg'	静止画ファイル
  --result_path	str	'./result'	出力保存フォルダ
  --align	boot	True	すでに切り出し画像がある場合も再作成しない
  --cpu	bool	False	CPU指定 (指定のない場合は自動選択)
  --log	int	3	Log level(-1/0/1/2/3/4/5)

• コマンド実行例
  

  (py38_learn_test) python stylegan3.py
  
  StyleGAN3 edit    Ver 0.01: Starting application...
  
     - model                   :  psp
     - source_image            :  ./edit/pic/001.jpg
     - result_path             :  ./results
     - align                   :  True
     - log                     :  3
   
   check_target_image = True './edit/align'
   check_target_image = True './edit/invert_psp'
  
  Finished.

  ▼「stylegan.py」ソースコード
  ▲「stylegan.py」ソースコード

StyleClipによる編集プログラム「stylegan_clip.py」 †

• 主な仕様
  ・編集前処理
  　(1) 画像フォルダ「./edit/pic」内の顔画像をサンプル画像を align 処理（顔固定）し「./edit/align」フォルダに同じファイル名で保存
  　(2) 「./pic」内の顔画像をサンプル画像を clop 処理（背景固定固定）し「./edit/crop」フォルダに同じファイル名で保存
  　(3) 顔固定の画像から潜在変数を求め「./edit/latents_psp」、潜在変数は無編集で、背景固定の画像を生成し「./edit/invert_psp」に保存する
  
  ・生成した潜在変数を用いて画像編集をおこなう
  　<編集のための設定パラメータ> 　1. neutral_text : 基準テキスト（英文）（初期値:-5）
  　2. target_text　: 対象テキスト（英文）（初期値:-5）
  　3. alpha　　　　: 適用係数（初期値: 40）
  　4, beta 　　　　: 適用係数（初期値: 13）
  
  ・生成パラメータ（min/max）はスライダーにより値を変更できる
  ・GPU が使用できないマシンの場合は「ビューモード」となり、GPU による処理結果を再生することができる
  
  
• コマンドオプション一覧
  

  コマンドオプション	引数	初期値	意味
  --model	str	'psp'	エンコーダ選択（psp/e4e）
  --source_dir	str	'./edit/pic/001.jpg'	静止画ファイル
  --result_path	str	'./result'	出力保存フォルダ
  --align	boot	True	すでに切り出し画像がある場合も再作成しない
  --cpu	bool	False	CPU指定 (指定のない場合は自動選択)
  --log	int	3	Log level(-1/0/1/2/3/4/5)

• コマンド実行例
  

  (py38_learn_test) python stylegan3_clip.py
  
  StyleGAN3-Clip edit    Ver 0.01: Starting application...
  
     - model                   :  psp
     - source_image            :  ./edit/pic/001.jpg
     - result_path             :  ./results
     - align                   :  True
     - log                     :  3
   
   check_target_image = True './edit/align'
   check_target_image = True './edit/invert_psp'
  
  Finished.

  ▼「stylegan_clip.py」ソースコード
  ▲「stylegan_clip.py」ソースコード

ローカルで実行できるプログラム「_stylegan.py」を作成 †

　※ 前回 Google Colab 上での実行 を参考にする

• 主な仕様
  

• コマンド実行例
  
  ▼「_stylegan3.py」ソースコード
  ▲「_stylegan3.py」ソースコード

ここまでのまとめ †

対処した問題点とエラー詳細 †

ワーニングエラー出力抑制 †

更新履歴 †

• 2024/09/20 初版
  
   

参考資料 †

• StyleGAN3
  
  • StyleGANを遊び尽くせ!! ~追加学習不要の画像編集~
    

• [StyleGAN3] 機械学習で顔写真を編集する
  
• Third Time's the Charm? Image and Video Editing with StyleGAN3 (AIM Workshop ECCV 2022)
  
• StyleGAN3による画像とビデオの編集
  
• Pythonライブラリ(画像生成)：StyleGAN3
  
• StyleGAN3 NVIDIA オフィシャルサイト Alias-Free Generative Adversarial Networks (StyleGAN3) Official PyTorch implementation of the NeurIPS 2021 paper
  

• Others
  
  • [令和版]モナリザに「表情」をつける（なんなら表情以外もつけちゃう）
    

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.3-4ubuntu2.24. HTML convert time: 0.023 sec.