GAN-e4e2 のバックアップ(No.3)

私的AI研究会 > GAN-e4e2

StyleGANを使った画像編集：StyleGAN e4e（その２）== 編集中 == †

　「StyleGAN-e4e」で高速の画像編集する
　ローカル環境で「StyleGAN-e4e2」を動かす　（※ GPU 環境でのみ動作する）

StyleGANを使った画像編集：StyleGAN e4e（その２）== 編集中 ==
参考資料

※ 最終更新:2024/08/06　

↑

「StyleGAN e4e」 †

↑

概要 †

StyleGAN を使った画像編集では「潜在変数の推定」プロセスに時間が掛かる
これをを高速に実行できる e4e（encoder4editing）という技術がある
e4e は StyleGAN の学習済みモデルを使用して、画像を入力すると目的の潜在変数を直接出力する専用エンコーダを作る手法

モデル概要図（下記論文所収）

・Encoderに画像を入力すると１つの潜在変数 w とN個のオフセット△が出力され、これらを合成し N個の潜在変数とし Pretrained StyleGAN に入力する
・このとき、元画像と出力画像の誤差を表すロスに加えて、オフセットの分散を表すロスを設定し、これら２つのロスの合計を最小化するように、Encoder のパラメータを学習する

論文「Designing an Encoder for StyleGAN Image Manipulation」
<paper>
・[https://arxiv.org/pdf/2102.02766.pdf>+https://arxiv.org/pdf/2102.02766.pdf]]
<framework>
・https://github.com/cedro3/encoder4editing
<解説>
・http://cedro3.com/ai/e4e/

前回の検証
・『StyleGANを使った画像編集をe4eで高速化する』

↑

実行環境の構築 †

仮想環境「py38_learn」で実行する
未作成の場合は → 『仮想環境 (py38_learn)』の手順で仮想環境を作成

GitHub サイトからプロジェクトをダウンロード

cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

git clone https://github.com/cedro3/encoder4editing.git

プロジェクト・パッケージ project_e4e.zip (1.10GB) <encoder4editing> をダウンロード
・解凍してできるフォルダ
```
update
└─workspace_2
    └─encoder4editing　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
        ├─images
        └─pretrained_models
```
・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」