GAN-e4e2 のバックアップ(No.1) - PukiWiki

[ トップ ] [ 一覧 | 検索 | 履歴 | ログイン ]

私的AI研究会 > GAN-e4e2

StyleGANを使った画像編集：StyleGAN e4e（その２）== 編集中 == †

age+pose_03.gif

　「StyleGAN-e4e」で高速の画像編集する
　ローカル環境で「StyleGAN-e4e2」を動かす

StyleGANを使った画像編集：StyleGAN e4e（その２）== 編集中 ==
参考資料

※ 最終更新:2024/08/06　

「StyleGAN e4e」 †

概要 †

StyleGAN を使った画像編集では「潜在変数の推定」プロセスに時間が掛かる
これをを高速に実行できる e4e（encoder4editing）という技術がある
e4e は StyleGAN の学習済みモデルを使用して、画像を入力すると目的の潜在変数を直接出力する専用エンコーダを作る手法

モデル概要図（下記論文所収）

　Encoderに画像を入力すると１つの潜在変数 w とN個のオフセット△が出力され、これらを合成し N個の潜在変数とし Pretrained StyleGAN に入力する
このとき、元画像と出力画像の誤差を表すロスに加えて、オフセットの分散を表すロスを設定し、これら２つのロスの合計を最小化するように、Encoder のパラメータを学習する

論文「StarGAN v2: Diverse Image Synthesis for Multiple Domains」
<paper>
・[https://arxiv.org/pdf/2102.02766.pdf>+https://arxiv.org/pdf/2102.02766.pdf]]
<framework>
・http://cedro3.com/ai/e4e/

前回の検証
・『StyleGANを使った画像編集をe4eで高速化する』

実行環境の構築 †

仮想環境「py38_learn」で実行する
未作成の場合は → 『仮想環境 (py38_learn)』の手順で仮想環境を作成

GitHub サイトからプロジェクトをダウンロード

cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合

git clone https://github.com/cedro3/encoder4editing.git

プロジェクト・パッケージ project_e4e.zip (1.10GB) <encoder4editing> をダウンロード
・解凍してできるフォルダ

#codeprettify(){{
update
└─workspace_2
└─encoder4editing　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
├─images
└─pretrained_models}} ・解凍してできる「update/」フォルダ以下を次のフォルダの下に上書きコピーする
　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」

対処した問題点とエラー詳細

更新履歴

2024/08/06 初版

参考資料

StyleGAN
- StyleGANを使った画像編集をe4eで高速化する
- e4e オフィシャルサイト Designing an Encoder for StyleGAN Image Manipulation (SIGGRAPH 2021)

StyleGAN3

Other

}}