QMUPD2 のバックアップ(No.9)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• QMUPD2 へ行く。
  • 1 (2024-08-24 (土) 10:53:35)
  • 2 (2024-08-24 (土) 12:36:52)
  • 3 (2024-08-25 (日) 04:39:39)
  • 4 (2024-09-01 (日) 10:15:32)
  • 5 (2024-09-02 (月) 16:21:52)
  • 6 (2024-09-02 (月) 19:55:44)
  • 7 (2024-09-03 (火) 05:45:41)
  • 8 (2024-09-04 (水) 09:31:42)
  • 9 (2024-09-04 (水) 12:39:46)
  • 10 (2024-09-10 (火) 16:30:43)
  • 11 (2024-10-12 (土) 10:14:20)

---

私的AI研究会 > QMUPD2

GANによる似顔絵生成：QMUPD（その２）= 編集中 = †

　「QMUPD」GANモデルで、ポートレート写真を線画にする
　ローカル環境で「QMUPD」を動かす

「Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data」 †

概要 †

• ポートレートを色々な線画にする GANモデル
  
  
  モデル概要図（下記論文所収）
  
  
• 論文「Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data」
  <paper>
  ・https://arxiv.org/pdf/2202.03678v1
  <framework>
  ・https://github.com/yiranran/QMUPD?tab=readme-ov-file
  

• 前回の検証
  ・GANによる似顔絵生成：QMUPD
  

実行環境の構築 †

1. 仮想環境「py38_learn」で実行する
   未作成の場合は → 『仮想環境 (py38_learn)』 の手順で仮想環境を作成
   
   
2. GitHub サイトからプロジェクトをダウンロード
   

   cd /anaconda_win/workspace_2　　　　　　　　　　　　　　　　　　　　　← Windows の場合
   cd ~/workspace_2　　　　　　　　　　　　　　　　　　　　　　　　　　　← Linux の場合
   
   git clone https://github.com/cedro3/QMUPD.git

3. プロジェクト・パッケージ project_QMUPD.zip (83.7MB) <QMUPD> をダウンロード
   ・解凍してできるフォルダ
   

   project_QMUPD
   └─workspace_2
       └─QMUPD　　　　　　　　　　　　　　　　　　　　　　　　← GitHub からクローンしたプロジェクトに上書きする
           ├─checkpoints
           │  └─QMUPD_model
           ├─data
           ├─examples2
           ├─models
           ├─options
           └─results

   ・解凍してできる「project_QMUFD/」フォルダ内を次のフォルダの下に上書きコピーする
   　Windows の場合 →「anaconda_win/」　Linux の場合 → 「~/」
   
   
4. 不足しているパッケージの導入
   

   pip install pretrainedmodels

前回 Google Colab 上で実行 した線画の作成「test_seq_style3.py」を実行 †

• 多量のログを出力するので対処する（対処後の結果ログ）
  

  (py38_learn) python test_seq_style3.py
  results/QMUPD_model/test_200/indexstyle1-0-0.html
  processing (0000)-th image... ['examples\\00.jpg']
  processing (0005)-th image... ['examples\\05.jpg']
  processing (0010)-th image... ['examples\\10.jpg']
  results/QMUPD_model/test_200/indexstyle0-1-0.html
  processing (0000)-th image... ['examples\\00.jpg']
  processing (0005)-th image... ['examples\\05.jpg']
  processing (0010)-th image... ['examples\\10.jpg']
  results/QMUPD_model/test_200/indexstyle0-0-1.html
  processing (0000)-th image... ['examples\\00.jpg']
  processing (0005)-th image... ['examples\\05.jpg']
  processing (0010)-th image... ['examples\\10.jpg']

GUI 操作で 線画を作成するプログラム「qmupd_demo.py」を作成 †

• 主な仕様
  ・ワーニングエラー出力を抑制する
  ・入力画像フォルダは GUI のフォルダ選択ダイアログで指定する
  ・自動的に 3種類の線画作成を実行する
  ・GPU 未搭載の場合は自動で CPU 指定として動作する
  ・処理結果は「--result_path」パラメータ（初期値：./results）に保存
  

• コマンドオプション一覧
  

  コマンドオプション	引数	初期値	意味
  --source_dir	str	''　 (ダイアログによる指定)	静止画ファイルフォルダ
  --result_path	str	'./result'	出力保存フォルダ
  --load_size	int	1024	画像処理サイズ
  --cpu	bool	False	CPU指定 (指定のない場合は自動選択)

• コマンド実行例
  

  (py38_learn) python qmupd_demo.py
  
  Portrait Line Drawing Generation  Ver. 0.01: Starting application...
  
     - source_dir              :  ./examples
     - result_path             :  ./results
     - image_size              :  512
     - cpu                     :  False
  
   <./results/QMUPD_model/test_200/imagesstyle1-0-0.html>
  processing (0000)-th image... examples/00.jpg
  processing (0001)-th image... examples/01.jpg
  processing (0002)-th image... examples/02.jpg
  processing (0003)-th image... examples/03.jpg
  processing (0004)-th image... examples/04.jpg
  processing (0005)-th image... examples/05.jpg
  processing (0006)-th image... examples/06.jpg
  processing (0007)-th image... examples/07.jpg
  processing (0008)-th image... examples/08.jpg
  processing (0009)-th image... examples/09.jpg
  processing (0010)-th image... examples/10.jpg
  processing (0011)-th image... examples/11.jpg
   <./results/QMUPD_model/test_200/imagesstyle0-1-0.html>
  processing (0000)-th image... examples/00.jpg
  processing (0001)-th image... examples/01.jpg
  processing (0002)-th image... examples/02.jpg
  processing (0003)-th image... examples/03.jpg
  processing (0004)-th image... examples/04.jpg
  processing (0005)-th image... examples/05.jpg
  processing (0006)-th image... examples/06.jpg
  processing (0007)-th image... examples/07.jpg
  processing (0008)-th image... examples/08.jpg
  processing (0009)-th image... examples/09.jpg
  processing (0010)-th image... examples/10.jpg
  processing (0011)-th image... examples/11.jpg
   <./results/QMUPD_model/test_200/imagesstyle0-0-1.html>
  processing (0000)-th image... examples/00.jpg
  processing (0001)-th image... examples/01.jpg
  processing (0002)-th image... examples/02.jpg
  processing (0003)-th image... examples/03.jpg
  processing (0004)-th image... examples/04.jpg
  processing (0005)-th image... examples/05.jpg
  processing (0006)-th image... examples/06.jpg
  processing (0007)-th image... examples/07.jpg
  processing (0008)-th image... examples/08.jpg
  processing (0009)-th image... examples/09.jpg
  processing (0010)-th image... examples/10.jpg
  processing (0011)-th image... examples/11.jpg
  
   Saving... → ./results/examples_00.jpg
   Saving... → ./results/examples_01.jpg
   Saving... → ./results/examples_02.jpg
   Saving... → ./results/examples_03.jpg
   Saving... → ./results/examples_04.jpg
   Saving... → ./results/examples_05.jpg
   Saving... → ./results/examples_06.jpg
   Saving... → ./results/examples_07.jpg
   Saving... → ./results/examples_08.jpg
   Saving... → ./results/examples_09.jpg
   Saving... → ./results/examples_10.jpg
   Saving... → ./results/examples_11.jpg
  
  processing start >>      2024/08/21 15:39:02
  processing end >>        2024/08/21 15:39:33
  processing time >>       0:00:31.081003
  
  Finished.

  
  
  
  
  
  
  
  
  
  
  
  
  ▼「qmupd_demo.py」ソースコード
  ▲「qmupd_demo.py」ソースコード

  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ##  Portrait Line Drawing Generation  Ver 0.01
  ##
  ##               2024.08.20 Masahiro Izutsu
  ##------------------------------------------
  ## qmupd_demo.py
  
  # Color Escape Code
  GREEN = '\033[1;32m'
  RED = '\033[1;31m'
  NOCOLOR = '\033[0m'
  YELLOW = '\033[1;33m'
  CYAN = '\033[1;36m'
  BLUE = '\033[1;34m'
  
  import warnings
  warnings.simplefilter('ignore')
  
  from torch.cuda import is_available
  gpu_d = is_available()                                          # GPU 確認
  
  # インポート＆初期設定
  import os
  import glob
  import shutil
  import argparse
  import cv2
  
  import my_imagetool
  
  # 定数定義
  IMAGE_DIR = './examples'
  RESULT_PATH = './results'
  
  # タイトル
  title = 'Portrait Line Drawing Generation  Ver. 0.01'
  
  # Parses arguments for the application
  def parse_args():
      parser = argparse.ArgumentParser()
      parser.add_argument("--source_dir", default='', help="path to source image")
      parser.add_argument("--result_path", default=RESULT_PATH, help="path to output")
      parser.add_argument('--image_size', default = 512, help = 'image size')
      parser.add_argument("--cpu", dest="cpu", action="store_true", help="cpu mode.")
  
      return parser
  
  # 基本情報の表示
  def display_info(args, title):
      print('\n' + GREEN + title + ': Starting application...' + NOCOLOR)
      print('\n   - ' + YELLOW + 'source_dir              : ' + NOCOLOR, args.source_dir)
      print('   - ' + YELLOW + 'result_path             : ' + NOCOLOR, args.result_path)
      print('   - ' + YELLOW + 'image_size              : ' + NOCOLOR, args.image_size)
      print('   - ' + YELLOW + 'cpu                     : ' + NOCOLOR, args.cpu)
      print(' ')
  
  # --- reset_folder ---
  def reset_folder(path):
      if os.path.isdir(path):
        shutil.rmtree(path)
      os.makedirs(path,exist_ok=True)
  
  # フォルダー内の画像ファイルリストの取得
  def get_image_path(folder):
      files = os.listdir(folder)
      files.sort()
      return files
  
  
  # ** main関数 **
  def main(opt):
      #================== settings ==================
      exp = 'QMUPD_model';epoch='200'
      dataroot = opt.source_dir
      gpu_id = '-1' if opt.cpu else '0'
  
      netga = 'resnet_style2_9blocks'
      model0_res = 0
      model1_res = 0
      imgsize = 512
      extraflag = ' --netga %s --model0_res %d --model1_res %d' % (netga, model0_res, model1_res)
  
      names = []
      #==================== command ==================
      for vec in [[1,0,0],[0,1,0],[0,0,1]]:
          svec = '%d,%d,%d' % (vec[0],vec[1],vec[2])
          img1 = 'imagesstyle%d-%d-%d'%(vec[0],vec[1],vec[2])
          name = f'{opt.result_path}/{exp}/test_{epoch}/{img1}'
          names.append(name)
          print(f'{CYAN} <{name}.html>{NOCOLOR}')
  
          command = 'python test2.py --dataroot %s --name %s --model test --output_nc 1 --no_dropout --model_suffix _A %s --num_test 1000 --epoch %s --style_control 1 --imagefolder %s --sinput svec --svec %s --crop_size %d --load_size %d --gpu_ids %s' % (dataroot,exp,extraflag,epoch,img1,svec,imgsize,imgsize,gpu_id)
          os.system(command)
  
      #==================== 一覧画像 =================
      folder = os.path.basename(opt.source_dir)
      files = get_image_path(opt.source_dir)
      print('')
  
      fake_path = []
      real_names = []
      n = 0
      for name in names:
          fake_names = []
          for file in files:
              s_name, ext = os.path.splitext(file)
              real_name = name + '/' + s_name + '_real.png'
              fake_name = name + '/' + s_name + '_fake.png'
              fake_names.append(fake_name)
              if n == 0:
                  real_names.append(real_name)
          fake_path.append(fake_names)
          n = n + 1
  
      id = 0
      for real_name in real_names:
          images = []
          image = cv2.imread(real_name)
          images.append(image)
          for n in range(3):
              image = cv2.imread(fake_path[n][id])
              images.append(image)
  
          out_path = opt.result_path + '/' + folder +'_' + files[id]
          print(f' Saving... → {out_path}')
  
  
          ds_images = my_imagetool.make_tileimage(images, xmax = 512 * 4, ymax = 512)
          my_imagetool.image_disp(ds_images, winname = title, dispf = True, save_path = out_path, maxsize = 1024, wait_s = 1)
          id = id + 1
  
      return
  
  
  # main関数エントリーポイント(実行開始)
  if __name__ == '__main__':
      import datetime
      import my_dialog
  
      parser = parse_args()
      opt = parser.parse_args()
  
      if len(opt.source_dir) == 0:
          filepath = opt.source_dir = my_dialog.select_dir(msg = '画像(source)　', initdir = './')
          if len(filepath) > 1:
              opt.source_dir = filepath
          else:
              exit(0)
  
      opt.cpu = True if opt.cpu or not gpu_d else False
      
      start_time = datetime.datetime.now()        # 時間計測開始
  
      display_info(opt, title)
  
      main(opt)
  
      # 経過時間
      end_time = datetime.datetime.now()
      print(start_time.strftime('\nprocessing start >>\t %Y/%m/%d %H:%M:%S'))
      print(end_time.strftime('processing end >>\t %Y/%m/%d %H:%M:%S'))
      print('processing time >>\t', end_time - start_time)
  
      print('\nFinished.\n')

ここまでのまとめ †

• ハードウェアによる実行速度の違い
  

  データ	プログラム	GPU			CPU
  		RTX 4070Ti	RTX 4060	GTX 1050	i9-13900	i7-14700	i7-1260P
  examples/	qmupd_demo.py	29秒	30.7秒	1分13秒	2分23秒	2分27秒	3分4秒

対処した問題点とエラー詳細 †

ワーニングエラー出力抑制 †

• 「./test_seq_style3.py」→ 1 行目に追加
  

  import warnings
  warnings.simplefilter('ignore')

ログ出力の抑制 †

• 「./data/__init__.py」→ 75 行コメントアウト
  

  #        print("dataset [%s] was created" % type(self.dataset).__name__)

• 「./models/__init__.py」→ 67 行コメントアウト
  

  #    print("model [%s] was created" % type(instance).__name__)

• 「./models/base_model.py」→ 131,214,223,224 行コメントアウト
  

  #                print('loading the model from %s' % load_path)
      :
  #        print('---------- Networks initialized -------------')
      :
  #                print('[Network %s] Total number of parameters : %.3f M' % (name, num_params / 1e6))
  #        print('-----------------------------------------------')

• 「./options/base_option.py」→ 110 行コメントアウト
  

  #        print(message)

プログラム修正「test.py」→「test2.py」 †

• 「./test2.py」→ 38 行目に追加
  

  import warnings
  warnings.simplefilter('ignore')

  ・main関数処理に変更
  

      :
  # ** main関数 **
  def main(opt):
      :
  # main関数エントリーポイント(実行開始)
  if __name__ == '__main__':
      :

更新履歴 †

• 2024/08/24 初版
  
   

参考資料 †

• QMUPD
  
  • GANモデルで、ポートレート写真を線画にする
    
  • Quality Metric Guided Portrait Line Drawing Generation from Unpaired Training Data)
    

• Others
  
  • 画像の align処理（StyleGANを使った画像編集：StyleGAN e4e）
    

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.3-4ubuntu2.24. HTML convert time: 0.020 sec.