ProjectEnv4 のバックアップ(No.3)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• ProjectEnv4 へ行く。
  • 1 (2024-08-17 (土) 09:15:20)
  • 2 (2024-08-17 (土) 09:18:27)
  • 3 (2024-08-17 (土) 14:34:46)
  • 4 (2024-08-24 (土) 18:28:48)
  • 5 (2024-09-01 (日) 11:38:37)

---

私的AI研究会 > ProjectEnv4

AI開発プロジェクト環境構築（Windows編） †

　AI開発プロジェクト実行に必要な環境を新しく作成する手順（最新版）
　『PyTorch ではじめる AI開発』以降のページを実行するために新しく環境を作成する
　同時に「NVIDIA cuda GPU」を使用できる環境構築をする

NVIDIA cuda GPU の設定 †

設定動作環境 †

　HP Victus 15L Gaming TG02-2001jp

• OS: 　　　Windows11 home
  
• CPU: 　　 14th Gen Intel® Core™ i7-14700F
  
• Memory:　 32GB
  
• Graphic: NVIDIA GeForce RTX 4060 8GB
• Storage: 1TB PCIe NVMe M.2 SSD
• Diaplay:　QWHD(2560x1440)
  

NVIDIAのGPUアーキテクチャ †

• 概要
  

  アーキテクチャ (読み方)	プロセスルール	販売開始	採用シリーズ
  Kepler (ケプラー)	28nm	2012年	GeForce GTX/GT 600シリーズ
  		2012年	GeForce GTX/GT 700シリーズ
  		2013年	GeForce GTX TITANシリーズ
  Maxwell (マクスウェル)	28nm	2014年	GeForce GTX 700シリーズ
  		2015年	GeForce GTX 900シリーズ
  Pascal (パスカル)	16nm/14nm	2016年	GeForce GTX 10シリーズ
  Turing (チューリング)	12nm	2018年	GeForce RTX 20シリーズ
  		2019年	GeForce GTX 16シリーズ
  Ampere (アンペア)	8nm	2020年	GeForce RTX 30シリーズ
  Ada Lovelace (エイダ・ラブレス)	5nm	2022年	GeForce RTX 40シリーズ

NVIDIA Graphic board の確認 †

• 「nvidia-smi」でコンピュータに搭載されてる NVIDIAグラフィックボードの詳細情報を表示
  

  > nvidia-smi
  Fri Aug 16 06:12:45 2024
  +-----------------------------------------------------------------------------------------+
  | NVIDIA-SMI 560.81                 Driver Version: 560.81         CUDA Version: 12.6     |
  |-----------------------------------------+------------------------+----------------------+
  | GPU  Name                  Driver-Model | Bus-Id          Disp.A | Volatile Uncorr. ECC |
  | Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
  |                                         |                        |               MIG M. |
  |=========================================+========================+======================|
  |   0  NVIDIA GeForce RTX 4060      WDDM  |   00000000:01:00.0  On |                  N/A |
  | 33%   33C    P8             N/A /  115W |     346MiB /   8188MiB |      5%      Default |
  |                                         |                        |                  N/A |
  +-----------------------------------------+------------------------+----------------------+
  
  +-----------------------------------------------------------------------------------------+
  | Processes:                                                                              |
  |  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
  |        ID   ID                                                               Usage      |
  |=========================================================================================|
  |    0   N/A  N/A      7288    C+G   ...siveControlPanel\SystemSettings.exe      N/A      |
  |    0   N/A  N/A      8652    C+G   C:\Windows\explorer.exe                     N/A      |
  |    0   N/A  N/A      9396    C+G   ...nt.CBS_cw5n1h2txyewy\SearchHost.exe      N/A      |
  |    0   N/A  N/A      9432    C+G   ...2txyewy\StartMenuExperienceHost.exe      N/A      |
  |    0   N/A  N/A      9888    C+G   ...GeForce Experience\NVIDIA Share.exe      N/A      |
  |    0   N/A  N/A     12016    C+G   ...CBS_cw5n1h2txyewy\TextInputHost.exe      N/A      |
  +-----------------------------------------------------------------------------------------+

  Graphic board: NVIDIA GeForce RTX 4060
  Driver Version: 560.81
  CUDA Version: 12.6
  

• 「nvcc -V」でバージョン確認

  > nvcc -V
  nvcc: NVIDIA (R) Cuda compiler driver
  Copyright (c) 2005-2024 NVIDIA Corporation
  Built on Fri_Jun_14_16:44:19_Pacific_Daylight_Time_2024
  Cuda compilation tools, release 12.6, V12.6.20
  Build cuda_12.6.r12.6/compiler.34431801_0

NVIDIA ドライバーのインストール（バージョンアップ） †

• 公式サイトGEFORCE® ドライバーから最新バージョンのドライバーをダウンロードしてインストールする。
  
• CUDA 公式サイトCUDA Zoneから「Download」→「CUDA Toolkit 12.3.6」をインストールする。
  ・ cuda_12.6.0_560.76_windows.exe (※ 2024.08.16 現在)
  
  
  
  
  
  
  ● インストール後の Studioドライバーバージョン v560.81
  ● インストール後の CUDA Toolkit バージョン v12.3.6
  

cuDNN（ディープラーニングライブラリ）のインストール †

• CUDA バージョンとの整合性を確認 → GPU, CUDA Toolkit, and CUDA Driver Requirements
  
• NVIDIA cuDNN サイトから cuDNN のダウンロードとインストール
  
  ・ cudnn_9.3.0_windows.exe (※ 2024.08.16 現在)
  ● インストール後の cuDNN バージョン v9.3.0
  

Anaconda のインストールと設定 †

anaconda のダウンロードとインストール †

1. オフィシャルサイト https://www.anaconda.com/products/distribution にアクセス
   
   
   
   　● 画面の「Download」ボタン（赤丸）を押してダウンロード
   
   　● ダウンロード・ファイル名（2024/08/16 現在）
   　　Anaconda3-2024.06-1-Windows-x86_64.exe
   
   
   
2. インストーラ「Anaconda3-2023.09-0-Windows-x86_64.exe」を実行し手順に従ってインストールする
   
   
   
   
   
   
   
   

   #ref(): File not found: "20231215_043714_001s.jpg" at page "ProjectEnv4"

   

Anaconda の起動と Python 環境の構築 †

1. Windows のスタートメニューから「Anaconda Powershell Prompt」を選択する
   ・「すべてのアプリ」→「Anaconda3 (64-bit)」を展開 →「Anaconda Powershell Prompt」(※ Windows11の場合)
   ・以降の作業は「Anaconda Powershell Prompt」内で行う
   ・表示ウインドウのサイズや文字の大きさなどは、ウインドウ上部のタイトルバーを右クリック「プロパティ」で設定する。
   
   
   

環境変数の設定 †

1. 検索ウィンドウに「システムの詳細設定」と入力し「システムの詳細設定」ダイアログを表示する。
   
2. 「環境変数」ボタンを押して環境変数ダイアログを表示する。
   
3. 新規に「PYTHONPATH」「C:\anaconda_win\workspace_py37\mylib;C:\anaconda_win\workspace\lib;C:\anaconda_win\workspace_2\mylib2」(オリジナル Python 共有ライブラリの場所)を追加する
   
4. そのほかの環境変数は、後でプロジェクトの環境設定で追加する
   
   
5. 「Anaconda Powershell Prompt」を再起動して設定を確認する。
   

   (base) echo $env:PYTHONPATH
   C:\anaconda_win\workspace_py37\mylib;C:\anaconda_win\workspace\lib;C:\anaconda_win\workspace_2\mylib2

Windowsのターミナルで ANSI エスケープシーケンスを有効にする設定 †

1. 「Anaconda Powershell Prompt」でANSI エスケープシーケンスを有効にする
   
2. 「レジストリエディタ」で「_HKEY_CURRENT_USER\Console\」を開く
   
3. DWORDキー「VirtualTerminalLevel」を作成し（必要な場合）、その値を '1' に設定する
   デフォルトでANSI処理をグローバルに 1:有効化 0:無効化`
   

ターミナル起動時の環境設定 †

• アプリケーションの実行時に便利なようにターミナル起動時の設定をしておく
  
  
  
  
  

1. 「スタートボタン」を押し「Anaconda Powershell Prompt」の上で 右クリック → その他 → ファイルの場所を開く を選択する
   
2. 「Anaconda Powershell Prompt」をコピーして「Anaconda Powershell (base)」とする
   
3. 表示されるエクスプローラ上の「Anaconda Powershell (base)」で 右クリック → プロパティ を選ぶ
   
4. リンク先の項目を変更する。
   ・元の記述
   

   %windir%\System32\WindowsPowerShell\v1.0\powershell.exe -ExecutionPolicy ByPass -NoExit -Command "& 'C:\ProgramData\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\<User>\anaconda3' "

   ・次のように変更 <User> = ユーザー名　C: = anaconda_winを配置したドライブ
   

   %windir%\System32\WindowsPowerShell\v1.0\powershell.exe -ExecutionPolicy ByPass -NoExit -Command "& 'C:\ProgramData\Anaconda3\shell\condabin\conda-hook.ps1' ; conda activate 'C:\Users\<User>\anaconda3' ; Set-Location 'c:\anaconda_win' "

5. 「Anaconda Powershell (base)」を再起動して設定を確認する。
   ※ コマンドプロンプトの最初が (base) になっているのを確認すること
   

PowerSell の設定 †

• PowerShellでプロファイル(profile)を作成しておくと、PowerShellの起動時に実行させることができる
  使用する頻度の高い処理をエイリアスや関数にしてプロファイルに保存しておく
  
• Linux の 'which' コマンドを作成してみる
  

1. 実行権限を設定する
   ・管理者として「Windows PowerShell」を起動して次のコマンドを実行
   

   Set-ExecutionPolicy -ExecutionPolicy RemoteSigned

2. プロファイルの作成
   ・プロファイルが作成される場所を確認
   

   $profile

   ・プロファイルが存在しなければ作成
   

   new-item -path $profile -itemtype file -force

   ※「Microsoft.PowerShell_profile.ps1」という空のファイルが作成される
   
   
3. ファイル「Microsoft.PowerShell_profile.ps1」を修正する
   ・C:\Users\<User>\Documents\WindowsPowerShell\Microsoft.PowerShell_profile.ps1

   # PowerShell 動作確認
   echo 'Windows PowerShell'
   Get-Host
   
   # 'which' command
   function which($cmdname) {
     Get-Command $cmdname | Select-Object -ExpandProperty Definition
   }

4. 「PowerShell」「Anaconda PowerShell」を再起動する
   

   Windows PowerShell
   
   Name             : ConsoleHost
   Version          : 5.1.22621.2506
   InstanceId       : 3ef6a3c4-1c1f-406d-8fe5-cec8caadc939
   UI               : System.Management.Automation.Internal.Host.InternalHostUserInterface
   CurrentCulture   : ja-JP
   CurrentUICulture : ja-JP
   PrivateData      : Microsoft.PowerShell.ConsoleHost+ConsoleColorProxy
   DebuggerEnabled  : True
   IsRunspacePushed : False
   Runspace         : System.Management.Automation.Runspaces.LocalRunspace
   
   (base) PS C:\anaconda_win>

5. 'wkich'： コマンドの実行パスを調べる
   

   (base) PS > which ls
   Get-ChildItem
   (base) PS > which python
   C:\Users\izuts\anaconda3\python.exe

Git のインストール †

1. Windows用インストーラを オフィシャルサイトgit for windows からダウンロード
   
2. インストールと設定をする → Gitのインストール方法(Windows版)
   

   > git config --global user.name izuts
   > git config --global user.email izutsum@venus.dti.ne.jp
   > ssh-keygen
   Generating public/private rsa key pair.
       :
   デフォルトで問題ないので何も入力せずにEnterを押す

3. インストール確認
   

   > git --version
   git version 2.43.0.windows.1

   ▼「git 設定」ログ
   ▲「git 設定」ログ

   (base) git config --global user.name izuts
   (base) git config --global user.email izutsum@venus.dti.ne.jp
   (base) ssh-keygen
   Generating public/private rsa key pair.
   Enter file in which to save the key (C:\Users\izuts/.ssh/id_rsa):
   Created directory 'C:\\Users\\izuts/.ssh'.
   Enter passphrase (empty for no passphrase):
   Enter same passphrase again:
   Your identification has been saved in C:\Users\izuts/.ssh/id_rsa
   Your public key has been saved in C:\Users\izuts/.ssh/id_rsa.pub
   The key fingerprint is:
   SHA256:OvGXKZfe6UE/yE1xmX6PvTwa9jPeqb0SrIWHxaX5HTU izuts@HP-VICTUS
   The key's randomart image is:
   +---[RSA 3072]----+
   |                 |
   |               E+|
   |            . =o+|
   |             =.+ |
   |      . S   * o.+|
   |       +   O X ++|
   |      o o * Bo* o|
   |       . = o.+==+|
   |          ..+o=O*|
   +----[SHA256]-----+
   
   (base) git --version
   git version 2.46.0.windows.1

実行環境の構築（私的汎用ライブラリの導入） †

1. ドライブ直下にプロジェクトフォルダ「abaconda_win」を作成する
   
2. プロジェクト・パッケージ project_mylib.zip (469MB) <myLibrary> をダウンロード
   ・解凍してできるフォルダ
   

   project_mylib
   ├─workspace
   │  └─lib
   │      └─images
   ├─workspace_2
   │  └─mylib2
   │      ├─mylib_test
   │      └─result
   └─workspace_py37
       └─mylib
           └─mylib_test

   ・解凍してできる「project_mylib/」フォルダ内を「anaconda_win/」フォルダの下に上書きコピーする
   
    

『仮想環境 (py38_learn)』 †

仮想環境の構築] †

1. 新しく仮想環境 (py38_learn) を作成する
   

   (base) conda create -n py38_learn python=3.8 -y
   (base) conda info -e

2. 仮想環境(py38_learn) を起動する
   

   (base) conda activate py38_learn

3. 仮想環境に PyTorch をインストールする（要確認）→ PyTorch FROM RESEARCH TO PRODUCTION
   

   (py38_learn) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124　　← GPU の場合 (2024.08.16)

4. 「conda install」コマンドでパッケージをインストール
   

   (py38_learn) conda install ffmpeg ffmpeg-python pyaudio dlib -c conda-forge -y

5. 「pip install」コマンドでパッケージをインストール

   (py38_learn) cd /anaconda_win/workspace_2
   (py38_learn) pip install -r requirements2.txt

6. 追加のパッケージをインストール

   (py38_learn) pip install imageio[ffmpeg]

環境の確認 †

• 「Python」「Pytorch」のインストール確認
  

  (py_learn) python -V
  Python 3.8.19
  
  (py_learn) python -c 'import torch;print(torch.__version__)'
  2.4.0+cu124
  
  (py_learn) python -c 'import torch;print(torch.zeros(1).cuda())'
  tensor([0.], device='cuda:0')

• 「ffmpeg」のコマンド確認
  

  (py_learn) ffmpeg -h

• プロジェクトの実行確認 「workspace_2/mylib2/」で実行

  (py38_learn) python my_videotool.py 0

  ・ウインドウ表示後クローズボタンを押してしばらくすると終了し次のファイルが生成される
  

   Saving mpeg file → 'test_anim.mp4'
   Saving gif  file → 'test_anim.gif'

プロジェクトの実行 †

1. 静止画から動画を作る：First Order Motion Model
2. 動画のパーツを入れ替える：Motion Supervised co-part Segmentation
3. 人間の年齢による顔の変化：Disentangled Lifespan Face Synthesis
   
4. StyleGANを使った画像編集：StyleGAN e4e
   
5. 画像スタイル変換：CycleGAN
   
6. 顔の合成：StarGAN-v2
   

更新履歴 †

• 2024/08/17 初版
  
   

参考資料 †

• NVIDIA ドライバ関連
  
  • PyTorchでCUDAを使用する際の注意点（備忘録）
    
  • GeForce Laptop GPUでPyTorchが動くようにするまで(Windows11編)
    
  • Windows端末にCUDAをインストールする際に、「Visual Studio Integration」のインストールに失敗する場合
    

• ネットワーク関連
  
  • Windows10 で ssh サーバ
    
  • 【Windows11】OpenSSHサーバーをインストールする方法
    

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.3-4ubuntu2.24. HTML convert time: 0.025 sec.