Colab のバックアップ(No.4)

  [ トップ ]   [ 一覧 | 検索 | 履歴 | ログイン ]

• バックアップ一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Colab へ行く。
  • 1 (2023-05-10 (水) 11:25:13)
  • 2 (2023-09-10 (日) 16:44:23)
  • 3 (2023-09-11 (月) 07:14:28)
  • 4 (2023-09-11 (月) 11:15:47)
  • 5 (2023-09-11 (月) 14:44:56)
  • 6 (2023-09-11 (月) 16:27:12)
  • 7 (2023-09-12 (火) 05:34:18)
  • 8 (2023-09-12 (火) 09:32:21)
  • 9 (2023-09-13 (水) 05:10:31)
  • 10 (2023-09-21 (木) 09:30:47)

---

私的AI研究会 > Colab

Google Colaboratory で機械学習 †

　機械学習や Deep Learning の実行環境に「Google Colaboratory」を使ってみる
　YOLO V7 を使ってカスタムデータによる学習を実行する

Google Colaboratory 動作確認 †

Google Colaboratory を使ってみる †

1. Google の「Colaboratory へようこそ」 ページを開く
   
   
   
   
2. Googleアカウントにログインしていなければログインする
   
   
3. 「ファイル」メニューまたはダイアログのボタンから「ノートブックを新規作成」を選択
   
   
   
   
   
4. 左上のタイトル（Untitled*）を「yolov7_custom」に変更する
   
   
5. セルにコードを入力し、左側の三角ボタンをクリックするか「Ctrl」+「Enter」を押して実行する
   
   

   print("hello colaboratory!")

   入力欄（セル）の下に結果が表示され簡単に Python の実行環境が手に入る
   
   ※「ノートブック」でのコマンド実行手順
   1. セルが表示されていない場合は「＋コード」メニューを押しセルを表示する
      
   2. セルにコマンドを入力し、三角ボタンをクリックするか「Ctrl」+「Enter」を押す
      
   3. 先頭に「!」をつけることで、PythonではなくOSのコマンドラインに命令を送ることができる
      

Google Colaboratory の実行環境を設定(確認)する †

1. メニューから「ランタイム」→「ランタイムのタイプを変更」を選ぶ
   
   
   
   
2. 表示されたダイアログから「GPU」を選ぶ
   GPU を設定する
   
   
3. スペックを確認する
   
   
   1. 「lshw」をインストールする
      

      !apt install lshw

   2. ハードウェア情報を収集するために「lshw」を実行する
      

      !lshw
      
          :
           *-memory
                description: System memory
                physical id: 0
                size: 12GiB
           *-cpu
                product: Intel(R) Xeon(R) CPU @ 2.20GHz
                vendor: Intel Corp.
                physical id: 1
                bus info: cpu@0
                width: 64 bits
          :
              *-display
                   description: 3D controller
                   product: TU104GL [Tesla T4]
                   vendor: NVIDIA Corporation
                   physical id: 4
                   bus info: pci@0000:00:04.0
                   version: a1
                   width: 64 bits
                   clock: 33MHz
          :

      ※「CPU Intel(R) Xeon(R) 2.20GHz」「メモリ 12GB」「GPU Tesla T4」の実行環境が確認できる
      

Google Drive に作業領域を確保する †

1. Googleドライブを起動する
   Googleアカウントにログインしていなければログインする
   
   
2. マイドライブ直下に新しく「try」フォルダを作成する
   マイドライブ表示エリアでマウス右クリック、「新しいフォルダ」を選択する
   
   
   
   
   

Google Colaboratory に Googleドライブをマウントする †

1. 「Google Colaboratory ページの右「ファイル」①を押す
   
   
2. 左上の「ドライブをマウント」②を押す
   
   
3. ダイアログが表示された場合「Googleドライブに接続」を押す
   
   
   
   
4. マウントが完了すると「drive」フォルダ③が表示される
   前項で作成した「try」フォルダが表示されることを確認する
   
   参考 → GoogleColabでGoogleドライブをマウント
   

Google Colaboratory に「YOLO V7」を実装 †

物体検出 AI「YOLO V7」をインストール †

1. カレントディレクトリを「MyDrive/try7」へ移動する
   

   cd /content/drive/MyDrive/try

   ・結果表示

   /content/drive/MyDrive/try

   ※ カレントディレクトリを確認するコマンド
   

   !pwd

   
   
2. YOLO v7 オフィシャルサイト から下記コマンドでプロジェクトをクローン
   

   !git clone https://github.com/WongKinYiu/yolov7

   ▼　- log -
   ▲　- log -

   Cloning into 'yolov7'...
   remote: Enumerating objects: 1154, done.
   remote: Counting objects: 100% (15/15), done.
   remote: Compressing objects: 100% (8/8), done.
   remote: Total 1154 (delta 8), reused 13 (delta 7), pack-reused 1139
   Receiving objects: 100% (1154/1154), 70.42 MiB | 17.19 MiB/s, done.
   Resolving deltas: 100% (494/494), done.
   Updating files: 100% (104/104), done.

   
   ・成功するとGoogleドライブ「/MyDrive/try」に「yolov7」というディレクトリが作成される
   
   
3. カレントディレクトリを「yolov7」へ移動する
   

   cd yolov7

   
   
   
4. 必要なライブラリをインストール
   

   !pip install -r requirements.txt

   ▼　- log -
   ▲　- log -

   Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
   Requirement already satisfied: matplotlib>=3.2.2 in /usr/local/lib/python3.10/dist-packages (from -r requirements.txt (line 4)) (3.7.1)
   Requirement already satisfied: numpy<1.24.0,>=1.18.5 in /usr/local/lib/python3.10/dist-packages (from -r requirements.txt (line 5)) (1.22.4)
   Requirement already satisfied: opencv-python>=4.1.1 in /usr/local/lib/python3.10/dist-packages (from -r requirements.txt (line 6)) (4.7.0.72)
   Requirement already satisfied: Pillow>=7.1.2 in /usr/local/lib/python3.10/dist-packages (from -r requirements.txt (line 7)) (8.4.0)
       :
       :
   Requirement already satisfied: mpmath>=0.19 in /usr/local/lib/python3.10/dist-packages (from sympy->torch!=1.12.0,>=1.7.0->-r requirements.txt (line 11)) (1.3.0)
   Requirement already satisfied: pyasn1<0.6.0,>=0.4.6 in /usr/local/lib/python3.10/dist-packages (from pyasn1-modules>=0.2.1->google-auth<3,>=1.6.3->tensorboard>=2.4.1->-r requirements.txt (line 17)) (0.5.0)
   Requirement already satisfied: oauthlib>=3.0.0 in /usr/local/lib/python3.10/dist-packages (from requests-oauthlib>=0.7.0->google-auth-oauthlib<1.1,>=0.5->tensorboard>=2.4.1->-r requirements.txt (line 17)) (3.2.2)
   Installing collected packages: jedi, thop
   Successfully installed jedi-0.18.2 thop-0.1.1.post2209072238

   
   
5. 学習済みモデルをダウンロード
   ・YOLOv7 には学習済みモデルがいくつも用意されているが今回は「yolov7-tiny.pt」を使用する
   

   !wget https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7-tiny.pt

   ▼　- log -
   ▲　- log -

   --2023-09-11 00:32:33--  https://github.com/WongKinYiu/yolov7/releases/download/v0.1/yolov7-tiny.pt
   Resolving github.com (github.com)... 140.82.113.3
   Connecting to github.com (github.com)|140.82.113.3|:443... connected.
   HTTP request sent, awaiting response... 302 Found
   Location: https://objects.githubusercontent.com/github-production-release-asset-2e65be/511187726/ba7d01ee-125a-4134-8864-fa1abcbf94d5?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20230911%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230911T003233Z&X-Amz-Expires=300&X-Amz-Signature=e69beb9fd21b30dd684c024a58df89cf2d7402d3d85998f3cee7397cd2680e1b&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=511187726&response-content-disposition=attachment%3B%20filename%3Dyolov7-tiny.pt&response-content-type=application%2Foctet-stream [following]
   --2023-09-11 00:32:33--  https://objects.githubusercontent.com/github-production-release-asset-2e65be/511187726/ba7d01ee-125a-4134-8864-fa1abcbf94d5?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=AKIAIWNJYAX4CSVEH53A%2F20230911%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20230911T003233Z&X-Amz-Expires=300&X-Amz-Signature=e69beb9fd21b30dd684c024a58df89cf2d7402d3d85998f3cee7397cd2680e1b&X-Amz-SignedHeaders=host&actor_id=0&key_id=0&repo_id=511187726&response-content-disposition=attachment%3B%20filename%3Dyolov7-tiny.pt&response-content-type=application%2Foctet-stream
   Resolving objects.githubusercontent.com (objects.githubusercontent.com)... 185.199.109.133, 185.199.108.133, 185.199.110.133, ...
   Connecting to objects.githubusercontent.com (objects.githubusercontent.com)|185.199.109.133|:443... connected.
   HTTP request sent, awaiting response... 200 OK
   Length: 12639769 (12M) [application/octet-stream]
   Saving to: ‘yolov7-tiny.pt’
   
   yolov7-tiny.pt      100%[===================>]  12.05M  34.6MB/s    in 0.3s    
   
   2023-09-11 00:32:33 (34.6 MB/s) - ‘yolov7-tiny.pt’ saved [12639769/12639769]

サンプル画像の物体検出 †

1. サンプル画像の物体検出を実行する
   

   !python detect.py --source inference/images/ --weights yolov7-tiny.pt --conf 0.25 --img-size 1280 --device 0

   ▼　- log -
   ▲　- log -

   Namespace(weights=['yolov7-tiny.pt'], source='inference/images/', img_size=1280, conf_thres=0.25, iou_thres=0.45, device='0', view_img=False, save_txt=False, save_conf=False, nosave=False, classes=None, agnostic_nms=False, augment=False, update=False, project='runs/detect', name='exp', exist_ok=False, no_trace=False)
   YOLOR 🚀 v0.1-126-g84932d7 torch 2.0.1+cu118 CUDA:0 (Tesla T4, 15101.8125MB)
   
   Fusing layers... 
   Model Summary: 200 layers, 6219709 parameters, 229245 gradients
    Convert model to Traced-model... 
    traced_script_module saved! 
    model is traced! 
   
   /usr/local/lib/python3.10/dist-packages/torch/functional.py:504: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ../aten/src/ATen/native/TensorShape.cpp:3483.)
     return _VF.meshgrid(tensors, **kwargs)  # type: ignore[attr-defined]
   4 persons, 1 bus, Done. (13.4ms) Inference, (31.8ms) NMS
    The image with the result is saved in: runs/detect/exp/bus.jpg
   5 horses, Done. (12.3ms) Inference, (1.8ms) NMS
    The image with the result is saved in: runs/detect/exp/horses.jpg
   3 persons, Done. (15.3ms) Inference, (1.9ms) NMS
    The image with the result is saved in: runs/detect/exp/image1.jpg
   2 persons, Done. (12.9ms) Inference, (1.2ms) NMS
    The image with the result is saved in: runs/detect/exp/image2.jpg
   1 dog, 1 horse, Done. (12.6ms) Inference, (1.3ms) NMS
    The image with the result is saved in: runs/detect/exp/image3.jpg
   2 persons, 2 ties, Done. (10.9ms) Inference, (1.5ms) NMS
    The image with the result is saved in: runs/detect/exp/zidane.jpg
   Done. (1.881s)

   
   
   
   
   ・サンプル画像は「yolov7/inference/images」を「–source」オプションで指定
   ・推論結果の保存先は「yolov7/runs/detect/exp*」（ * は自動的に振られる番号）
   ・結果の画像は「Google Colab」のファイル、または「Google Drive」で参照（ダウンロード）できる
   
   ・出力画像（6枚）
   
   
   
   
   
   
   

ランタイム接続を切断する †

1. メニューバー「ランタイム」→「ランタイムを接続解除して削除」を選択する
   
   
2. ダイアログ選択で「はい」を押す
   
   ※ GPUを選択している場合、実行しない場合は接続解除するほうが望ましい（時間制限がかかるので）
   

カスタムデータで学習する †

事前準備（データセットのアップロード） †

1. Googleドライブを起動する
   
   
2. データ・セット「yolov7-main/data/janken4_dataset」をフォルダごとGoogleドライブの「MyDrive/try/yolov7/data」にアップする
   

   yolov7　
     ┗ data
        ┗ janken4_dataset

   
   
3. 学習するのに必要な情報を記述したyamlファイル「yolov7-main/janken4_dataset.yaml」を「MyDrive/try/yolov7」の直下にアップする
   

   yolov7　
     ┠ data
     ┃  ┗ janken4_dataset
     ┗ janken4_dataset.yaml

Google Colaboratory で学習を実行する †

1. GoogleColab を起動し、ノートブック「yolov7_custom.ipynb」を選択する
   
   
2. 左サイドバーの「ファイル」を選択することで Googleドライブをマウントする
   
   
3. カレントディレクトリを「MyDrive/try/yolov7」へ移動する
   

   cd /content/drive/MyDrive/yolov7

   /content/drive/MyDrive/yolov7

4. 下記のコマンドで「janken4_dataset」を学習する (yolov7-tiny)
   

   !python train.py --workers 8 --batch-size 32 --data janken4_dataset.yaml --cfg cfg/training/yolov7-tiny.yaml --weights 'yolov7-tiny.pt' --name yolov7-tiny_jk4 --hyp data/hyp.scratch.tiny.yaml --epochs 50 --device 0

   ▼　- log -　GoogleColab Tesla T4
   ▲　- log -　GoogleColab Tesla T4
   
   
5. およそ50分で正常に終了すると、学習結果は「yolov7/runs/train/yolov7-tiny_jk4/」に保存される
   
   
6. onnx パッケージをインストールする
   

   !pip install onnx

   ▼　- log -　GoogleColab Tesla T4
   ▲　- log -　GoogleColab Tesla T4
   
   
7. 学習結果モデル「runs/train/yolov7-tiny_jk4/weights/best.pt」を onnx 形式に変換する
   

   !python export.py --weights runs/train/yolov7-tiny_jk4/weights/best.pt

   ▼　- log -　GoogleColab Tesla T4
   ▲　- log -　GoogleColab Tesla T4
   
   
8. 学習結果 モデルは「yolov7-tiny_jk4/weights」評価指標は「yolov7-tiny_jk4」フォルダ
   

更新履歴 †

• 2023/02/22 初版
  
• 2023/09/10 全面改訂 YOLOv7 カスタムデータによる学習~
  
   

参考資料 †

• Colaboratory へようこそ
  
• Google Colaboratoryの無料GPU環境を使ってみた
  

Site admin: Masahiro Izutsu

PukiWiki 1.5.2 © 2001-2019 PukiWiki Development Team. Powered by PHP 7.4.3-4ubuntu2.20. HTML convert time: 0.032 sec.