PyReview3 のバックアップ(No.1)

バックアップ一覧
差分を表示
現在との差分を表示
ソースを表示
PyReview3 へ行く。
- 1 (2024-03-15 (金) 14:20:52)

私的AI研究会 > PyReview3

【復習】PyTorch ではじめる AI開発 3 †

　坂本俊之著「PyTorch ではじめる AI開発」をもとに AI学習を復習。
　CHAPTER 03 「教師データにない状況を異常検出」異常検出を行う AI を作成する。

▼　目　次

※ 最終更新:2024/03/15　

↑

CHAPTER 03 教師データにない状況を異常検出 †

CHAPTER 01 環境構築を実行済みのこと
下記のプロジェクト・パッケージをダウンロード
update_20240307.zip (360MB) <アップデートファイル>
解凍してできたプロジェクトのディレクトリ「workspace_pylearn/」をホームディレクトリ直下に配置する

プロジェクトの実行ディレクトリ

　Windows の場合　

(base) PS > conda activate py_learn
(py_learn) PS > cd /anaconda_win/workspace_pylearn/chapter02

　Linux の場合　

(base) $ conda activate py_learn
(py_learn) $ cd ~/workspace_pylearn/chapter02

↑

SECTION-007 距離学習と異常検出 †

サンプルの異常データの準備
・「chapt03-validate.mp4」から異常時のデータセットを作成する
・以前の作成ディレクトリの記述に間違いがあったのを修正

(py_learn) mkdir unnormal-validations
(py_learn) ffmpeg -i ../sample/chapt03/chapt03-validate.mp4 -f image2 unnormal-validations/%03d.jpg

▼　「ffmpeg」実行ログ

(py_learn) ffmpeg -i ../sample/chapt03/chapt03-validate.mp4 -f image2 unnormal-validations/%03d.jpg
ffmpeg version 4.2.2 Copyright (c) 2000-2019 the FFmpeg developers
  built with gcc 9.2.1 (GCC) 20200122
  configuration: --disable-static --enable-shared --enable-gpl --enable-version3 --enable-sdl2 --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libdav1d --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvorbis --enable-libvo-amrwbenc --enable-libmysofa --enable-libspeex --enable-libxvid --enable-libaom --enable-libmfx --enable-amf --enable-ffnvcodec --enable-cuvid --enable-d3d11va --enable-nvenc --enable-nvdec --enable-dxva2 --enable-avisynth --enable-libopenmpt
  libavutil      56. 31.100 / 56. 31.100
  libavcodec     58. 54.100 / 58. 54.100
  libavformat    58. 29.100 / 58. 29.100
  libavdevice    58.  8.100 / 58.  8.100
  libavfilter     7. 57.100 /  7. 57.100
  libswscale      5.  5.100 /  5.  5.100
  libswresample   3.  5.100 /  3.  5.100
  libpostproc    55.  5.100 / 55.  5.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '../sample/chapt03/chapt03-validate.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.12.100
  Duration: 00:00:02.00, start: 0.000000, bitrate: 2433 kb/s
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 2428 kb/s, 30 fps, 30 tbr, 15360 tbn, 30720 tbc (default)
    Metadata:
      handler_name    : VideoHandler
Stream mapping:
  Stream #0:0 -> #0:0 (h264 (native) -> mjpeg (native))
Press [q] to stop, [?] for help
[swscaler @ 000001e0a287c040] deprecated pixel format used, make sure you did set range correctly
Output #0, image2, to 'unnormal-validations/%03d.jpg':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.29.100
    Stream #0:0(und): Video: mjpeg, yuvj420p(pc), 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 200 kb/s, 30 fps, 30 tbn, 30 tbc (default)
    Metadata:
      handler_name    : VideoHandler
      encoder         : Lavc58.54.100 mjpeg
    Side data:
      cpb: bitrate max/min/avg: 0/0/200000 buffer size: 0 vbv_delay: -1
frame=   60 fps=0.0 q=24.8 Lsize=N/A time=00:00:02.00 bitrate=N/A speed=7.44x
video:2366kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

できた異常データサンプルセットの例

↑

SECTION-008 PyTorch による距離学習 †

学習プログラム「chapt03_1x.py」（修正版）の実行
「chapt03_1.py」→「chapt03_1a.py」→「chapt03_1x.py」: 開始・終了時刻・所要時間の表示

　Windows の場合　

(py_learn) PS > python chapt03_1x.py
learning start >>  2024-03-10 11:22:31.219226
epoch #0: train_loss:0.7922095060348511
epoch #1: train_loss:0.023104708641767502
epoch #2: train_loss:0.018580107018351555
learning end >>    2024-03-10 11:28:41.251456
learning time >>   0:06:10.032654

　Linux の場合　

(py_learn) $ python chapt03_1x.py
learning start >>  2024-03-10 13:29:56.149561
epoch #0: train_loss:0.8014032244682312
epoch #1: train_loss:0.023702777922153473
epoch #2: train_loss:0.01885644905269146
learning end >>    2024-03-10 13:39:35.513480
learning time >>   0:09:39.363922

・学習にかかった時間

OS	機種	開始日時	終了日時	処理時間 (h:m)
Windows11	HP ENVY TE02-1097 NVIDIA GeForce RTX 4070 Ti	2024/03/10 11:22	2024/03/10 11:28	00:06
UIbuntu22.04LTS	HP ENVY TE02-1097 NVIDIA GeForce RTX 4070 Ti	2024/03/10 13:29	2024/03/10 13:39	00:09
Windows10	HP EliteDesk 800 NVIDIA GeForce GTX 1050 Ti	2024/03/10 13:45	2024/03/10 16:10	02:24
Windows11	DELL XPS Plus 9320 Intel® Core™ i7-1260P CPU	2024/03/03 11:10	2024/03/03 14:48	03:38
Ubuntu20.04LTS	DELL Latitude 7520 Intel® Core™ i7-1185G7 CPU	2024/03/05 10:24	2024/03/05 14:41	04:17
Windows10	HP EliteDesk 800 Intel® Core™ i7-6700 CPU	2024/03/07 16:10	2024/03/07 22:56	06:45

　※ 参考 → 以前の実行例

・評価用データ・検証用データの散布図
　〇ピンク色：正常なデータ（評価用のデータ）からの出力
　〇青色：異常なデータ（検証用のデータ）からの出力
　検証用のデータ（「chapt03-validate.mp4」の各フレーム）は正常なデータ（「forest-path-movie-dataset」の 3割）から識別可能なだけ分離されている

・出来上がった学習済みモデル

-a----        2024/03/03     14:44       94413070 chapt03-model1.pth
-a----        2024/03/03     14:48            345 chapt03-normal.json
-a----        2024/03/03     14:48          58163 scatter.png

↑

SECTION-009 検出用プログラムの作成 †

異常検出プログラム(tkinter版)「chapt03_2x.py」（修正版）の実行
「chapt03_2.py」→「chapt03_2a.py」→「chapt03_2x.py」
```
(py_learn) python chapt03_2x.py
```

異常検出プログラム(OpenCV版)「chapt03_2y.py」（修正版）の実行
「chapt03_2b.py」→「chapt03_2y.py」

(py_learn) python chapt03_2y.py

--- Surveillance camera Abnormality monitoring ---
4.9.0

Surveillance camera Abnormality monitoring: Starting application...
   - Image File   :  ../sample/chapt03/chapt03-sample-a.mp4
   - Language     :  jp
   - Program Title:  y
   - Speed flag   :  y
   - Processed out:  non

FPS average:      12.30

 Finished.

↑

対処したエラー詳細 †

↑

「python chapt03_1.py」DeprecationWarning:...【Windows の場合】 †

エラー内容

(py_learn) PS > python chapt03_1x.py
C:\anaconda_win\workspace_pylearn\chapter02\chapt03_1x.py:13: DeprecationWarning:
Pyarrow will become a required dependency of pandas in the next major release of pandas (pandas 3.0),
(to allow more performant data types, such as the Arrow string type, and better interoperability with other libraries)
but was not found to be installed on your system.
If this would cause problems for you,
please provide us feedback at https://github.com/pandas-dev/pandas/issues/54466

  import pandas as pd
    :

対処方法（パッケージのインストール）
```
(py_learn) > pip install pyarrow
```

↑

更新履歴 †

2024/03/05 初版

↑

参考資料 †

Python パッケージ
- 【Python】Pyarrowインストール（Apache Arrow）