PyTorch3

最新の20件

私的AI研究会 > PyTorch3

PyTorch ではじめる AI開発 3 †

　「教師データにない状況を以上検出」異常検出を行う AI を作成する。

CHAPTER 03 教師データにない状況を異常検出 †

　定点カメラからの映像をもとに学習データに含まれていない状況を検出する手法を実行してみる。

SECTION-007 距離学習と異常検出 †

• 通常とは異なる状態異常を検出する手法を、異常検出またはアノマリー検出と呼ぶ。
  

• 異常検出では、異常を具体的に定義するデータが存在しないというところが通常のクラス分類問題と異なっている。
  

• あらゆる異常時を網羅するようなデータは通常時のデータよりも大きく表現空間全体内に分散するはずなので、表現空間全体内での分散を判定すればそのデータが通常時のデータであるか異常時のデータであるかを判定できる。
  

• ニューラルネットワークの学習に使用する損失関数の一つである「Triplet loss」による距離学習を用いて画像を表現空間へマッピングする。
  

• 異常を直接学習するための具体的データが存在しない問題は、DA（Data Augmentation）の手法で解決する。
  

• 異常検出においては多くの場合、特定のシナリオに基づいて作成したダミーの異常データを作成し、検証用データとして利用する。
  

サンプルの異常データの準備 †

• 「forest-path-movie-dataset」を利用して検証してみる。異常データのサンプル「chapt03-validate.mp4」から異常時のデータセットを作成する。
  

  (py37) $ mkdir unnormal-validation
  (py37) $ ls
  chapt02-model1.bin      chapt02-model1.pth  chapt02_2a.py  chapt02_4.py
  chapt02-model1.mapping  chapt02-model1.xml  chapt02_2b.py  chapt03_1a.py
  chapt02-model1.onnx     chapt02_1a.py       chapt02_3.py   unnormal-validation
  
  (py37) $ ffmpeg -i ../sample/chapt03/chapt03-validate.mp4 -f image2 unnormal-validation/%03d.jpg
      :
  (py37) mizutu@ubuntu-vbox:~/workspace_py37/chapter02$ ls unnormal-validation/
  001.jpg  008.jpg  015.jpg  022.jpg  029.jpg  036.jpg  043.jpg  050.jpg  057.jpg
  002.jpg  009.jpg  016.jpg  023.jpg  030.jpg  037.jpg  044.jpg  051.jpg  058.jpg
  003.jpg  010.jpg  017.jpg  024.jpg  031.jpg  038.jpg  045.jpg  052.jpg  059.jpg
  004.jpg  011.jpg  018.jpg  025.jpg  032.jpg  039.jpg  046.jpg  053.jpg  060.jpg
  005.jpg  012.jpg  019.jpg  026.jpg  033.jpg  040.jpg  047.jpg  054.jpg
  006.jpg  013.jpg  020.jpg  027.jpg  034.jpg  041.jpg  048.jpg  055.jpg
  007.jpg  014.jpg  021.jpg  028.jpg  035.jpg  042.jpg  049.jpg  056.jpg

(py37) $ ffmpeg -i ../sample/chapt03/chapt03-validate.mp4 -f image2 unnormal-validation/%03d.jpg
ffmpeg version 9c33b2f Copyright (c) 2000-2021 the FFmpeg developers
  built with gcc 9.3.0 (crosstool-NG 1.24.0.133_b0863d8_dirty)
  configuration: --prefix=/home/mizutu/anaconda3/envs/py37 --cc=/home/conda/feedstock_root/build_artifacts/ffmpeg_1627813612080/_build_env/bin/x86_64-conda-linux-gnu-cc --disable-doc --disable-openssl --enable-avresample --enable-gnutls --enable-gpl --enable-hardcoded-tables --enable-libfreetype --enable-libopenh264 --enable-libx264 --enable-pic --enable-pthreads --enable-shared --enable-static --enable-version3 --enable-zlib --enable-libmp3lame --pkg-config=/home/conda/feedstock_root/build_artifacts/ffmpeg_1627813612080/_build_env/bin/pkg-config
  libavutil      56. 51.100 / 56. 51.100
  libavcodec     58. 91.100 / 58. 91.100
  libavformat    58. 45.100 / 58. 45.100
  libavdevice    58. 10.100 / 58. 10.100
  libavfilter     7. 85.100 /  7. 85.100
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  7.100 /  5.  7.100
  libswresample   3.  7.100 /  3.  7.100
  libpostproc    55.  7.100 / 55.  7.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '../sample/chapt03/chapt03-validate.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.12.100
  Duration: 00:00:02.00, start: 0.000000, bitrate: 2433 kb/s
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 1280x720 [SAR 1:1 DAR 16:9], 2428 kb/s, 30 fps, 30 tbr, 15360 tbn, 30720 tbc (default)
    Metadata:
      handler_name    : VideoHandler
Stream mapping:
  Stream #0:0 -> #0:0 (h264 (native) -> mjpeg (native))
Press [q] to stop, [?] for help
[swscaler @ 0x5567163fcb40] deprecated pixel format used, make sure you did set range correctly
Output #0, image2, to 'unnormal-validation/%03d.jpg':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.45.100
    Stream #0:0(und): Video: mjpeg, yuvj420p(pc), 1280x720 [SAR 1:1 DAR 16:9], q=2-31, 200 kb/s, 30 fps, 30 tbn, 30 tbc (default)
    Metadata:
      handler_name    : VideoHandler
      encoder         : Lavc58.91.100 mjpeg
    Side data:
      cpb: bitrate max/min/avg: 0/0/200000 buffer size: 0 vbv_delay: N/A
frame=   60 fps=0.0 q=24.8 Lsize=N/A time=00:00:02.00 bitrate=N/A speed= 4.6x    
video:2366kB audio:0kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: unknown

使用するデータセット †

SECTION-008 PyTorch による距離学習 †

学習プログラムの作成 †

• 書籍サイトからダウンロードしたサンプルデータ「~/workspace_py37/sample」からファイルコピーする。
  作業ディレクトリ「~workspace_py37/chapter02/」に「chapt03_1.py」を「chapt03_1a.py」としてコピーする。
  

  (py37) $ cd ~workspace_py37/chapter02/
  (py37) $ cp ../sample/chapt02/chapt03_1.py ./chapt03_1a.py

• データセットのディレクトリなどを編集する。
  

  (py37) $ vi chapt03_1a.py 
  
  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 03 / Section 008
  ##       PyTorch による学習
  ##
  ##               2021.09.12 Masahiro Izutsu
  ##------------------------------------------
  ## chapt03_1a.py  (original: chapt03_1.py)
  
  import numpy as np
  import pandas as pd
  import itertools
      :
      
  # GPUを使うかどうか
  USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
  
  # データがあるディレクトリ
  #INPUT_DIR = 'forest-path-movie-dataset/'
  INPUT_DIR = '../forest-path-movie-dataset/'      # 2021.09.12
      :

• 学習のパラメータ
  

      :
  # 学習時と評価時のバッチサイズ
  BATCH_SIZE = 16
  BATCH_SIZE_VALID = 4
  # データの読み込みスレッドの数
  NUM_WORKERS = 2
  # 学習エポック数
  NUM_EPOCHS = 3
      :

• ソースコード
  ▼「chapt03_1a.py」
  ▲「chapt03_1a.py」

  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 03 / Section 008
  ##       PyTorch による学習
  ##
  ##               2021.09.12 Masahiro Izutsu
  ##------------------------------------------
  ## chapt03_1a.py  (original: chapt03_1.py)
  
  import numpy as np
  import pandas as pd
  import itertools
  import shutil
  from PIL import Image
  import os
  import glob
  import matplotlib.pyplot as plt
  import json
  
  import torch
  from torch import nn, utils, optim
  from torchvision import transforms, models
  from sklearn.metrics import f1_score, accuracy_score
  from sklearn.model_selection import train_test_split
  
  # GPUを使うかどうか
  USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
  # データがあるディレクトリ
  INPUT_DIR = '../forest-path-movie-dataset/'      # 2021.09.12
  
  # 検証用データを使う
  USE_VALIDATE = True
  # 検証用データ
  VALIDATIONS = 'unnormal-validations/*.jpg'
  
  # PyTorchの内部を決定論的に設定する
  torch.backends.cudnn.deterministic = True
  torch.backends.cudnn.benchmark = False
  
  # 乱数を初期化する
  np.random.seed(0)
  torch.manual_seed(0)
  
  # データセットの定義ファイルを読み込む
  df = pd.read_csv(INPUT_DIR+'all_file.csv')
  
  # シーン毎に分割するので、groupbyして取り出す
  file = []
  for g in df.groupby(df.scene):
      file.append(g[1].file.values.tolist())
  
  # シーン毎に学習用と評価用データに分ける
  train_X, test_X = train_test_split(file, test_size=0.3, random_state=0)
  
  # 全てのシーン内のデータを繋げた配列にする
  train_X = sum(train_X, [])
  test_X = sum(test_X, [])
  # ファイル名をディレクトリを含むものにする
  train_X = [INPUT_DIR+f for f in train_X]
  test_X = [INPUT_DIR+f for f in test_X]
  if USE_VALIDATE:
      valid_X = glob.glob(VALIDATIONS) # 検証用データ一覧
  
  # PyTorchの流儀でデータセットをクラスで定義する
  class MyDataset:
      def __init__(self, X, valid=False):
          # 初期化 Xはファイル名のリスト
          self.X = X
          self.valid = valid
          trans1 = [
              transforms.Resize((224,224)),
              transforms.ToTensor(),
              transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                   std=[0.229, 0.224, 0.225])
          ]
          self.trans1 = transforms.Compose(trans1)
          if not valid: # 学習用なら、「明らかな異常値」のtransformも作る
              # 実行確率100%のRandomErasingで領域を大きめに取る
              trans2 = [
                  transforms.Resize((224,224)),
                  transforms.ToTensor(),
                  transforms.RandomErasing(p=1.0, scale=(0.3, 0.6), ratio=(0.5, 2.0), value='random'),
                  transforms.Normalize(mean=[0.485, 0.456, 0.406],
                                   std=[0.229, 0.224, 0.225])
              ]
              self.trans2 = transforms.Compose(trans2)
  
      def __len__(self):
          # データセットの長さを返す
          return len(self.X)
  
      def __getitem__(self, pos):
          # posの場所にあるデータを返す
          if self.valid:
              # 検証時にはデータファイルのみを返す
              f1 = self.X[pos] # ファイルパス
              f1 = Image.open(f1) # ファイルを読み込む
              X1 = self.trans1(f1) # tensorにする
              return X1
          else:
              # 学習時には、Tripletを返す
              f1 = self.X[pos] # ベースとなるファイルのパス
              f2 = self.X[np.random.randint(len(self))]
              f3 = self.X[np.random.randint(len(self))]
              if np.random.random() < 0.5: # ランダムに、ペアを選ぶ
                  trans1 = self.trans1 # ノーマルペア
                  trans2 = self.trans1 # ノーマルペア
                  trans3 = self.trans2 # 異常値
              else:
                  trans1 = self.trans2 # 異常値ペア
                  trans2 = self.trans2 # 異常値ペア
                  trans3 = self.trans1 # ノーマル
              f1 = Image.open(f1) # ファイルを読み込む
              f2 = Image.open(f2) # ファイルを読み込む
              f3 = Image.open(f3) # ファイルを読み込む
              X1 = trans1(f1) # tensorにする
              X2 = trans2(f2) # tensorにする
              X3 = trans3(f3) # tensorにする
              return X1, X2, X3
  
  # 保存しておいたモデルを読み込む
  model = models.resnet50(pretrained=False)
  model.fc = nn.Linear(2048, 2)
  model = model.to(USE_DEVICE)
  model.load_state_dict(torch.load('chapt02-model1.pth', map_location=torch.device(USE_DEVICE)))
  # 出力の次元数を8次元にする
  model.fc = nn.Linear(2048, 8)
  model.fc = model.fc.to(USE_DEVICE)
  
  params = model.parameters() # モデル全体のトレーニング
  optimizer = optim.SGD(params, lr=5e-5, momentum=0.9) # 学習率を設定
  
  loss = nn.TripletMarginLoss(margin=10.0) # 損失関数を用意する
  
  # 学習時と評価時のバッチサイズ
  BATCH_SIZE = 16
  BATCH_SIZE_VALID = 4
  # データの読み込みスレッドの数
  NUM_WORKERS = 2
  # 学習エポック数
  NUM_EPOCHS = 3
  
  # 学習用のデータセットを作る
  train_ds = MyDataset(train_X)
  # 検証用データを使う場合
  if USE_VALIDATE:
      test_ds = MyDataset(test_X + valid_X, True)
  else:
      test_ds = MyDataset(test_X, True)
  # 複数スレッドでファイルを読み込みつつデータを取り出すDataLoaderを作る
  data_loader = utils.data.DataLoader(
      train_ds, batch_size=BATCH_SIZE, shuffle=True, num_workers=NUM_WORKERS)
  data_loader_v = utils.data.DataLoader(
      test_ds, batch_size=BATCH_SIZE_VALID, shuffle=False, num_workers=NUM_WORKERS)
  
  
  # 学習ループ
  for epoch in range(NUM_EPOCHS):
      total_loss = [] # 各バッチ実行時の損失値
      model.train() # モデルを学習用に設定する
      for X1, X2, X3 in data_loader: # 画像を読み込んでtensorにする
          X1 = X1.to(USE_DEVICE) # GPUを使うときはGPUメモリ上に乗せる
          X2 = X2.to(USE_DEVICE) # GPUを使うときはGPUメモリ上に乗せる
          X3 = X3.to(USE_DEVICE) # GPUを使うときはGPUメモリ上に乗せる
  
          # ニューラルネットワークを実行して損失値を求める
          losses = loss(model(X1), model(X2), model(X3))
  
          # 新しいバッチ分の学習を行う
          optimizer.zero_grad() # 一つ前の勾配をクリア
          losses.backward() # 損失値を逆伝播させる
          optimizer.step() # 新しい勾配からパラメーターを更新する
  
          # 損失値を保存しておく
          total_loss.append(losses.detach().cpu().numpy())
  
      # エポック終了時のスコアを求める
      total_loss = np.mean(total_loss) # 各バッチの損失の平均
      # エポック終了時のスコアを表示する
      print(f'epoch #{epoch}: train_loss:{total_loss}')
  
  # 終了時のモデルを保存する
  torch.save(model.state_dict(), 'chapt03-model1.pth')
  
  # 評価データに対して実行結果を求める
  with torch.no_grad():
      results = [] # 結果を入れる配列
      model.eval() # モデルを推論用に設定する
      for X in data_loader_v:
          X = X.to(USE_DEVICE) # GPUを使うときはGPUメモリ上に乗せる
          res = model(X) # ニューラルネットワークの実行
          res = res.detach().cpu().numpy() # CPUメモリに入れてnumpy化
          results.extend(res.tolist()) # バッチ内のデータを結果に追加
  
  # 最後の検証結果の、評価側の平均値を保存する
  with open('chapt03-normal.json', 'w') as f:
      test_result = results[:len(test_X)]  # 実行結果の評価データ
      mean = np.mean(test_result, axis=0)  # 平均値
      std = np.std(test_result, axis=0, ddof=1)  # 標準偏差
      # 必要な情報をJSONにして保存
      jsonobj = {
          'mean':mean.astype(float).tolist(),
          'std':std.astype(float).tolist() }
      f.write(json.dumps(jsonobj))
  
  if USE_VALIDATE:  # 検証用データを使う場合
      # 実行結果を散布図にして保存する
      results = np.array(results) # テストデータ＋検証用データの結果
      colors = ['pink'] * len(test_X) + ['blue'] * len(valid_X) # 色
      plt.plot(figsize=(6,6))
      # 8次元を2次元分ずつ散布図にする
      plt.subplot(221)
      plt.scatter(x=results[:,0], y=results[:,1], s=20, c=colors, alpha=0.5)
      plt.subplot(222)
      plt.scatter(x=results[:,2], y=results[:,3], s=20, c=colors, alpha=0.5)
      plt.subplot(223)
      plt.scatter(x=results[:,4], y=results[:,5], s=20, c=colors, alpha=0.5)
      plt.subplot(224)
      plt.scatter(x=results[:,6], y=results[:,7], s=20, c=colors, alpha=0.5)
      plt.savefig(f'scatter.png') # 画像として保存
      plt.clf()

学習プログラムの実行 †

• ニューラルネットワークの学習
  

  (py37) $ python3 chapt03_1a.py 
  [W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
  epoch #0: train_loss:0.8026571273803711
  epoch #1: train_loss:0.009136885404586792
  epoch #2: train_loss:0.003079937305301428

• 学習にかかった時間

  機種	開始日時	終了日時	処理時間 (h:m)
  DELL Latitude 7520 Intel® Core™ i7-1185G7 CPU	09/12 16:12	09/12 22:18	06:06
  HP EliteDesk 800 Intel® Core™ i7-6700 CPU	09/12 18:50	09/13 01:41	06:51

• 評価用データ・検証用データの散布図
  
  
  書籍の結果とは異なるようだが詳細はよくわからない。
  

• 出来上がった学習済みモデル

  (py37) $ ls -l
  合計 368160
      :
  -rw-rw-r-- 1 mizutu mizutu 94417647  9月 13 01:41 chapt03-model1.pth
  -rw-rw-r-- 1 mizutu mizutu      347  9月 13 01:50 chapt03-normal.json
  -rw-rw-r-- 1 mizutu mizutu     8490  9月 12 15:34 chapt03_1a.py
  -rw-rw-r-- 1 mizutu mizutu    52241  9月 13 01:50 scatter.png

SECTION-009 検出用プログラムの作成 †

異常検出プログラムの作成 †

• 書籍サイトからダウンロードしたサンプルデータ「~/workspace_py37/sample」からファイルコピーする。
  作業ディレクトリ「~workspace_py37/chapter02/」に「chapt03_2.py」を「chapt03_2a.py」としてコピーする。
  

  (py37) $ cd ~workspace_py37/chapter02/
  (py37) $ cp ../sample/chapt03/chapt03_2.py ./chapt03_2a.py

• サンプルファイル指定を編集する。
  

  (py37) $ vi chapt03_2a.py 
  
  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 03 / Section 009
  ##       PyTorch による学習
  ##
  ##               2021.09.13 Masahiro Izutsu
  ##------------------------------------------
  ## chapt03_2a.py  (original: chapt03_2.py)
  
  import numpy as np
      :
          ## 2021.09.13
          #「forest path movie dataset」用のサンプルを利用する
          # 異常のサンプル 
  #        self.cap = cv2.VideoCapture('../sample/chapt03/chapt03-sample.mp4')
          # 正常/異常のサンプル
          self.cap = cv2.VideoCapture('../sample/chapt03/chapt03-sample-a.mp4')
      :

• ソースファイル
  
  ▼「chapt03_2a.py」
  ▲「chapt03_2a.py」

  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 03 / Section 009
  ##       PyTorch による学習
  ##
  ##               2021.09.13 Masahiro Izutsu
  ##------------------------------------------
  ## chapt03_2a.py  (original: chapt03_2.py)
  
  import numpy as np
  from PIL import Image, ImageTk
  import cv2
  from time import time, sleep
  from tkinter import Tk, NW, TOP, Frame, Canvas, Label, StringVar
  import tkinter as tk
  import tkinter.font as tkFont
  import threading
  
  import torch
  from torch import nn
  from torchvision import transforms, models
  
  import json
  import scipy.stats
  
  # GPUを使うかどうか
  USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
  # アプリケーションが実行中かどうか
  IS_RUN = True
  # 異常と判断するための区間
  SIGMA = 3 # 3σ=99.7%を正常とする
  
  # 保存しておいた平均値を読み込む
  with open('chapt03-normal.json') as f:
      jsonobj = json.loads(f.read())
      m = jsonobj['mean']  # 平均値
      std = jsonobj['std']  # 標準偏差
      m = np.array(m)
      h = np.array(std)*SIGMA
      dist_min, dist_max = m-h, m+h  # 各次元の正常範囲
  
  # 全ての次元でσ区間内にあるかどうかをチェックする関数
  def is_unnormal(dist):
      for d,mn,mx in zip(dist,dist_min,dist_max):
          if d < mn or d > mx:
              return 1 # どこかの次元でσ区間外
      return 0 # 全ての次元でσ区間内にある
  
  # 保存しておいたモデルを読み込む
  model = models.resnet50(pretrained=False)
  model.fc = nn.Linear(2048, 8)
  model.to(USE_DEVICE)
  model.load_state_dict(torch.load('chapt03-model1.pth', map_location=torch.device(USE_DEVICE)))
  # モデルを推論用に設定する
  model.eval()
  
  # 画像を正規化するtransformを用意しておく
  trans = transforms.Compose([
      transforms.Resize((224,224)),
      transforms.ToTensor(),
      transforms.Normalize(mean=[0.485, 0.456, 0.406],
                           std=[0.229, 0.224, 0.225])
  ])
  
  # Tkで表示するフレーム
  class MyFrame(Frame):
      def __init__(self, parent, **params):
          Frame.__init__(self, parent, params)
  #        # OpenCVのカメラキャプチャーを用意する
  #        self.cap = cv2.VideoCapture(0)
          
          ## 2021.09.13
          #「forest path movie dataset」用のサンプルを利用する
          # 異常のサンプル 
  #        self.cap = cv2.VideoCapture('../sample/chapt03/chapt03-sample.mp4')
          # 正常/異常のサンプル
          self.cap = cv2.VideoCapture('../sample/chapt03/chapt03-sample-a.mp4')
  
          # 画像の表示場所を作成する
          self.image = Image.new('RGB',(320,240),(0,0,0))
          self.imgtk = ImageTk.PhotoImage(self.image)
          self.canvas = Canvas(self, width=320, height=240, bg='black')
          self.canvas.place(x=20,y=20)
          self.canvas.create_image(0,0,image=self.imgtk,anchor=NW,tag='i')
          # 認識結果の表示場所を作成する
          myfont = tkFont.Font(family="Noto Sans CJK JP", size=10, weight="bold")
          self.message = StringVar()
          self.message.set('')
          self.label = Label(self, textvariable=self.message, font=myfont, justify=tk.LEFT)
          self.label.place(x=360,y=20)
  
      def updateFrame(self):
          # OpenCVでカメラからキャプチャーする
          ret, frame = self.cap.read()
          # OpenCVのBGRをRGBにする
          frame = frame[:,:,::-1]
          # 画像を表示させる
          self.image = Image.fromarray(frame)
          self.imgtk = ImageTk.PhotoImage(self.image.resize((320,240)))
          self.canvas.itemconfigure(tagOrId='i', image=self.imgtk)
          # 0.1秒後に再び更新する
          self.after(100, self.updateFrame)
  
  # ニューラルネットワークを実行するスレッド
  def detect(frame):
      global IS_RUN
      n_pred = 0
      s_time = time()
      lpf_window = []  # ローパスフィルタのウィンドウ
      with torch.no_grad():
          # アプリケーションの実行中は無限ループ
          while IS_RUN:
              # キャプチャー速度に合わせて最大fpsを調整する
              a_time = time()
              # 現在のキャプチャ画像を取得してtensorにする
              tensor = trans(frame.image)
              # バッチサイズ＝1の形式にする
              batch_tensor = tensor.view(1,3,224,224)
              batch_tensor = batch_tensor.to(USE_DEVICE)
              # ニューラルネットワークを実行する
              batch_result = model(batch_tensor)
              # バッチ内から結果を取得する
              result = batch_result.detach().cpu()
              result = result[0].numpy()
              # メッセージを更新する
              if IS_RUN:
                  n_pred += 1
                  # 経過時間
                  fps = n_pred / (time() - s_time)
                  # 結果をローパスフィルタにかける
                  lpf_window.append(is_unnormal(result))
                  if len(lpf_window) > 40: # 40フレームのLPF
                      lpf_window.pop(0)
                  lpf = np.mean(lpf_window)
                  # 結果から表示メッセージを作成する
                  predict = '異常発生' if lpf>0.5 else '正常'
                  # 表示メッセージ
                  message = f'''認識結果：{predict}
                  \n認識実行回数 = {n_pred}
                  \n認識速度 = {fps} fps'''
                  # UI上に表示する
                  frame.message.set(message)
                  # 0.1秒以下だったらその分待つ
                  deltime = (time() - a_time)
                  if deltime < 0.1:
                      sleep(0.1-deltime)
  
  # 画面いっぱいにウィンドウを作成する
  win = Tk()
  win.geometry('800x360') # ウィンドウの大きさ
  frame = MyFrame(win, width=800, height=360) # フレーム
  frame.pack(side=TOP) # ウィンドウに配置
  win.after_idle(frame.updateFrame) # 起動後にupdateFrameを呼び出す
  
  detection = threading.Thread(target=detect, args=(frame,))
  detection.start()
  
  win.mainloop() # 処理を開始
  
  # スレッドの終了を待つ
  IS_RUN = False
  detection.join()

• プログラムの実行
  
  
  異常発生のサンプルファイル「chapt03-sample.mp4」と正常サンプル「chapt02-sample.mp4」をつないでテスト用動画「chapt03-sample-a.mp4」を作成し実行する。
  

  (py37) $ python3 chapt03_2a.py

• 必要であれば入力パラメータ変更で次の動画ファイルに対応できる。
  ・「../sample/chapt03/chapt03-sample-a.mp4」正常/異常サンプル動画
  ・「../sample/chapt03/chapt03-sample.mp4」異常発生サンプル動画
  ・「../sample/chapt02/chapt02-sample-a.mp4」正常サンプル動画
  ・「../sample/chapt02/chapt02-sample.mp4」正常サンプル動画（オリジナル）
  

異常検出プログラムを作り直す †

• 上記のプログラムが「tkinter」パッケージを利用したものなのでいつものやり方に作り直す。
  

  (py37) $ cd ~workspace_py37/chapter02/
  (py37) $ cp ../sample/chapt03/chapt03_2.py ./chapt03_2b.py
  (py37) $ vi chapt03_2b.py

• コマンドパラメータの一覧
  
  

  py37) mizutu@ubuntu-vbox:~/workspace_py37/chapter02$ python3 chapt03_2b.py -h
  
  --- Surveillance camera Abnormality monitoring ---
  4.5.2
  
  usage: chapt03_2b.py [-h] [-i IMAGE_FILE] [-l LANGUAGE] [-t TITLE] [-s SPEED]
                       [-o IMAGE_OUT]
  
  optional arguments:
    -h, --help            show this help message and exit
    -i IMAGE_FILE, --image IMAGE_FILE
                          default = ../sample/chapt03/chapt03-sample-a.mp4,
                          help = 'Absolute path to image file or cam for camera stream.')
    -l LANGUAGE, --language LANGUAGE
                          Language.(jp/en) Default value is 'jp'
    -t TITLE, --title TITLE
                          Program title flag.(y/n) Default value is 'y'
    -s SPEED, --speed SPEED
                          Speed display flag.(y/n) Default calue is 'y'
    -o IMAGE_OUT, --out IMAGE_OUT
                          Processed image file path. Default value is 'non'

• 正常/異常のサンプルファイルで実行
  
  

  (py37) $ python3 chapt03_2b.py 
  
  --- Surveillance camera Abnormality monitoring ---
  4.5.2
  
  Surveillance camera Abnormality monitoring: Starting application...
     - Image File   :  ../sample/chapt03/chapt03-sample-a.mp4
     - Language     :  jp
     - Program Title:  y
     - Speed flag   :  y
     - Processed out:  non
  [W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
  
  FPS average:       4.90
  
   Finished.

• ソースコード
  ▼「chapt03_2b.py」
  ▲「chapt03_2b.py」

  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 03 / Section 009
  ##       PyTorch による学習
  ##
  ##               2021.09.13 Masahiro Izutsu
  ##------------------------------------------
  ## chapt03_2b.py  (original: chapt03_2.py)
  
  # Color Escape Code
  GREEN = '\033[1;32m'
  RED = '\033[1;31m'
  NOCOLOR = '\033[0m'
  YELLOW = '\033[1;33m'
  
  # 定数定義
  WINDOW_WIDTH = 640
  BOX_COLOR_OK = (  0,255,   0)
  BOX_COLOR_ER = (  0,  0, 255)
  LABEL_BG_COLOR_OK = (  0, 180,   0)     # greyish green background for text
  LABEL_BG_COLOR_ER = (  0,   0, 240)     # greyish red background for text
  TEXT_COLOR = (255, 255, 255)            # white text
  INPUT_DEF = '../sample/chapt03/chapt03-sample-a.mp4'    # 正常/異常データ
  
  # import処理
  import sys
  import numpy as np
  from PIL import Image
  import cv2
  import argparse
  import myfunction
  import mylib
  
  import torch
  from torch import nn
  from torchvision import transforms, models
  from PIL import Image
  
  import json
  import scipy.stats
  
  # GPUを使うかどうか
  USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
  
  # 異常と判断するための区間
  SIGMA = 3 # 3σ=99.7%を正常とする
  
  # 保存しておいた平均値を読み込む
  with open('chapt03-normal.json') as f:
      jsonobj = json.loads(f.read())
      m = jsonobj['mean']  # 平均値
      std = jsonobj['std']  # 標準偏差
      m = np.array(m)
      h = np.array(std)*SIGMA
      dist_min, dist_max = m-h, m+h  # 各次元の正常範囲
  
  # 全ての次元でσ区間内にあるかどうかをチェックする関数
  def is_unnormal(dist):
      for d,mn,mx in zip(dist,dist_min,dist_max):
          if d < mn or d > mx:
              return 1 # どこかの次元でσ区間外
      return 0 # 全ての次元でσ区間内にある
  
  # 保存しておいたモデルを読み込む
  model = models.resnet50(pretrained=False)
  model.fc = nn.Linear(2048, 8)
  model.to(USE_DEVICE)
  model.load_state_dict(torch.load('chapt03-model1.pth', map_location=torch.device(USE_DEVICE)))
  # モデルを推論用に設定する
  model.eval()
  
  # 画像を正規化するtransformを用意しておく
  trans = transforms.Compose([
      transforms.Resize((224,224)),
      transforms.ToTensor(),
      transforms.Normalize(mean=[0.485, 0.456, 0.406],
                           std=[0.229, 0.224, 0.225])
  ])
  
  # タイトル・バージョン情報
  title = 'Surveillance camera Abnormality monitoring'
  print(GREEN)
  print('--- {} ---'.format(title))
  print(cv2.__version__)
  print(NOCOLOR)
  
  # Parses arguments for the application
  def parse_args():
      parser = argparse.ArgumentParser()
      parser.add_argument('-i', '--image', metavar = 'IMAGE_FILE', type=str,
              default = INPUT_DEF,
              help = 'Absolute path to image file or cam for camera stream.')
      parser.add_argument('-l', '--language', metavar = 'LANGUAGE',
              default = 'jp',
              help = 'Language.(jp/en) Default value is \'jp\'')
      parser.add_argument('-t', '--title', metavar = 'TITLE',
              default = 'y',
              help = 'Program title flag.(y/n) Default value is \'y\'')
      parser.add_argument('-s', '--speed', metavar = 'SPEED',
              default = 'y',
              help = 'Speed display flag.(y/n) Default calue is \'y\'')
      parser.add_argument('-o', '--out', metavar = 'IMAGE_OUT',
              default = 'non',
              help = 'Processed image file path. Default value is \'non\'')
      return parser
  
  # モデル基本情報の表示
  def display_info(image, lang, titleflg, speedflg, outpath):
      print(YELLOW + title + ': Starting application...' + NOCOLOR)
      print('   - ' + YELLOW + 'Image File   : ' + NOCOLOR, image)
      print('   - ' + YELLOW + 'Language     : ' + NOCOLOR, lang)
      print('   - ' + YELLOW + 'Program Title: ' + NOCOLOR, titleflg)
      print('   - ' + YELLOW + 'Speed flag   : ' + NOCOLOR, speedflg)
      print('   - ' + YELLOW + 'Processed out: ' + NOCOLOR, outpath)
  
  # 画像の種類を判別する
  #   戻り値: 'jeg''png'... 画像ファイル
  #           'None'        画像ファイル以外 (動画ファイル)
  #           'NotFound'    ファイルが存在しない
  import imghdr
  def is_pict(filename):
      try:
          imgtype = imghdr.what(filename)
      except FileNotFoundError as e:
          imgtype = 'NotFound'
      return str(imgtype)
  
  # ** main関数 **
  def main():
      # 日本語フォント指定
      fontPIL = 'NotoSansCJK-Bold.ttc'
  
      # Argument parsing and parameter setting
      ARGS = parse_args().parse_args()
      input_stream = ARGS.image
      lang = ARGS.language
      titleflg = ARGS.title
      speedflg = ARGS.speed
      if input_stream.lower() == "cam" or input_stream.lower() == "camera":
          input_stream = 0
          isstream = True
      else:
          filetype = is_pict(input_stream)
          isstream = filetype == 'None'
          if (filetype == 'NotFound'):
              print(RED + "\ninput file Not found." + NOCOLOR)
              quit()
      outpath = ARGS.out
      
      # 判定ラベル
      if (lang == 'jp'):
          label = ('正常...', '異常発生!!')
      else:
          label = ('Normal state..', 'Abnormal occurrence !!')
  
      # 情報表示
      display_info(input_stream, lang, titleflg, speedflg, outpath)
  
      # 入力準備
      if (isstream):
          # カメラ 
          cap = cv2.VideoCapture(input_stream)
          ret, frame = cap.read()
          loopflg = cap.isOpened()
      else:
          # 画像ファイル読み込み
          frame = cv2.imread(input_stream)
          if frame is None:
              print(RED + "\nUnable to read the input." + NOCOLOR)
              quit()
  
          # アスペクト比を固定してリサイズ
          img_h, img_w = frame.shape[:2]
          if (img_w > WINDOW_WIDTH):
              height = round(img_h * (WINDOW_WIDTH / img_w))
              frame = cv2.resize(frame, dsize = (WINDOW_WIDTH, height))
          loopflg = True   # 1回ループ
  
      # 処理結果の記録 step1
      if (outpath != 'non'):
          if (isstream):
              fps = int(cap.get(cv2.CAP_PROP_FPS))
              out_w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
              out_h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
              fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
              outvideo = cv2.VideoWriter(outpath, fourcc, fps, (out_w, out_h))
  
      # 計測値初期化
      fpsWithTick = mylib.fpsWithTick()
      frame_count = 0
      fps_total = 0
      fpsWithTick.get()                       # fps計測開始
  
      lpf_window = []                         # ローパスフィルタのウィンドウ
  
      # メインループ 
      while (loopflg):
          if frame is None:
              print(RED + "\nUnable to read the input." + NOCOLOR)
              quit()
  
          # 入力データフォーマットへ変換 
          frame_PIL = frame[:,:,::-1]         # OpenCV の BGRを RGBにする
          # 現在のキャプチャ画像を tensorにする
          image = Image.fromarray(frame_PIL)
  #        print(type(frame_PIL))
  #        print(type(image))
          tensor = trans(image)
          
          # バッチサイズ＝1の形式にする
          batch_tensor = tensor.view(1,3,224,224)
          batch_tensor = batch_tensor.to(USE_DEVICE)
  
          # ニューラルネットワークを実行する
          batch_result = model(batch_tensor)
          # バッチ内から結果を取得する
          result = batch_result.detach().cpu()
          result = result[0].numpy()
  
          # 結果をローパスフィルタにかける
          lpf_window.append(is_unnormal(result))
          if len(lpf_window) > 40:            # 40フレームのLPF
              lpf_window.pop(0)
          lpf = np.mean(lpf_window)
          # 結果から表示メッセージを作成する
          if lpf>0.5:                         # 異常発生
              box_color = BOX_COLOR_ER
              label_bgcolor = LABEL_BG_COLOR_ER
              out_str = label[1]
          else:                               # 正常
              box_color = BOX_COLOR_OK
              label_bgcolor = LABEL_BG_COLOR_OK
              out_str = label[0]
  
          out_str0 = 'frame: {:5d}  '.format(frame_count)
          cv2.rectangle(frame, (10, 58), (108, 75), (90, 90, 90), -1)
          cv2.putText(frame, out_str0, (15, 70), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.4, color=(255, 255, 255), lineType=cv2.LINE_AA)
  
          label_text_color = TEXT_COLOR
          cv2.rectangle(frame, (10, 88), (95, 105), label_bgcolor, -1)
          myfunction.cv2_putText(img = frame,
                                 text = out_str,
                                 org = (15, 104),
                                 fontFace = fontPIL,
                                 fontScale = 12,
                                 color = label_text_color,
                                 mode = 0)
          
          frame_count = frame_count + 1
          # FPSを計算する
          fps = fpsWithTick.get()
          st_fps = 'fps: {:>6.2f}'.format(fps)
          if (speedflg == 'y'):
              cv2.rectangle(frame, (10, 38), (95, 55), (90, 90, 90), -1)
              cv2.putText(frame, st_fps, (15, 50), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.4, color=(255, 255, 255), lineType=cv2.LINE_AA)
  
          # タイトル描画
          if (titleflg == 'y'):
              cv2.putText(frame, title, (12, 32), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.8, color=(0, 0, 0), lineType=cv2.LINE_AA)
              cv2.putText(frame, title, (10, 30), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.8, color=(200, 200, 0), lineType=cv2.LINE_AA)
  
          # 画像表示 
          window_name = title + "  (hit 'q' or 'esc' key to exit)"
          cv2.namedWindow(window_name, cv2.WINDOW_AUTOSIZE)
          cv2.imshow(window_name, frame)
  
          # 処理結果の記録 step2
          if (outpath != 'non'):
              if (isstream):
                  outvideo.write(frame)
              else:
                  cv2.imwrite(outpath, frame)
  
          # 何らかのキーが押されたら終了 
          breakflg = False
          while(True):
              key = cv2.waitKey(1)
              prop_val = cv2.getWindowProperty(window_name, cv2.WND_PROP_ASPECT_RATIO)
              if key == 27 or key == 113 or (prop_val < 0.0):     # 'esc' or 'q'
                  breakflg = True
                  break
              if (isstream):
                  break
  
          if ((breakflg == False) and isstream):
              # 次のフレームを読み出す
              ret, frame = cap.read()
              if ret == False:
                  break
              loopflg = cap.isOpened()
          else:
              loopflg = False
  
      # 終了処理 
      if (isstream):
          cap.release()
  
          # 処理結果の記録 step3
          if (outpath != 'non'):
              if (isstream):
                  outvideo.release()
  
      cv2.destroyAllWindows()
  
      print('\nFPS average: {:>10.2f}'.format(fpsWithTick.get_average()))
      print('\n Finished.')
  
  # main関数エントリーポイント(実行開始)
  if __name__ == "__main__":
      sys.exit(main())

更新履歴 †

• 2021/09/13 初版
• 2021/09/17 異常検出プログラム追加
• 2021/09/19 正常/異常サンプル動画対応
• 2021/10/01 ソース修正
   

参考資料 †

• AI 用語集
  
• 「PyTorchではじめるAI開発」C&R研究所
  
• forest-path-movie-dataset