PyTorch2a

最新の20件

私的AI研究会 > PyTorch2a

PyTorch ではじめる AI開発 2a †

　「Chapter2」の転移学習結果をonnx 経由で OpenVINO™ で実行してみる。

OpenVINO™ を利用する（ONNXモデルコンバート検証） †

　「定点カメラの映像を認識する OpenVINO™ を利用する」 で変換した学習モデルがうまく動作していなかったので原因を調査する。

Pytorch の学習済みモデルを ONNX フォーマットに変換 †

• 変換の妥当性を調べるために変換前後の結果を表示するプログラムを作成する。
  → 参考サイト：「PyTorchモデルのONNXへの変換とONNXランタイムでの実行」
  

• 変換メソッド
  

  torch_onnx.export(model, dummy_input, model_onnx_path, export_params=True, opset_version, verbose, input_names, output_names)

  引数	意味
  model	実行中のモデル
  input	モデルの入力値
  model_onnx_path	onnx 出力先のパス
  export_params	モデルファイルに訓練した重みを保存するかどうか(True/False)
  opset_version	ONNXのバージョン
  verbose	変換中の細かいログを吐く(True/False)
  input_names	モデルの入力値に関する表示名を指定
  output_names	モデルの出力値に関する表示名を指定

• 必要なパッケージのインストール
  
  ▼　(py37) $ conda install -c conda-forge onnx
  ▲　(py37) $ conda install -c conda-forge onnx

  (py37) $ conda install -c conda-forge onnx
  Collecting package metadata (current_repodata.json): done
  Solving environment: failed with initial frozen solve. Retrying with flexible solve.
  Solving environment: failed with repodata from current_repodata.json, will retry with next repodata source.
  Collecting package metadata (repodata.json): done
  Solving environment: done
  
  ## Package Plan ##
  
    environment location: /home/mizutu/anaconda3/envs/py37
  
    added / updated specs:
      - onnx
  
  
  The following packages will be downloaded:
  
      package                    |            build
      ---------------------------|-----------------
      onnx-1.10.1                |   py37h23e98fe_0         8.6 MB  conda-forge
      protobuf-3.16.0            |   py37hcd2ae1e_0         342 KB  conda-forge
      typing-extensions-3.10.0.2 |       hd8ed1ab_0           8 KB  conda-forge
      typing_extensions-3.10.0.2 |     pyha770c72_0          28 KB  conda-forge
      ------------------------------------------------------------
                                             Total:         9.0 MB
  
  The following NEW packages will be INSTALLED:
  
    onnx               conda-forge/linux-64::onnx-1.10.1-py37h23e98fe_0
    protobuf           conda-forge/linux-64::protobuf-3.16.0-py37hcd2ae1e_0
    typing-extensions  conda-forge/noarch::typing-extensions-3.10.0.2-hd8ed1ab_0
    typing_extensions  conda-forge/noarch::typing_extensions-3.10.0.2-pyha770c72_0
  
  The following packages will be SUPERSEDED by a higher-priority channel:
  
    ca-certificates    pkgs/main::ca-certificates-2021.7.5-h~ --> conda-forge::ca-certificates-2021.5.30-ha878542_0
    certifi            pkgs/main::certifi-2021.5.30-py37h06a~ --> conda-forge::certifi-2021.5.30-py37h89c1867_0
    openssl              pkgs/main::openssl-1.1.1l-h7f8727e_0 --> conda-forge::openssl-1.1.1l-h7f98852_0
  
  
  Proceed ([y]/n)? y
  
  
  Downloading and Extracting Packages
  typing-extensions-3. | 8 KB      | ##################################### | 100% 
  protobuf-3.16.0      | 342 KB    | ##################################### | 100% 
  typing_extensions-3. | 28 KB     | ##################################### | 100% 
  onnx-1.10.1          | 8.6 MB    | ##################################### | 100% 
  Preparing transaction: done
  Verifying transaction: done
  Executing transaction: done

  ▼　(py37) $ conda install -c conda-forge onnxruntime
  ▲　(py37) $ conda install -c conda-forge onnxruntime

  (py37) $ conda install -c conda-forge onnxruntime
  Collecting package metadata (current_repodata.json): done
  Solving environment: failed with initial frozen solve. Retrying with flexible solve.
  Solving environment: failed with repodata from current_repodata.json, will retry with next repodata source.
  Collecting package metadata (repodata.json): done
  Solving environment: done
  
  ## Package Plan ##
  
    environment location: /home/mizutu/anaconda3/envs/py37
  
    added / updated specs:
      - onnxruntime
  
  
  The following packages will be downloaded:
  
      package                    |            build
      ---------------------------|-----------------
      onnxruntime-1.7.2          |   py37h4aea7a8_5         4.1 MB  conda-forge
      re2-2021.09.01             |       h9c3ff4c_0         221 KB  conda-forge
      ------------------------------------------------------------
                                             Total:         4.3 MB
  
  The following NEW packages will be INSTALLED:
  
    onnxruntime        conda-forge/linux-64::onnxruntime-1.7.2-py37h4aea7a8_5
    re2                conda-forge/linux-64::re2-2021.09.01-h9c3ff4c_0
  
  
  Proceed ([y]/n)? y
  
  
  Downloading and Extracting Packages
  re2-2021.09.01       | 221 KB    | ##################################### | 100% 
  onnxruntime-1.7.2    | 4.1 MB    | ##################################### | 100% 
  Preparing transaction: done
  Verifying transaction: done
  Executing transaction: done

• ソースコード
  
  ▼「chapt02_3a.py」
  ▲「chapt02_3a.py」

  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 02 / onnx convert
  ##       onnx コンバート結果を検証する
  ##
  ##               2021.09.07 Masahiro Izutsu
  ##------------------------------------------
  ## chapt02_3a.py
  
  import numpy as np
  import torch
  from torch import nn
  from torchvision import transforms, models
  
  import torch.onnx as torch_onnx
  from torch.autograd import Variable
  
  # GPUを使うかどうか
  USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
  
  # 保存しておいたモデルを読み込む
  model = models.resnet50(pretrained=False)
  model.fc = nn.Linear(2048, 2)
  model.load_state_dict(torch.load('chapt02-model1.pth', map_location=torch.device(USE_DEVICE)))
  # モデルを推論用に設定する
  model.eval()
  
  # モデル出力のための設定
  model_onnx_path = "chapt02-model1.onnx"         # 出力するモデルのファイル名
  input_names = [ "input" ]                       # データを入力する際の名称
  output_names = [ "output" ]                     # 出力データを取り出す際の名称
  
  # ダミーインプットの作成
  input_shape = (3, 224, 224)                     # 入力データの形式
  batch_size = 1                                  # 入力データのバッチサイズ
  dummy_input = torch.randn(batch_size, *input_shape) # ダミーインプット生成
  
  torch_out = model(dummy_input)
  
  # 変換実行！！
  print('ONNX Convert start !!')
  output = torch_onnx.export(model,
              dummy_input,
              model_onnx_path,
              export_params=True,         # モデルファイルに訓練した重みを保存するかどうか
  #            opset_version=10,           # ONNXのバージョン
              verbose=False,
              input_names=input_names,
              output_names=output_names)
  
  print('Finish !!')
  
  import onnx
  
  onnx_model = onnx.load("chapt02-model1.onnx")
  onnx.checker.check_model(onnx_model)
  
  import onnxruntime
  
  ort_session = onnxruntime.InferenceSession("chapt02-model1.onnx")
  
  def to_numpy(tensor):
      return tensor.detach().cpu().numpy() if tensor.requires_grad else tensor.cpu().numpy()
  
  # ONNX Runtimeで推論
  ort_inputs = {ort_session.get_inputs()[0].name: to_numpy(dummy_input)}
  ort_outs = ort_session.run(None, ort_inputs)
  
  # ONNX Runtime と PyTorch の結果を比較
  np.testing.assert_allclose(to_numpy(torch_out), ort_outs[0], rtol=1e-03, atol=1e-05)
  
  print("Exported model has been tested with ONNXRuntime, and the result looks good!")
  
  print("---------- Inference results with PyTorch      ----------")
  print(to_numpy(torch_out))
  print("---------- Inference results with ONNX Runtime ----------")
  print(ort_outs[0])

• Pytorch -> ONNX 変換実行結果

  (py37) $ python3 chapt02_3a.py
  [W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
  ONNX Convert start !!
  Finish !!
  Exported model has been tested with ONNXRuntime, and the result looks good!
  ---------- Inference results with PyTorch      ----------
  [[-0.49670157  1.970253  ]]
  ---------- Inference results with ONNX Runtime ----------
  [[-0.49670076  1.9702525 ]]
  (py37) $ ls
  chapt02-model1.onnx  chapt02_1a.py  chapt02_3.py
  chapt02-model1.pth   chapt02_2a.py  chapt02_3a.py

  ・変換前後でほぼ同じ数値が得られる。
  ・onnx のバージョン指定が必要とのサイトもあるが指定なしでも大丈夫のよう。
  

ONNX フォーマットを IR フォーマットに変換 †

• モデルオプティマイザーを使用してモデルをコンバートする。
  → 参考サイト：PyTorchで学習したモデルをOpenVINO用に変換したら全然精度が出なかったときの対処法
  ・OpenVINO™のmodel optimizerで変換する際に、ベースのモデルに応じたパラメータを必ず指定する必要がある。
  ・特にreverse_input_channels、mean_values、scale_values を指定しない場合は全くもって変換できておらず、PyTorch上では90%以上の正答率だったモデルが変換後はでたらめな推論をするようになる。
  ・パラメータについてはよくわからない。詳しくは下記のサイト。
  → パラメータの参照先：
  

• 新しく端末を開いて OpenVINO™ 環境を選択する。
  

  [env_select.sh] Environment Select !!
    1: Nomal
    2: OpenVINO
    3: Anaconda
   Prease input '1-3' : 2
   ** OpenVINO environment select !! **
  
  [openvino_setup.sh] OpenVINO environment initialized
      :

• onnx モデルのコンバート
  

  $ cd ~/workspace_py37/chapter02/
  $ ls
  chapt02-model1.onnx  chapt02_1a.py  chapt02_3.py
  chapt02-model1.pth   chapt02_2a.py  chapt02_3a.py
  $ python3 /opt/intel/openvino_2021/deployment_tools/model_optimizer/mo.py --input_model chapt02-model1.onnx --mean_values=input[123.675,116.28,103.53] --scale_values=input[58.395,57.12,57.375] --reverse_input_channels
  Model Optimizer arguments:
  Common parameters:
      - Path to the Input Model:  /home/mizutu/workspace_py37/chapter02/chapt02-model1.onnx
      - Path for generated IR:    /home/mizutu/workspace_py37/chapter02/.
      - IR output name:   chapt02-model1
      - Log level:    ERROR
      - Batch:    Not specified, inherited from the model
      - Input layers:     Not specified, inherited from the model
      - Output layers:    Not specified, inherited from the model
      - Input shapes:     Not specified, inherited from the model
      - Mean values:  input[123.675,116.28,103.53]
      - Scale values:     input[58.395,57.12,57.375]
      - Scale factor:     Not specified
      - Precision of IR:  FP32
      - Enable fusing:    True
      - Enable grouped convolutions fusing:   True
      - Move mean values to preprocess section:   None
      - Reverse input channels:   True
  ONNX specific parameters:
      - Inference Engine found in:    /opt/intel/openvino_2021/python/python3.8/openvino
  Inference Engine version:   2021.4.0-3839-cd81789d294-releases/2021/4
  Model Optimizer version:    2021.4.0-3839-cd81789d294-releases/2021/4
  [ SUCCESS ] Generated IR version 10 model.
  [ SUCCESS ] XML file: /home/mizutu/workspace_py37/chapter02/chapt02-model1.xml
  [ SUCCESS ] BIN file: /home/mizutu/workspace_py37/chapter02/chapt02-model1.bin
  [ SUCCESS ] Total execution time: 15.76 seconds. 
  [ SUCCESS ] Memory consumed: 362 MB.

• テスト要の画像を用意する。
  
  
  
  　評価用の動画ファイル「~/workspace_py37/sample/chapt02/chapt02-sample.mp4」から、人物の写っているものといない画像を切り出してディレクトリ「~/workspace_py37/sample/chapt02/」に保存しておく。
  

• モデルテストプログラムの実行（仮想環境でも実行可）
  

  $ python3 chapt02_model_data.py
  
  --- OpenVINO™ Model Data Check ---
  4.5.3-openvino
  OpenVINO inference_engine: 2021.4.0-3839-cd81789d294-releases/2021/4
  
  OpenVINO™ Model Data Check: Starting application...
     - Model        :  ./chapt02-model1.xml
     - Device       :  CPU
     - Image file   :  ../sample/chapt02/chapt02-sample_off.jpg
  input blob: name='input', N=1, C=3, H=224, W=224
  
  >>> Inference execution...
  
   >>> output >>>
  Type     :  <class 'dict'>
  Length   :  1
  KeyList  :  ['output']
  ValueList:
   [array([[ 1.6031462, -0.7632908]], dtype=float32)]
  
   *** STER 1 ***
  {'output': array([[ 1.6031462, -0.7632908]], dtype=float32)}
  
   *** STER 2 ***
  [[ 1.6031462 -0.7632908]]
  
  Type     :  <class 'numpy.ndarray'>
  Shape    :  (1, 2)
  Dimension:  2
  
   *** STER 3 ***
  [ 1.6031462 -0.7632908]
  
  Type     :  <class 'numpy.ndarray'>
  Shape    :  (2,)
  Dimension:  1
  
   Finished.

• モデルテストプログラムのソースコード
  
  ▼「chapt02_model_data.py」
  ▲「chapt02_model_data.py」

  # -*- coding: utf-8 -*-
  ##--------------------------------------------
  ## OpenVINO™ 
  ##  Model Data Check Program
  ##               2021.02.10 Masahiro Izutsu
  ##--------------------------------------------
  ##  python3 model_check2.py <model pass>
  ##  2021.06.20
  ##--------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 02 / onnx convert
  ##       モデルファイル・チェックプログラム
  ##
  ##               2021.09.28 Masahiro Izutsu
  ##------------------------------------------
  ## chapt02_model_data.py
  
  # Color Escape Code
  GREEN = '\033[1;32m'
  RED = '\033[1;31m'
  NOCOLOR = '\033[0m'
  YELLOW = '\033[1;33m'
  
  # モジュール読み込み
  from openvino.inference_engine import IECore
  from openvino.inference_engine import get_version
  
  # import処理
  import sys
  import cv2
  import numpy as np
  import argparse
  from os.path import expanduser
  
  MODEL_DEF = expanduser('./chapt02-model1.xml')
  INPUT_DEF = expanduser('../sample/chapt02/chapt02-sample_off.jpg')
  
  # タイトル・バージョン情報
  title = 'OpenVINO™ Model Data Check'
  print(GREEN)
  print('--- {} ---'.format(title))
  print(cv2.__version__)
  print("OpenVINO inference_engine:", get_version())
  print(NOCOLOR)
  
  # Parses arguments for the application
  def parse_args():
      parser = argparse.ArgumentParser()
      parser.add_argument('-m', '--model', default = MODEL_DEF, type=str,
                          help = 'Required. Detector Path to an .xml file with a trained model.'
                          'Default value is '+MODEL_DEF)
      parser.add_argument('-d', '--device', default = 'CPU', type=str,
                          help = 'Optional. Specify a target device to infer on. CPU, GPU, FPGA, HDDL or MYRIAD is '
                                 'acceptable. The demo will look for a suitable plugin for the device specified. '
                                 'Default value is CPU')
      parser.add_argument('-i', '--image', metavar = 'IMAGE_FILE', default = INPUT_DEF, type=str,
                          help = 'Absolute path to image file or cam for camera stream.'
                          'Default value is '+INPUT_DEF)
      return parser
  
  # モデル基本情報の表示
  def display_info(model, device, image):
      print(YELLOW + title + ': Starting application...' + NOCOLOR)
      print('   - ' + YELLOW + 'Model        : ' + NOCOLOR, model)
      print('   - ' + YELLOW + 'Device       : ' + NOCOLOR, device)
      print('   - ' + YELLOW + 'Image file   : ' + NOCOLOR, image)
  
  def main():
      # Argument parsing and parameter setting
      ARGS = parse_args().parse_args()
      model=ARGS.model
      device = ARGS.device
      image = ARGS.image
  
      # 情報表示
      display_info(model, device, image)
  
      # Inference Engineコアオブジェクトの生成
      ie = IECore()
  
      # IRモデルファイルの読み込み
      net = ie.read_network(model=model, weights=model[:-4] + '.bin')
  
      # 入出力blobの名前の取得、入力blobのシェイプの取得
      input_key = list(net.input_info.keys())[0]         # 入力データ・キー名
      input_blob_name  = net.input_info[input_key].name
      output_blob_name = next(iter(net.outputs))
      batch,channel,height,width = net.input_info[input_blob_name].input_data.shape
      exec_net = ie.load_network(network=net, device_name=device, num_requests=1)
  
      print("input blob: name='{}', N={}, C={}, H={}, W={}".format(input_blob_name, batch, channel, height, width))
  
      # 入力画像読み込み
      img_face = cv2.imread(image)
  
      # 入力データフォーマットへ変換
      img = cv2.resize(img_face, (width, height))     # サイズ変更
      img = img.transpose((2, 0, 1))                  # HWC > CHW
      img = np.expand_dims(img, axis=0)               # 次元合せ
  
      # 推論実行
      print('\n>>> Inference execution...')
      out = exec_net.infer(inputs={input_blob_name: img})
  
      # 出力
      print('\n >>> output >>>')
      print('Type     : ', type(out))
      print('Length   : ', len(out))
      keys = out.keys()
      values = out.values()
      print('KeyList  : ', list(keys))
      print('ValueList:\n', list(values))
      
      print('\n *** STER 1 ***')
      print(out)
  
      # 出力から必要なデータのみ取り出し
      out = out[output_blob_name]
      print('\n *** STER 2 ***')
      print(out)
      print('\nType     : ', type(out))
      print('Shape    : ', out.shape)
      print('Dimension: ', out.ndim)
      out = np.squeeze(out)                            #不要な次元の削減
      print('\n *** STER 3 ***')
      print(out)
      print('\nType     : ', type(out))
      print('Shape    : ', out.shape)
      print('Dimension: ', out.ndim)
  
      print('\n Finished.')
  
  # main関数エントリーポイント(実行開始)
  if __name__ == "__main__":
      sys.exit(main())

OpenVINO™ で認識プログラムを実行（仮想環境でも実行可）~ †

• 認識用プログラムを実行する。
  

  $ python3 chapt02_4.py 
  
  --- Surveillance camera ---
  4.5.3-openvino
  OpenVINO inference_engine: 2021.4.0-3839-cd81789d294-releases/2021/4
  
  Surveillance camera: Starting application...
     - Image File   :  ../sample/chapt02/chapt02-sample-a.mp4
     - m_detect     :  chapt02-model1.xml
     - Device       :  CPU
     - Language     :  jp
     - Input Shape  :  input
     - Output Shape :  output
     - Program Title:  y
     - Speed flag   :  y
     - Processed out:  non
  
  FPS average:      23.40
  
   Finished.

  PyTorch(CPU) の動作の約 3倍の速度は出ているようだ。
  

• ソースコード
  
  ▼「chapt02_4.py」
  ▲「chapt02_4.py」

  # -*- coding: utf-8 -*-
  ##------------------------------------------
  ## 「PyTorch で始める AI開発」
  ##   Chapter 02 / on OpenVINO
  ##       PyTorch による学習
  ##
  ##               2021.09.07 Masahiro Izutsu
  ##------------------------------------------
  ## chapt02_4.py
  
  # Color Escape Code
  GREEN = '\033[1;32m'
  RED = '\033[1;31m'
  NOCOLOR = '\033[0m'
  YELLOW = '\033[1;33m'
  
  # 定数定義
  WINDOW_WIDTH = 640
  BOX_COLOR_OK = (  0,255,   0)
  BOX_COLOR_ER = (  0,  0, 255)
  LABEL_BG_COLOR_OK = (  0, 180,   0)     # greyish green background for text
  LABEL_BG_COLOR_ER = (  0,   0, 240)     # greyish red background for text
  TEXT_COLOR = (255, 255, 255)            # white text
  MODEL_DEF = 'chapt02-model1.xml'
  INPUT_DEF = '../sample/chapt02/chapt02-sample-a.mp4'
  
  # モジュール読み込み 
  from openvino.inference_engine import IECore
  from openvino.inference_engine import get_version
  
  # import処理
  import sys
  import cv2
  import numpy as np
  import argparse
  import myfunction
  import mylib
  
  # タイトル・バージョン情報
  title = 'Surveillance camera'
  print(GREEN)
  print('--- {} ---'.format(title))
  print(cv2.__version__)
  print("OpenVINO inference_engine:", get_version())
  print(NOCOLOR)
  
  
  # Parses arguments for the application
  def parse_args():
      parser = argparse.ArgumentParser()
      parser.add_argument('-i', '--image', metavar = 'IMAGE_FILE', type=str,
              default = INPUT_DEF,
              help = 'Absolute path to image file or cam for camera stream.')
      parser.add_argument('-m', '--m_detector', type=str,
              default = MODEL_DEF,
              help = 'Detector Path to an .xml file with a trained model.'
              'Default value is '+MODEL_DEF)
      parser.add_argument('-d', '--device', default = 'CPU', type=str,
              help = 'Optional. Specify a target device to infer on. CPU, GPU, FPGA, HDDL or MYRIAD is '
              'acceptable. The demo will look for a suitable plugin for the device specified. '
              'Default value is CPU')
      parser.add_argument('-l', '--language', metavar = 'LANGUAGE',
              default = 'jp',
              help = 'Language.(jp/en) Default value is \'jp\'')
      parser.add_argument('-t', '--title', metavar = 'TITLE',
              default = 'y',
              help = 'Program title flag.(y/n) Default value is \'y\'')
      parser.add_argument('-s', '--speed', metavar = 'SPEED',
              default = 'y',
              help = 'Speed display flag.(y/n) Default calue is \'y\'')
      parser.add_argument('-o', '--out', metavar = 'IMAGE_OUT',
              default = 'non',
              help = 'Processed image file path. Default value is \'non\'')
      return parser
  
  # モデル基本情報の表示
  def display_info(image, detector, device, lang, input_blob, out_blob, titleflg, speedflg, outpath):
      print(YELLOW + title + ': Starting application...' + NOCOLOR)
      print('   - ' + YELLOW + 'Image File   : ' + NOCOLOR, image)
      print('   - ' + YELLOW + 'm_detect     : ' + NOCOLOR, detector)
      print('   - ' + YELLOW + 'Device       : ' + NOCOLOR, device)
      print('   - ' + YELLOW + 'Language     : ' + NOCOLOR, lang)
      print('   - ' + YELLOW + 'Input Shape  : ' + NOCOLOR, input_blob)
      print('   - ' + YELLOW + 'Output Shape : ' + NOCOLOR, out_blob)
      print('   - ' + YELLOW + 'Program Title: ' + NOCOLOR, titleflg)
      print('   - ' + YELLOW + 'Speed flag   : ' + NOCOLOR, speedflg)
      print('   - ' + YELLOW + 'Processed out: ' + NOCOLOR, outpath)
  
  # 画像の種類を判別する
  #   戻り値: 'jeg''png'... 画像ファイル
  #           'None'        画像ファイル以外 (動画ファイル)
  #           'NotFound'    ファイルが存在しない
  import imghdr
  def is_pict(filename):
      try:
          imgtype = imghdr.what(filename)
      except FileNotFoundError as e:
          imgtype = 'NotFound'
      return str(imgtype)
  
  # ** main関数 **
  def main():
      # 日本語フォント指定
      fontPIL = 'NotoSansCJK-Bold.ttc'
  
      # Argument parsing and parameter setting
      ARGS = parse_args().parse_args()
      input_stream = ARGS.image
      lang = ARGS.language
      titleflg = ARGS.title
      speedflg = ARGS.speed
      if ARGS.image.lower() == "cam" or ARGS.image.lower() == "camera":
          input_stream = 0
          isstream = True
      else:
          filetype = is_pict(input_stream)
          isstream = filetype == 'None'
          if (filetype == 'NotFound'):
              print(RED + "\ninput file Not found." + NOCOLOR)
              quit()
      model_detector = ARGS.m_detector
      device = ARGS.device
      outpath = ARGS.out
      
      # 判定ラベル
      if (lang == 'jp'):
          label = ('誰もいない！', '歩行者あり!')
      else:
          label = ('Nobody is here !!!', 'There are pedestrians')
  
      # モデルの読み込み
      ie = IECore()
      net = ie.read_network(model = model_detector, weights = model_detector[:-4] + '.bin')
      exec_net = ie.load_network(network = net, device_name = device)
  
      # 入出力設定
      input_key = list(net.input_info.keys())[0]         # 入力データ・キー名
      input_blob_name  = net.input_info[input_key].name
      output_blob_name = next(iter(net.outputs))
      input_blob = net.input_info[input_blob_name].name
      out_blob = next(iter(net.outputs))
      n, c, h, w = net.input_info[input_blob].input_data.shape
  
      # 情報表示
      display_info(input_stream, model_detector, device, lang, input_blob, out_blob, titleflg, speedflg, outpath)
  
      # 入力準備
      if (isstream):
          # カメラ 
          cap = cv2.VideoCapture(input_stream)
          ret, frame = cap.read()
          loopflg = cap.isOpened()
      else:
          # 画像ファイル読み込み
          frame = cv2.imread(input_stream)
          if frame is None:
              print(RED + "\nUnable to read the input." + NOCOLOR)
              quit()
  
          # アスペクト比を固定してリサイズ
          img_h, img_w = frame.shape[:2]
          if (img_w > WINDOW_WIDTH):
              height = round(img_h * (WINDOW_WIDTH / img_w))
              frame = cv2.resize(frame, dsize = (WINDOW_WIDTH, height))
          loopflg = True   # 1回ループ
  
      # 処理結果の記録 step1
      if (outpath != 'non'):
          if (isstream):
              fps = int(cap.get(cv2.CAP_PROP_FPS))
              out_w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
              out_h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
              fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
              outvideo = cv2.VideoWriter(outpath, fourcc, fps, (out_w, out_h))
  
      # 計測値初期化
      fpsWithTick = mylib.fpsWithTick()
      frame_count = 0
      fps_total = 0
      fpsWithTick.get()                       # fps計測開始
  
      # メインループ 
      while (loopflg):
          if frame is None:
              print(RED + "\nUnable to read the input." + NOCOLOR)
              quit()
  
          # 入力データフォーマットへ変換 
          img = cv2.resize(frame, (w, h))     # サイズ変更 
          img = img.transpose((2, 0, 1))      # HWC > CHW 
          img = np.expand_dims(img, axis=0)   # 次元合せ 
  
          # 推論実行 
          out = exec_net.infer(inputs={input_blob_name: img})
  
          # 出力から必要なデータのみ取り出し 
          out = out[output_blob_name]
          out = np.squeeze(out) # サイズ1の次元を全て削除
  
          if out[0] > out[1]:
              box_color = BOX_COLOR_OK
              label_bgcolor = LABEL_BG_COLOR_OK
              out_str = label[0]
          else:
              box_color = BOX_COLOR_ER
              label_bgcolor = LABEL_BG_COLOR_ER
              out_str = label[1]
  
          s0 = 'frame: {:5d}  '.format(frame_count)
          s1 = 'out0: {: 02.5f}  '.format(out[0])
          s2 = 'out1: {: 02.5f}'.format(out[1])
          out_str0 = s0 + s1 + s2
          cv2.rectangle(frame, (10, 58), (330, 75), (90, 90, 90), -1)
          cv2.putText(frame, out_str0, (15, 70), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.4, color=(255, 255, 255), lineType=cv2.LINE_AA)
  
          label_text_color = TEXT_COLOR
          cv2.rectangle(frame, (10, 88), (95, 105), label_bgcolor, -1)
          myfunction.cv2_putText(img = frame,
                                 text = out_str,
                                 org = (15, 104),
                                 fontFace = fontPIL,
                                 fontScale = 12,
                                 color = label_text_color,
                                 mode = 0)
          
          frame_count = frame_count + 1
  
          # FPSを計算する
          fps = fpsWithTick.get()
          st_fps = 'fps: {:>6.2f}'.format(fps)
          if (speedflg == 'y'):
              cv2.rectangle(frame, (10, 38), (95, 55), (90, 90, 90), -1)
              cv2.putText(frame, st_fps, (15, 50), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.4, color=(255, 255, 255), lineType=cv2.LINE_AA)
  
          # タイトル描画
          if (titleflg == 'y'):
              cv2.putText(frame, title, (12, 32), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.8, color=(0, 0, 0), lineType=cv2.LINE_AA)
              cv2.putText(frame, title, (10, 30), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.8, color=(200, 200, 0), lineType=cv2.LINE_AA)
  
          # 画像表示 
          window_name = title + "  (hit 'q' or 'esc' key to exit)"
          cv2.namedWindow(window_name, cv2.WINDOW_AUTOSIZE)
          cv2.imshow(window_name, frame)
  
          # 処理結果の記録 step2
          if (outpath != 'non'):
              if (isstream):
                  outvideo.write(frame)
              else:
                  cv2.imwrite(outpath, frame)
  
          # 何らかのキーが押されたら終了 
          breakflg = False
          while(True):
              key = cv2.waitKey(1)
              prop_val = cv2.getWindowProperty(window_name, cv2.WND_PROP_ASPECT_RATIO)
              if key == 27 or key == 113 or (prop_val < 0.0):     # 'esc' or 'q'
                  breakflg = True
                  break
              if (isstream):
                  break
  
          if ((breakflg == False) and isstream):
              # 次のフレームを読み出す
              ret, frame = cap.read()
              if ret == False:
                  break
              loopflg = cap.isOpened()
          else:
              loopflg = False
  
      # 終了処理 
      if (isstream):
          cap.release()
  
          # 処理結果の記録 step3
          if (outpath != 'non'):
              if (isstream):
                  outvideo.release()
  
      cv2.destroyAllWindows()
  
      print('\nFPS average: {:>10.2f}'.format(fpsWithTick.get_average()))
      print('\n Finished.')
  
  # main関数エントリーポイント(実行開始)
  if __name__ == "__main__":
      sys.exit(main())

   

更新履歴 †

• 2021/10/01 初版

参考資料 †

• 「PyTorchモデルのONNXへの変換とONNXランタイムでの実行」
  
• PyTorchで学習したモデルをOpenVINO用に変換したら全然精度が出なかったときの対処法
  
• モデル変換パラメータ（resnet-50）
  

• 【Python】Pillow ↔ OpenCV 変換
  
• PyTorchとCaffe2でONNXを使ってみる
  
• PyTorchのモデルを別形式に変換する方法いろいろ（TorchScript, ONNX, TensorRT, CoreML, OpenVINO, Tensorflow, TFLite）
  
• PyTorchのモデルをOpenVINO用に変換する方法 #Granvalley
  
• 【備忘録】PyTorchのモデルをonnx形式を経由してOpenVINO用に変換する
  
• 「PyTorchモデルのONNXへの変換とONNXランタイムでの実行」
  

• 「PyTorchではじめるAI開発」C&R研究所