PyTorch4

PyTorch ではじめる AI開発 4 †

　「物体検出と学習済みモデル」一般的に公開データセットで学習された AIを使う。

PyTorch ではじめる AI開発 4
CHAPTER 04 物体検出と学習済みモデル
参考資料

※ 最終更新:2021/10/20　

↑

CHAPTER 04 物体検出と学習済みモデル †

　PyTorchで利用できる公開済みのモデルを流用して監視カメラアプリを作成する。

一般的な AIや機械学習モデルの学習と評価を行うために、学術的な文脈で収集されたデータセットやデータセットで学習済みの公開モデルが多数存在している。

AIの動作する条件を限定できてその条件が一般的に公開されているモデルの動作条件に含まれるのであれば、公開済みのモデルを流用して独自の学習することなしに実用的な AIを作成することができる。

PyTorch 用の学習済みモデルを取りまとめている TorchHub を利用して監視カメラアプリを作成する。

あらかじめ用意されたソースコードを利用して物体検出 AIを学習する手法を知る。

↑

SECTION-010 TorchHub とは †

PyTorch プロジェクトが実験的なモデルを含め実用レベルに達している学習済みモデルを、共通に利用できるように公開しているサイト。

TorchHub は PyTorch プロジェクトの一部で、https://pytorch.org/hub/ からアクセスできる。

TorchHub 上に公開されたモデルは、Pytorch プロジェクトがホスティングしているため突然に公開が中断したりするリスクなしに利用することができる。

↑

「物体検出」性能評価用のプログラムを作成 †

書籍サイトからダウンロードしたサンプルデータ「~/workspace_py37/sample」からファイルコピーする。
作業ディレクトリ「~workspace_py37/chapter04/」に「chapt04_1.py」を「chapt04_1a.py」としてコピーする。
```
(py37) $ mkdir ~/workspace_py37/chapter04
(py37) $ cd ~workspace_py37/chapter04/
(py37) $ cp ../sample/chapt04/chapt04_1.py ./chapt04_1a.py
```

データセットのディレクトリなどを編集する。

(py37) $ vi chapt04_1a.py 

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 04 / Section 010
##       PyTorch による学習
##
##               2021.09.14 Masahiro Izutsu
##------------------------------------------
## chapt04_1a.py  (original: chapt04_1.py)

import numpy as np
import pandas as pd
    :
# GPUを使うかどうか
USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
# データのあるディレクトリ
#dataset = 'forest-path-movie-dataset'
dataset = '../forest-path-movie-dataset/'      # 2021.09.14
    :

物体検出 AI を実行するコード
「Yolo V5」のモデルは画像ファイル名を与えるとファイルを読み込んで物体検出した結果を返す。

    :
    results = model([filename], size=640) # 640pixelで認識する
    bbox = results.xyxy[0].detach().cpu().numpy()
    pred = 0 # 人物を認識したかどうか
    for preds in bbox:
        type = int(preds[5]) # 0~3が位置、4が可能性、5がクラス
        if type == 0: # type=0が'preson'
            pred = 1 # 人物を認識した
            break
    :

ソースコード

▼「chapt04_1a.py」

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 04 / Section 010
##       PyTorch による学習
##
##               2021.09.14 Masahiro Izutsu
##------------------------------------------
## chapt04_1a.py  (original: chapt04_1.py)

import numpy as np
import pandas as pd
from tqdm import tqdm
from sklearn.metrics import classification_report

import torch

# GPUを使うかどうか
USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
# データのあるディレクトリ
#dataset = 'forest-path-movie-dataset'
dataset = '../forest-path-movie-dataset/'      # 2021.09.14

# TorchHubからモデルを読み込む
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)
model = model.autoshape()  # 画像フォーマットを自動判断するように設定
# モデルを推論用に設定する
model.eval()
model.to(USE_DEVICE)

# データセットを読み込む
df = pd.read_csv(dataset+'/all_file.csv')
df = df[df.when=='daytime'] # 昼間の画像のみ使う
y_true, y_pred = [], []
with torch.no_grad():
    for file, person in tqdm(zip(df.file,df.person), total=len(df)):
        filename = dataset+'/'+file # 認識する画像ファイル名
        results = model([filename], size=640) # 640pixelで認識する
        bbox = results.xyxy[0].detach().cpu().numpy()
        pred = 0 # 人物を認識したかどうか
        for preds in bbox:
            type = int(preds[5]) # 0~3が位置、4が可能性、5がクラス
            if type == 0: # type=0が'preson'
                pred = 1 # 人物を認識した
                break
        y_true.append(person) # 正しいタグ
        y_pred.append(pred) # 認識した、人物が写っているかどうかのタグ
print(classification_report(y_true, y_pred)) # 分類スコアを表示

↑

性能評価用プログラム †

プログラムの実行

(py37) $ python3 chapt04_1a.py 
Downloading: "https://github.com/ultralytics/yolov5/archive/master.zip" to /home/mizutu/.cache/torch/hub/master.zip
Traceback (most recent call last):
    :
ModuleNotFoundError: No module named 'seaborn'

エラー対応処置をする

性能評価用プログラムの実行

(py37) $ python3 chapt04_1a.py 
Downloading: "https://github.com/ultralytics/yolov5/archive/master.zip" to /home/mizutu/.cache/torch/hub/master.zip
Matplotlib is building the font cache; this may take a moment.
Downloading https://ultralytics.com/assets/Arial.ttf to /home/mizutu/.config/Ultralytics/Arial.ttf...
100%|████████████████████████████████████████| 755k/755k [00:00<00:00, 27.5MB/s]
YOLOv5 🚀 2021-9-14 torch 1.8.2+cpu CPU

Downloading https://github.com/ultralytics/yolov5/releases/download/v5.0/yolov5s.pt to /home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/yolov5s.pt...
100%|██████████████████████████████████████| 14.1M/14.1M [00:00<00:00, 32.3MB/s]

Fusing layers... 
Model Summary: 224 layers, 7266973 parameters, 0 gradients
Adding AutoShape... 
AutoShape already enabled, skipping... 
  0%|                                                  | 0/7352 [00:00<?, ?it/s][W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
100%|███████████████████████████████████████| 7352/7352 [24:54<00:00,  4.92it/s]
              precision    recall  f1-score   support

           0       0.75      0.95      0.84      2675
           1       0.97      0.82      0.89      4677

    accuracy                           0.87      7352
   macro avg       0.86      0.89      0.87      7352
weighted avg       0.89      0.87      0.87      7352

「Yolo V5」のモデルで検出されるモデルの一覧
→ PyTorch ではじめる AI開発 'YOLO V5'

↑

SECTION-011 物体検出 AIを使う †

↑

「物体検出」アプリケーションの作成 †

書籍サイトからダウンロードしたサンプルデータ「~/workspace_py37/sample」からファイルコピーする。
作業ディレクトリ「~workspace_py37/chapter04/」に「chapt04_2.py」を「chapt04_2a.py」としてコピーする。
```
(py37) $ cd ~workspace_py37/chapter04/
(py37) $ cp ../sample/chapt04/chapt04_2.py ./chapt04_2a.py
```

入力サンプル指定などを編集する。

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 04 / Section 011
##       PyTorch による学習
##
##               2021.09.14 Masahiro Izutsu
##------------------------------------------
## chapt04_2a.py  (original: chapt04_2.py)

import numpy as np
    :
    def __init__(self, parent, **params):
        Frame.__init__(self, parent, params)
#        # OpenCVのカメラキャプチャーを用意する
#        self.cap = cv2.VideoCapture(0)

        # 2021.09.14
        #「forest path movie dataset」用のサンプルを利用する
        self.cap = cv2.VideoCapture('../sample/chapt02/chapt02-sample-a.mp4')
    :

プログラムの実行

(py37) $ python3 chapt04_2a.py 
    :
    return self.conv(torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1))
RuntimeError: Sizes of tensors must match except in dimension 1. Got 2 and 1 in dimension 3 (The offending index is 2)

エラー対応処置をする

物体検出プログラムの実行

(py37) $ python3 chapt04_2a.py 
Using cache found in /home/mizutu/.cache/torch/hub/ultralytics_yolov5_master
YOLOv5 🚀 2021-9-16 torch 1.8.2+cpu CPU

Fusing layers... 
[W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
Model Summary: 224 layers, 7266973 parameters, 0 gradients
Adding AutoShape... 
AutoShape already enabled, skipping...

ソースコード

▼「chapt04_2a.py」

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 04 / Section 011
##       PyTorch による学習
##
##               2021.09.14 Masahiro Izutsu
##------------------------------------------
## chapt04_2a.py  (original: chapt04_2.py)

import numpy as np
from PIL import Image, ImageTk
import cv2
from time import time, sleep
from tkinter import Tk, NW, TOP, Frame, Canvas, Label, StringVar
import tkinter as tk
import tkinter.font as tkFont
import threading

import torch
from torch import nn
from torchvision import transforms, models

# GPUを使うかどうか
USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
# スレッドが実行中かどうか
IS_RUN_THREAD = False

# TorchHubからモデルを読み込む
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)
model = model.autoshape()  # 画像フォーマットを自動判断するように設定
# モデルを推論用に設定する
model.eval()
model.to(USE_DEVICE)

frame_count = 0

# Tkで表示するフレーム
class MyFrame(Frame):
    def __init__(self, parent, **params):
        Frame.__init__(self, parent, params)
#        # OpenCVのカメラキャプチャーを用意する
#        self.cap = cv2.VideoCapture(0)

        # 2021.09.14
        #「forest path movie dataset」用のサンプルを利用する
        self.cap = cv2.VideoCapture('../sample/chapt02/chapt02-sample-a.mp4')

        # 画像の表示場所を作成する
        self.image = Image.new('RGB',(320,240),(0,0,0))
        self.imgtk = ImageTk.PhotoImage(self.image)
        self.canvas = Canvas(self, width=320, height=240, bg='black')
        self.canvas.place(x=20,y=20)
        self.canvas.create_image(0,0,image=self.imgtk,anchor=NW,tag='i')
        # 認識結果の表示場所を作成する
        myfont = tkFont.Font(family="Noto Sans CJK JP", size=10, weight="bold")
        self.message = StringVar()
        self.message.set('')
        self.label = Label(self, textvariable=self.message, font=myfont, justify=tk.LEFT)
        self.label.place(x=360,y=20)

    def updateFrame(self):
        global IS_RUN_THREAD
        global frame_count
        # OpenCVでカメラからキャプチャーする
        ret, image = self.cap.read()
        if ret:
            if not IS_RUN_THREAD:
                detection = threading.Thread(target=detect, args=(self,image))
                IS_RUN_THREAD = True
                frame_count = frame_count + 1
                detection.start()
        # 0.1秒後に再び更新する
        self.after(100, self.updateFrame)


# ニューラルネットワークを実行するスレッド
def detect(frame, image):
    global IS_RUN_THREAD
    global frame_count
    with torch.no_grad():
        img_tensor = torch.tensor([image]).to(USE_DEVICE)
# 2021.0919
#        results = model(img_tensor, size=640)
        results = model(image, size=640)
        message = "" # 表示メッセージ
        bbox = results.xyxy[0].detach().cpu().numpy()
        for preds in bbox:
            pos1 = (int(preds[0]),int(preds[1]))
            pos2 = (int(preds[2]),int(preds[3]))
            prob = preds[4]
            type = int(preds[5])
            if type == 0: # type=0が'preson'
                # 画像に枠を描く
                image = cv2.rectangle(image, pos1, pos2, (0,0,192), 4)
                message += f'フレームカウント：{frame_count}\n\n座標：{pos1},{pos2} \n\n確率：{prob:.3f}\n'
        if message == "":
            message += f'フレームカウント：{frame_count}\n\n人はいない\n'

        # 画像を表示させる
        image = image[:,:,::-1] # OpenCVのBGRをRGBにする
        frame.image = Image.fromarray(image)
        frame.imgtk = ImageTk.PhotoImage(frame.image.resize((320,240)))
        frame.canvas.itemconfigure(tagOrId='i', image=frame.imgtk)
        # メッセージを表示させる
        frame.message.set(message)
    IS_RUN_THREAD = False # スレッドの実行を終わる

# 画面いっぱいにウィンドウを作成する
win = Tk()
win.geometry('800x360') # ウィンドウの大きさ
frame = MyFrame(win, width=800, height=360) # フレーム
frame.pack(side=TOP) # ウィンドウに配置
win.after_idle(frame.updateFrame) # 起動後にupdateFrameを呼び出す

win.mainloop() # 処理を開始

↑

性能評価用プログラムを作り直す †

上記のプログラムが「tkinter」パッケージを利用したものなのでいつものやり方に作り直す。

(py37) $ cd ~workspace_py37/chapter04/
(py37) $ cp ../sample/chapt04/chapt04_2a.py ./chapt04_2b.py
(py37) $ vi chapt04_2b.py

コマンドパラメータの一覧

(py37) $ python3 chapt04_2b.py -h
Using cache found in /home/mizutu/.cache/torch/hub/ultralytics_yolov5_master
YOLOv5 🚀 2021-9-16 torch 1.8.2+cpu CPU

Fusing layers... 
[W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
Model Summary: 224 layers, 7266973 parameters, 0 gradients
Adding AutoShape... 
AutoShape already enabled, skipping... 

--- Surveillance camera on YoloV5 ---
4.5.2

usage: chapt04_2b.py [-h] [-i IMAGE_FILE] [-l LANGUAGE] [-t TITLE] [-s SPEED]
                     [-o IMAGE_OUT]

optional arguments:
  -h, --help            show this help message and exit
  -i IMAGE_FILE, --image IMAGE_FILE
                        Absolute path to image file or cam for camera stream.
  -l LANGUAGE, --language LANGUAGE
                        Language.(jp/en) Default value is 'jp'
  -t TITLE, --title TITLE
                        Program title flag.(y/n) Default value is 'y'
  -s SPEED, --speed SPEED
                        Speed display flag.(y/n) Default calue is 'y'
  -o IMAGE_OUT, --out IMAGE_OUT
                        Processed image file path. Default value is 'non'

プログラムの実行

(py37) $ python3 chapt04_2b.py 
Using cache found in /home/mizutu/.cache/torch/hub/ultralytics_yolov5_master
YOLOv5 🚀 2021-9-16 torch 1.8.2+cpu CPU

Fusing layers... 
[W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
Model Summary: 224 layers, 7266973 parameters, 0 gradients
Adding AutoShape... 
AutoShape already enabled, skipping... 

--- Surveillance camera on YoloV5 ---
4.5.2

Surveillance camera on YoloV5: Starting application...
   - Image File   :  ../sample/chapt02/chapt02-sample-a.mp4
   - Language     :  jp
   - Program Title:  y
   - Speed flag   :  y
   - Processed out:  non

FPS average:       5.20

 Finished.

ソースコード

▼「chapt04_2b.py」

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 04 / Section 011
##       PyTorch による学習
##
##               2021.09.19 Masahiro Izutsu
##------------------------------------------
## chapt04_2b.py  (original: chapt04_2.py)

# Color Escape Code
GREEN = '\033[1;32m'
RED = '\033[1;31m'
NOCOLOR = '\033[0m'
YELLOW = '\033[1;33m'

# 定数定義
WINDOW_WIDTH = 640
BOX_COLOR_OK = (  0,255,   0)
BOX_COLOR_ER = (  0,  0, 255)
LABEL_BG_COLOR_OK = (  0, 180,   0)     # greyish green background for text
LABEL_BG_COLOR_ER = (  0,   0, 240)     # greyish red background for text
TEXT_COLOR = (255, 255, 255)            # white text
INPUT_DEF = '../sample/chapt02/chapt02-sample-a.mp4'
# import処理
import sys
import cv2
import numpy as np
import argparse
import myfunction
import mylib

import torch
from torch import nn
from torchvision import transforms, models
from PIL import Image

# GPUを使うかどうか
USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
# スレッドが実行中かどうか
IS_RUN_THREAD = False

# TorchHubからモデルを読み込む
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)
model = model.autoshape()  # 画像フォーマットを自動判断するように設定
# モデルを推論用に設定する
model.eval()
model.to(USE_DEVICE)

frame_count = 0

# タイトル・バージョン情報
title = 'Surveillance camera on YoloV5'
print(GREEN)
print('--- {} ---'.format(title))
print(cv2.__version__)
print(NOCOLOR)

# Parses arguments for the application
def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('-i', '--image', metavar = 'IMAGE_FILE', type=str,
            default = INPUT_DEF,
            help = 'Absolute path to image file or cam for camera stream.')
    parser.add_argument('-l', '--language', metavar = 'LANGUAGE',
            default = 'jp',
            help = 'Language.(jp/en) Default value is \'jp\'')
    parser.add_argument('-t', '--title', metavar = 'TITLE',
            default = 'y',
            help = 'Program title flag.(y/n) Default value is \'y\'')
    parser.add_argument('-s', '--speed', metavar = 'SPEED',
            default = 'y',
            help = 'Speed display flag.(y/n) Default calue is \'y\'')
    parser.add_argument('-o', '--out', metavar = 'IMAGE_OUT',
            default = 'non',
            help = 'Processed image file path. Default value is \'non\'')
    return parser

# モデル基本情報の表示
def display_info(image, lang, titleflg, speedflg, outpath):
    print(YELLOW + title + ': Starting application...' + NOCOLOR)
    print('   - ' + YELLOW + 'Image File   : ' + NOCOLOR, image)
    print('   - ' + YELLOW + 'Language     : ' + NOCOLOR, lang)
    print('   - ' + YELLOW + 'Program Title: ' + NOCOLOR, titleflg)
    print('   - ' + YELLOW + 'Speed flag   : ' + NOCOLOR, speedflg)
    print('   - ' + YELLOW + 'Processed out: ' + NOCOLOR, outpath)

# 画像の種類を判別する
#   戻り値: 'jeg''png'... 画像ファイル
#           'None'        画像ファイル以外 (動画ファイル)
#           'NotFound'    ファイルが存在しない
import imghdr
def is_pict(filename):
    try:
        imgtype = imghdr.what(filename)
    except FileNotFoundError as e:
        imgtype = 'NotFound'
    return str(imgtype)

# ** main関数 **
def main():
    # 日本語フォント指定
    fontPIL = 'NotoSansCJK-Bold.ttc'

    # Argument parsing and parameter setting
    ARGS = parse_args().parse_args()
    input_stream = ARGS.image
    lang = ARGS.language
    titleflg = ARGS.title
    speedflg = ARGS.speed
    if ARGS.image.lower() == "cam" or ARGS.image.lower() == "camera":
        input_stream = 0
        isstream = True
    else:
        filetype = is_pict(input_stream)
        isstream = filetype == 'None'
        if (filetype == 'NotFound'):
            print(RED + "\ninput file Not found." + NOCOLOR)
            quit()
    outpath = ARGS.out
    
    # 判定ラベル
    if (lang == 'jp'):
        label = ('誰もいない！', '歩行者あり!')
    else:
        label = ('Nobody is here !!!', 'There are pedestrians')

    # 情報表示
    display_info(input_stream, lang, titleflg, speedflg, outpath)

    # 入力準備
    if (isstream):
        # カメラ 
        cap = cv2.VideoCapture(input_stream)
        ret, frame = cap.read()
        loopflg = cap.isOpened()
    else:
        # 画像ファイル読み込み
        frame = cv2.imread(input_stream)
        if frame is None:
            print(RED + "\nUnable to read the input." + NOCOLOR)
            quit()

        # アスペクト比を固定してリサイズ
        img_h, img_w = frame.shape[:2]
        if (img_w > WINDOW_WIDTH):
            height = round(img_h * (WINDOW_WIDTH / img_w))
            frame = cv2.resize(frame, dsize = (WINDOW_WIDTH, height))
        loopflg = True   # 1回ループ

    # 処理結果の記録 step1
    if (outpath != 'non'):
        if (isstream):
            fps = int(cap.get(cv2.CAP_PROP_FPS))
            out_w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
            out_h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
            fourcc = cv2.VideoWriter_fourcc('m', 'p', '4', 'v')
            outvideo = cv2.VideoWriter(outpath, fourcc, fps, (out_w, out_h))

    # 計測値初期化
    fpsWithTick = mylib.fpsWithTick()
    frame_count = 0
    fps_total = 0
    fpsWithTick.get()                       # fps計測開始

    # メインループ 
    while (loopflg):
        if frame is None:
            print(RED + "\nUnable to read the input." + NOCOLOR)
            quit()

        # 入力データフォーマットへ変換 
#        img_tensor = torch.tensor([image]).to(USE_DEVICE)
#        results = model(img_tensor, size=640)

        # ニューラルネットワークを実行する
        results = model(frame, size=640)
        message = []                    # 表示メッセージ
        bbox = results.xyxy[0].detach().cpu().numpy()
        for preds in bbox:
            pos1 = (int(preds[0]),int(preds[1]))
            pos2 = (int(preds[2]),int(preds[3]))
            prob = preds[4]
            type = int(preds[5])
            if type == 0: # type=0が'preson'
                # 画像に枠を描く
                cv2.rectangle(frame, pos1, pos2, (0,0,192), 4)
                message.append('座標：{},{} 確率：{:.3f}'.format(pos1, pos2, prob))

        if len(message) == 0:
            box_color = BOX_COLOR_OK
            label_bgcolor = LABEL_BG_COLOR_OK
            out_str = label[0]
        else:
            box_color = BOX_COLOR_ER
            label_bgcolor = LABEL_BG_COLOR_ER
            out_str = label[1]

        label_text_color = TEXT_COLOR
        s0 = 'frame: {:5d}  '.format(frame_count)
        y0 = 104
        for s1 in message:
            out_str0 = s0 + s1
            cv2.rectangle(frame, (10, 88), (330, 105), (90, 90, 90), -1)
            myfunction.cv2_putText(img = frame,
                                   text = out_str0,
                                   org = (15, y0),
                                   fontFace = fontPIL,
                                   fontScale = 12,
                                   color = label_text_color,
                                   mode = 0)
            y0 = y0 + 20

        cv2.rectangle(frame, (10, 58), (95, 75), label_bgcolor, -1)
        myfunction.cv2_putText(img = frame,
                               text = out_str,
                               org = (15, 74),
                               fontFace = fontPIL,
                               fontScale = 12,
                               color = label_text_color,
                               mode = 0)
        
        frame_count = frame_count + 1
        # FPSを計算する
        fps = fpsWithTick.get()
        st_fps = 'fps: {:>6.2f}'.format(fps)
        if (speedflg == 'y'):
            cv2.rectangle(frame, (10, 38), (95, 55), (90, 90, 90), -1)
            cv2.putText(frame, st_fps, (15, 50), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.4, color=(255, 255, 255), lineType=cv2.LINE_AA)

        # タイトル描画
        if (titleflg == 'y'):
            cv2.putText(frame, title, (12, 32), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.8, color=(0, 0, 0), lineType=cv2.LINE_AA)
            cv2.putText(frame, title, (10, 30), cv2.FONT_HERSHEY_DUPLEX, fontScale=0.8, color=(200, 200, 0), lineType=cv2.LINE_AA)

        # 画像表示 
        window_name = title + "  (hit 'q' or 'esc' key to exit)"
        cv2.namedWindow(window_name, cv2.WINDOW_AUTOSIZE)
        cv2.imshow(window_name, frame)

        # 処理結果の記録 step2
        if (outpath != 'non'):
            if (isstream):
                outvideo.write(frame)
            else:
                cv2.imwrite(outpath, frame)

        # 何らかのキーが押されたら終了 
        breakflg = False
        while(True):
            key = cv2.waitKey(1)
            prop_val = cv2.getWindowProperty(window_name, cv2.WND_PROP_ASPECT_RATIO)
            if key == 27 or key == 113 or (prop_val < 0.0):     # 'esc' or 'q'
                breakflg = True
                break
            if (isstream):
                break

        if ((breakflg == False) and isstream):
            # 次のフレームを読み出す
            ret, frame = cap.read()
            if ret == False:
                break
            loopflg = cap.isOpened()
        else:
            loopflg = False

    # 終了処理 
    if (isstream):
        cap.release()

        # 処理結果の記録 step3
        if (outpath != 'non'):
            if (isstream):
                outvideo.release()

    cv2.destroyAllWindows()

    print('\nFPS average: {:>10.2f}'.format(fpsWithTick.get_average()))
    print('\n Finished.')

# main関数エントリーポイント(実行開始)
if __name__ == "__main__":
    sys.exit(main())

↑

SECTION-012 物体検出 AIの学習 †

↑

YOLO v5 のソースコードを入手 †

「git」が入っていなければインストール

▼　(py37) $ conda install git

(py37) $ conda install git
Collecting package metadata (current_repodata.json): done
Solving environment: done

## Package Plan ##

  environment location: /home/mizutu/anaconda3/envs/py37

  added / updated specs:
    - git


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    curl-7.78.0                |       h1ccaba5_0          94 KB
    git-2.32.0                 | pl5262hc120c5b_1         5.9 MB
    openssl-1.1.1l             |       h7f8727e_0         2.5 MB
    pcre2-10.35                |       h14c3975_1         487 KB
    perl-5.26.2                |       h14c3975_0        10.5 MB
    ------------------------------------------------------------
                                           Total:        19.4 MB

The following NEW packages will be INSTALLED:

  curl               pkgs/main/linux-64::curl-7.78.0-h1ccaba5_0
  git                pkgs/main/linux-64::git-2.32.0-pl5262hc120c5b_1
  pcre2              pkgs/main/linux-64::pcre2-10.35-h14c3975_1
  perl               pkgs/main/linux-64::perl-5.26.2-h14c3975_0

The following packages will be UPDATED:

  ca-certificates    conda-forge::ca-certificates-2021.5.3~ --> pkgs/main::ca-certificates-2021.7.5-h06a4308_1

The following packages will be SUPERSEDED by a higher-priority channel:

  certifi            conda-forge::certifi-2021.5.30-py37h8~ --> pkgs/main::certifi-2021.5.30-py37h06a4308_0
  openssl            conda-forge::openssl-1.1.1l-h7f98852_0 --> pkgs/main::openssl-1.1.1l-h7f8727e_0


Proceed ([y]/n)? y


Downloading and Extracting Packages
git-2.32.0           | 5.9 MB    | ##################################### | 100% 
perl-5.26.2          | 10.5 MB   | ##################################### | 100% 
curl-7.78.0          | 94 KB     | ##################################### | 100% 
pcre2-10.35          | 487 KB    | ##################################### | 100% 
openssl-1.1.1l       | 2.5 MB    | ##################################### | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done

GitHub から「YoloV5」をダウンロード

(py37) $ git clone https://github.com/ultralytics/yolov5.git
Cloning into 'yolov5'...
remote: Enumerating objects: 9335, done.
remote: Counting objects: 100% (26/26), done.
remote: Compressing objects: 100% (20/20), done.
remote: Total 9335 (delta 12), reused 13 (delta 6), pack-reused 9309
Receiving objects: 100% (9335/9335), 9.73 MiB | 20.76 MiB/s, done.
Resolving deltas: 100% (6485/6485), done.

パッケージリスト記載ファイル「requirements.txt」を編集
パッケージの競合が起きるので「opencv」をコメントアウト（後述）

(py37) $ cd yolov5
(py37) $ vi requirements.txt

# pip install -r requirements.txt

# Base ----------------------------------------
matplotlib>=3.2.2
numpy>=1.18.5
#opencv-python>=4.1.2
Pillow>=8.0.0
PyYAML>=5.3.1
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.41.0
    :

「YOLO v5」インストール

▼　(py37) $ pip install -r requirements.txt

(py37) $ pip install -r requirements.txt
Requirement already satisfied: matplotlib>=3.2.2 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 4)) (3.4.3)
Requirement already satisfied: numpy>=1.18.5 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 5)) (1.21.2)
Collecting opencv-python>=4.1.2
  Downloading opencv_python-4.5.3.56-cp37-cp37m-manylinux2014_x86_64.whl (49.9 MB)
     |████████████████████████████████| 49.9 MB 25 kB/s 
Requirement already satisfied: Pillow>=8.0.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 7)) (8.3.1)
Requirement already satisfied: PyYAML>=5.3.1 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 8)) (5.4.1)
Requirement already satisfied: scipy>=1.4.1 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 9)) (1.7.1)
Requirement already satisfied: torch>=1.7.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 10)) (1.8.2+cpu)
Requirement already satisfied: torchvision>=0.8.1 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 11)) (0.9.2+cpu)
Requirement already satisfied: tqdm>=4.41.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 12)) (4.62.1)
Collecting tensorboard>=2.4.1
  Downloading tensorboard-2.6.0-py3-none-any.whl (5.6 MB)
     |████████████████████████████████| 5.6 MB 29.6 MB/s 
Requirement already satisfied: seaborn>=0.11.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 19)) (0.11.2)
Requirement already satisfied: pandas in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from -r requirements.txt (line 20)) (1.3.1)
Collecting thop
  Downloading thop-0.0.31.post2005241907-py3-none-any.whl (8.7 kB)
Requirement already satisfied: python-dateutil>=2.7 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from matplotlib>=3.2.2->-r requirements.txt (line 4)) (2.8.2)
Requirement already satisfied: kiwisolver>=1.0.1 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from matplotlib>=3.2.2->-r requirements.txt (line 4)) (1.3.2)
Requirement already satisfied: cycler>=0.10 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from matplotlib>=3.2.2->-r requirements.txt (line 4)) (0.10.0)
Requirement already satisfied: pyparsing>=2.2.1 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from matplotlib>=3.2.2->-r requirements.txt (line 4)) (2.4.7)
Requirement already satisfied: pytz>=2017.3 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from pandas->-r requirements.txt (line 20)) (2021.1)
Requirement already satisfied: requests<3,>=2.21.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from tensorboard>=2.4.1->-r requirements.txt (line 15)) (2.26.0)
Collecting google-auth<2,>=1.6.3
  Downloading google_auth-1.35.0-py2.py3-none-any.whl (152 kB)
     |████████████████████████████████| 152 kB 49.1 MB/s 
Collecting markdown>=2.6.8
  Downloading Markdown-3.3.4-py3-none-any.whl (97 kB)
     |████████████████████████████████| 97 kB 6.7 MB/s 
Collecting absl-py>=0.4
  Downloading absl_py-0.13.0-py3-none-any.whl (132 kB)
     |████████████████████████████████| 132 kB 54.3 MB/s 
Requirement already satisfied: wheel>=0.26 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from tensorboard>=2.4.1->-r requirements.txt (line 15)) (0.37.0)
Collecting werkzeug>=0.11.15
  Downloading Werkzeug-2.0.1-py3-none-any.whl (288 kB)
     |████████████████████████████████| 288 kB 47.3 MB/s 
Collecting tensorboard-plugin-wit>=1.6.0
  Downloading tensorboard_plugin_wit-1.8.0-py3-none-any.whl (781 kB)
     |████████████████████████████████| 781 kB 27.0 MB/s 
Collecting grpcio>=1.24.3
  Downloading grpcio-1.40.0-cp37-cp37m-manylinux2014_x86_64.whl (4.3 MB)
     |████████████████████████████████| 4.3 MB 44.7 MB/s 
Requirement already satisfied: setuptools>=41.0.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from tensorboard>=2.4.1->-r requirements.txt (line 15)) (52.0.0.post20210125)
Collecting protobuf>=3.6.0
  Downloading protobuf-3.18.0-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (1.1 MB)
     |████████████████████████████████| 1.1 MB 20.7 MB/s 
Collecting google-auth-oauthlib<0.5,>=0.4.1
  Downloading google_auth_oauthlib-0.4.6-py2.py3-none-any.whl (18 kB)
Collecting tensorboard-data-server<0.7.0,>=0.6.0
  Downloading tensorboard_data_server-0.6.1-py3-none-manylinux2010_x86_64.whl (4.9 MB)
     |████████████████████████████████| 4.9 MB 23.6 MB/s 
Requirement already satisfied: typing-extensions in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from torch>=1.7.0->-r requirements.txt (line 10)) (3.10.0.0)
Requirement already satisfied: six in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from absl-py>=0.4->tensorboard>=2.4.1->-r requirements.txt (line 15)) (1.16.0)
Collecting rsa<5,>=3.1.4
  Downloading rsa-4.7.2-py3-none-any.whl (34 kB)
Collecting pyasn1-modules>=0.2.1
  Downloading pyasn1_modules-0.2.8-py2.py3-none-any.whl (155 kB)
     |████████████████████████████████| 155 kB 17.5 MB/s 
Collecting cachetools<5.0,>=2.0.0
  Downloading cachetools-4.2.2-py3-none-any.whl (11 kB)
Collecting requests-oauthlib>=0.7.0
  Downloading requests_oauthlib-1.3.0-py2.py3-none-any.whl (23 kB)
Collecting importlib-metadata
  Downloading importlib_metadata-4.8.1-py3-none-any.whl (17 kB)
Collecting pyasn1<0.5.0,>=0.4.6
  Downloading pyasn1-0.4.8-py2.py3-none-any.whl (77 kB)
     |████████████████████████████████| 77 kB 7.4 MB/s 
Requirement already satisfied: urllib3<1.27,>=1.21.1 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from requests<3,>=2.21.0->tensorboard>=2.4.1->-r requirements.txt (line 15)) (1.26.6)
Requirement already satisfied: certifi>=2017.4.17 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from requests<3,>=2.21.0->tensorboard>=2.4.1->-r requirements.txt (line 15)) (2021.5.30)
Requirement already satisfied: idna<4,>=2.5 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from requests<3,>=2.21.0->tensorboard>=2.4.1->-r requirements.txt (line 15)) (3.2)
Requirement already satisfied: charset-normalizer~=2.0.0 in /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages (from requests<3,>=2.21.0->tensorboard>=2.4.1->-r requirements.txt (line 15)) (2.0.4)
Collecting oauthlib>=3.0.0
  Downloading oauthlib-3.1.1-py2.py3-none-any.whl (146 kB)
     |████████████████████████████████| 146 kB 18.0 MB/s 
Collecting zipp>=0.5
  Downloading zipp-3.5.0-py3-none-any.whl (5.7 kB)
Installing collected packages: pyasn1, zipp, rsa, pyasn1-modules, oauthlib, cachetools, requests-oauthlib, importlib-metadata, google-auth, werkzeug, tensorboard-plugin-wit, tensorboard-data-server, protobuf, markdown, grpcio, google-auth-oauthlib, absl-py, thop, tensorboard, opencv-python
Successfully installed absl-py-0.13.0 cachetools-4.2.2 google-auth-1.35.0 google-auth-oauthlib-0.4.6 grpcio-1.40.0 importlib-metadata-4.8.1 markdown-3.3.4 oauthlib-3.1.1 opencv-python-4.5.3.56 protobuf-3.18.0 pyasn1-0.4.8 pyasn1-modules-0.2.8 requests-oauthlib-1.3.0 rsa-4.7.2 tensorboard-2.6.0 tensorboard-data-server-0.6.1 tensorboard-plugin-wit-1.8.0 thop-0.0.31.post2005241907 werkzeug-2.0.1 zipp-3.5.0

↑

YOLO v5 付属の物体検出プログラム実行 †

「Webカメラ」で「YOLO V5」を実行する

(py37) $ cd ~/workspace_py37/chapter04/yolov5/ 
(py37) $ python3 detect.py --source 0
detect: weights=yolov5s.pt, source=0, imgsz=[640, 640], conf_thres=0.25, iou_thres=0.45, max_det=1000, device=, view_img=False, save_txt=False, save_conf=False, save_crop=False, nosave=False, classes=None, agnostic_nms=False, augment=False, visualize=False, update=False, project=runs/detect, name=exp, exist_ok=False, line_thickness=3, hide_labels=False, hide_conf=False, half=False
YOLOv5 🚀 v5.0-430-gaa18599 torch 1.8.2+cpu CPU

Fusing layers... 
[W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
Model Summary: 224 layers, 7266973 parameters, 0 gradients
QObject::moveToThread: Current thread (0x558a25f1c120) is not the object's thread (0x558a24532080).
Cannot move to target thread (0x558a25f1c120)
    :

コマンドパラメータ

▼　(py37) $ python3 detect.py --help

(py37) $ python3 detect.py --help
usage: detect.py [-h] [--weights WEIGHTS [WEIGHTS ...]] [--source SOURCE]
                 [--imgsz IMGSZ [IMGSZ ...]] [--conf-thres CONF_THRES]
                 [--iou-thres IOU_THRES] [--max-det MAX_DET] [--device DEVICE]
                 [--view-img] [--save-txt] [--save-conf] [--save-crop]
                 [--nosave] [--classes CLASSES [CLASSES ...]] [--agnostic-nms]
                 [--augment] [--visualize] [--update] [--project PROJECT]
                 [--name NAME] [--exist-ok] [--line-thickness LINE_THICKNESS]
                 [--hide-labels] [--hide-conf] [--half]

optional arguments:
  -h, --help            show this help message and exit
  --weights WEIGHTS [WEIGHTS ...]
                        model path(s)
  --source SOURCE       file/dir/URL/glob, 0 for webcam
  --imgsz IMGSZ [IMGSZ ...], --img IMGSZ [IMGSZ ...], --img-size IMGSZ [IMGSZ ...]
                        inference size h,w
  --conf-thres CONF_THRES
                        confidence threshold
  --iou-thres IOU_THRES
                        NMS IoU threshold
  --max-det MAX_DET     maximum detections per image
  --device DEVICE       cuda device, i.e. 0 or 0,1,2,3 or cpu
  --view-img            show results
  --save-txt            save results to *.txt
  --save-conf           save confidences in --save-txt labels
  --save-crop           save cropped prediction boxes
  --nosave              do not save images/videos
  --classes CLASSES [CLASSES ...]
                        filter by class: --class 0, or --class 0 2 3
  --agnostic-nms        class-agnostic NMS
  --augment             augmented inference
  --visualize           visualize features
  --update              update all models
  --project PROJECT     save results to project/name
  --name NAME           save results to project/name
  --exist-ok            existing project/name ok, do not increment
  --line-thickness LINE_THICKNESS
                        bounding box thickness (pixels)
  --hide-labels         hide labels
  --hide-conf           hide confidences
  --half                use FP16 half-precision inference

入力ソースの指定

$ python detect.py --source 0　　　　　　　　　　　　　　　 # Webカメラ
　　　　　　　　　　　　　　file.jpg　　　　　　　　　　　　# イメージ
　　　　　　　　　　　　　　file.mp4　　　　　　　　　　　　# ビデオ
　　　　　　　　　　　　　　path/　　　　　　　　　　　　　 # フォルダ
　　　　　　　　　　　　　　path/*.jpg　　　　　　　　　　　# glob
　　　　　　　　　　　　　　'https://youtu.be/NUsoVlDFqZg'　# YouTube
　　　　　　　　　　　　　　'http://example.com/media.mp4'　# httpストリーム

↑

YOLO v5 で学習 †

作成した「testdata/」「testdata.yaml」を「yolov5/」ディレクトリにコピーする。

(py37) $ cp -r ~/workspace_py37/sample/chapt04/testdata ./
(py37) $ cp ~/workspace_py37/sample/chapt04/testdata.yaml ./
(py37) $ ls
CONTRIBUTING.md  data        models            train.py
Dockerfile       detect.py   requirements.txt  tutorial.ipynb
LICENSE          export.py   testdata          utils
README.md        hubconf.py  testdata.yaml     val.py

学習させる。

(py37) $ python train.py --img 640 --batch 1 --epochs 20 --data testdata.yaml --weights yolov5s.pt
    :

▼　学習ログ

(py37) $ python train.py --img 640 --batch 1 --epochs 20 --data testdata.yaml --weights yolov5s.pt
train: weights=yolov5s.pt, cfg=, data=testdata.yaml, hyp=data/hyps/hyp.scratch.yaml, epochs=20, batch_size=1, imgsz=640, rect=False, resume=False, nosave=False, noval=False, noautoanchor=False, evolve=None, bucket=, cache=None, image_weights=False, device=, multi_scale=False, single_cls=False, adam=False, sync_bn=False, workers=8, project=runs/train, entity=None, name=exp, exist_ok=False, quad=False, linear_lr=False, label_smoothing=0.0, upload_dataset=False, bbox_interval=-1, save_period=-1, artifact_alias=latest, local_rank=-1, freeze=0, patience=100
github: up to date with https://github.com/ultralytics/yolov5 ✅
YOLOv5 🚀 v5.0-433-g621b6d5 torch 1.8.2+cpu CPU

hyperparameters: lr0=0.01, lrf=0.2, momentum=0.937, weight_decay=0.0005, warmup_epochs=3.0, warmup_momentum=0.8, warmup_bias_lr=0.1, box=0.05, cls=0.5, cls_pw=1.0, obj=1.0, obj_pw=1.0, iou_t=0.2, anchor_t=4.0, fl_gamma=0.0, hsv_h=0.015, hsv_s=0.7, hsv_v=0.4, degrees=0.0, translate=0.1, scale=0.5, shear=0.0, perspective=0.0, flipud=0.0, fliplr=0.5, mosaic=1.0, mixup=0.0, copy_paste=0.0
Weights & Biases: run 'pip install wandb' to automatically track and visualize YOLOv5 🚀 runs (RECOMMENDED)
TensorBoard: Start with 'tensorboard --logdir runs/train', view at http://localhost:6006/
Downloading https://github.com/ultralytics/yolov5/releases/download/v5.0/yolov5s.pt to yolov5s.pt...
100%|██████████████████████████████████████| 14.1M/14.1M [00:00<00:00, 16.5MB/s]

Overriding model.yaml nc=80 with nc=1

                 from  n    params  module                                  arguments                     
  0                -1  1      3520  models.common.Focus                     [3, 32, 3]                    
  1                -1  1     18560  models.common.Conv                      [32, 64, 3, 2]                
  2                -1  1     18816  models.common.C3                        [64, 64, 1]                   
  3                -1  1     73984  models.common.Conv                      [64, 128, 3, 2]               
  4                -1  3    156928  models.common.C3                        [128, 128, 3]                 
  5                -1  1    295424  models.common.Conv                      [128, 256, 3, 2]              
  6                -1  3    625152  models.common.C3                        [256, 256, 3]                 
  7                -1  1   1180672  models.common.Conv                      [256, 512, 3, 2]              
  8                -1  1    656896  models.common.SPP                       [512, 512, [5, 9, 13]]        
  9                -1  1   1182720  models.common.C3                        [512, 512, 1, False]          
 10                -1  1    131584  models.common.Conv                      [512, 256, 1, 1]              
 11                -1  1         0  torch.nn.modules.upsampling.Upsample    [None, 2, 'nearest']          
 12           [-1, 6]  1         0  models.common.Concat                    [1]                           
 13                -1  1    361984  models.common.C3                        [512, 256, 1, False]          
 14                -1  1     33024  models.common.Conv                      [256, 128, 1, 1]              
 15                -1  1         0  torch.nn.modules.upsampling.Upsample    [None, 2, 'nearest']          
 16           [-1, 4]  1         0  models.common.Concat                    [1]                           
 17                -1  1     90880  models.common.C3                        [256, 128, 1, False]          
 18                -1  1    147712  models.common.Conv                      [128, 128, 3, 2]              
 19          [-1, 14]  1         0  models.common.Concat                    [1]                           
 20                -1  1    296448  models.common.C3                        [256, 256, 1, False]          
 21                -1  1    590336  models.common.Conv                      [256, 256, 3, 2]              
 22          [-1, 10]  1         0  models.common.Concat                    [1]                           
 23                -1  1   1182720  models.common.C3                        [512, 512, 1, False]          
 24      [17, 20, 23]  1     16182  models.yolo.Detect                      [1, [[10, 13, 16, 30, 33, 23], [30, 61, 62, 45, 59, 119], [116, 90, 156, 198, 373, 326]], [128, 256, 512]]
[W NNPACK.cpp:80] Could not initialize NNPACK! Reason: Unsupported hardware.
Model Summary: 283 layers, 7063542 parameters, 7063542 gradients, 16.4 GFLOPs

Transferred 356/362 items from yolov5s.pt
Scaled weight_decay = 0.0005
optimizer: SGD with parameter groups 59 weight, 62 weight (no decay), 62 bias
train: Scanning 'testdata/labels/forest-path' images and labels...3 found, 0 mis
train: New cache created: testdata/labels/forest-path.cache
val: Scanning 'testdata/labels/forest-path.cache' images and labels... 3 found, 
Plotting labels... 

autoanchor: Analyzing anchors... anchors/target = 6.00, Best Possible Recall (BPR) = 1.0000
Image sizes 640 train, 640 val
Using 0 dataloader workers
Logging results to runs/train/exp
Starting training for 20 epochs...

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      0/19        0G   0.09803   0.02718         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          3    0.00118      0.333   0.000778   7.78e-05

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      1/19        0G   0.07624   0.02388         0         4       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          3    0.00117      0.333    0.00077    7.7e-05

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      2/19        0G    0.1032   0.02362         0         1       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          3    0.00116      0.333   0.000759   7.59e-05

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      3/19        0G    0.1072   0.02704         0         2       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      4/19        0G   0.07872   0.02316         0         1       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      5/19        0G    0.1204   0.02454         0         1       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      6/19        0G    0.1066   0.03053         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      7/19        0G    0.1156   0.02592         0         4       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      8/19        0G    0.1014   0.02336         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
      9/19        0G    0.1182   0.02462         0         1       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     10/19        0G   0.09382   0.02249         0         2       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     11/19        0G    0.1123   0.02325         0         1       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     12/19        0G    0.1009   0.02509         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     13/19        0G    0.1143   0.02944         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     14/19        0G    0.1098   0.02744         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     15/19        0G   0.03015   0.01877         0         3       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     16/19        0G   0.09862   0.02161         0         2       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     17/19        0G    0.1059   0.02455         0         1       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     18/19        0G    0.0891   0.02376         0         2       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

     Epoch   gpu_mem       box       obj       cls    labels  img_size
     19/19        0G     0.117    0.0231         0         2       640: 100%|█| 
               Class     Images     Labels          P          R     mAP@.5 mAP@
                 all          3          0          0          0          0          0

20 epochs completed in 0.027 hours.
Optimizer stripped from runs/train/exp/weights/last.pt, 14.4MB
Optimizer stripped from runs/train/exp/weights/best.pt, 14.4MB
Results saved to runs/train/exp

学習結果のファイル

(py37) $ ls ~/workspace_py37/chapter04/yolov5/runs/train/exp
confusion_matrix.png                               train_batch0.jpg
events.out.tfevents.1631733230.ubuntu-vbox.2603.0  train_batch1.jpg
hyp.yaml                                           train_batch2.jpg
labels.jpg                                         val_batch0_labels.jpg
labels_correlogram.jpg                             val_batch0_pred.jpg
opt.yaml                                           val_batch1_labels.jpg
results.csv                                        val_batch1_pred.jpg
results.png                                        weights
(py37) $ ls ~/workspace_py37/chapter04/yolov5/runs/train/exp/weights/
best.pt  last.pt

↑

独自に学習したモデルを使う方法 †

　上記の学習ではサンプルデータが 3つのテスト用なので正しい学習は行えない。
　より多くののデータが用意できれば自前のデータで学習したモデルの使用ができる。

学習結果を読み込む
・モデルを作成する。

    :
import torch
import sys

# モデル定義
sys.path.append('yolov5')
from models.yolo import Model
    :

・学習したモデル情報を読み込む

# 学習した結果を読み込む
ckpt = torch.load('yolov5/runs/train/exp/weights/best.pt')
# パラメータを指定してモデルを作成する
model = Model(ckpt['model'].yaml, ch=3, nc=1)
# モデルの重みを復元する
state_dict = ckpt['model'].float().state_dict()
#model.load_state_dict(state_dict, strict=False, map_location=torch.device(USE_DEVICE))
model.load_state_dict(state_dict, strict=False)

・モデルを実行する

model = model.autoshape()  # 画像フォーマットを自動判断するように設定
# モデルを推論用に設定する
model.eval()
model.to(USE_DEVICE)
    :
   results = model(image, size=640)
   bbox = results.xyxy[0].detach().cpu().numpy()

プログラムの実行
結果表示は正しくない。動作の参考。
```
(py37) $python3 chapt04_3a.py
```

ソースコード（参考）

▼「chapt03_3a.py」

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 04 / Section 012
##       PyTorch による学習
##
##               2021.09.14 Masahiro Izutsu
##------------------------------------------
## chapt04_3a.py  (original: chapt04_2.py)
## 独自に学習したモデルを使う YoloV5

import numpy as np
from PIL import Image, ImageTk
import cv2
from time import time, sleep
from tkinter import Tk, NW, TOP, Frame, Canvas, Label, StringVar
import threading

import torch
import sys
from torch import nn
from torchvision import transforms, models

# モデル定義
sys.path.append('yolov5')
from models.yolo import Model

# GPUを使うかどうか
USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
# スレッドが実行中かどうか
IS_RUN_THREAD = False

# 学習した結果を読み込む
ckpt = torch.load('yolov5/runs/train/exp/weights/best.pt')
# パラメータを指定してモデルを作成する
model = Model(ckpt['model'].yaml, ch=3, nc=1)
# モデルの重みを復元する
state_dict = ckpt['model'].float().state_dict()
#model.load_state_dict(state_dict, strict=False, map_location=torch.device(USE_DEVICE))
model.load_state_dict(state_dict, strict=False)

model = model.autoshape()  # 画像フォーマットを自動判断するように設定
# モデルを推論用に設定する
model.eval()
model.to(USE_DEVICE)

frame_count = 0

# Tkで表示するフレーム
class MyFrame(Frame):
    def __init__(self, parent, **params):
        Frame.__init__(self, parent, params)
#        # OpenCVのカメラキャプチャーを用意する
#        self.cap = cv2.VideoCapture(0)

        # 2021.09.14
        #「forest path movie dataset」用のサンプルを利用する
        self.cap = cv2.VideoCapture('../sample/chapt02/chapt02-sample-a.mp4')

        # 画像の表示場所を作成する
        self.image = Image.new('RGB',(320,240),(0,0,0))
        self.imgtk = ImageTk.PhotoImage(self.image)
        self.canvas = Canvas(self, width=320, height=240, bg='black')
        self.canvas.place(x=20,y=20)
        self.canvas.create_image(0,0,image=self.imgtk,anchor=NW,tag='i')
        # 認識結果の表示場所を作成する
        self.message = StringVar()
        self.message.set('')
        self.label = Label(self, textvariable=self.message)
        self.label.place(x=360,y=20)

    def updateFrame(self):
        global IS_RUN_THREAD
        global frame_count
        # OpenCVでカメラからキャプチャーする
        ret, image = self.cap.read()
        if ret:
            if not IS_RUN_THREAD:
                detection = threading.Thread(target=detect, args=(self,image))
                IS_RUN_THREAD = True
                frame_count = frame_count + 1
                detection.start()
        # 0.1秒後に再び更新する
        self.after(100, self.updateFrame)


# ニューラルネットワークを実行するスレッド
def detect(frame, image):
    global IS_RUN_THREAD
    global frame_count
    with torch.no_grad():
        img_tensor = torch.tensor([image]).to(USE_DEVICE)
# 2021.0919
#        results = model(img_tensor, size=640)
        results = model(image, size=640)
        message = "" # 表示メッセージ
        bbox = results.xyxy[0].detach().cpu().numpy()
        for preds in bbox:
            pos1 = (int(preds[0]),int(preds[1]))
            pos2 = (int(preds[2]),int(preds[3]))
            prob = preds[4]
            type = int(preds[5])
            if type == 0: # type=0が'preson'
                # 画像に枠を描く
                image = cv2.rectangle(image, pos1, pos2, (0,0,192), 4)
                message += f'フレームカウント：{frame_count}\n座標：{pos1},{pos2} 確率：{prob:.3f}\n'
        if message == "":
            message += f'フレームカウント：{frame_count}\n人はいない\n'

        # 画像を表示させる
        image = image[:,:,::-1] # OpenCVのBGRをRGBにする
        frame.image = Image.fromarray(image)
        frame.imgtk = ImageTk.PhotoImage(frame.image.resize((320,240)))
        frame.canvas.itemconfigure(tagOrId='i', image=frame.imgtk)
        # メッセージを表示させる
        frame.message.set(message)
    IS_RUN_THREAD = False # スレッドの実行を終わる

# 画面いっぱいにウィンドウを作成する
win = Tk()
win.geometry('800x360') # ウィンドウの大きさ
frame = MyFrame(win, width=800, height=360) # フレーム
frame.pack(side=TOP) # ウィンドウに配置
win.after_idle(frame.updateFrame) # 起動後にupdateFrameを呼び出す

win.mainloop() # 処理を開始

↑

発生するエラーと対処法 †

↑

「ModuleNotFoundError: No module named 'seaborn';」 †

「chapt04_1a.py」性能評価用プログラムの実行で発生

(py37) $ python3 chapt04_1a.py 
Downloading: "https://github.com/ultralytics/yolov5/archive/master.zip" to /home/mizutu/.cache/torch/hub/master.zip
Traceback (most recent call last):
    :
ModuleNotFoundError: No module named 'seaborn'

原因　:「seaborn」モジュールがない
対処法:「seaborn」モジュールのインストール

▼　エラーとその対応詳細

エラー詳細;

(py37) $ python3 chapt04_1a.py 
Downloading: "https://github.com/ultralytics/yolov5/archive/master.zip" to /home/mizutu/.cache/torch/hub/master.zip
Traceback (most recent call last):
  File "chapt04_1a.py", line 25, in <module>
    model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/torch/hub.py", line 339, in load
    model = _load_local(repo_or_dir, model, *args, **kwargs)
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/torch/hub.py", line 368, in _load_local
    model = entry(*args, **kwargs)
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/hubconf.py", line 75, in yolov5s
    return _create('yolov5s', pretrained, channels, classes, autoshape, verbose, device)
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/hubconf.py", line 30, in _create
    from models.yolo import Model
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/models/yolo.py", line 17, in <module>
    from models.common import *
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/models/common.py", line 23, in <module>
    from utils.plots import Annotator, colors
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/utils/plots.py", line 15, in <module>
    import seaborn as sn
ModuleNotFoundError: No module named 'seaborn'

対処 Step 1 : 環境によっては numpy インストール後の METADATA がない場合があり、インストールできないモジュールがある。
詳細不明だが、パッケージのインストール等の際ファイルの有無を参照しているようで、該当箇所に空のファイルを作成することで対処できるらしい。
```
(py37) $ vi /home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/numpy-1.21.2.dist-info/METADATA
※ そのまま vi を終了する。
```

対処 Step 2 :「seaborn」パッケージのインストール

(py37) $ conda install -c conda-forge seaborn
Collecting package metadata (current_repodata.json): done
Solving environment: done

## Package Plan ##

  environment location: /home/mizutu/anaconda3/envs/py37

  added / updated specs:
    - seaborn


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    cycler-0.10.0              |             py_2           9 KB  conda-forge
    kiwisolver-1.3.2           |   py37h2527ec5_0          78 KB  conda-forge
    lcms2-2.12                 |       hddcbb42_0         443 KB  conda-forge
    matplotlib-base-3.4.3      |   py37h1058ff1_0         7.2 MB  conda-forge
    olefile-0.46               |     pyh9f0ad1d_1          32 KB  conda-forge
    openssl-1.1.1l             |       h7f98852_0         2.1 MB  conda-forge
    patsy-0.5.1                |             py_0         187 KB  conda-forge
    pillow-7.2.0               |   py37h718be6c_2         671 KB  conda-forge
    pyparsing-2.4.7            |     pyh9f0ad1d_0          60 KB  conda-forge
    scipy-1.6.3                |   py37h29e03ee_0        20.5 MB  conda-forge
    seaborn-0.11.2             |       hd8ed1ab_0           4 KB  conda-forge
    seaborn-base-0.11.2        |     pyhd8ed1ab_0         223 KB  conda-forge
    statsmodels-0.12.2         |   py37hb1e94ed_0        11.3 MB  conda-forge
    tornado-6.1                |   py37h5e8e339_1         646 KB  conda-forge
    ------------------------------------------------------------
                                           Total:        43.4 MB

The following NEW packages will be INSTALLED:

  cycler             conda-forge/noarch::cycler-0.10.0-py_2
  kiwisolver         conda-forge/linux-64::kiwisolver-1.3.2-py37h2527ec5_0
  lcms2              conda-forge/linux-64::lcms2-2.12-hddcbb42_0
  matplotlib-base    conda-forge/linux-64::matplotlib-base-3.4.3-py37h1058ff1_0
  olefile            conda-forge/noarch::olefile-0.46-pyh9f0ad1d_1
  patsy              conda-forge/noarch::patsy-0.5.1-py_0
  pillow             conda-forge/linux-64::pillow-7.2.0-py37h718be6c_2
  pyparsing          conda-forge/noarch::pyparsing-2.4.7-pyh9f0ad1d_0
  scipy              conda-forge/linux-64::scipy-1.6.3-py37h29e03ee_0
  seaborn            conda-forge/noarch::seaborn-0.11.2-hd8ed1ab_0
  seaborn-base       conda-forge/noarch::seaborn-base-0.11.2-pyhd8ed1ab_0
  statsmodels        conda-forge/linux-64::statsmodels-0.12.2-py37hb1e94ed_0
  tornado            conda-forge/linux-64::tornado-6.1-py37h5e8e339_1

The following packages will be UPDATED:

  openssl              pkgs/main::openssl-1.1.1k-h27cfd23_0 --> conda-forge::openssl-1.1.1l-h7f98852_0

The following packages will be SUPERSEDED by a higher-priority channel:

  ca-certificates    pkgs/main::ca-certificates-2021.7.5-h~ --> conda-forge::ca-certificates-2021.5.30-ha878542_0
  certifi            pkgs/main::certifi-2021.5.30-py37h06a~ --> conda-forge::certifi-2021.5.30-py37h89c1867_0


Proceed ([y]/n)? y


Downloading and Extracting Packages
lcms2-2.12           | 443 KB    | ##################################### | 100% 
cycler-0.10.0        | 9 KB      | ##################################### | 100% 
pillow-7.2.0         | 671 KB    | ##################################### | 100% 
seaborn-base-0.11.2  | 223 KB    | ##################################### | 100% 
matplotlib-base-3.4. | 7.2 MB    | ##################################### | 100% 
seaborn-0.11.2       | 4 KB      | ##################################### | 100% 
statsmodels-0.12.2   | 11.3 MB   | ##################################### | 100% 
olefile-0.46         | 32 KB     | ##################################### | 100% 
pyparsing-2.4.7      | 60 KB     | ##################################### | 100% 
openssl-1.1.1l       | 2.1 MB    | ##################################### | 100% 
scipy-1.6.3          | 20.5 MB   | ##################################### | 100% 
kiwisolver-1.3.2     | 78 KB     | ##################################### | 100% 
tornado-6.1          | 646 KB    | ##################################### | 100% 
patsy-0.5.1          | 187 KB    | ##################################### | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done

↑

「RuntimeError: Sizes of tensors must match except」 †

「chapt04_2a.py」物体検出プログラムの実行で発生

(py37) $ python3 chapt04_2a.py 
    :
    return self.conv(torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1))
RuntimeError: Sizes of tensors must match except in dimension 1. Got 2 and 1 in dimension 3 (The offending index is 2)

原因　: ニューラルネットワークの学習モデルの入力タイプが要求と合っていない。
対処法: 要求に適合したオブジェクトにする。

▼　エラーとその対応詳細

エラー詳細;

(py37) $ python3 chapt04_2a.py 
Using cache found in /home/mizutu/.cache/torch/hub/ultralytics_yolov5_master
YOLOv5 🚀 2021-9-14 torch 1.8.2+cpu CPU

Fusing layers... 
Model Summary: 224 layers, 7266973 parameters, 0 gradients
Adding AutoShape... 
AutoShape already enabled, skipping... 
Exception in thread Thread-1:
Traceback (most recent call last):
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/threading.py", line 926, in _bootstrap_inner
    self.run()
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/threading.py", line 870, in run
    self._target(*self._args, **self._kwargs)
  File "chapt04_2a.py", line 75, in detect
    results = model(img_tensor, size=640)
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/torch/nn/modules/module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/torch/autograd/grad_mode.py", line 27, in decorate_context
    return func(*args, **kwargs)
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/models/common.py", line 307, in forward
    return self.model(imgs.to(p.device).type_as(p), augment, profile)  # inference
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/torch/nn/modules/module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/models/yolo.py", line 123, in forward
    return self.forward_once(x, profile, visualize)  # single-scale inference, train
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/models/yolo.py", line 155, in forward_once
    x = m(x)  # run
  File "/home/mizutu/anaconda3/envs/py37/lib/python3.7/site-packages/torch/nn/modules/module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "/home/mizutu/.cache/torch/hub/ultralytics_yolov5_master/models/common.py", line 206, in forward
    return self.conv(torch.cat([x[..., ::2, ::2], x[..., 1::2, ::2], x[..., ::2, 1::2], x[..., 1::2, 1::2]], 1))
RuntimeError: Sizes of tensors must match except in dimension 1. Got 2 and 1 in dimension 3 (The offending index is 2)

原因: 要求されるオブジェクトの型の不一致~
・元のコード

    :
    with torch.no_grad():
        img_tensor = torch.tensor([image]).to(USE_DEVICE)
        results = model(img_tensor, size=640)
    :

・要求される入力オブジェクト「yolov5/models/common.py」より

    :
    def forward(self, imgs, size=640, augment=False, profile=False):
        # Inference from various sources. For height=640, width=1280, RGB images example inputs are:
        #   file:       imgs = 'data/images/zidane.jpg'                                   # str or PosixPath
        #   URI:             = 'https://ultralytics.com/images/zidane.jpg'
        #   OpenCV:          = cv2.imread('image.jpg')[:,:,::-1]                          # HWC BGR to RGB x(640,1280,3)
        #   PIL:             = Image.open('image.jpg') or ImageGrab.grab()                # HWC x(640,1280,3)
        #   numpy:           = np.zeros((640,1280,3))                                     # HWC
        #   torch:           = torch.zeros(16,3,320,640)                                  # BCHW (scaled to size=640, 0-1 values)
        #   multiple:        = [Image.open('image1.jpg'), Image.open('image2.jpg'), ...]  # list of images
    :

対処法: 「torch.tensor」を使う方法はよくわからないので、OpenCV タイプをそのまま使う。（GPU には対応できないが）

    :
    with torch.no_grad():
        img_tensor = torch.tensor([image]).to(USE_DEVICE)
# 2021.0919
#        results = model(img_tensor, size=640)
        results = model(image, size=640)
    :

↑

「QObject::moveToThread: Current thread (0x55c17e937720)」 †

「Yolo V5」インストール後、OpenCV を使用したプログラムの実行で発生

(py37) $ cd ~/run_app2
(py37) $ ./face_mask.sh 
[face_mask.sh] 'face_mask' Run !!
  DEVICE:  CPU
  COMMAND: python3 face_mask.py -m_dt ./models/face-detection-adas-0001.xml -m_mk ./models/face_mask.xml -d CPU  
    :
QObject::moveToThread: Current thread (0x55c17e937720) is not the object's thread (0x55c17f1310f0).
Cannot move to target thread (0x55c17e937720)
    :

原因　: OpenCV が複数インストールされている。
対処法:「opencv-python」をインストールしないようにする。
　　　　インストールされていれば「opencv-python」をアンインストールする。

▼　エラーとその対応詳細

エラー詳細

(py37) $ cd ~/run_app2
(py37) $ ./face_mask.sh 
[face_mask.sh] 'face_mask' Run !!
  DEVICE:  CPU
  COMMAND: python3 face_mask.py -m_dt ./models/face-detection-adas-0001.xml -m_mk ./models/face_mask.xml -d CPU  
    :
QObject::moveToThread: Current thread (0x55c17e937720) is not the object's thread (0x55c17f1310f0).
Cannot move to target thread (0x55c17e937720)

QObject::moveToThread: Current thread (0x55c17e937720) is not the object's thread (0x55c17f1310f0).
Cannot move to target thread (0x55c17e937720)

QObject::moveToThread: Current thread (0x55c17e937720) is not the object's thread (0x55c17f1310f0).
Cannot move to target thread (0x55c17e937720)
    :

原因　: OpenCV が複数インストールされている。
- 仮想環境 (py37) には conda コマンドにより「opencv 4.5.2」がインストールされている。
```
(py37) mizutu@ubuntu-vbox:~/run_app2$ conda list
# packages in environment at /home/mizutu/anaconda3/envs/py37:
#
# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                 conda_forge    conda-forge
_openmp_mutex             4.5                      1_llvm    conda-forge
absl-py                   0.13.0                   pypi_0    pypi
    :
opencv                    4.5.2            py37h89c1867_1    conda-forge
    :
```
- 「Yolo V5」のパッケージインストールで「opencv-python>=4.1.2」がインストールされる。
- GUI 関連の OpenCV パッケージは複数存在してはいけないそうだ。
- 「Yolo V5」内に付属するアプリケーションはパッケージリスト記載ファイル「requirements.txt」にあるパッケージが存在しない場合、自動的にリストのパッケージ群をインストールする。

対処: 「opencv-python」をインストールしないようにする。

pip で「Yolo V5」をインストールする前に「requirements.txt」の中の「opencv」の項ををコメントアウトする。

(py37) $ vi requirements.txt

# pip install -r requirements.txt

# Base ----------------------------------------
matplotlib>=3.2.2
numpy>=1.18.5
#opencv-python>=4.1.2
    :

▼「requirements.txt」詳細=

# pip install -r requirements.txt

# Base ----------------------------------------
matplotlib>=3.2.2
numpy>=1.18.5
#opencv-python>=4.1.2
Pillow>=8.0.0
PyYAML>=5.3.1
scipy>=1.4.1
torch>=1.7.0
torchvision>=0.8.1
tqdm>=4.41.0

# Logging -------------------------------------
tensorboard>=2.4.1
# wandb

# Plotting ------------------------------------
seaborn>=0.11.0
pandas

# Export --------------------------------------
# coremltools>=4.1  # CoreML export
# onnx>=1.9.0  # ONNX export
# onnx-simplifier>=0.3.6  # ONNX simplifier
# scikit-learn==0.19.2  # CoreML quantization
# tensorflow>=2.4.1  # TFLite export
# tensorflowjs>=3.9.0  # TF.js export

# Extras --------------------------------------
# Cython  # for pycocotools https://github.com/cocodataset/cocoapi/issues/172
# pycocotools>=2.0  # COCO mAP
# albumentations>=1.0.3

すでに「opencv-python」をインストール済みの場合はアンインストールすれば OK。
```
(py37) $ pip uninstall opencv-python
```

「opencv-python」がないことをを確認する。

(py37) $ pip list
Package                 Version
----------------------- ---------------------
absl-py                 0.13.0
Bottleneck              1.3.2
    :
oauthlib                3.1.1
olefile                 0.46
pandas                  1.3.2
patsy                   0.5.1
    :

↑