OpenVINO2

ゼロから学ぶディープラーニング推論 -事前学習- †

ゼロから学ぶディープラーニング推論 -事前学習-
参考資料

↑

Python基礎を学ぶ †

「第4回 Python基礎を学ぶ」に従って進める。
これまでにやってきたことなので一部を該当ページに追加。
- Thonny → Python開発環境
- コメント/文字列/変数・代入・演算/型変換/条件分岐/リスト/辞書/タプル → Python覚書
- 関数/import → Python覚書2
- 繰り返し（while）/繰り返し（for） → Python覚書
- クラス → Python覚書2

↑

OpenCVプログラミングを学ぶ †

「第5回 OpenCVプログラミングを学ぶ」に従って進める。
ソースコードのディレクトリ /home/pi/workspace/exercise

↑

画像ファイルの読み込みと表示 †

imread(画像ファイル)

imshow(ウィンドウ名, 画像)

サンプル画像 bird.jpg (640x480 pixel) →

ソースコード

vi imgread.py

import cv2
 
image_file = 'bird.jpg’
img = cv2.imread(image_file)
cv2.imshow('image', img)
 
cv2.waitKey(0)
cv2.destroyAllWindows()

↑

画像サイズ変更 †

resize(画像, 画像サイズ(width, height))

ソースコード

vi resize.py

import cv2
 
image_file = 'bird.jpg'
img = cv2.imread(image_file)
img = cv2.resize(img, (400, 300))
cv2.imshow('image', img)
 
cv2.waitKey(0)
cv2.destroyAllWindows()

↑

文字列描画 †

putText(画像, 文字列, 位置(X, Y), フォント, 倍率, 色(B, G, R), 線の太さ)

ソースコード

vi puttext.py

mport cv2
 
image_file = 'bird.jpg’
img = cv2.imread(image_file)
cv2.putText(img, "Please Don't Disturb.", (80, 530), cv2.FONT_HERSHEY_SIMPLEX, 2.0, (0, 255, 0), 8)
cv2.imshow('image', img)
 
cv2.waitKey(0)
cv2.destroyAllWindows()

↑

図形描画 †

長方形描画 → rectangle(画像, 左上座標(X, Y), 右下座標(X, Y), 色(B, G, R), 線の太さ)

ソースコード

vi draw.py

import cv2
 
image_file = 'bird.jpg’
img = cv2.imread(image_file)
cv2.rectangle(img, (360, 240), (550, 280), (20, 20, 20), -1)
cv2.imshow('image', img)
 
cv2.waitKey(0)
cv2.destroyAllWindows()

参考→OpenCVで線や図を描く

↑

カメラ映像の読み込みと表示 †

VideoCapture → object取得 VideoCapture(デバイス番号)
VideoCapture → object開放 オブジェクト名.release
※ カメラ映像の表示は VNC 経由では処理が重すぎるよう。RaspberryPi 本体のディスクトップで操作することで本来の性能を発揮できると思われる。
- ソースコード
```
vi capture.py

import cv2
 
cap = cv2.VideoCapture(0)
 
while True:
    ret, frame = cap.read()
    cv2.imshow('image', frame)
    key = cv2.waitKey(1)
    if key != -1:
        break
 
cap.release()
cv2.destroyAllWindows()
```
- カメラ映像表示の手順
1. VideoCapture object"を取得する。
2. While Trueによる無限ループ
  ・OpenCVでのカメラ映像を取得は、動画として一括読み込み＆表示ではなく、カメラ画像1フレーム毎の読み込みと表示を行う必要がある。1コマ読み込んで1コマ表示するということを繰り返す。
3. 画像の読み込みと表示
  ・取得した"VideoCapture object" の cap を使って、cap.read でカメラからの静止画像を読み込む。
  ・静止画像は2番目の戻り値 frame へ代入さる。1番目の戻り値 ret には正しく静止画像が読み込みできたか否かのブール値（True/False)が入る。
  ・画像を表示させる手順は画像ファイル表示のときと同じで、cv2.imshow。
4. VideoCapture object解放

↑

NumPyプログラミングを学ぶ †

「第6回 NumPyプログラミングを学ぶ」に従って進める。
NumPyとは
- NumPyとは数値計算を効率的に行うための拡張モジュール。
  多次元配列を高速に計算するためのライブラリで。また画像データとも密接な関係がある。
- NumPyを使用するためにはnumpyモジュールをimportする必要がある。
  慣例的に np という別名を付けることが一般的。
```
import numpy as np
```

↑

多次元配列 †

ndarray（N-dimensional array の略）
- ソースコード
```
vi numpy.py

import numpy as np

a = [10, 20, 30]
b = np.array(a)
print(b)
```
- 実行結果
```
python3 ndarray.py
[10 20 30] 
```
  変数 a はPython基礎で習ったリスト。
  変数 b がndarray np.arrayという関数を使ってリストをndarrayに変換。

↑

ndarrayの初期化 †

【１次元】

ソースコード

vi initndarray.py
import numpy as np

#リスト 
a = [10, 20, 30]
print(a)

#ndarray 
b = np.array([10, 20, 30])
print(b)

実行結果
```
python3 initndarray.py
[10, 20, 30]
[10 20 30]
```
※ リストにはカンマがついてるが、ndarrayにはカンマが無い。

【２次元】

ソースコード

vi initndarray2.py
import numpy as np

#リスト 
a = [[10, 20, 30], [40, 50, 60]]
print(a)

#ndarray 
b = np.array([[10, 20, 30], [40, 50, 60]])
print(b)

実行結果

python3 initndarray2.py
[[10, 20, 30], [40, 50, 60]]
[[10 20 30]
 [40 50 60]]

※ ndarrayの結果は途中で改行が入る。

↑

要素参照 †

【１次元】１次元の場合の要素参照はリストもndarrayも同じ

ソースコード

vi refndarray.py

import numpy as np

#リスト 
a = [10, 20, 30]
print(a[1])

#ndarray 
b = np.array([10, 20, 30])
print(b[1])

実行結果
```
python3 refndarray.py
20
20
```

【２次元】２次元の場合、表示結果は同じだが、参照方法が異なる。
- ソースコード
```
vi refndarray2.py

import numpy as np

#リスト 
a = [[10, 20, 30], [40, 50, 60]]
print(a[1][2])

#ndarray 
b = np.array([[10, 20, 30], [40, 50, 60]])
print(b[1, 2])
```
  ※ ndarrayの場合は慣例的に b[1, 2] という書き方をする。
- 実行結果
```
python3 refndarray2.py
60
60
```

↑

最大値のインデックス †

np.argmax は配列（リストやndarray）の中で最大値の要素のインデックスを値で返す。
- ソースコード
```
vi idxndarray.py

import numpy as np

a = np.array([10, 50, 40, 30, 20])
b = np.argmax(a)
print(b)
```
- 実行結果
```
python3 idxndarray.py
1
```
  配列の中の最大値は 50 だが、そのインデックス 1

↑

形状 (各次元における要素の数) †

shapeを使うと、形状を表示させることができる。

【１次元】

ソースコード

vi shapendarray.py

import numpy as np

a = np.array([1, 2, 3, 4])
print(a.shape)

実行結果
```
python3 shapendarray.py
(4,)
```

【２次元】

ソースコード

vi shapendarray2.py

import numpy as np

a = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])
print(a.shape)

実行結果
```
python3 shapendarray2.py
(3, 4)
```

【３次元】

ソースコード

vi shapendarray3.py

import numpy as np

a = np.array([[[ 1,  2,  3,  4], [ 5,  6,  7,  8], [ 9, 10, 11, 12]], [[13, 14, 15, 16], [17, 18, 19, 20], [21, 22, 23, 24]]])
print(a.shape)

実行結果
```
python3 shapendarray3.py
(2, 3, 4)
```

↑

ndarrayと画像データ (変数と画像の型を比較) †

type関数を使うと、変数の型を見ることができる。

ソースコード

vi type.py

import numpy as np

a = 100
b = 3.14
c = 'jellyfish'
d = [10, 20, 30]
e = np.array([10, 20, 30])

print(type(a))
print(type(b))
print(type(c))
print(type(d))
print(type(e))

実行結果

python3 type.py
<class 'int'>
<class 'float'>
<class 'str'>
<class 'list'>
<class 'numpy.ndarray'>

OpenCVで使った bird.jpg を cv2.imread して型と形状を見る。

ソースコード

vi typeimg.py

import cv2

image_file = 'bird.jpg'
img = cv2.imread(image_file)

print(type(img))
print(img.shape)

実行結果

python3 typeimg.py
<class 'numpy.ndarray'>
(480, 640, 3)

個別に画像の幅を取得したい場合は形状の0番目の要素、高さを取得したい場合は形状の1番目の要素を指定。
- ソースコード
```
vi typeimg2.py

import cv2

image_file = 'cat.png'
img = cv2.imread(image_file)

print(img.shape[0])
print(img.shape[1])
```
- 実行結果
```
python3 typeimg2.py
480
640
```

↑

スライス †

ndarrayにて [n:m]を使うとndarrayから条件にあった要素全てを取り出すことができる (取り出される要素は n ～ m-1 番目)。
- ソースコード
```
vi slice.py

import numpy as np

a = np.array([0, 10, 20, 30, 40, 50, 60, 70, 80, 90])
print(a[3:8])
```
- 実行結果
```
python3 slice.py
[30 40 50 60 70]
```

スライスを画像データに適応すると、画像の1部分だけの取得が可能になる。

ソースコード

vi sliceimg.py

import cv2

image_file = 'bird.jpg'
img = cv2.imread(image_file)

cv2.imshow('image', img[200:400, 300:600])

cv2.waitKey(0)
cv2.destroyAllWindows()

実行結果 →

↑

次元 †

次元数の参照：ndim

ソースコード

vi dimension.py

import numpy as np
 
a = np.array([1, 2, 3, 4])
print(a.ndim)
 
b = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])
print(b.ndim)
 
c = np.array([[[ 1,  2,  3,  4], [ 5,  6,  7,  8], [ 9, 10, 11, 12]], [[13, 14, 15, 16], [17, 18, 19, 20], [21, 22, 23, 24]]])
print(c.ndim)

実行結果
```
python3 dimension.py
1
2
3
```

次元の入れ替え：transpose
transposeは引数で指定した順番通りに軸を入れ替える関数。

ソースコード

vi dimtrans.py

import numpy as np
 
a = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])
 
print(a)
print('----------')
 
b = a.transpose(1, 0)
print(b)

実行結果
```
python3 dimtrans.py
[[ 1  2  3  4] 
 [ 5  6  7  8] 
 [ 9 10 11 12]] 
---------- 
[[ 1  5  9] 
 [ 2  6 10] 
 [ 3  7 11] 
 [ 4  8 12]] 
```
※ a.transpose(0, 1)と書いた場合は変化はない。2次元の場合はa.transpose(1, 0)と書くことで軸が入れ替わる。

3次元である画像にtransposeを適用
- ソースコード
```
vi transimg.py

import cv2
 
image_file = 'bird.jpg'
img = cv2.imread(image_file)
 
cv2.imshow('image', img.transpose(1, 0, 2))
 
cv2.waitKey(0)
cv2.destroyAllWindows()
```
- 実行結果 →
  ※ 画像データは(高さ, 幅, カラーチャンネル)という並び、これを英語で書くと(Hight, Width, Channel)になる。この頭文字を取ってHWCと略す。上記のコードではHWCからWHCへの変換したデータを表示している。
  　HCW,WCH,CHW,CWHへの変換自体は可能だが、それらのデータで表示を行うとエラーになる。

推論エンジンの画像フォーマットはCHWなのでこのようなコードが必要になる。
```
img = img.transpose((2, 0, 1)) # HWC > CHW 
```

次元の削減：squeeze
squeezeは大きさが1である次元を削除する関数

ソースコード (大きさが1である次元を作成)

vi squeeze.py

import numpy as np
 
a = np.array([1, 2, 3, 4])
print(a)
print(a.ndim)
print(a.shape)
print('----------')
 
b = np.array([[1, 2, 3, 4]])
print(b)
print(b.ndim)
print(b.shape)
print('----------')
 
c = np.array([[[1, 2, 3, 4]]])
print(c)
print(c.ndim)
print(c.shape)

実行結果
```
python3 squeeze.py
[1 2 3 4] 
1 
(4,) 
---------- 
[[1 2 3 4]] 
2 
(1, 4) 
---------- 
[[[1 2 3 4]]] 
3 
(1, 1, 4) 
```
変数aは1次元、bは2次元、cは3次元のndarray。
aは今まで通りのndarray、bやcは余分に[ ]が付いているのが大きさが1である次元を含んでいる状態。
squeezeは余分な[]を取り除き、次元を減らす関数

ソースコード (次元を減らす例)

vi squeeze2.py

import numpy as np
 
a = np.array([1, 2, 3, 4])
a = np.squeeze(a)
print(a)
print(a.ndim)
print(a.shape)
print('----------')
 
b = np.array([[1, 2, 3, 4]])
b = np.squeeze(b)
print(b)
print(b.ndim)
print(b.shape)
print('----------')
 
c = np.array([[[1, 2, 3, 4]]])
c = np.squeeze(c)
print(c)
print(c.ndim)
print(c.shape)

実行結果
```
python3 squeeze2.py
[1 2 3 4] 
1 
(4,) 
---------- 
[1 2 3 4] 
1 
(4,) 
---------- 
[1 2 3 4] 
1 
(4,) 
```
aは元々、大きさ1の次元はないため変化ないがbとcは余分な[]が消えている。

次元の追加：expand_dims
expand_dimsは逆に大きさ１の次元を追加することができる。
キーワード引数としてaxis=0を書くことにより次元の追加先を0番目の軸（一番外側の次元）に指定することができる。

ソースコード

vi expand.py

import numpy as np
 
a = np.array([1, 2, 3, 4])
a = np.expand_dims(a, axis=0)
print(a)
print(a.ndim)
print(a.shape)
print('----------')
 
b = np.array([[1, 2, 3, 4]])
b = np.expand_dims(b, axis=0)
print(b)
print(b.ndim)
print(b.shape)
print('----------')
 
c = np.array([[[1, 2, 3, 4]]])
c = np.expand_dims(c, axis=0)
print(c)
print(c.ndim)
print(c.shape)

実行結果
```
python3 expand.py
[[1 2 3 4]] 
2 
(1, 4) 
---------- 
[[[1 2 3 4]]] 
3 
(1, 1, 4) 
---------- 
[[[[1 2 3 4]]]] 
4 
(1, 1, 1, 4) 
```
大きさ１の次元が追加されている。次元数のフォーマットを合わせる際に使う場合がある。

↑

事前学習ファイル一覧 †

pi@raspberrypi:~/workspace/exercise $ ls
bird.jpg      dimtrans.py  idxndarray.py   initndarray2.py  refndarray.py   shapendarray.py   slice.py     squeeze2.py  typeimg.py
capture.py    draw.py      imgread.py      ndarray.py       refndarray2.py  shapendarray2.py  sliceimg.py  transimg.py  typeimg2.py
dimension.py  expand.py    initndarray.py  puttext.py       resize.py       shapendarray3.py  squeeze.py   type.py

以上で「第4回 Python基礎を学ぶ」「第5回 OpenCVプログラミングを学ぶ」「第6回 NumPyプログラミングを学ぶ」終了

次回は「第7回 Inference Engineを学んで感情分類」

↑

参考資料 †

INTEL® オフィシャル・ドキュメント
- OpenVINO™ Toolkit Overview
- Install OpenVINO™ toolkit for Raspbian* OS
- API ドキュメント → Overview of Inference Engine Python* API
- 学習済みモデルの場所 → INTEL OPENSOURCE.org
- 学習済みモデルのドキュメント → Overview of OpenVINO™ Toolkit Intel's Pre-Trained Models

最新の20件

ゼロから学ぶディープラーニング推論 -事前学習- †

Python基礎を学ぶ †

OpenCVプログラミングを学ぶ †

画像ファイルの読み込みと表示 †

画像サイズ変更 †

文字列描画 †

図形描画 †

カメラ映像の読み込みと表示 †

NumPyプログラミングを学ぶ †

多次元配列 †

ndarrayの初期化 †

要素参照 †

最大値のインデックス †

形状 (各次元における要素の数) †

ndarrayと画像データ (変数と画像の型を比較) †

スライス †

次元 †

事前学習 ファイル一覧 †

参考資料 †

事前学習ファイル一覧 †