OpenCV修正版

OpenCV修正版 †

　OpenCV4最新版(4.4.0.42) のインストールでウインドウ表示に問題があるようなので、書籍の版(4.1.1.26) を使用して進めることにする。
　OpenCV 4.4.0.42での例はこちら

OpenCV修正版
参考資料

Open CVのインストール †

パッケージリストを最新にする

$ sudo apt update
ヒット:1 http://ftp.jaist.ac.jp/raspbian buster InRelease
ヒット:2 http://archive.raspberrypi.org/debian buster InRelease      
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています       
状態情報を読み取っています... 完了
パッケージはすべて最新です。

OpenCV 4.4.0.42 をインストールしている場合は削除する。

$ pip3 uninstall -y opencv-python
Uninstalling opencv-python-4.4.0.42:
  Successfully uninstalled opencv-python-4.4.0.42

削除されているかの確認

$ pip3 list
Package           Version    
----------------- -----------
appdirs           1.4.3      
asn1crypto        0.24.0     
astroid           2.1.0      
   :
nudatus           0.0.4      
numpy             1.16.2     
oauthlib          2.1.0      
olefile           0.46       
pantilthat        0.0.7      
parso             0.3.1      
pexpect           4.6.0      
   :
WebIOPi           0.7.1      
Werkzeug          0.14.1     
wheel             0.32.3     
wiringpi          2.60.0     
wrapt             1.10.11

必要なパッケージのインストール

$ sudo apt install libatlas-base-dev libjasper-dev libqtgui4 libqt4-test
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています                
状態情報を読み取っています... 完了
   :
   :
libqt4-test:armhf (4:4.8.7+dfsg-18+rpi1) を設定しています ...
libjasper1:armhf (1.900.1-debian1-2.4+deb8u1) を設定しています ...
libjasper-dev (1.900.1-debian1-2.4+deb8u1) を設定しています ...
libc-bin (2.28-10+rpi1) のトリガを処理しています ...

OpenCV4 をインストール

$ sudo pip3 install opencv-python==4.1.1.26
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Collecting opencv-python==4.1.1.26
  Downloading https://www.piwheels.org/simple/opencv-python/opencv_python-4.1.1.26-cp37-cp37m-linux_armv7l.whl (10.0MB)
    100% |████████████████████████████████| 10.0MB 35kB/s 
Requirement already satisfied: numpy>=1.16.2 in /usr/lib/python3/dist-packages (from opencv-python==4.1.1.26) (1.16.2)
Installing collected packages: opencv-python
Successfully installed opencv-python-4.1.1.26

インストールできているかの確認

$ pip3 list
Package           Version    
----------------- -----------
   :
opencv-python     4.1.1.26   
   :

環境設定と再起動

$ echo "export LD_PRELOAD=/usr/lib/arm-linux-gnueabihf/libatomic.so.1" >> ~/.bashrc
$ sudo reboot

↑

「実例で学ぶ RaspberryPi 電子工作」第7章 †

OpenCV による画像処理と対象物追跡
対象物追跡は → こちら

↑

事前準備 †

「MJPG-streamer」が起動している場合停止しておく。

$ sudo ./webiopi/streamer-stop.sh
1010
mjpg_streamer stopped

停止の確認。

$ ps ax |grep mjpg_streamer
 3523 pts/0    S+     0:00 grep --color=auto mjpg_streamer

「~/bluebacks」ディレクトリ内に展開した「raspi2-sample」フォルダを作業フォルダ「bb2」にコピーする。

$ cd ~/Programs/opencv
$ cp -rp ~/bluebacks/raspi2-sample bb2
$ cd ~/Programs/opencv/bb2
$ ls
bb2                             bb2-04-03-lcd-practice.py     bb2-07-01-preview.py                  bb2-07-09-tracking-face-pca9685.py  bb2-07-17-tracking-circle-pca9685.py
bb2-02-01-led.py                bb2-04-04-lcd-4modes.py       bb2-07-02-binary.py                   bb2-07-10-preview.py                bb2-07-18-tracking-face-pca9685.py
bb2-03-01-3led.py               bb2-04-05-lcd-3modes.py       bb2-07-03-cannyedge.py                bb2-07-11-binary.py                 bb2-08-01-zero-pca9685.py
bb2-03-02-dice.py               bb2-05-01-TV.py               bb2-07-04-circle.py                   bb2-07-12-cannyedge.py              bb2-08-02-6legs-pca9685.py
bb2-03-03-dice-switch.py        bb2-06-01-zero.py             bb2-07-05-face.py                     bb2-07-13-circle.py                 bb2-08-03-6legs-sw.py
bb2-03-04-dice-switch-delay.py  bb2-06-02-pantilt.py          bb2-07-06-tracking-circle.py          bb2-07-14-face.py                   bb2-08-04-lcd.py
bb2-04-01-weather.py            bb2-06-03-stream.sh           bb2-07-07-tracking-face.py            bb2-07-15-tracking-circle.py        bb2-08-05-shutdown.py
bb2-04-02-forcast.py            bb2-06-04-pantilt-pca9685.py  bb2-07-08-tracking-circle-pca9685.py  bb2-07-16-tracking-face.py

サンプルファイルをコピーして利用する。
```
$ cp bb2-07-0X-XXXXX.py XXXXX2,py
```
書籍では320x240 のウインドウサイズを採用しているが速度は問題なさそうなので、ここでは 640x480 とする。
```
$ vi XXXXX2.py
   :
        camera.resolution = (640, 480)
   :
```
プログラムは「VNCビューア」上の「LX-Terminal」で実行する。

↑

画像のプレビュー「bb2-07-01-preview.py」 †

プログラムの変更

$ cp bb2-07-01-preview.py preview2.py
$ vi preview2.py

プログラムの実行
```
$ python3 preview2.py
```

↑

画像の二値化「bb2-07-02-binary.py」 †

プログラムの変更

$ cp bb2-07-02-binary.py binary2.py
$ vi binary2.py

プログラムの実行
```
$ python3 binary2.py
```

↑

画像の二値化（大津の方法）「bb2-07-02-binary.py」 †

プログラムの変更
```
$ vi binary2.py
```
プログラムの実行
```
$ python3 binary2.py
```

↑

Canny フィルタによるエッジ検出「bb2-07-03-cannyedge.py」 †

プログラムの変更

$ cp bb2-07-03-cannyedge.py cannyedge2.py
$ vi cannyedge2.py

プログラムの実行
```
$ python3 cannyedge2.py
```

↑

ハフ変換による円の検出「bb2-07-04-circle.py」 †

プログラムの変更

$ cp bb2-07-04-circle.py circle2.py
$ vi circle2.py

プログラムの実行
```
$ python3 circle2.py
```

↑

顔の検出「bb2-07-05-face」 †

オリジナルプログラムの実行

$ python3 bb2-07-05-face.py
pygame 1.9.4.post1
Hello from the pygame community. https://www.pygame.org/contribute.html
Traceback (most recent call last):
  File "bb2-07-14-face.py", line 35, in <module>
    facerect = cascade.detectMultiScale(gray, scaleFactor=1.3, minNeighbors=2, minSize=(30,30), maxSize=(150,150))
cv2.error: OpenCV(4.4.0) /tmp/pip-install-7xo2na5y/opencv-python/opencv/modules/objdetect/src/cascadedetect.cpp:1689: error: (-215:Assertion failed) !empty() in function 'detectMultiScale'

書籍に記述のある必要なモジュールを入れる
```
$ apt update
$ sudo apt install libopencv-dev
```

プログラムの変更

$ cp bb2-07-05-face.py face2.py
$ vi face.py

プログラムの実行
```
$ python3 face2.py
```

↑

「Raspberry Pi ではじめる機械学習」第8章 †

画像処理でグー・チョキ・パーを読み取ろう

↑

事前準備 †

「MJPG-streamer」が起動している場合停止しておく。

$ sudo ./webiopi/streamer-stop.sh
1010
mjpg_streamer stopped

停止の確認。

$ ps ax |grep mjpg_streamer
 3523 pts/0    S+     0:00 grep --color=auto mjpg_streamer

「~/bluebacks」ディレクトリ内に展開した「mlbb-sample」フォルダを作業フォルダ「ml」にコピーする。

$ cd ~/Programs/opencv
$ cp -rp ~/bluebacks/mlbb-sample ml
$ cd ~/Programs/opencv/ml
$ ls
ml-03-01-version.py         ml-06-05-nn.py              ml-08-02-binary.py              ml-10-08-hand-cnn-load.py
ml-04-01-irisbasic.py       ml-06-06-svc-traintest.py   ml-08-03-learn.py               ml-10-09-janken-deep.py
ml-04-02-2feat2class01.py   ml-06-07-nn-traintest.py    ml-08-04-recognition.py         ml-10-10-janken-deep-shorten.py
ml-04-03-2feat2class12.py   ml-06-08-svc-gui.py         ml-09-01-janken.py              ml-digits-cnn.h5
ml-04-04-2feat3class.py     ml-06-09-nn-gui.py          ml-09-02-janken-shorten.py      ml-hand-cnn.h5
ml-04-05-4feat3class.py     ml-06-10-svc-gui-mod.py     ml-10-01-iris-deep-learn.py     ml-images
ml-05-01-2feat3class-nn.py  ml-06-11-nn-gui-mod.py      ml-10-02-iris-deep-load.py      ml-iris-deep.h5
ml-05-02-4feat3class-nn.py  ml-07-01-janken-cui.py      ml-10-03-digits-cnn-learn.py    ml-learn
ml-06-01-digitsbasic.py     ml-07-02-perceptron-cui.py  ml-10-04-digits-cnn-load.py     ml-sound
ml-06-02-images.py          ml-07-03-janken-gui.py      ml-10-05-digits-cnn-gui.py
ml-06-03-plot3d.py          ml-07-04-perceptron-gui.py  ml-10-06-digits-cnn-gui-mod.py
ml-06-04-svc.py             ml-08-01-cameracheck.py     ml-10-07-hand-cnn-learn.py

8.3 カメラモジュールの動作のチェック
これまでの動作環境でサンプルプログラムが正常に動作することを確認する。
```
$ python3 ml-08-01-cameracheck.py
```

↑

二値化による手の形の取得 8.4 †

VNCビューアのLX-Terminal 上でサンプルプログラムを実行する。
```
$ python3 ml-08-02-binary.py
```

画像処理の流れを把握するためのプログラムの編集 (259ページ)

$ vi ml-08-02-binary.py

   :
cv2.imshow('HS', hs_all)
cv2.imshow('frame, stream.array)
   :

プログラムの再実行
```
$ python3 ml-08-02-binary.py
```
- 画像データをHSV形式に変換し、h_cannelとs_channelを二値化してAND演算をする。
- 最終的には分離しやすい無地の背景で撮影するのが無難。

↑

画像の用意と学習 8.5 †

VNCビューアのLX-Terminal 上で学習プログラムの実行する。

$ python3 ml-08-03-learn.py result.pk1
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
ml-learn/img_gu000.pngを読み込んでいます
ml-learn/img_gu001.pngを読み込んでいます
   :
   :
学習結果はファイル result.pk1 に保存されました

↑

学習結果を用いたグー・チョキ・パーの分類 8.6 †

VNCビューアのLX-Terminal 上で分類プログラムを実行する。
```
$ python3 ml-08-04-recognition.py result.pk1
```

↑

「Raspberry Pi ではじめる機械学習」第9章 †

↑

じゃんけんシステムの完成 †

準備
MP3 音声ファイル再生のために「mpg321」をインストール

$ sudo apt update
$ sudo apt install mpg321
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています                
   :

アップグレード: 0 個、新規インストール: 34 個、削除: 0 個、保留: 0 個。
1,828 kB のアーカイブを取得する必要があります。
この操作後に追加で 5,283 kB のディスク容量が消費されます。
続行しますか? [Y/n] y
取得:1 http://ftp.jaist.ac.jp/raspbian buster/main armhf libao-common all 
1.2.2+20180113-1 [11.6 kB]
   :

音声ファイルをテストする。

$ cd ml-sound
$ ls
README.txt  jankenpon.mp3  pon.mp3

$ mpg321 jankenpon.mp3
High Performance MPEG 1.0/2.0/2.5 Audio Player for Layer 1, 2, and 3.
Version 0.3.2-1 (2012/03/25). Written and copyrights by Joe Drew,
now maintained by Nanakos Chrysostomos and others.
Uses code from various people. See 'README' for more!
THIS SOFTWARE COMES WITH ABSOLUTELY NO WARRANTY! USE AT YOUR OWN RISK!

Playing MPEG stream from jankenpon.mp3 ...
MPEG 1.0 layer III, 96 kbit/s, 48000 Hz mono
                                                                            
[0:02] Decoding of jankenpon.mp3 finished.

じゃんけんシステムの実行 9.2 (295ページ)
```
$ python3 ml-09-01-janken.py result.pk1
```

音声短縮版の実行

$ python3 ml-09-02-janken-shorten.py result.pk1

↑

「Raspberry Pi ではじめる機械学習」第10章 †

ディープラーニングを keras(ケラス) + Theano(テアノ)で実行する

「ディープラーニング」の学習処理時間がかかるのでストップウォッチアプリで計測しながら...(右の画像)

第4・5章アヤメの分類をディープラーニングで

第6章手書き数字の分類をディープラーニングで

第8・9章じゃんけんシステムをディープラーニングで

↑

事前準備 keras(ケラス)のインストールと準備 10.2 †

keras(ケラス)とTheano(テアノ)のインストール

$ sudo apt update
   :

依存関係ツリーを作成しています       
状態情報を読み取っています... 完了
パッケージはすべて最新です。

必要なパッケージのインストール

$ sudo apt install liblapack-dev libhdf5-dev python3-h5py
   :

以下のパッケージが新たにインストールされます:
  hdf5-helpers libaec-dev libhdf5-cpp-103 libhdf5-dev liblapack-dev python3-h5py
アップグレード: 0 個、新規インストール: 6 個、削除: 0 個、保留: 0 個。
4,756 kB のアーカイブを取得する必要があります。
この操作後に追加で 22.3 MB のディスク容量が消費されます。
続行しますか? [Y/n] y
取得:1 http://ftp.jaist.ac.jp/raspbian buster/main armhf hdf5-helpers armhf 
1.10.4+repack-10 [35.2 kB]
   :

kerasとtheanoのインストール

$ sudo pip3 install keras==2.3.1 theano
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Collecting keras==2.3.1
  Downloading  https://files.pythonhosted.org/packages/ad/fd/6bfe87920d7f4fd475acd28500a42482b6b84479832bdc0fe9e589a60ceb/Keras-2.3.1-py2.py3-none-any.whl (377kB)
    100% |████████████████████████████████| 378kB 811kB/s 
Collecting theano
  Downloading https://www.piwheels.org/simple/theano/Theano-1.0.5-py3-none-any.whl (2.7MB)
   :

Installing collected packages: keras-preprocessing, pyyaml, keras-applications, keras, theano
  1 {
Successfully installed keras-2.3.1 keras-applications-1.0.8 keras-preprocessing-1.1.2 pyyaml-5.3.1 theano-1.0.5

※ 書籍のサポートサイトの案内に従いpython3環境でのインストールをした。
※ 「python3-pil.imagetk」パッケージは既にインストール済みになっていた。

kerasとTheanoを連携させる設定

$ python3 ml-03-01-version.py
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Using TensorFlow backend.
scikit-learnのバージョンは0.20.2です
numpyのバージョンは1.16.2です
scipyのバージョンは1.1.0です
matplotlibのバージョンは3.0.2です
PIL(Pillow)のバージョンは5.4.1です
kerasがインストールされていないか、まだ設定が済んでいません
theanoのバージョンは1.0.5です

設定ファイル「.keras/keras.json」を編集する。(backend:の項目をtensorflow → theanoに変更)

$ vi .keras/keras.json

{
    "floatx": "float32",
    "epsilon": 1e-07,
    "backend": "theano",
    "image_data_format": "channels_last"
}

再度設定を確認する。

$ python3 ml-03-01-version.py
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Using Theano backend.
scikit-learnのバージョンは0.20.2です
numpyのバージョンは1.16.2です
scipyのバージョンは1.1.0です
matplotlibのバージョンは3.0.2です
PIL(Pillow)のバージョンは5.4.1です
kerasのバージョンは2.3.1です
theanoのバージョンは1.0.5です

※ DeprecationWarning:エラーについて
　scikit-learnのimportで「the imp module is deprecated in favour of importlib;」という警告がでました
　特に支障はないので無視する。

↑

ディープラーニングのアヤメの分類課題への適用 10.4 †

学習用プログラムの実行
・GUIプログラムなのでVNCビューア上のLXTerminal上で実行する。
・書籍では「Pi3」で10分程度の時間を要するとあるが「Pi4」では数分で完了。

$ python3 ml-10-01-iris-deep-learn.py result-iris.h5
   :

Epoch 3999/4000
 - 0s - loss: 0.0137 - accuracy: 1.0000 - val_loss: 0.0198 - val_accuracy: 1.0000
Epoch 4000/4000
 - 0s - loss: 0.0144 - accuracy: 1.0000 - val_loss: 0.0077 - val_accuracy: 1.0000
ターゲット
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
ディープラーニングによる予測
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
正解率99.33333333333333

結果確認用プログラムの実行

$ python3 ml-10-02-iris-deep-load.py result-iris.h5
Using Theano backend.
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
ターゲット
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
ディープラーニングによる予測
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
正解率E99.33333333333333

学習済みサンプルファイルで実行した場合

$ python3 ml-10-02-iris-deep-load.py ml-iris-deep.h5
Using Theano backend.
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
ターゲット
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
ディープラーニングによる予測
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
 2 2]
正解率E100.0

↑

ディープラーニングの手書き数字の分類課題への適用 10.6 †

学習用プログラムの実行
・GUIプログラムなのでVNCビューア上のLXTerminal上で実行する。
・書籍では「Pi3」で時間を要するとあるが「Pi4」では15分程度で終了。

$ python3 ml-10-03-digits-cnn-learn.py result-digits.h5
   :

Epoch 499/500
 - 2s - loss: 6.5459e-04 - accuracy: 1.0000 - val_loss: 0.2823 - val_accuracy: 0.9667
Epoch 500/500
 - 2s - loss: 2.1300e-04 - accuracy: 1.0000 - val_loss: 0.3010 - val_accuracy: 0.9611
正解率
99.61046188091264

結果確認用プログラムの実行 (CUI版)
・GUIプログラムなのでVNCビューア上のLXTerminal上で実行する。

$ python3 ml-10-04-digits-cnn-load.py result-digits.h5
Using Theano backend.
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
正解率
99.61046188091264

学習済みサンプルファイルで実行した場合

$ python3 ml-10-04-digits-cnn-load.py ml-digits-cnn.h5
Using Theano backend.
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
正解率
99.61046188091264

結果確認用プログラムの実行 (GUI版)

位置ずれやサイズの補正なし版
```
$ python3 ml-10-05-digits-cnn-gui.py result-digits.h5
```
位置ずれやサイズの補正あり版
```
$ python3 ml-10-06-digits-cnn-gui-mod.py result-digits.h5
```

↑

ディープラーニングのじゃんけんの手の分類課題への適用 10.7 †

学習用プログラムの実行
・GUIプログラムなのでVNCビューア上のLXTerminal上で実行する。
・書籍では「Pi3」でおよそ7時間を要するとあるが「Pi4」では34分程度で終了。
```
$ python3 ml-10-07-hand-cnn-learn.py result-hand.h5

Epoch 499/500
 - 4s - loss: 1.3717e-04 - accuracy: 1.0000
Epoch 500/500
 - 4s - loss: 4.2597e-04 - accuracy: 1.0000
正解率
100.0
```

結果確認用プログラムの実行 (GUI版)

位置ずれやサイズの補正なし版
```
$ python3 ml-10-08-hand-cnn-load.py result-hand.h5
```
位置ずれやサイズの補正あり版
```
$ python3 ml-10-08-hand-cnn-load.py ml-hand-cnn.h5
```

↑

じゃんけんシステムの実行 †

ディープラーニング版じゃんけんプログラムの実行

$ python3 ml-10-09-janken-deep.py result-hand.h5
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Using Theano backend.
Xlib:  extension "RANDR" missing on display ":1.0".

音声短縮版の場合

$ python3 ml-10-10-janken-deep-shorten.py result-hand.h5
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Using Theano backend.
Xlib:  extension "RANDR" missing on display ":1.0".

　※ 以上で第10章まで書籍本編完了。

↑

ディープラーニングを keras(ケラス) + TensorFlow(テンソルフロー) で実行する †

　※「Raspberry Pi ではじめる機械学習」補足情報より

バックエンドを変えて何が変わるのか？
- [性能]
  　TheanoからTensorFlowに変えても、計算を担うライブラリが変わるだけで、機械学習の性能は変化しない。
- [プログラム全般に関して]
  　Theanoでは、プログラムの初回実行時にコンパイルという作業が行われるため、Raspberry Piで5分程度の時間がかかるが、TensorFlowではこれがなくなり、速やかに計算が始まる。
- [学習用プログラムに関して]
  　学習用プログラム（ml-10-01-iris-deep-learn.py、ml-10-03-digits-cnn-learn.py、ml-10-07-hand-cnn-learn.pyの3つ）をRaspberry Pi 2および Raspberry Pi 3で実行すると、マルチコアのプロセッサが有効に使われるため、プログラムの実行時間が短くなる。(結果確認用プログラムではその効果はない。)
- [その他の注意]
  　TensorFlowをインストールすると、ベクトル計算用のライブラリNumPyがアップグレードされることで、プログラム実行時にライブラリ間のバージョンの組合せに起因する警告（FutureWarningやRuntimeWarningなどのWarning）がたくさん出る。Warningはエラーでないので当面は無視してよい。

↑

TensorFlow(テンソルフロー) のインストール †

準備

$ sudo apt update
   :

パッケージはすべて最新です。
$ sudo apt install libatlas-base-dev
   :

libatlas-base-dev はすでに最新バージョン (3.10.3-8+rpi1) です。

インストール

$ sudo pip3 install tensorflow
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Collecting tensorflow
  Downloading https://www.piwheels.org/simple/tensorflow/tensorflow-1.14.0-cp37-none-linux_armv7l.whl (79.6MB)
    100% |████████████████████████████████| 79.6MB 5.7kB/s 
   :

Successfully installed absl-py-0.10.0 astor-0.8.1 cachetools-4.1.1 gast-0.2.2 google-auth-1.21.2 google-auth-oauthlib-0.4.1 google-pasta-0.2.0 grpcio-1.32.0 importlib-metadata-1.7.0 markdown-3.2.2 opt-einsum-3.3.0 protobuf-3.13.0 pyasn1-0.4.8 pyasn1-modules-0.2.8 rsa-4.6 setuptools-50.3.0 tensorboard-2.0.2 tensorflow-1.14.0 tensorflow-estimator-1.14.0 termcolor-1.1.0 wrapt-1.12.1 zipp-3.1.0

kerasから利用する設定(backend:の項目をtensorflowに設定)

$ vi .keras/keras.json

{
    "floatx": "float32",
    "epsilon": 1e-07,
    "backend": "tensorflow",
    "image_data_format": "channels_last"
}

↑

プログラムの実行 †

手書き数字の認識を行うml-10-06-digits-cnn-gui-mod.pyを実行

$ python3 ml-10-06-digits-cnn-gui-mod.py ml-digits-cnn.h5
Using TensorFlow backend.
2020-09-22 04:56:44.188085: E 
tensorflow/core/platform/hadoop/hadoop_file_system.cc:132] HadoopFileSystem load error: libhdfs.so: cannot open shared object file: No such file or directory
WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/keras/backend/tensorflow_backend.py:4070: The name tf.nn.max_pool is deprecated. Please use tf.nn.max_pool2d instead.

WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/keras/backend/tensorflow_backend.py:422: The name tf.global_variables is deprecated. Please use tf.compat.v1.global_variables instead.

※ Warningエラーは出るが問題なく動作する。

keras + TensorFlow用のじゃんけんシステムのプログラムのダウンロード

$ cd ~/Programs/opencv/ml 
$ wget https://raw.githubusercontent.com/neuralassembly/raspi/master/ml-10-09-janken-deep-mod-tf.py
--2020-09-22 04:59:33--  
https://raw.githubusercontent.com/neuralassembly/raspi/master/ml-10-09-janken-deep-mod-tf.py
   :
ml-10-09-janken-dee 100%[===================>]  16.92K  --.-KB/s 時間 0.02s    

2020-09-22 04:59:34 (871 KB/s) - `ml-10-09-janken-deep-mod-tf.py' へ保存完了 [17325/17325]

$ wget https://raw.githubusercontent.com/neuralassembly/raspi/master/ml-10-10-janken-deep-shorten-mod-tf.py
--2020-09-22 05:06:20--  
https://raw.githubusercontent.com/neuralassembly/raspi/master/ml-10-10-janken-deep-shorten-mod-tf.py
   :
ml-10-10-janken-dee 100%[===================>]  17.13K  --.-KB/s 時間 0.01s    

2020-09-22 05:06:21 (1.13 MB/s) - `ml-10-10-janken-deep-shorten-mod-tf.py' へ保存完了 [17546/17546]

keras + TensorFlow用のじゃんけんシステムのプログラムの実行
位置ずれやサイズの補正なし版

$ python3 ml-10-09-janken-deep-mod-tf.py ml-hand-cnn.h5
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Using TensorFlow backend.
2020-09-22 05:10:35.892664: E tensorflow/core/platform/hadoop/hadoop_file_system.cc:132] HadoopFileSystem load error: libhdfs.so: cannot open shared object file: No such file or directory
WARNING:tensorflow:From ml-10-09-janken-deep-mod-tf.py:24: The name tf.Session is deprecated. Please use tf.compat.v1.Session instead.

WARNING:tensorflow:From ml-10-09-janken-deep-mod-tf.py:25: The name tf.get_default_graph is deprecated. Please use tf.compat.v1.get_default_graph instead.

WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/ops/resource_variable_ops.py:1630: calling BaseResourceVariable.__init__ (from tensorflow.python.ops.resource_variable_ops) with constraint is deprecated and will be removed in a future version.
Instructions for updating:
If using Keras pass *_constraint arguments to layers.
WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/keras/backend/tensorflow_backend.py:4070: The name tf.nn.max_pool is deprecated. Please use tf.nn.max_pool2d instead.

WARNING:tensorflow:From /usr/local/lib/python3.7/dist-packages/keras/backend/tensorflow_backend.py:422: The name tf.global_variables is deprecated. Please use tf.compat.v1.global_variables instead.

Xlib:  extension "RANDR" missing on display ":1.0".

位置ずれやサイズの補正あり版

$ python3 ml-10-10-janken-deep-shorten-mod-tf.py ml-hand-cnn.h5
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see 
the module's documentation for alternative uses
  import imp
Using TensorFlow backend.
   :

※ 前項と同じくWarningエラーは出るが問題なく動作する。

↑

パッケージのバージョン †

opencv-python==4.1.1.26
keras==2.3.1
Theano=1.0.5

tensorflow==1.14.0

$ python3 ml-03-01-version.py
/usr/lib/python3/dist-packages/sklearn/externals/joblib.py:1: 
DeprecationWarning: the imp module is deprecated in favour of importlib; see the module's documentation for alternative uses
  import imp
Using Theano backend.
scikit-learnのバージョンは0.20.2です
numpyのバージョンは1.16.2です
scipyのバージョンは1.1.0です
matplotlibのバージョンは3.0.2です
PIL(Pillow)のバージョンは5.4.1です
kerasのバージョンは2.3.1です
theanoのバージョンは1.0.5です

↑

最新の20件