PyTorch6

PyTorch ではじめる AI開発 6 †

　「顔認証学習済みモデル VGGFace2」をアジア人のデータセットで「転移学習」をおこないアジア人の顔データに特化した専用モデルを作成する。

PyTorch ではじめる AI開発 6
顔認証 (Face recognition) 概要
CHAPTER 06 アジア人向けに強化された顔認証 (保留)
参考資料

※ 最終更新:2021/10/19　

↑

顔認証 (Face recognition) 概要 †

　顔認証術についてサイト「【python できること】pytorch facenetでAI 顔認証のアルゴリズム、実装方法の説明」から引用。
　(説明内容要約・画像引用)

↑

顔認証とは †

「カメラに写っている人」は誰？というのを「登録してある人」の顔と照合すること。
「登録してある人」は事前に、データベースにある顔写真など。「カメラに写っている人」はカメラの前にいる人など。
アプリケーションによって１対複数の顔を比較し同じ顔を識別する技術。

↑

顔認証の方法 †

ディープニューラルネットワーク（DNN）によって、以下のステップで顔を数値化（ベクトル化）する。

① カメラの画像に顔があるか検出
② 顔を切り取って画像サイズを変更
③ 顔の画像をディープニューラルネットワークに通して、数値化（ベクトル化）

※「facenet」は160×160にリサイズして、512個の数値にする。
顔が映った画像が512個の数値になったら、この数字を使って類似度を算出する。

① 登録してある人は事前に数値化されている。カメラに映っている人ははすぐに数値化する。
② 登録済みの数値と比較していき、類似度の高い（顔が似ている）データがあれば認証し、1つもなければ未登録者ということになる。

※ 類似度の算出にはコサイン類似度というものを求めるのが一般的。

↑

顔認証の学習方法 †

数値化された 512の数値化を
・AさんとAさんを比較した場合は似た数値になるように
・AさんとBさんを比較した場合は似てない数値になるように
512個の数値で違いが判断できるようディープラーニングで学習させる。

↑

顔認証の実装 †

「facenet」を利用して実装する。
　左から順に仮にカメラに写った人と、登録された人に分ける。
　1. カメラに写った人：ブルースウィルス
　2. 登録された人1：ブルースウィルス
　3. 登録された人2：ジェイソンステイサム
1と2、1と3を比較していく。

ソースコード

▼　(py37) $ vi facenet_test.py

(py37) $ vi facenet_test.py 

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 06 / Extra edition
##    pytorch facenetでAI 顔認証のアルゴリズム実装
##       https://hituji-ws.com/code/python/face_reco/
##
##               2021.10.08 Masahiro Izutsu
##------------------------------------------
## facenet_test.py

## 1. 必要なライブラリの読み込み ********************

# ライブラリの宣言
from facenet_pytorch import MTCNN, InceptionResnetV1
from PIL import Image
import numpy as np

## 2. AIモデルの宣言 *******************************
#    顔の場所を検出して切り取るAIモデルと512個の数値にするAIモデルを宣言

# 顔検出のAI
# image_size: 顔を検出して切り取るサイズ
# margin: 顔まわりの余白
mtcnn = MTCNN(image_size=160, margin=10)
 
# 切り取った顔を512個の数字にするAI
# 1回目の実行では学習済みのモデルをダウンロードするので、少し時間かかる

resnet = InceptionResnetV1(pretrained='vggface2').eval()

## 3. 3つの画像を512個の数値化 *********************
#    3つの画像を読み込んで、顔の検出、リサイズ、512個の数値化の処理

# 三人分の比較をする
# 1つ目をカメラで取得した人として 2、3つ目を登録されている人とする
image_path1 = "images1.jpg"
image_path2 = "images2.jpg"
image_path3 = "images3.jpg"
 
# (仮)カメラで取得した方
# 画像データ取得
img1 = Image.open(image_path1) 
# 顔データを160×160に切り抜き
img_cropped1 = mtcnn(img1)
# save_pathを指定すると、切り取った顔画像が確認できます。
# img_cropped1 = mtcnn(img1, save_path="cropped_img1.jpg")
# 切り抜いた顔データを512個の数字に
img_embedding1 = resnet(img_cropped1.unsqueeze(0))
 
# (仮)登録されたカメラと同じ人
img2 = Image.open(image_path2)
img_cropped2 = mtcnn(img2)
img_embedding2 = resnet(img_cropped2.unsqueeze(0))
 
# (仮)登録されたカメラと違う人
img3 = Image.open(image_path3)
img_cropped3 = mtcnn(img3)
img_embedding3 = resnet(img_cropped3.unsqueeze(0))

## 4. 類似度計算（顔認証）**************************

# 類似度の関数
def cos_similarity(p1, p2): 
    return np.dot(p1, p2) / (np.linalg.norm(p1) * np.linalg.norm(p2))
 
# 512個の数字にしたものはpytorchのtensorという型なので、numpyの方に変換
p1 = img_embedding1.squeeze().to('cpu').detach().numpy().copy()
p2 = img_embedding2.squeeze().to('cpu').detach().numpy().copy()
p3 = img_embedding3.squeeze().to('cpu').detach().numpy().copy()
 
# 類似度を計算して顔認証
img1vs2 = cos_similarity(p1, p2)
img1vs3 = cos_similarity(p1, p3)
 
print("1つ目と2つ目の比較", img1vs2)
print("1つ目と3つ目の比較", img1vs3)

↑

実行結果 †

テストプログラムの実行結果

(py37) $ python3 facenet_test.py 
100%|████████████████████████████████████████| 107M/107M [00:04<00:00, 25.5MB/s]
1つ目と2つ目の比較 0.7496124
1つ目と3つ目の比較 0.3097119

同じ人と違う人で大きく値が離れている。値が大きいと似ているということなので、類似度＞0.7で同じ人であるという判断をするとよい。

↑

CHAPTER 06 アジア人向けに強化された顔認証 (保留) †

　AI の学習に使用されるデータセットは AI 研究の盛んな欧米で作成されたものが多くそれを利用して学習された AI にも人種的な偏りがある。
　アジア人の顔写真データを利用して公開されているモデルを改造する方法を学習する。

↑

SECTION-016 顔認証 AI の性能 †

画像から人間の顔を見つけ出す技術を「顔検出」、登録されている顔の一覧から同一人物を見つけ出す技術は「顔認識」と呼ばれる。
ここでの「顔認証」は生体認証の一種で入力された顔写真データが登録されている顔の人物と同一人物であるかを判定する。

↑

「FaceNet」データセットをダウンロード †

大規模な顔写真データセットで学習させた「facenet-pytorch」パッケージを使用する。
未インストールの場合はインストールする。
```
(py37) $ pip install facenet-pytorch
```

↑

アジア人の顔データセット（転移学習用）の準備 †

作業用ディレクトリの作成

(py37) $ cd ~/workspace_py37/
(py37) $ mkdir chapter06
(py37) $ cd chapter06

「The Asisn Face Age Dataset (AFAD)」データセットのダウンロード。

(py37) $ git clone http://github.com/afad-dataset/tarball-lite
Cloning into 'tarball-lite'...
warning: redirecting to https://github.com/afad-dataset/tarball-lite/
remote: Enumerating objects: 37, done.
remote: Total 37 (delta 0), reused 0 (delta 0), pack-reused 37
Receiving objects: 100% (37/37), 865.47 MiB | 14.96 MiB/s, done.
Resolving deltas: 100% (3/3), done.
Updating files: 100% (30/30), done.
(py37) $ cd tarball-lite/
(py37) $ sh restore.sh 
(py37) $ mv AFAD-Lite.tar.xz ..
(py37) $ cd ..
(py37) $ ls
AFAD-Lite.tar.xz  tarball-lite

tar.xz形式の圧縮ファイルを解凍 (展開)する

(py37) $ tar xvfJ AFAD-Lite.tar.xz 
    :
AFAD-Lite/31/111/2370-1.jpg
AFAD-Lite/31/111/445644-1.jpg
AFAD-Lite/31/111/126552-1.jpg
AFAD-Lite/31/111/310098-0.jpg
AFAD-Lite/31/111/310065-0.jpg
AFAD-Lite/31/111/133209-0.jpg
AFAD-Lite/31/111/141853-0.jpg
AFAD-Lite/31/111/441804-0.jpg
AFAD-Lite/31/111/438789-1.jpg
AFAD-Lite/31/111/307929-0.jpg
AFAD-Lite/31/111/439880-0.jpg
AFAD-Lite/31/111/440327-2.jpg
AFAD-Lite/31/111/314557-0.jpg
AFAD-Lite/31/111/437048-0.jpg
AFAD-Lite/31/111/131292-0.jpg
AFAD-Lite/31/111/432349-0.jpg
AFAD-Lite/31/111/126601-0.jpg
AFAD-Lite/31/111/446466-0.jpg
(py37) $ ls
AFAD-Lite  AFAD-Lite.tar.xz  tarball-lite

AFAD データセットの内容
・「AFAD-Lite/<年齢>/<性別ID>/<ファイル番号>.jpg」という画像ファイルが作成される。
・性別IDは、「111」が男性、「112」が女性を表す。

確認ができたら不要なファイルを削除する。

(py37) $ rm AFAD-Lite.tar.xz
(py37) $ sudo rm -r tarball-lite/
(py37) $ ls
AFAD-Lite

↑

検証用データセットの準備 †

　転移学習によって実際に性能が向上しているかどうかを確認するためには、上記「VGGFace2」「AFAD」とは別のデータセットでモデルの性能を検証する。
　「The Japanease Female Facial Expression (JFFE)」データセットを使用する。

下記のサイトからダウンロード申請する。
The Japanese Female Facial Expression (JAFFE) Dataset

JAFFE 画像使用許可条件
- JAFFE画像は非商業的な科学研究にのみ使用できる。
- その他の使用には事前承認が必要。
- 次の項目は許可されていない。
  ・JAFFEデータセットの一部または全部、または誘導体の再配布(Github、Kaggle、コラボラトリーなどを含む)
  ・投稿ウェブやソーシャルメディア上のJAFFE画像
  ・博物館・ギャラリー等でのJAFFE画像の公開展示
  ・マスメディア(テレビ番組、映画など)での放送

データのダウンロードを申請する場合は、以下を指定する必要がある。
・名前
・大学・研究機関の名前と場所
・申請者の立場(大学院生、研究助手、教授など)
・研究プロジェクトの簡潔で具体的な説明
必要な情報をすべて入力しなかった場合、または使用を提案しない場合は、要求が拒否される。

JAFFE は以下の目的で提供できない。
・宿題
・コースプロジェクト
・学部プロジェクト
・個人的な使用

※ 上記の条件から今のところ入手できていない。

　← ダウンロード不許可メール

↑

検証プログラムの作成 †

書籍サイトからダウンロードしたサンプルデータ「~/workspace_py37/sample」からファイルコピーする。
作業ディレクトリ「~workspace_py37/chapter06/」に「chapt06_1.py」を「chapt06_1a.py」としてコピーする。
```
(py37) $ cd ~/workspace_py37/chapter06/
(py37) $ cp ../sample/chapt06/chapt06_1.py ./chapt06_1a.py
(py37) $ ls
chapt02_1a.py
```

ファイルを編集する（特に修正箇所はない）。

▼　(py37) $ vi chapt06_1a.py

(py37) $ vi chapt06_1a.py 

# -*- coding: utf-8 -*-
##------------------------------------------
## 「PyTorch で始める AI開発」
##   Chapter 06 / Section 016
##   アジア人向けに強化させた顔認証/
##           顔認証AIの性能(要JAFFEデータセット)
##
##               2021.09.27 Masahiro Izutsu
##------------------------------------------
## chapt06_1a.py  (original: chapt06_1.py)

import numpy as np
import os
from PIL import Image
import glob
import argparse
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.metrics import f1_score
import torch
from torch import utils
from facenet_pytorch import MTCNN, InceptionResnetV1
from torchvision import transforms

# GPUを使うかどうか
USE_DEVICE = 'cuda:0' if torch.cuda.is_available() else 'cpu'
# バッチサイズ
BATCH_SIZE = 16
# データの読み込みスレッドの数
NUM_WORKERS = 2
# 検証用データがあるディレクトリ
VALID_DIR = 'jaffedbase/'

# JAFFEデータで検証を行う
def validation( model ):
    persons = []  # 人物ID
    faces = []  # 顔データ

    mtcnn = MTCNN()

    # 全ての画像を読み込んでTensorにしておく
    for f in glob.glob(f'{VALID_DIR}/*.tiff'):
        p = os.path.basename(f)  # ファイル名
        p = p[:2]  # ファイル名から人物IDを取得
        img = Image.open(f) # ファイルを読み込む
        img = img.convert('RGB') # カラー画像にする
        img_cropped = mtcnn(img) # 顔部分を切り出して-1~1までのTensorにする
        persons.append(p)  # 人物IDを追加
        faces.append(img_cropped)  # 画像のtensorを追加

    # モデルを検証用に設定
    model.to(USE_DEVICE)
    model.eval()

    # JAFFEデータの画像ベクトル一覧
    face_vectors = []

    # 全ての画像を実行する
    data_loader = utils.data.DataLoader(
        faces, batch_size=BATCH_SIZE, shuffle=False, num_workers=NUM_WORKERS)
    for X in data_loader: # 画像を読み込んでtensorにする
        X = X.to(USE_DEVICE) # GPUを使うときはGPUメモリ上に乗せる

        # 1バッチ実行する
        pred = model(X)
        pred = pred.detach().cpu().numpy()

        # 結果を保存する
        for p in pred:
            face_vectors.append(p)

    # 全組み合わせのコサイン類似度を求める
    sims = cosine_similarity(face_vectors, face_vectors)

    scores = {}
    # 閾値を変えながらテスト
    for t in range(1,100,1):
        threashold =  t / 100  # コサイン類似度の閾値
        match_pred = []  # 類似度から認識した結果
        match_true = []  # 実際の正解
        # 全組み合わせ
        for i in range(len(face_vectors)):
            for j in range(len(face_vectors)):
                # 閾値以下なら別人、以上なら同じ人と判定
                if sims[i,j] < threashold:
                    match_pred.append(0)
                else:
                    match_pred.append(1)
                # 実際に同じ人かどうかをチェック
                if persons[i] != persons[j]:
                    match_true.append(0)
                else:
                    match_true.append(1)
        # 判定と正解からF1スコアを求める
        scores[threashold] = f1_score(match_true, match_pred)

    # 最も良いスコアが出た閾値を求める
    result = sorted(list(scores.items()), key=lambda x:x[1])[::-1]
    return result

# プログラムとして実行
if __name__=='__main__':
    # 指定されたモデルの検証を行う
    model = InceptionResnetV1(pretrained='vggface2')
    result = validation(model)
    th, sc = result[0]
    print(f'best score: {sc}, threathold: {th:.2f}')

プログラムを実行する。(実行不可)

↑

SECTION-017 転移学習による性能の向上 †

　(保留)

↑

SECTION-018 顔認証アプリ †