AIrepVol4 の履歴(No.1)

「私的AI研究会」レポート　VOL.4†

※ 最終更新:2021/10/18　

　ディープラーニングはニューラルネットワークの技術の延長上にあるため、その理解にはニューラルネットワークそのものの理解が欠かせない。

「define and run」
・ニューラルネットワーク（線で繋がっていることから計算グラフとも呼ばれる）を構築してからデータを流すアルゴリズム。
・ディープラーニングフレームワークで最も有名な「TensorFlow」や「Keras」はこの方式を採用している。
・ネットワークを固定してからデータを流すため、最適化が容易というメリットがあるが、データによってネットワーク自体を動的に変化させるような構造をとることができない。

「define by run」
・データを流しながら計算グラフを構築する方式をとるアルゴリズム。
・ディープラーニングが考案された初期は、主に画像処理を畳み込みニューラルネットワークCNN）で行ってたが、自然言語処理や時系列データ処理といった再帰型ニューラルネットワーク(RNN) が利用されるようなアルゴリズムが増えてきた。
・ループ毎に計算グラフ構造が変化することも考慮したアルゴリズムが多い RNN では define by run 方式の方が直感的な記述が可能になる。
・動的な計算グラフ生成は値を見ながら動作させることが可能なので、デバッグがしやすいという大きなメリットを持つ。
・define by run 方式は Chainerを作った PFN（Preferred Networks社）がまず採用した。そして Facebook がその Chainer をフォークして「PyTorch」を作ったということで「Chainer」と「PyTorch」は　define by run方式。

　→ ディープラーニング初心者がPyTorchを選んだ3つの理由より

Tensorflow ・Tensorflow はエンドツーエンドかつオープンソースの深層学習のフレームワークであり、Googleによって2015年に開発・公開された。
・Tensorflow は名前の通り、様々なタスクにデータのフローを流しこみ、プログラムを作成するためのフレームワーク。
・Tensorflow にはニューラルネットワークなどの機械学習のアプリケーションに適用できる多くのシンボリックな数学ライブラリが用意されている。
・Tensorflow の「Tensor」は数学の概念の一つで、行列の一般化（n次元化）したものを意味する。

Keras
・Keras は Python で書かれた高レベルのニューラルネットワーク向けの効果的な API。
・このオープンソースの深層学習ライブラリは、ディープニューラルネットワークを使った高速な実装ができるように設計されており、CNTK、Tensorflow、Theanoなどがバックエンドとして動作する。
・Keras は Google のエンジニアである François Chollet氏によって作り出され、モジュール化やユーザーフレンドリーで、拡張性があることを重視してる。低レベルの計算は処理せずバックエンドの別のライブラリに渡す。
・2017年に、Keras は Tensorflow に導入された。ユーザーは tensorflow.kerasモジュールからアクセスできる。Kerasライブラリは今まで通り独立して動作することもできる。

PyTorch ・PyTorch は比較的新しい、Torchベースの深層学習フレームワーク。
・Facebook の AIグループによって開発され、2017年にGithubのオープンソースとして公開された。
・PyTorchはシンプルで使いやすいことで有名。また、柔軟性、メモリの効率的な使用、動的な計算グラフなどについても高い評価を得ている。
・さらに、Pythonを利用すると、コーディングをより管理しやすく、処理速度が速くなる。