AI推進準備室 > AIrepVol2

「私的AI研究会」レポート VOL.2

※ 最終更新:2021/05/14 

ディープラーニング覚書

ニューラルネットワークとディープラーニングの違い

 ニューラルネットワークを多層化して、特徴量を自動的に決定する手法がディープラーニング。
 ニューラルネットワークがベースの手法であり、ニューラルネットワークを応用した手法がディープラーニング。

フレームワークとライブラリとの違い

代表的なフレームワーク

名称概要特徴
TensorFlowGoogle Brainチームによって2015年に開発され、ディープラーニングフレームワークの中で現在最も人気のあるフレームワーク。GmailやGoogle翻訳などに使われているフレームワーク。・C++とPythonで書かれている
・ドキュメンテーションが充実している
・iOSやAndroidなどのモバイルのプラットフォームでも利用できる
・Tensorboardと呼ばれる、訓練過程を観察できる機能がついている
PyTorchFacebookの人工知能グループによる開発からスタートし、2016年にリリース。TensorFlowの人気に最も近い。・構文がわかりやすい
・研究者の間で人気(論文で発表されたモデルの実際のコードは、PyTorchで書かれたものが比較的見つかりやすい)
・pdbやPyCharmなどのデバッガーが使える
動的な計算グラフ(学習速度は落ちるものの、柔軟なモデルの構築が可能)
KerasFrancois Chollet氏(現在はGoogleのエンジニア)を中心として2015年に開発。現在はTensorFlowに取り込まれ、tf.kerasの形で使われるのが一般的。・モデルの構築がとても簡単で、初心者にとってもわかりやすい
・素早く実装できるので、プロトタイプの作成時に便利
・TensorFlow、CNTK、Theanoという複数のバックエンドをサポート
CaffeYangqing Jia氏が、カリフォルニア大学バークレー校の博士課程在学中に始めたプロジェクト。同校のBAIR(Berkeley Artificial Intelligence Research)を中心に開発が行われ、2017年にリリースされた。・画像認識などの処理が得意
・開発コミュニティが活発
・動作が速い
Microsoft Cognitive Toolkitマイクロソフトによって開発されたMicrosoft Cognitive Toolkitは、元々CNTKという名前で2016年にリリースされたが、同年10月に現在の名前に変る。Skypeなどにも使われている。・リソース効率が良い
・ONNXフォーマット(ディープラーニングモデルを異なるフレームワーク間で交換するためのフォーマット)を初めてサポート
・巨大データセット処理時のパフォーマンス低下を最小化するためのアルゴリズムが組み込まれているので、複雑マシンで巨大データセットを扱える
・コミュニティはそこまで発展していない
MxNetCMU(カーネギーメロン大学), NYU(ニューヨーク大学), NUS(シンガポール国立大学), MIT(マサチューセッツ工科大学)など、様々な大学からの研究者が協力して開発され、2016年にAWS(Amazon Web Service)によるサポートが発表された。・高いスケーラビリティ
・モバイルデバイスも対応可
・Python, R, Scala, JavaScript, C++など多くの言語に対応
・研究者の間での人気はあまり高くなく、コミュニティもそこまで発達していない
・命令的プログラムと宣言的プログラムの併用が可能
Chainer日本のベンチャー企業である、PFN(Preferred Networks)によって開発。2019年12月に開発を終了し、PyTorchへ移行されることが発表さたが、define-by-runというアプローチを他のフレームワークに先駆けて提唱するなど、後に続くフレームワークにも少なからず影響を与えた。・国内での人気が高い
・TensorFlowのように計算グラフを定義してから計算を実行するのではなく、計算と同時に計算グラフを定義するので、モデルの再構築が楽(これがPyTorchなどの動的計算グラフにつながる)

AI エッジ・コンピューティング

 それぞれのフレームワークは、「学習フェーズ」「推論フェーズ」酔いう2段階のプロセスで処理を行っている。
学習フェーズについてはその処理の重さからエッジ処理は難しい。どのフレームワークを使っても「学習フェーズ」で得られた学習済みモデルを使って、エッジコンピュータでは「推論フェーズ」の処理を実装している。
※ OpenVINO は「学習フェーズ」は実行できないが、「推論フェーズ」の処理をフレームワークの違いを吸収して実行できるメリットがある。

AI 入門

 下記のNTTデータ先端技術株式会社の「(コラム) 人工知能の過去、現在、未来」が解りやすい。

更新履歴

参考資料