OpenVINO Tips2

最新の20件

私的AI研究会 > OpenVINO Tips2

OpenVINO™ Toolkit Tips2 †

OpenVINO™ Toolkit「2021.3」 Tips †

GPU に関する設定 †

• GPU を使用して推論プログラムを実行すると、推論モデルの実行に相当時間がかかる。(プログラムが停止したかと勘違いするほど …)
  

• 原因を調べて行くと、インテルのサポートに次の記述が見つかる。
  「ドライバー を有効cl_cache初めてモデルを読み込む場合、OpenCL カーネルがコンパイルされますので、まだ時間がかかるでしょう。しかし、同じモデルの後続の負荷は、それぞれはるかに高速になります。」
  

• 結局、キャッシュの仕組みが組み込まれているようなのでこれを利用する。
  
  • プログラムの実行ディレクトリに「cl_cache」という名前の新規ディレクトリを作成する。
    
  • ディレクトリを固定する場合は、適当な場所に「cl_cache」を作成し、そのパスを環境変数 cl_cache_dir に設定する。
    

    例：export cl_cache_dir=$HOME/run_app/cl_cache

• モデル読み込み時間の改善

  デモタイトル	CPU	キャッシュなし		キャッシュあり		キャッシュ・サイズ
  		GPU (FP16)	GPU (FP32)	GPU (FP16)	GPU (FP32)	MB
  アクション認識 Python デモ human_pose_estimation_3d_demo	1.5s	47s	46.3s	1.45	1.4s	1.0
  テキスト検出 C++ デモ text_detection_demo	2s	10m44s	10m40s	4.5s	4.4s	9.5

• cl_cache の既知の制限事項
  

  What are the known limitations of cl_cache?
  1. Not thread safe. (Workaround: Make sure your clBuildProgram calls are executed in thread safe fashion.)
  2. Binary representation may not be compatible between various versions of NEO and IGC drivers. (Workaround: Manually empty cl_cache directory prior to update)
  3. Cache is not automatically cleaned. (Workaround: Manually empty cl_cache directory)
  4. Cache may exhaust disk space and cause further failures. (Workaround: Monitor and manually empty cl_cache directory)
  5. Cache is not process safe.

  • (機械翻訳)
    1. スレッド セーフではありません。(回避策: clBuildProgram の呼び出しがスレッド セーフな方法で実行されていることを確認します。
    2. バイナリ表現は、NEOとIGCドライバの様々なバージョン間で互換性がない場合があります。(回避策: 更新前に手動で cl_cacheディレクトリを空にする)
    3. キャッシュは自動的にクリーニングされません。(回避策 : 手動で cl_cacheディレクトリを空にする)
    4. キャッシュはディスク領域を使い果たし、さらに障害を引き起こす可能性があります。(回避策: ディレクトリを監視し、手動で cl_cacheディレクトリを空にする)
    5. キャッシュはプロセス セーフではありません。
    

• さらなる最適化の方法
  GPU上で実行するモデルを 最適化する方法の詳細
  

NUC2 並列動作 †

用語辞典 (Wikipedia より) †

OpenCL †

• OpenCL（オープンシーエル、英: Open Computing Language）は、マルチコアCPUやGPU、Cellプロセッサ、DSPなどによる異種混在の計算資源（ヘテロジニアス環境、ヘテロジニアス・コンピューティング、英: Heterogeneous）を利用した並列コンピューティングのためのクロスプラットフォームなAPIである。主な用途は科学技術計算や画像処理に代表される高性能計算のためのアプリケーションソフトウェアの高速化（ハードウェアアクセラレーション）であり、シミュレーション可視化に用いるリアルタイム3次元コンピュータグラフィックスAPIとの連携も拡張機能として標準化されている。スーパーコンピュータやサーバ、ワークステーションやパーソナルコンピュータのほか、携帯機器などでの利用も想定されており、組み込みシステム向けに必要条件を下げたOpenCL Embedded Profileが存在する。
  

• OpenCLの仕様はアップルによって提案されたのち、標準化団体クロノス・グループの作業部会OpenCL Working Group（旧Compute Working Group）によって策定されている。仕様はロイヤリティフリーなオープン標準として公開されており、仕様に基づいたフレームワークの実装はサードパーティーによって行われる。ただし、実装されたフレームワークに対して許諾される商標ライセンスに必要な仕様一致性テストには、'nominal fee'（名目上の手数料）が必要である。
  
   

更新履歴 †

• 2021/05/16 初版
   

参考資料 †

• オフィシャルサイト
  
  • Intel® OpenVINO™ Toolkit Storage
    
  • Open Model Zoo Demos (latest)
  • Inference Engine Samples

• GPU関連
  
  • Optimization Guide
    
  • モデル読み込み時間が CPU よりも長い理由
    
  • Why is the Model Load Time to GPU Longer than to CPU?
    
  • Frequently asked questions (OpenCL)
    

• NUC2関連
  • インテル®ニューラル・コンピュート・スティック2搭載のマルチデバイス・プラグイン
    
  • Multi-Device Plugin
    
  • Tip for Multiple NCS2 with OpenVINO - Throughput mode