TensorRT3とNVDLA

Vengineerの戯言 : Twitter、Slideshare
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Nvidia CEO in China: Big Push for AI Inferenceの図を引用します。

各種フレームワークのモデル(パラメータ)をNVIDIAのTensorRTに取り込んで、各ハードウェアに対する最適化を行う。

そのハードウェアって、

　・TESLA P4
　・JETSON TX2
　・DRIVE PX2
　・NVIDIA DLA
　・TESLA V100

です。

今回、先週オープンソースになったNVIDIA DLAも加わったようですね。

学習側でのGPU利用は当たり前になり、無くては仕事にならない状態。

でも、推論ではまだ確固たる地位は確立できていない状況です。

クラウド側のTESLA P4、組み込み用のJETSON TX2、自動運転用にDRIVE PX2、そして半導体に組み込むNVIDIA DLA

全方位で固める作戦ですね。。。

P.S

フレームワークの淘汰が始まりました。
フレームワークではかなり前から使われてきた が 1.0をもって開発を中止し、メンテナンスだけになるようです。
TensorFlowの圧倒的な優位と、それに続く、Caffe、そして、PyTourch、MXNet、Caffe2、日本では強いChainer。

生き残るのは、どこだろうか？

追記）、2018.01.13
DEEP LEARNING DEPLOYMENT WITH NVIDIA TENSORRT
TensorRT 3: Faster TensorFlow Inference and Volta Support