NVIDIA 發(fā)布了JetPack 3.1，這是用于 Jetson TX1 和 TX2 的生產(chǎn) Linux 軟件版本。隨著對(duì) TensorRT 2.1 和 cuDNN 6.0 的升級(jí)，JetPack 3.1 為視覺(jué)引導(dǎo)導(dǎo)航和運(yùn)動(dòng)控制等實(shí)時(shí)應(yīng)用提供了高達(dá) 2 倍的深度學(xué)習(xí)推理性能提升，這些應(yīng)用受益于加速的批量大小 1。改進(jìn)的功能使 Jetson 能夠部署比以往任何時(shí)候都更強(qiáng)大的智能，實(shí)現(xiàn)一代自主機(jī)器，包括送貨機(jī)器人、遠(yuǎn)程呈現(xiàn)和視頻分析。為了進(jìn)一步推動(dòng)機(jī)器人技術(shù)的發(fā)展，NVIDIA 最近推出的 Isaac Initiative 是一個(gè)端到端平臺(tái)，用于在該領(lǐng)域訓(xùn)練和部署高級(jí) AI。

邊緣的人工智能

今年春天早些時(shí)候，當(dāng) NVIDIA 推出Jetson TX2時(shí)，事實(shí)上的邊緣計(jì)算平臺(tái)在功能上得到了顯著提升。如圖 1 中的 Wave Glider 平臺(tái)所示，位于網(wǎng)絡(luò)邊緣的遠(yuǎn)程物聯(lián)網(wǎng) （IoT） 設(shè)備經(jīng)常會(huì)遇到網(wǎng)絡(luò)覆蓋、延遲和帶寬下降的情況。雖然物聯(lián)網(wǎng)設(shè)備通常用作將數(shù)據(jù)中繼到云的網(wǎng)關(guān)，但邊緣計(jì)算通過(guò)訪(fǎng)問(wèn)安全的板載計(jì)算資源重新構(gòu)建了物聯(lián)網(wǎng)的可能性。NVIDIA 的 Jetson 嵌入式模塊在 Jetson TX1 上以 1 TFLOP/s 的速度提供服務(wù)器級(jí)性能，并在 10W 的功率下將 Jetson TX2 上的 AI 性能提高一倍。

噴氣背包 3.1

JetPack 3.1 with Linux For Tegra （L4T） R28.1 是 Jetson TX1 和 TX2 的生產(chǎn)軟件版本，具有長(zhǎng)期支持 （LTS）。TX1 和 TX2 的 L4T 板級(jí)支持包 （BSP） 適用于客戶(hù)產(chǎn)品化，其共享的 Linux 內(nèi)核 4.4 代碼庫(kù)提供了兩者之間的兼容性和無(wú)縫移植。從 JetPack 3.1 開(kāi)始，開(kāi)發(fā)人員可以在 TX1 和 TX2 上訪(fǎng)問(wèn)相同的庫(kù)、API 和工具版本。

除了從 cuDNN 5.1 升級(jí)到 6.0 以及對(duì) CUDA 8 的維護(hù)更新之外，JetPack 3.1 還包括用于構(gòu)建流應(yīng)用程序的最新視覺(jué)和多媒體 API。您可以將 JetPack 3.1 下載到您的主機(jī) PC，以使用最新的 BSP 和工具刷新 Jetson。

使用 TensorRT 2.1 進(jìn)行低延遲推理

JetPack 3.1 中包含最新版本的 TensorRT，因此您可以在 Jetson 上部署優(yōu)化的運(yùn)行時(shí)深度學(xué)習(xí)推理。TensorRT 通過(guò)網(wǎng)絡(luò)圖優(yōu)化、內(nèi)核融合和半精度 FP16 支持提高了推理性能。TensorRT 2.1 包括關(guān)鍵功能和增強(qiáng)功能，例如多權(quán)重批處理，可進(jìn)一步提高 Jetson TX1 和 TX2 的深度學(xué)習(xí)性能和效率并減少延遲。

批量大小 1 的性能已顯著提高，從而將 GoogLeNet 的延遲降低到 5 毫秒。對(duì)于延遲敏感的應(yīng)用程序，批量大小 1 提供最低延遲，因?yàn)槊總€(gè)幀一到達(dá)系統(tǒng)就會(huì)被處理（而不是等待批量處理多個(gè)幀）。如圖 2 所示，在 Jetson TX2 上，使用 TensorRT 2.1 在 GoogLeNet 和 ResNet 圖像識(shí)別推理方面的吞吐量是 TensorRT 1.0 的兩倍。

圖 2：使用 Jetson TX2 Max-Q 和 Max-P 功率曲線(xiàn)的 GoogLeNet 和 ResNet-50 的推理吞吐量。TensorRT 2.1 在 GoogleLeNet 和 ResNet 上提供兩倍的推理吞吐量。

表 2 中的延遲顯示隨著批量大小 1 的成比例減少。使用 TensorRT 2，Jetson TX2 在 Max-P 性能配置文件中實(shí)現(xiàn)了 5ms 的 GoogLeNet 延遲，在 Max-Q 效率配置文件中實(shí)現(xiàn)了 7ms 的延遲。ResNet-50 在 Max-P 中具有 12.2ms 的延遲，在 Max-Q 中具有 15.6ms 的延遲。ResNet 通常用于提高圖像分類(lèi)的準(zhǔn)確性，超越 GoogLeNet，使用 TensorRT 2.1 可將運(yùn)行時(shí)性能提高 2 倍以上。借助 Jetson TX2 的 8GB 內(nèi)存容量，即使在 ResNet 等復(fù)雜網(wǎng)絡(luò)上也可以實(shí)現(xiàn)高達(dá) 128 的大批量。

減少的延遲允許深度學(xué)習(xí)推理方法用于需要近實(shí)時(shí)響應(yīng)的應(yīng)用程序，例如高速無(wú)人機(jī)和水面車(chē)輛的防撞和自主導(dǎo)航。

自定義圖層

通過(guò)用戶(hù)插件 API 支持自定義網(wǎng)絡(luò)層，TensorRT 2.1 能夠運(yùn)行最新的網(wǎng)絡(luò)和擴(kuò)展支持的功能，包括殘差網(wǎng)絡(luò) （ResNet）、循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN）、你只看一次 （YOLO） 和更快-RCNN（區(qū)域卷積神經(jīng)網(wǎng)絡(luò)）。自定義層在用戶(hù)定義的 C++ 插件中實(shí)現(xiàn)，這些插件實(shí)現(xiàn)IPlugin了如下代碼中的接口。

#include "NvInfer.h" 

使用 
   


    
      
                            
      
                    ,  
                  
   
   
    
      
                 
               
   
   *緩沖區(qū)); 

IPlugin您可以使用與上述代碼類(lèi)似的自定義來(lái)構(gòu)建自己的共享對(duì)象。在用戶(hù)enqueue（）函數(shù)內(nèi)部，您可以使用 CUDA 內(nèi)核實(shí)現(xiàn)自定義處理。TensorRT 2.1 使用這種技術(shù)來(lái)實(shí)現(xiàn)Faster-RCNN插件以增強(qiáng)對(duì)象檢測(cè)。此外，TensorRT 為長(zhǎng)短期記憶 （LSTM）單元和門(mén)控循環(huán)單元 （GRU）提供了新的 RNN 層，以改進(jìn)基于記憶的時(shí)序序列識(shí)別。開(kāi)箱即用地提供這些強(qiáng)大的新層類(lèi)型可加速您在嵌入式邊緣應(yīng)用程序中部署高級(jí)深度學(xué)習(xí)應(yīng)用程序。

NVIDIA 艾薩克計(jì)劃

隨著邊緣 AI 功能的快速增長(zhǎng)，NVIDIA 推出了 Isaac Initiative 以推進(jìn)機(jī)器人技術(shù)和 AI 的最新發(fā)展。Isaac是一個(gè)端到端機(jī)器人平臺(tái)，用于開(kāi)發(fā)和部署智能系統(tǒng)到現(xiàn)場(chǎng)，包括模擬、自主導(dǎo)航堆棧和用于部署的嵌入式 Jetson。為了開(kāi)始開(kāi)發(fā)自主 AI，Isaac 支持圖 3 所示的機(jī)器人參考平臺(tái)。這些由 Jetson 提供動(dòng)力的平臺(tái)包括無(wú)人機(jī)、無(wú)人地面車(chē)輛 （UGV）、無(wú)人水面車(chē)輛 （USV） 和人類(lèi)支持機(jī)器人 （HSR）。參考平臺(tái)提供了一個(gè)由 Jetson 驅(qū)動(dòng)的基礎(chǔ)，可以在現(xiàn)場(chǎng)進(jìn)行實(shí)驗(yàn)，并且該計(jì)劃將隨著時(shí)間的推移而擴(kuò)展，以包括新的平臺(tái)和機(jī)器人。

開(kāi)始部署 AI

JetPack 3.1 包括 cuDNN 6 和 TensorRT 2.1。它現(xiàn)在可用于 Jetson TX1 和 TX2。憑借將單批次推理的低延遲性能提高一倍，并支持具有自定義層的新網(wǎng)絡(luò)，Jetson 平臺(tái)比以往任何時(shí)候都更有能力進(jìn)行邊緣計(jì)算。

關(guān)于作者

Dustin 是 NVIDIA Jetson 團(tuán)隊(duì)的一名開(kāi)發(fā)人員推廣員。Dustin 擁有機(jī)器人技術(shù)和嵌入式系統(tǒng)方面的背景，喜歡在社區(qū)中提供幫助并與 Jetson 合作開(kāi)展項(xiàng)目。

審核編輯：郭婷