隨著 Jetson Orin Nano 在本次 GTC 大會(huì)的發(fā)布，整個(gè) Jetson Orin 模塊陣容現(xiàn)已揭曉。憑借高達(dá) 40 TOPS 的 AI 性能，Orin Nano 模塊為入門(mén)級(jí) AI 設(shè)定了新標(biāo)準(zhǔn)，正如 Jetson AGX Orin 已經(jīng)通過(guò) 275 TOPS 的服務(wù)器級(jí)計(jì)算重新定義了機(jī)器人技術(shù)和其他自主邊緣用例一樣。

所有 Jetson Orin 模塊和 Jetson AGX Orin 開(kāi)發(fā)套件均基于單一 SoC 架構(gòu)，配備 NVIDIA Ampere 架構(gòu) GPU、高性能 CPU 和最新加速器。這種共享架構(gòu)意味著您可以為一個(gè) Jetson Orin 模塊開(kāi)發(fā)軟件，然后輕松將其部署到任何其他模塊。

您現(xiàn)在可以開(kāi)始使用 Jetson AGX Orin 開(kāi)發(fā)者工具套件開(kāi)發(fā)任何 Jetson Orin 模塊。開(kāi)發(fā)者工具套件能夠本地模擬任何模塊的性能，讓您從現(xiàn)在開(kāi)始并縮短上市時(shí)間。通過(guò)配置硬件特性和時(shí)鐘以匹配目標(biāo)模塊的特性，開(kāi)發(fā)者工具套件可以準(zhǔn)確地模擬任何 Jetson Orin 模塊的性能。

開(kāi)發(fā)團(tuán)隊(duì)受益于這種簡(jiǎn)單性，即只需要一種類型的開(kāi)發(fā)者工具套件，而不用管哪些模塊是針對(duì)生產(chǎn)的。這也簡(jiǎn)化了 CI / CD 基礎(chǔ)架構(gòu)。無(wú)論您是針對(duì)機(jī)器人、視頻分析還是任何其他用例進(jìn)行開(kāi)發(fā)，這一開(kāi)發(fā)者工具套件的功能都會(huì)帶來(lái)許多好處。

將 Jetson AGX Orin 開(kāi)發(fā)者套件

轉(zhuǎn)化為任何 Jetson Orin 模塊

只需一步，您就可以將 Jetson AGX Orin 開(kāi)發(fā)者套件轉(zhuǎn)換為任何一個(gè) Jetson Orin 模塊。我們?yōu)榇诉^(guò)程提供了閃存配置文件。

在 Jetson AGX Orin 開(kāi)發(fā)工具套件上模擬 Jetson Orin 模塊，遵循其中提到的相同步驟使用刷寫(xiě)實(shí)用程序來(lái)刷寫(xiě) Jetson AGX Orin 開(kāi)發(fā)者工具套件。將您的開(kāi)發(fā)者工具套件置于強(qiáng)制恢復(fù)模式后，使用 flash.sh 命令行工具使用新映像對(duì)其進(jìn)行閃存。例如，以下命令使用其默認(rèn)配置刷新開(kāi)發(fā)者工具套件：

$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1

您使用的確切命令應(yīng)修改為適合您正在模擬的目標(biāo) Jetson Orin 模塊的閃存配置名稱。例如，要模擬 Jetson Orin NX 16GB 模塊，請(qǐng)使用以下命令：

$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1

表 1 列出了 Jetson Orin 模塊和適用于每個(gè)模塊的 flash.sh 命令。

表 1 Jetson Orin 模塊的 flash.sh 命令

從 5.0.2 版本開(kāi)始，NVIDIA JetPack 中尚未包含 Jetson Orin Nano 模塊的 Flash 配置。在下載這些新配置并按照下載文件中的說(shuō)明在 NVIDIA JetPack 5.0.2 之上應(yīng)用覆蓋補(bǔ)丁后，可以使用這些新配置。

有關(guān)用于仿真的閃存配置的更多信息，請(qǐng)參閱以下鏈接：

https://docs.nvidia.com/jetson/archives/r35.1/DeveloperGuide/text/SD/EmulationSupport.html

閃存完成后，完成初始啟動(dòng)和配置。然后，您可以使用 SDK Manager 安裝其余的 NVIDIA JetPack 組件，或者只需在運(yùn)行的開(kāi)發(fā)者工具套件上使用軟件包管理器：

sudo apt updatesudo apt install nvidia-jetpack

現(xiàn)在您已經(jīng)運(yùn)行了開(kāi)發(fā)者工具套件并安裝了 NVIDIA JetPack。您的 Jetson AGX Orin 開(kāi)發(fā)者套件現(xiàn)在可以模擬指定的 Jetson Orin 模塊的性能和功率。

準(zhǔn)確模擬任何 Jetson Orin 模塊

本機(jī)模擬非常準(zhǔn)確，因?yàn)樗鼘㈤_(kāi)發(fā)者工具套件配置為與目標(biāo)模塊可用的時(shí)鐘頻率、GPU 和 CPU 內(nèi)核數(shù)量以及硬件加速器相匹配。

例如，在模擬 Jetson Orin NX 16GB 模塊時(shí)：

開(kāi)發(fā)者套件 GPU 配置有 1024 個(gè) CUDA 內(nèi)核和 32 個(gè) Tensor 內(nèi)核，最大頻率為 918 MHz。

CPU 復(fù)合體配置有八個(gè)運(yùn)行頻率為 2 GHz 的 Arm Cortex-A78AE 內(nèi)核。

DRAM 配置為 16 GB，帶寬為 102 GB/s。

該系統(tǒng)提供與 Jetson Orin NX 16GB 模塊支持的相同電源配置文件。

圖 1可用的電源模式

從桌面頂部菜單打開(kāi) Jetson Power 圖形用戶界面，您會(huì)看到系統(tǒng)已根據(jù)正在模擬的目標(biāo)模塊進(jìn)行了準(zhǔn)確的配置。可以通過(guò)運(yùn)行以下命令來(lái)配置最大時(shí)鐘，Jetson Power 圖形用戶界面將顯示更改。

sudo jetson_clocks

圖 2 顯示了當(dāng) Jetson AGX 開(kāi)發(fā)者套件閃存到模擬的 Jetson AGX-Orin 64GB 模塊時(shí)，與閃存到模擬 Jetson Orin NX 16GB 模塊時(shí)相比配置了最大時(shí)鐘后的 Jetson Power 圖形用戶界面。

圖 2開(kāi)發(fā)者套件上顯示的 Jetson Power 圖形用戶界面閃爍以模擬 Jetson AGX Orin 64GB（左）和選擇 MAXN 電源模式的 Jetson Orin NX 16GB（右）

通過(guò)運(yùn)行 NVIDIA JetPack 提供的各種示例，您可以看到性能已調(diào)整為與正在模擬的模塊相匹配。例如，在配置 Jetson AGX Orin 開(kāi)發(fā)者套件進(jìn)行仿真后，與 VPI 庫(kù)一起打包的基準(zhǔn)測(cè)試示例可用于顯示 Jetson AGX Orin 64GB、Jetson Orin NX 16GB 和 Jetson Orin Nano 8GB 模塊的 CPU、GPU 和 PVA 性能相應(yīng)的模塊。

要運(yùn)行 VPI 基準(zhǔn)測(cè)試示例，請(qǐng)使用以下命令：

cd /opt/nvidia/vpi2/samples/05-benchmarksudo cmake .sudo makesudo ./vpi_sample_05_benchmark 

VPI 基準(zhǔn)測(cè)試示例以毫秒為單位輸出高斯算法的延遲。表 2 顯示了每個(gè)目標(biāo)模塊的結(jié)果。

表 2 目標(biāo)模塊的延遲（毫秒）

同樣，您可以運(yùn)行多媒體樣本進(jìn)行編碼和解碼。

要解碼，請(qǐng)運(yùn)行以下命令：

cd /usr/src/jetson_multimedia_api/samples/00_video_decodesudo makesudo ./video_decode H264 --disable-rendering --stats --max-perf 

要進(jìn)行編碼，請(qǐng)運(yùn)行以下命令：

cd /usr/src/jetson_multimedia_api/samples/01_video_encodesudo makesudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats

表 3 顯示了使用 H.264 1080P 30FPS 視頻流運(yùn)行這些編碼和解碼樣本后的 FPS 數(shù)。

表 3 運(yùn)行編碼和解碼樣本后的 FPS 數(shù) * Jetson Orin Nano 不包括 NVEncoder。對(duì)于表 3，Jetson Orin Nano 的編碼是在 CPU 上使用 ffmpeg 完成的。使用四個(gè) CPU 核心時(shí)，達(dá)到 110 FPS。當(dāng)使用兩個(gè) CPU 核心時(shí)，實(shí)現(xiàn)了 73 的 FPS，而當(dāng)使用一個(gè) CPU 核心時(shí)，實(shí)現(xiàn)了 33 的 FPS。

為了證明仿真的準(zhǔn)確性，我們?cè)?Jetson AGX Orin 開(kāi)發(fā)者套件上運(yùn)行了一些 AI 模型基準(zhǔn)測(cè)試，模擬為 Jetson AGX Orin 32GB 。然后，我們將其與在實(shí)際 Jetson AGX Orin 32GB 模塊上運(yùn)行相同基準(zhǔn)測(cè)試所獲得的結(jié)果進(jìn)行比較。從結(jié)果中可以看出，模擬性能和實(shí)際性能之間的差異微不足道。

盡管 Jetson AGX Orin 開(kāi)發(fā)者套件包括 32GB 模塊，但它提供了相同級(jí)別的性能，并且配備了 275 個(gè) TOPS，與 Jetson AGX Orin 64GB 相匹配。Jetson AGX Orin 64 GB 仿真不需要特殊的閃存配置，但您必須使用適當(dāng)?shù)拈W存配置在 Jetson AGX Orin 開(kāi)發(fā)者套件上仿真 Jetson AGX Orin 32GB。

表 4 真實(shí)和仿真 Jetson AGX Orin 模塊之間的性能比較

對(duì)任何 Jetson Orin 模塊進(jìn)行端到端開(kāi)發(fā)

您可以在模擬 Jetson Orin 模塊的同時(shí)使用整個(gè) Jetson 軟件堆棧。NVIDIA DeepStream、NVIDIA Isaac 和 NVIDIA Riva 等框架在仿真模式下工作，而 TAO Toolkit 等工具在 NGC 的預(yù)處理模型中的性能符合預(yù)期。軟件堆棧與仿真無(wú)關(guān)，性能與被仿真目標(biāo)的性能精確匹配。

圖 4 NVIDIA Jetson 軟件堆棧

如果您正在開(kāi)發(fā)機(jī)器人用例或開(kāi)發(fā)視覺(jué) AI 工作流，您現(xiàn)在可以使用 Jetson AGX Orin 開(kāi)發(fā)者套件和仿真模式對(duì)任何 Jetson Orin 模塊進(jìn)行端到端開(kāi)發(fā)。

使用 NVIDIA Isaac ROS 為任何 Jetson Orin 模塊開(kāi)發(fā)機(jī)器人應(yīng)用程序。只需使用正確的閃存配置來(lái)閃存并啟動(dòng) ROS 開(kāi)發(fā)。圖 5 顯示了在 Jetson AGX Orin 開(kāi)發(fā)者套件上運(yùn)行 Isaac ROS Stereo Disparity DNN ，模擬為 Jetson Orin Nano 8GB 。

圖 5 NVIDIA Isaac ROS Stereo Disparity DNN 在模擬為 Jetson Orin Nano 8GB 的 Jetson AGX Orin 開(kāi)發(fā)者套件上運(yùn)行

在 Jetson AGX Orin 開(kāi)發(fā)套件上使用 DeepStream 開(kāi)發(fā)視覺(jué) AI 工作流，適用于任何 Jetson Orin 模塊。

圖 6 顯示了在 Jetson AGX Orin 開(kāi)發(fā)者套件上使用 DeepStream 運(yùn)行人員檢測(cè)的 IVA 工作流，模擬為 Jetson Orin Nano 8GB ，具有四個(gè) H.265 1080P 30FPS 流。

?

圖 6DeepStream 視覺(jué)工作流運(yùn)行 Jetson AGX Orin 開(kāi)發(fā)者套件上的人員和車輛檢測(cè)，模擬為 Jetson Orin Nano 8GB

使用 Jetson AGX Orin 開(kāi)發(fā)者套件更快地進(jìn)入市場(chǎng)

有了仿真支持，您可以通過(guò)在 Jetson AGX Orin 開(kāi)發(fā)者套件上啟動(dòng)和完成應(yīng)用程序開(kāi)發(fā)以便更快地投入生產(chǎn)。我們還將在即將推出的 NVIDIA JetPack 5.0.2 網(wǎng)絡(luò)研討會(huì)中做出詳細(xì)介紹。

審核編輯：湯梓紅