AI 機器人和其他自主機器的開發和部署步伐不斷加快。隨著新一代應用的出現，需要大幅提升 AI 的計算性能才能處理實時并行運行的多模態 AI 應用。

在零售店、食品配送、醫院、倉庫、工廠車間和其他商業應用中，人類與機器人的互動日益增加。這些自主機器人必須同時執行 3D 感知、自然語言理解、路徑規劃、避障、位姿估測等行為。這些行為既需要超高的計算性能，還需要為每個應用訓練高度準確的神經模型。

NVIDIA Jetson AGX Orin 模塊是 NVIDIA Jetson 家族的最新成員并且在其中具有最強大的性能。該模塊具有異常強大的性能和領先的能效，可以運行所有 NVIDIA AI 軟件堆棧并驅動新一代高要求邊緣 AI 應用。

Jetson AGX Orin 和 Jetson Orin NX 系列

在 2022 年春季 GTC 大會上，我們宣布在今年第四季度推出四款 Jetson Orin 模塊。Jetson Orin 模塊的最高性能達到每秒 275 萬億次運算（TOPS），可在邊緣運行服務器級別的 AI 并且具有端到端應用流水線加速功能。與 Jetson Xavier 模塊相比，Jetson Orin 為現代 AI 應用帶來了更高的性能、能效和推理能力。

Jetson AGX Orin 系列包括 Jetson AGX Orin 64GB 和 Jetson AGX Orin 32GB 模塊。

Jetson AGX Orin 64GB 最高算力為 275 TOPS，功率配置范圍 15W 至 60W。

Jetson AGX Orin 32GB 最高算力為 200 TOPS，功率配置范圍 15W 至 40W。

這些模塊具有相同的緊湊外型，與 Jetson AGX Xavier 系列模塊引腳兼容，性能提升了 8 倍或在相同的價格下提升了 6 倍。

邊緣和嵌入式系統的傳感器數量、性能和帶寬繼續增加。Jetson AGX Orin 系列不僅提供用于處理這些傳感器的額外算力，而且還增加了 I/O：

多達22條PCIe Gen4通道

4個10Gb以太網

速度更快的CSI通道

采用64GB eMMC 5.1的雙倍存儲空間

1.5倍內存帶寬

USB 3.2、UFS、MGBE 和 PCIe 共享 UPHY 通道。關于所支持的UPHY配置，請參見設計指南（https://developer.nvidia.com/embedded/downloads#？search=Jetson%20AGX%20Orin%20Product%20Design%20Guide）。

NVIDIA Orin NX 系列包括 Jetson Orin NX 16GB 和 Jetson Orin NX 8GB，前者的最大 AI 算力為 100 TOPS，后者的最大 AI 算力為 70 TOPS。該系列采用與 Jetson Xavier NX 類似的設計理念。我們將 NVIDIA Orin 架構封裝到最小的 Jetson 外形尺寸中（即 260 針SODIMM）并且實現了更低的功耗。

您可以在無人機、手持設備等新一代小尺寸產品中實現這一更加強大的性能。Jetson Orin NX 16GB 的功率配置范圍是 10W 至 25W，Jetson Orin NX 8GB 的功率配置范圍是 10W 至 20W。

Orin NX 系列的外形與 Jetson Xavier NX 系列兼容，性能是后者的 5 倍或在相同價格下是后者的 3 倍。Orin NX 系列還提供額外的高速 I/O 能力，有多達 7 個 PCIe 通道和 3 個 10Gbps USB 3.2 接口。您可以使用額外的 PCIe 通道連接外部 NVMe 來擴展存儲空間。

Jetson AGX Xavier 圍繞 NVIDIA Xavier 系統級芯片設計，NVIDIA Xavier 是我們為自主機器重新開發的第一個架構。NVIDIA Orin 架構將此類產品提升到一個新的級別，我們在此基礎上不斷開發出能力、性能與能效更強大的系統級芯片。

Jetson Orin 模塊包含以下內容：

NVIDIA Ampere 架構 GPU，具有多達 2048 個 CUDA 核和多達 64 個 Tensor 核

多達 12 個 Arm A78AE CPU 核

兩個新一代深度學習加速器（DLA）

計算機視覺加速器

各種其他用于減輕GPU和CPU處理器的負擔：

視頻編碼器

視頻解碼器

視頻圖像合成器

圖像信號處理器

傳感器處理引擎

音頻處理引擎

與其他 Jetson 模塊一樣，Jetson Orin 采用了系統級模塊（SOM）設計。所有處理、內存和電源軌都包含在模塊上。所有高速 I/O 均通過一個 699 針的連接器（Jetson AGX Orin 系列）或一個 260 針的 SODIMM 連接器（Jetson Orin NX 系列）提供。這種 SOM 設計能夠讓您輕松地將模塊集成到您的系統設計中。

Jetson AGX Orin 開發者套件

在 GTC 2022 上，NVIDIA 還宣布推出 Jetson AGX Orin 開發者套件。該開發套件包含了快速啟動和運行所需的一切工具。它包括一個最高性能的 Jetson AGX Orin 模塊并運行全球最先進的深度學習軟件堆棧。該套件提供創建當前和未來復雜 AI 解決方案所需的靈活性。

憑借緊湊的尺寸、高速接口和大量連接器，該開發者套件非常適合用于制造、物流、零售、服務、農業、智慧城市、醫療、生命科學等領域的高級 AI 機器人和邊緣應用原型設計。

Jetson AGX Orin開發者套件包含：

NVIDIA Ampere 架構 GPU 和 12 核 Arm Cortex-A78AE 64 位 CPU，以及新一代深度學習和視覺加速器

高速 I/O、204.8 GB/s 內存帶寬和 32 GB DRAM，能夠為多個并行 AI 應用流水線提供支持

強大的 NVIDIA AI 軟件堆棧并支持 SDK 和軟件平臺，包括：

NVIDIA JetPack

NVIDIA Riva

NVIDIA DeepStream

NVIDIA Isaac

NVIDIA TAO

Jetson AGX Orin 開發者套件運行最新的 NVIDIA JetPack 5.0軟件。NVIDIA JetPack 5.0 支持通過 Jetson AGX Orin 開發者套件模擬 Jetson Orin NX 和 Jetson AGX Orin 系列模塊的性能和時鐘頻率。您今天就可以開始開發這些模塊中的任何一個。

Jetson AGX Orin 開發者套件通過 NVIDIA 全球授權經銷商銷售。您可以根據入門指南開始使用該套件。

一流的性能

Jetson Orin 大幅提升新一代應用的性能。通過使用 Jetson AGX Orin 開發者套件，我們測得了我們高精度、生產級、預訓練計算機視覺和對話式 AI 模型性能的幾何平均值。測試包括以下基準：

用于人員檢測的 NVIDIA PeopleNet

NVIDIA ActionRecognitionNet 2D 和 3D 模型

用于車牌識別的 NVIDIA LPRNet

用于多人位姿估測的 NVIDIA DashcamNet、BodyPoseNet

用于語音識別的 Citrinet-1024

用于自然語言處理的 BERT-base

用于文本-語音轉換的 FastPitchHifiGanE2E

在 NVIDIA JetPack 5.0 開發者預覽版中，Jetson AGX Orin 的性能比 Jetson AGX Xavier 提高了 3.3 倍。隨著今后的軟件改進，我們預計將實現接近 5 倍的性能提升。自首個支持該軟件的版本—— NVIDIA JetPack 4.1.1 開發者預覽版以來，Jetson AGX Xavier 的性能已提高了 1.5 倍。

這些基準測試已在我們的 Jetson AGX Orin 開發者套件上運行。PeopleNet 和 DashcamNet 提供在 GPU 和兩個 DLA 上同時運行密集模型的示例。DLA 可以用于卸載 GPU 上的一些 AI 應用，并且這一并行能力使它們能夠并行運行。

PeopleNet、LPRNet、DashcamNet 和 BodyPoseNet 提供在 Jetson 上運行密集 INT8 基準測試的示例。ActionRecognitionNet 2D 和 3D 以及對話式 AI 基準測試提供密集 FP16 性能的示例。

此外，Jetson Orin 繼續提高邊緣 AI 的標桿，在最新 MLPerf 行業推理基準測試中進一步鞏固 NVIDIA 的整體領先優勢。在此次 MLPerf 基準測試中，與 Jetson AGX Xavier 之前的結果相比，Jetson AGX Orin 的性能提高了 5 倍，能效平均提高了 2 倍。

通過Jetson軟件加快產品上市時間

依靠強大的 NVIDIA 軟件，Jetson Orin 實現了領先的性能和能效。這些軟件被部署在 GPU 加速數據中心、超大規模服務器和高性能 AI 工作站中。

NVIDIA JetPack 是 Jetson 平臺的基礎 SDK。NVIDIA JetPack 為硬件加速邊緣AI的開發提供了一個完整的開發環境。Jetson Orin 得到了 NVIDIA JetPack 5.0 的支持，后者包括：

LTS 內核 5.10

基于 Ubuntu 20.04 的根文件系統

基于 UEFI 的引導程序

帶有 CUDA 11.4、TensorRT 8.4 和 cuDNN 8.3 的最新計算堆棧

NVIDIA JetPack 5.0 還支持 Jetson Xavier 模塊。

為了讓您在 Jetson 平臺上能夠快速開發全面加速的應用，NVIDIA 為各種不同的用例提供了應用框架：

使用 DeepStream 快速開發和部署視覺 AI 應用和服務。DeepStream 提供超越推理的硬件加速，它能為端到端 AI 流水線提供硬件加速插件。

NVIDIA Isaac 提供硬件加速 ROS 程序包，使 ROS 開發者更容易構建高性能機器人解決方案。

Omniverse 驅動的 NVIDIA Isaac Sim 能夠創造高度逼真、達到物理級準確的虛擬環境，該工具可用于開發、測試和管理 AI 機器人。

NVIDIA Riva 為自動語音識別（ASR）和文本-語音轉換（TTS）提供最先進、可以輕松自定義的預訓練模型。這些模型使您能夠快速開發出 GPU 加速對話式 AI 應用。

為了加快生產級、高精度 AI 模型的開發，NVIDIA 提供多種工具用于生成訓練數據、訓練和優化模型以及快速創建可立即部署的 AI 模型。

用于生成合成數據的 NVIDIA Omniverse Replicator 能夠創建促進模型訓練的高質量數據集。您可以使用 Omniverse Replicator 創建大型、多樣化的合成數據集，這些數據集在現實世界中不僅難以創建，有時甚至不可能創建。使用合成數據和真實數據來訓練模型可以顯著提高模型的準確率。

NGC 上的 NVIDIA 預訓練模型為您提供用于各種用例的高精度優化模型和模型架構。這些預訓練模型為生產級模型。通過 NVIDIA TAO（訓練-調整-優化）工作流程，您可以使用自己的真實或合成數據訓練并進一步自定義這些模型，最終快速構建一個準確、可立即部署的模型。