隨著機器人技術和邊緣 AI 領域的快速發展，高效處理和傳輸傳感器數據的能力變得至關重要。許多邊緣應用正在從單一傳感器的固定功能解決方案，轉向使用多種類型的傳感器陣列。這些傳感器包括視覺、音頻、溫度、力/扭矩、通信傳感器、IMU、激光雷達系統、超聲波設備、電機和執行器等。

NVIDIA Holoscan Sensor Bridge (HSB)是一種先進的基于以太網的傳感器流技術，旨在實現實時數據傳輸，并簡化高速傳感器與執行器的集成。NVIDIA Holoscan采用 HSB 作為連接物理傳感器與處理管線的接口，它在實現低延遲、需要硬件與 AI 高度集成的端到端工作流中發揮著關鍵作用。

本文將分析高速傳感器處理的挑戰，并重點介紹 HSB 如何以超低延遲、易用性、可擴展性及完善的安全保障，幫助機器人、醫療影像和工業自動化等領域應對這些挑戰。

高速傳感器處理的挑戰

物理 AI 和機器人開發者在傳感器集成方面面臨諸多挑戰，比如：

開發周期長及類型多樣：由于傳感器類型多樣且接口要求各異，開發傳感器驅動并將其集成到系統中非常耗費時間。這種復雜性可能會拖延整體開發進程。

實時處理與低延遲：對機器人和醫療設備等應用而言，實現實時處理和低延遲至關重要。這就要求快速的數據采集、處理和傳輸，同時必須避免可能導致性能不佳或系統故障的延遲。

傳感器流的復雜性：連續傳感器數據流應用面臨諸多挑戰，比如管理高數據速率、確保數據安全和功能安全，以及同步來自多個傳感器的數據等。

什么是 Holoscan Sensor Bridge？

Holoscan Sensor Bridge 專為低延遲數據的傳輸和控制而設計。通過以太網 UDP 協議，將傳感器數據直接傳輸到NVIDIA Jetson和NVIDIA IGX等系統的 GPU 內存中，從而降低延遲和 CPU 使用率。HSB 針對NVIDIA ConnectX智能網卡和以太網攝像頭技術進行了優化，支持視頻、邊緣 AI 和機器人技術的實時處理。HSB 將原始傳感器數據傳輸到 Holoscan SDK 中，支持從采集到推理和可視化的統一流程。

圖 1. Holoscan Sensor Bridge 設計架構

HSB 的核心特性與優勢

Holoscan Sensor Bridge 為開發者帶來巨大價值，可在不犧牲性能的前提下加速開發進程：

超低延遲：實現超低延遲，確保以最低延遲處理和傳輸傳感器數據，這對于人形機器人、自動駕駛汽車和醫療成像等需要實時數據處理的應用至關重要。

易用性：軟件定義的架構，無需 FPGA 編程專業知識，就可以輕松枚舉和 API 編程，從而加速攝像頭、IMU、激光雷達、DAC 和 ADC 等多種傳感器的軟件開發。

可擴展性：支持多模態傳感器集成，用戶可處理大量數據，這對于智慧城市和工業自動化場景至關重要。HSB IP 可支持 100 Mbps 至 100 Gbps 的帶寬，并可自定義配置參數。

安全性：包含冗余、故障檢測、水印和 Mac SEC 支持等功能，有助于實現 SIL 2 級安全標準。

Holoscan Sensor Bridge 軟件介紹

借助 NVIDIA Holoscan SDK，開發者可通過將模塊化算子組合成可自定義管線，來構建高性能的數據流應用。使用 Holoscan Sensor Bridge 主機軟件，開發者可構建自定義管線，并使用現成的算子處理來自網絡連接傳感器的數據，完成圖像轉換、信號處理、推理和可視化等任務。傳感器對象提供設備特定的 API 用于配置和監控，使管線能夠適配不同傳感器和應用。

Holoscan 應用的構建方式是：劃分主應用類，并在配置方法中定義數據管線，根據需要連接算子。該平臺靈活開放，開發者可擴展或修改算子（提供源代碼）以滿足獨特需求。

利用 HSB 視覺傳感器提升性能

現代嵌入式邊緣系統要求攝像頭具備多樣化接口、高分辨率、快速幀率、低延遲和精確同步能力。HSB 在這些方面有明顯優勢，其延遲比 USB 攝像頭低 5 倍，比 MIPI 攝像頭低 1.5 倍，端到端延遲可低至 17 毫秒。通過使用 RDMA 和以太網攝像頭技術，HSB 支持直接將數據傳輸到 GPU 內存，幾乎不占用 CPU 資源，從而實現更快的響應時間和實時操作。隨著 HSB v2.0 版本的發布，開發者可使用最新工具在特定用例中精確測量延遲。

圖 2. Holoscan Sensor Bridge 攝像頭解決方案與其他方案的性能基準對比

當采用傳統移動產業處理器接口 (MIPI) 攝像頭時，Argus 攝像頭管線通常需要多個內核空間驅動程序，將數據發送到 CPU 內存后再傳遞到 GPU 內存。而通過 HSB，傳統的內核空間驅動被用戶空間 API 所取代，開發者無需再分別為攝像頭和控制功能編寫單獨的驅動程序。

這種簡化的方法使開發者能夠專注于應用邏輯，而非底層驅動程序開發。同時，它也提供了高度的靈活性，支持與多種圖像信號處理器 (ISP) 方案集成，包括基于NVIDIA CUDA的 ISP、HSB 硬件上的軟 ISP 實現，或 NVIDIA Jetson AGX 和 NVIDIA IGX 上的內置 ISP。下圖展示了 HSB 管線如何適應各種配置選擇，顯示了平臺的多功能性和模塊化特性。

開發者可以在用戶指南中查詢不同 ISP 集成方式的參考示例：

基于 GPU 的 CUDA ISP 示例：展示如何將 CUDA ISP 接入 HSB 處理管線：

https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#imx274-player-example

Jetson 硬件 ISP 示例：展示如何將 NVIDIA Jetson 的硬件 ISP 接入 HSB 處理管線：

https://docs.nvidia.com/holoscan/sensor-bridge/latest/examples.html#running-the-nvidia-isp-with-live-capture-example

圖 3. IGX 平臺上的 HSB 管線

圖 4. 搭載硬件 ISP 的 Jetson AGX Orin 平臺上的 HSB 處理管線

Jetson AGX Orin 上的 Holoscan Sensor Bridge 也可以與軟件 ISP (SW ISP) 或基于 CUDA 的 ISP 搭配使用，其處理流程與 IGX 平臺類似。而在 NVIDIA Jetson Thor 上，處理管線中使用的是以太網攝像頭，而不是 NVIDIA ConnectX。

支持多傳感器時間同步

HSB 的另一個關鍵特性是支持精確時間協議 (PTP)，PTP 基于 IEEE 1588-2019 標準構建。通過這一功能，Sensor Bridge 能夠將內部時鐘與主機系統同步，確保每個傳感器數據在采集時都能被精確打上時間戳。其同步精度可達 1 微秒以內，甚至常常優于 100 納秒的精度——這使其非常適合醫療成像、機器人和自主系統等高性能應用。借助準確的時間戳，開發者能夠清晰地追蹤每個傳感器事件的發生時間，實現多源數據對齊，并在分布式系統中實現可靠的協同。

圖 5. HSB 多傳感器同步示意圖

HSB 生態系統

作為傳感器到計算的技術平臺，HSB 支持由傳感器、硬件和服務合作伙伴組成的活躍生態系統，幫助客戶加快上市時間。傳感器合作伙伴提供一系列基于 HSB 的現成攝像頭和傳感器解決方案，實現實時性能和高帶寬處理。硬件合作伙伴提供基于 FPGA 的評估板，使開發者能夠以低延遲、靈活的傳感器配置和接口快速設計自定義連接。服務合作伙伴專注于利用 NVIDIA Holoscan 軟件 API 實現 AI 解決方案和傳感器集成，優化端到端性能。

快速、準確的傳感器數據分析正在改變醫療成像和診斷方式。Holoscan Sensor Bridge 為內窺鏡、手術機器人和放射醫療設備提供實時分析能力。Virtual Incision 等公司利用 HSB 加速攝像頭開發。Virtual Incision 首席技術官 Shane Farritor 強調：“借助 Holoscan Sensor Bridge，我們將能夠徹底改變攝像頭開發和部署的方式。我們現在可以用 Python 和 C 代碼取代 Verilog，將開發周期從幾個月壓縮到幾周。基于 CUDA 的編程更是在效率和性能上帶來了質的飛躍。”

在軟件定義的無線電、6G 和測試測量應用中，數據轉換器等模擬傳感器至關重要。Holoscan Sensor Bridge 將這些傳感器連接到 GPU，利用 NVIDIA IGX 的 GPUDirect RDMA 實現快速、高效的信號處理。