各行各業(yè)對實時洞察和自主決策的需求日益增加，醫(yī)療健康與醫(yī)療設備行業(yè)也不例外。新一代醫(yī)療有望借助實時邊緣 AI，提供更加精準的治療、改善患者的治療效果，并提高運營效率。

例如，未來的手術室將越來越多地使用由 AI 賦能的互聯(lián)設備，以便實時訪問和交換完整的患者數(shù)據(jù)、手術洞察、決策和行動。

在這樣的未來，醫(yī)療設備軟件 (SaMD)必須在嚴格的要求下運行。當被部署到分布式醫(yī)療健康系統(tǒng)時，它們需要在嚴格的性能和延遲限制下處理海量數(shù)據(jù)。這就要求在不影響性能和延遲的前提下，通過互通性來確保各類傳感器、顯示器、控制裝置和應用之間高效、可靠、安全的數(shù)據(jù)連接與交換。

本文將演示如何通過集成 NVIDIA Holoscan 和 RTI Connext，創(chuàng)造出具有高度互通性、低延遲和分布式連接的 AI 醫(yī)療設備應用。此集成以最小的開銷實現(xiàn)了這些優(yōu)勢，并且減少了實施工作量與復雜性。

適用于實時 AI 傳感器

處理的 NVIDIA Holoscan

NVIDIA Holoscan 為開發(fā)者提供了一個一站式生產就緒型框架，用于構建從傳感器數(shù)據(jù)輸入，到加速計算和 AI 推理、實時可視化、執(zhí)行和數(shù)據(jù)流輸出的端到端實時 AI 傳感器處理流程。

這一全面的解決方案有效解決了邊緣 AI 開發(fā)所面臨的諸多挑戰(zhàn)。Holoscan 在確保最佳應用性能的同時，消除開發(fā)的復雜性、縮短產品上市時間，并帶來使用 Python 和 C++ 進行編碼的便利性。所有這一切都在一個低代碼、高性能的基礎架構中實現(xiàn)。簡而言之，Holoscan 是一個以模塊化、可擴展、軟件定義和圍繞 GPU 的方式將高速 I/O 連接到 GPU 的框架。

圖 1. NVIDIA Holoscan 為醫(yī)療設備等諸多行業(yè)帶來實時 AI

RTI Connext 支持以數(shù)據(jù)為中心的實時連接

RTI Connext 基于數(shù)據(jù)分發(fā)服務 (DDS) 標準，通過分布式實時軟件通信框架來簡化復雜、可擴展系統(tǒng)之間的連接。借助 Connext，Holoscan 應用只需很少的開銷，就能與分布式數(shù)據(jù)源和應用集成，同時還能在實現(xiàn)此類醫(yī)療健康系統(tǒng)所需的性能、可靠性與安全性的同時，最大程度地減少工程量和復雜性。

Connext 實現(xiàn)了復雜系統(tǒng)組件之間的實時信息交換，并且滿足嚴格的可靠性、網(wǎng)絡安全和性能要求。Connext 提供了一個可在冗余容錯架構中低延遲處理、分析和執(zhí)行大量實時數(shù)據(jù)的框架?；?Connext 構建的醫(yī)療系統(tǒng)具有彈性、自形成和自修復功能，沒有單點故障。

大量服務質量調整選項能幫助滿足分布式智能外科系統(tǒng)對實時視頻和相關數(shù)據(jù)的需求。Connext 還具有自動發(fā)現(xiàn)、安全性等功能，并且不會增加大量帶寬開銷。基于成熟 DDS 安全標準的內置網(wǎng)絡安全為身份驗證和加密以及安全日志和精細化訪問控制奠定了基礎，不僅防止關鍵系統(tǒng)出現(xiàn)安全漏洞，而且符合監(jiān)管機構的網(wǎng)絡安全要求。

圖 2. RTI Connext 以數(shù)據(jù)為中心的連接支持

圍繞數(shù)據(jù)流這一最重要的資產設計系統(tǒng)

集成 NVIDIA Holoscan 和 RTI Connext

當今的醫(yī)療健康系統(tǒng)建立在大量已安裝傳統(tǒng)系統(tǒng)的基礎之上，這些系統(tǒng)在設計之初并未考慮 AI 功能，而且目前在原生環(huán)境中不支持 NVIDIA Holoscan。此外，如今的醫(yī)療健康系統(tǒng)和醫(yī)療設備需要在傳感器、執(zhí)行器、控制系統(tǒng)和接口之間建立復雜的連接。

Connext 與 Holoscan 的集成使 Holoscan 開發(fā)者能夠將當前安裝的傳統(tǒng)系統(tǒng)轉換為由 AI 賦能的軟件定義設備。具體做法是將 Holoscan 集成到在原生環(huán)境中不支持 Holoscan 的設備中作為邊車（輔助計算模塊）。

首先，當前醫(yī)療設備中有很大一部分基于 Windows 系統(tǒng)（尤其是在醫(yī)療影像領域），而 Windows 系統(tǒng)并不支持 Holoscan。第二，Holoscan 作為邊車，可以為在非 NVIDIA 系統(tǒng)上運行實時操作系統(tǒng) (RTOS) 的機器人手術系統(tǒng)帶來先進的 AI 功能。第三，可以使用強大的 AI 算法來增強患者監(jiān)護儀等低端感知醫(yī)療設備，但構成傳統(tǒng)系統(tǒng)的硬件或軟件會限制此類新功能的添加。

通過 RTI Connext DDS 實現(xiàn)的 Holoscan DDS 互通性解決了上述三類問題，提供了一個可擴展、由 AI 賦能的 Holoscan 邊車，可與傳統(tǒng)系統(tǒng)進行實時無縫通信。

Holoscan 為基于 GPU 加速的醫(yī)療設備軟件 (SaMD)提供了出色的基礎架構，從而能夠在新一代醫(yī)療健康系統(tǒng)中創(chuàng)新和部署由 AI 驅動的工作流。這些工作流通常需要在海量數(shù)據(jù)上運行，并且有非常嚴格的延遲限制。因此，各傳感器、顯示器、控制裝置和 Holoscan 應用之間必須能夠高效、可靠且安全地傳遞數(shù)據(jù)。

通過使用 RTI Connext，Holoscan 應用能以極小的開銷與分布式醫(yī)療健康系統(tǒng)集成，還可以在實現(xiàn)此類系統(tǒng)所需性能、可靠性和安全性的同時，最大程度地減少工程量與復雜性。在已經(jīng)使用 Connext 的情況下，甚至可以在不修改現(xiàn)有系統(tǒng)的情況下，加入由 Holoscan 驅動的全新 AI 工作流。

與 RTI Connext 集成的 Holoscan 應用示例

本部分將介紹一個應用示例，是一個在充當邊車的專用系統(tǒng)上運行的 Holoscan 應用。該應用使用 RTI Connext 從 DDS 數(shù)據(jù)總線讀取幀，然后在 Holoscan 工作流中處理幀數(shù)據(jù)，最后通過 Connext 將結果發(fā)布回數(shù)據(jù)總線，以便其他設備讀取并顯示處理后的幀數(shù)據(jù)。

該示例改善了醫(yī)療健康系統(tǒng)中的一個常見場景，即先由多個傳感器采集數(shù)據(jù)，然后匯總到單獨的監(jiān)控系統(tǒng)上顯示。通常只需對現(xiàn)有組件進行少量修改，即可在這種數(shù)據(jù)流中間添加由 AI 驅動的 Holoscan 工作流，傳感器采集和顯示輸出通常也會使用不支持 Holoscan 的系統(tǒng)完成，Connext 有助于彌補這些差距。

此示例的核心組件是GitHub 上nvidia-holoscan/holohub 提供的 Holoscan DDS 視頻流運算符。這些運算符使 Holoscan 應用能夠從 DDS 數(shù)據(jù)總線中實時讀寫視頻幀。借助這些運算符，Holoscan 應用可以從數(shù)據(jù)總線中讀取視頻幀，用作工作流處理的來源，并將處理后的結果寫回數(shù)據(jù)總線（供其他組件使用）。

此外，以下新應用支持將邊車用例顯示為獨立示例：

dds_video 應用既可用于將視頻幀寫入 DDS 數(shù)據(jù)總線（從 USB 攝像頭等 V4L2 視頻設備捕獲），也可用于從 DDS 讀取幀，并通過 Holoscan 可視化模塊 Holoviz 將其渲染到顯示器上。

body_pose_estimation 應用已經(jīng)過修改，使輸入視頻幀可以來自 DDS 數(shù)據(jù)總線，而輸出視頻幀（包含人體姿態(tài)估計疊加層）可以發(fā)布回 DDS 數(shù)據(jù)庫。

將這兩個應用結合在一起后，就可以使用以下三個進程演示邊車數(shù)據(jù)流：

dds_video 進程從攝像頭傳感器捕捉幀，并將其發(fā)布到 DDS。

body_pose_estimation 進程從 DDS 接收輸入的傳感器幀，通過人體姿態(tài)估計模型處理幀，然后將圖像上已疊加推理結果的幀輸出到 DDS。

dds_video 進程接收處理過的幀，并將其渲染到顯示器上。

圖 3 顯示了此示例的設置。請注意，這三個進程都可以在任何系統(tǒng)上運行，前提是它們可以在同一個 DDS 域中相互檢測到對方，例如通過支持組播的網(wǎng)絡。

圖 3. 示例應用的數(shù)據(jù)流，該應用使用 Holoscan 作為邊車，

處理已發(fā)布到 DDS 的視頻幀

要在本地運行此示例，請先閱讀 HoloHub DDS 運算符文檔，了解設置 RTI Connext 的依賴項要求。如要了解如何構建和運行應用，參見人體姿態(tài)估計文檔中的 DDS 支持部分。

總結

在向 AI 增強型系統(tǒng)和設備過渡的過程中，將 NVIDIA Holoscan 與 RTI Connext 集成，可為醫(yī)療設備行業(yè)的 Holoscan 開發(fā)者帶來諸多優(yōu)勢，包括以最小的開銷與分布式醫(yī)療健康系統(tǒng)無縫集成、使用高級 AI 算法來增強傳統(tǒng)系統(tǒng)等。

如要開始使用，請下載 Holoscan 2.0 并查看 nvidia-holoscan/holohub 上的 Holoscan 和 DDS 集成參考應用。