NVIDIA Holoscan 是 NVIDIA 的跨領域多模態實時 AI 傳感器處理平臺，為開發者構建端到端傳感器處理管線奠定了基礎。NVIDIA Holoscan SDK 的功能包括：

具有低延遲傳感器和網絡連接的組合硬件系統

專為數據處理和 AI 優化的庫

靈活部署：邊緣或云端

多種編程語言，例如 Python 和 C++

Holoscan SDK 可用于為一系列行業和用例構建流式 AI 管線，包括醫療設備、邊緣高性能計算和工業檢測等。欲了解更多信息，請參閱利用 NVIDIA Holoscan 1.0 開發生產就緒型 AI 傳感器處理應用。

Holoscan SDK 利用軟硬件加速流式 AI 應用。它可以與 RDMA 技術配合使用，通過 GPU 加速功能進一步提高端到端管線性能。端到端傳感器處理管線通常包括：

傳感器數據輸入

加速計算和 AI 推理

實時可視化、執行和數據流出口

該管線中的所有數據均存儲在 GPU 內存中，Holoscan 原生運算符無需進行主機-設備內存傳輸，就可以直接訪問這些數據。

圖 1. 超聲波分割應用的典型管線

本文將介紹如何通過集成 Holoscan SDK 和開源庫 OpenCV，實現無需額外內存傳輸的端到端 GPU 加速工作流。

什么是 OpenCV？

OpenCV（開源計算機視覺庫）是一個綜合全面的開源計算機視覺庫。它包含 2500 多種算法，例如圖像和視頻處理、物體和人臉檢測，以及 OpenCV 深度學習模塊等。

OpenCV 支持 GPU 加速功能，包含一個 CUDA 模塊。該模塊提供了一組利用 CUDA 計算能力的類和函數，它通過 NVIDIA CUDA 運行時 API 實現，能夠提供各種實用功能、底層視覺原語和高級算法。

借助 OpenCV 提供的綜合全面的 GPU 加速算法和運算符，開發者可以基于 Holoscan SDK 實現更加復雜的管線（圖 2）。

圖 2. 基于 OpenCV 和 Holoscan SDK

的增強型超聲波分割管線

在 Holoscan SDK 管線中

集成 OpenCV 運算符

如要開始在 Holoscan SDK 管線中集成 OpenCV 運算符，您需要滿足以下條件：

OpenCV >= 4.8.0

Holoscan SDK >= v0.6

如要安裝帶有 CUDA 模塊的 OpenCV，請遵循 opencv/opencv_contrib 提供的指南。如要使用 Holoscan SDK 和 OpenCV CUDA 構建鏡像，請參閱 nvidia-holoscan/holohub Dockerfile：

https://github.com/nvidia-holoscan/holohub/blob/main/applications/endoscopy_depth_estimation/Dockerfile

張量是 Holoscan SDK 中的數據類型，它被定義為單一數據類型的多維元素數組。張量類是 DLManagedTensorCtx 結構的包裝器，DLManagedTensorCtx 結構持有 DLManagedTensor 對象。張量類支持 DLPack 和 NumPy 數組接口(__array_interface__ 和 __cuda_array_interface__)，因此可以與其他 Python 庫（如 CuPy、PyTorch、JAX、TensorFlow 和 Numba）一起使用。

但 OpenCV 的數據類型是 GpuMat，它既沒有實現 __cuda_array_interface_，也沒有實現標準 DLPack。如要實現端到端 GPU 加速管線或應用，需要實現兩個函數來將 GpuMat 轉換為 CuPy 數組，后者可以直接使用 Holoscan Tensor 訪問，反之亦然。

從 GpuMat 到 CuPy

數組的無縫零拷貝

OpenCV Python 綁定的 GpuMat 對象提供了一個 cudaPtr 方法，該方法可用于訪問 GpuMat 對象的 GPU 內存地址。該內存指針可用于直接初始化 CuPy 數組，從而避免主機和設備之間發生不必要的數據傳輸，實現高效率的數據處理。

下面的函數用于從 GpuMat 創建 CuPy 數組。HoloHub 內窺鏡深度估計應用提供了源代碼。

importcv2
import cupy as cp 
  
def?gpumat_to_cupy(gpu_mat:?cv2.cuda.GpuMat)?->?cp.ndarray: 
????w,?h?=?gpu_mat.size() 
????size_in_bytes?=?gpu_mat.step?*?w 
????shapes = (h, w, gpu_mat.channels()) 
????assert?gpu_mat.channels()?<=3,?"Unsupported?GpuMat?channels"
  
????dtype?=?None
????if?gpu_mat.type()?in?[cv2.CV_8U,cv2.CV_8UC1,cv2.CV_8UC2,cv2.CV_8UC3]: 
????????dtype?=?cp.uint8 
????elif?gpu_mat.type()?==?cv2.CV_8S: 
????????dtype?=?cp.int8 
????elif?gpu_mat.type()?==?cv2.CV_16U: 
????????dtype?=?cp.uint16 
????elif?gpu_mat.type()?==?cv2.CV_16S: 
????????dtype?=?cp.int16 
????elif?gpu_mat.type()?==?cv2.CV_32S: 
????????dtype?=?cp.int32 
????elif?gpu_mat.type()?==?cv2.CV_32F: 
????????dtype?=?cp.float32 
????elif?gpu_mat.type()?==?cv2.CV_64F: 
????????dtype?=?cp.float64? 
  
assert?dtype?is?not?None,?"Unsupported?GpuMat?type"
???? 
????mem?=?cp.cuda.UnownedMemory(gpu_mat.cudaPtr(),?size_in_bytes,?owner=gpu_mat) 
????memptr?=?cp.cuda.MemoryPointer(mem,?offset=0) 
????cp_out = cp.ndarray( 
        shapes, 
        dtype=dtype, 
        memptr=memptr, 
        strides=(gpu_mat.step, gpu_mat.elemSize(), gpu_mat.elemSize1()), 
    ) 
????return?cp_out

請注意，我們在此函數中使用了非自有內存 API 創建 CuPy 數組。在某些情況下，OpenCV 運算符會創建一個需要由 CuPy 處理的新設備內存，其生命周期不限于一個運算符，而是整個管線。在這種情況下，從 GpuMat 啟動的 CuPy 數組會知道所有者并保留對對象的引用。更多詳情，請參閱 CuPy 互操作性文檔：

https://docs.cupy.dev/en/stable/user_guide/interoperability.html#device-memory-pointers

從 Holoscan Tensor 到

GpuMat 的無縫零拷貝

隨著 OpenCV 4.8 的發布，OpenCV 的 Python 綁定現在支持直接從 GPU 內存指針初始化 GpuMat 對象。這一功能通過與 GPU 駐留數據直接交互，來提高數據整合和處理效率，避免了主機和設備內存之間的數據傳輸。

在基于 Holoscan SDK 的管線應用中，可以通過 CuPy 數組提供的 __cuda_array_interface__ 獲取 GPU 內存指針。請參考下面概述的函數，了解如何利用 CuPy 數組創建 GpuMat 對象。有關實現詳情，請參見HoloHub 內窺鏡深度估計應用中提供的源代碼：

https://github.com/nvidia-holoscan/holohub/blob/main/applications/endoscopy_depth_estimation/endoscopy_depth_estimation.py#L28

import?cv2 
import?cupy?as?cp 
  
def?gpumat_from_cp_array(arr:?cp.ndarray)?->?cv2.cuda.GpuMat: 
????assert?len(arr.shape)?in?(2,?3),?"CuPy?array?must?have?2?or?3?dimensions?to?be?a?valid?GpuMat"
????type_map?=?{ 
????????cp.dtype('uint8'):?cv2.CV_8U, 
????????cp.dtype('int8'):?cv2.CV_8S, 
????????cp.dtype('uint16'):?cv2.CV_16U, 
????????cp.dtype('int16'):?cv2.CV_16S, 
????????cp.dtype('int32'):?cv2.CV_32S, 
????????cp.dtype('float32'):?cv2.CV_32F, 
????????cp.dtype('float64'):?cv2.CV_64F 
????} 
????depth?=?type_map.get(arr.dtype) 
????assert?depth?is?not?None,?"Unsupported?CuPy?array?dtype"
????channels?=?1?if?len(arr.shape)?==?2?else?arr.shape[2] 
????mat_type?=?depth?+?((channels?-?1)?<

	

	整合 OpenCV 運算符

	有了上述兩個函數，您就可以在基于 Holoscan SDK 的管線中進行任何 OpenCV-CUDA 操作，而無需進行內存傳輸。實現步驟如下：

	在調用 OpenCV 運算符的位置創建自定義運算符。詳情參見 Holoscan SDK 示例文檔：

	https://docs.nvidia.com/holoscan/sdk-user-guide/holoscan_create_operator.html#creating-a-custom-operator-python

	在運算符的計算函數中：

	a.接收前一個運算符的信息，并從HoloscanTensor創建一個CuPy 數組

	b.調用gpumat_from_cp_array以創建GpuMat

	c.使用自定義OpenCV運算符進行處理

	d.調用gpumat_to_cupy，從GpuMat創建CuPy數組

	請看下面的演示代碼。完整的源代碼請參見 HoloHub 內窺鏡深度估計應用：

	https://github.com/nvidia-holoscan/holohub/blob/main/applications/endoscopy_depth_estimation/endoscopy_depth_estimation.py#L161

	
defcompute(self,op_input,op_output,context):
        stream = cv2.cuda_Stream() 
        message = op_input.receive("in") 
  
        cp_frame = cp.asarray(message.get(""))  # CuPy array 
        cv_frame = gpumat_from_cp_array(cp_frame)  # GPU OpenCV mat 
  
        ## Call OpenCV Operator  
        cv_frame = cv2.cuda.XXX(hsv_merge, cv2.COLOR_HSV2RGB) 
  
        cp_frame = gpumat_to_cupy(cv_frame) 
        cp_frame = cp.ascontiguousarray(cp_frame) 
  
        out_message = Entity(context) 
        out_message.add(hs.as_tensor(cp_frame), "") 
op_output.emit(out_message,"out")

	

	總結

	要將 OpenCV CUDA 運算符集成到基于 Holoscan SDK 構建的應用中，只需要實現兩個函數即可促成 OpenCV GpuMat 和 CuPy 數組間的轉換。借助這兩個函數，您可以在自定義運算符中直接訪問 Holoscan Tensors。通過調用這些函數，您可以無縫創建端到端 GPU 加速應用，而不再需要通過內存傳輸來提高性能。