在智能影像視頻分析的廣泛應用下，多重識別是現今影像監控系統中的一個重要應用，在此過程中會使用多個影像視頻流來做分析識別，這有助于數據分析以及安全上的操作。而多重識別則需要有較高性能的計算與使用深度學習來將多重識別功能付諸實現?；诖艘辉瓌t下, 國內IC設計領導廠商聯詠科技 Novatek 提供使用自家高性能芯片 NT98336 透過 PCIe Gen3 界面結合搭載擁有每秒高達26兆次運算(TOPS)的 Hailo-8人工智能處理器，以開發具有高效能的后端智能影像視頻分析解決方案。

聯詠科技 Novatek NT98336 是一款專為多路 H265 高清 DVR/HVR 系統設計的專業 SoC 芯片。它內置 ARM Cortex CA53 四核 CPU、H.264/H265 編解碼器、MJPEG 編解碼器、Novatek CNN Gen2.5 - 2.25T 硬件加速器、2D 圖形加速引擎、多通道高清視頻采集、4K 超高清顯示控制器、RGMII 以太網控制器、USB3.0 和 USB2.0 端口、PCIe Gen3、SATA3.0 端口和 AMBA 總線架構為用戶提供高性能高清 DVR/HVR。NT98336 還提供視頻預處理和后處理，并支持多格式視頻輸入應用于高視頻質量高清 DVR/HVR 的應用。

(Novatek NT98336 Evaluation Kit)

Hailo-8人工智能處理器則是選用 Hailo-8 M.2 模塊，它是一款適用于 AI 應用的 AI 加速器模塊。該 AI 模塊基于每秒26兆次運算(TOPS)的 Hailo-8人工智能處理器，具有高能效。M.2 AI 加速器具有完整的 PCIe Gen-3.0 2通道接口，能提供前所未有的 AI 性能，并為廣泛市場提供低功耗深度神經網絡推理。利用 Hailo 的綜合數據流編譯器及其對標準 AI 框架的支持，可以輕松移植其神經網絡模型 Hailo-8，提供高性能人工智能產品。

(Hailo-8 M.2 AI Acceleration Module)

(Hailo-8 M.2 AI Acceleration Module + PCIe adapter board)

應用板使用方式

連接應用板和周邊相關裝置 (ex. 12V電源、HDMI屏幕、攝像機)

從 HDMI port 輸出開啟智能影像視頻分析顯示，以畫框方式來標示人或物體。

?場景應用圖

?展示板照片

?方案方塊圖

?核心技術優勢

(1) 影像監控結合 AI 運算動作更加精確

(2) 支援 DVR/HVR 混合應用

(3) 支持多種影像顯示輸出界面 HDMI/VGA/CVBS

(4) 實現實時、低延遲、高效率的人工智能推理

(5) 專有的新型結構驅動數據流架構

(6) 通過芯片級聯提供可擴展功能

(7) 實現多流和多模型的同時處理

(8) 高精度同時處理多人與高質量的影像視頻識別分析

(9) 改進視頻分析并具有成本效益

(10) 與現有解決方案相比，成本效益最高（TOPS/$）

?方案規格

(1) ARM Cortex-CA53 Quad Cores NT98336 核心芯片

(2) 4CH、8CH、16CH Multi-channel encoding up to 1080p@300fps

(3) 每秒26兆次運算 (TOPS) Hailo-8 M.2 的 AI 加速器模塊

(4) Hailo-8 支持框架 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

(5) 完整的 PCIe Gen-3.0 2通道接口

(6) Linux OS系統

(7) 電源輸入使用 12V/2A

Q&A

Q1. 解決方案所支援的操作系統？

A：NT98336 支援 Linux，聯詠 HDAL 系統框架，保持一致 API 接口，跨平臺/芯片通用

Q2. 解決方案可支援到多大的影像格式輸出？

A：NT98336 HDMI 最大可輸出 4K2K，VGA 最大可輸出 1080P/60fps

Q3. 解決方案是否有提供儲存裝置界面？

A：NT98336 有提供支援2個 SATA 3.0 的儲存裝置界面

Q4. 解決方案中人工智能處理器支持框架有哪幾種?

A：Hailo-8 支持框架有 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

Q5. 解決方案中人工智能處理器的溫度范圍?

A：Hailo-8 支持 -40°C 至 85°C 的擴展溫度范圍

Q6. 解決方案中人工智能處理器的功耗為多少?

A：Hailo-8 一般功耗為2.5瓦

Q7. 解決方案中人工智能處理器的優勢?

A：Hailo-8 具有高達26 TOPS和一流的能效