在智慧城市與工業(yè)4.0加速發(fā)展的背景下，安防監(jiān)控系統(tǒng)正經(jīng)歷從"看得見(jiàn)"到"看得懂"的智能化升級(jí)。尤其在智慧交通、智能樓宇及公共安全領(lǐng)域，實(shí)時(shí)視頻分析與快速?zèng)Q策能力已成為保障運(yùn)營(yíng)效率的核心需求。

針對(duì)多路視頻監(jiān)控場(chǎng)景對(duì)實(shí)時(shí)性、智能化提出的雙重挑戰(zhàn)，飛凌嵌入式推出了基于RK3588核心板的智能多路安防網(wǎng)關(guān)解決方案，憑借板載的視頻編解碼硬件加速單元VPU和神經(jīng)網(wǎng)絡(luò)處理單元NPU實(shí)現(xiàn)多路視頻數(shù)據(jù)實(shí)時(shí)編解碼和多種AI模型的推理，構(gòu)建起從視頻采集到智能分析的全流程閉環(huán)。

1、FET3588-C核心板性能解析

我們先來(lái)看一看主控設(shè)備的核心配置。搭載瑞芯微RK3588旗艦級(jí)處理器，采用4×Cortex-A76@2.4GHz+4×Cortex-A55@1.8GHz的大小核架構(gòu)，為多任務(wù)處理提供強(qiáng)勁動(dòng)力；內(nèi)置瑞芯微自研三核NPU，可協(xié)同或獨(dú)立工作，從而靈活分配算力，避免冗余，綜合算力可達(dá)6TOPS，為邊緣側(cè)AI提供充沛的算力支持；還引入了新一代4800萬(wàn)像素ISP3.0，可實(shí)現(xiàn)鏡頭陰影校正, 2D/3D降噪，銳化去霧，魚(yú)眼校正，伽馬校正，寬動(dòng)態(tài)對(duì)比度增強(qiáng)等效果，大幅提升圖像質(zhì)量；此外，豐富的高速數(shù)據(jù)通訊接口也配備齊全，可以滿足用戶多樣化的需求。

2、系統(tǒng)數(shù)據(jù)流向

FET3588-C核心板、多路網(wǎng)絡(luò)攝像頭和PC處于由交換機(jī)組成的局域網(wǎng)中——FET3588-C核心板負(fù)責(zé)對(duì)網(wǎng)絡(luò)攝像頭輸入的視頻流進(jìn)行拉流解碼、AI推理、編碼推流的全流程；經(jīng)處理后的視頻流被推送至指定的流媒體服務(wù)器；PC從該流媒體服務(wù)器上拉流播放相應(yīng)的視頻。

3、方案亮點(diǎn)

01. 實(shí)時(shí)視頻高效處理

FET3588-C核心板采用瑞芯微第四代編解碼技術(shù)，除支持主流的8K@60fpsH.265解碼器和8K@30fps的H.264解碼器外，還支持8K@60fps VP9解碼器及4K@60fps AV1解碼器.

全流程中的視頻編解碼和AI推理均依靠核心板進(jìn)行編解碼處理。在多路攝像頭輸入的情況下，每幀視頻數(shù)據(jù)解碼耗時(shí)在15ms左右，推理耗時(shí)在30-200ms左右，通過(guò)抽幀操作，可以滿足對(duì)20fps左右的多路攝像頭視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。

02. 多種AI模型實(shí)時(shí)推理

FET3588-C核心板引入了INT4/INT8/INT16/FP16混合運(yùn)算，MAC利用率提升28%以上同時(shí)升級(jí)2.0 RKNN TOOLkit2套件，具備強(qiáng)大兼容性，滿足絕大多數(shù)終端設(shè)備邊緣計(jì)算的需求。

該解決方案支持部署多種AI模型，可滿足不同的應(yīng)用場(chǎng)景需求。如一路視頻流使用目標(biāo)檢測(cè)模型，同時(shí)另一路視頻流使用關(guān)鍵點(diǎn)檢測(cè)模型等。目前已支持YOLOv8目標(biāo)檢測(cè)模型、關(guān)鍵點(diǎn)檢測(cè)模型、圖像分割模型。

03.通過(guò)程序外界的配置文件靈活配置

通過(guò)獨(dú)立于程序之外的配置文件可以直接配置攝像頭的RTSP地址，對(duì)應(yīng)的AI模型的路徑和種類(lèi)等信息。不需要修改或重新編譯程序，方便用戶調(diào)整和使用。

4、應(yīng)用實(shí)例

FET3588-C核心板、四路網(wǎng)絡(luò)攝像頭和PC通過(guò)網(wǎng)線和交換機(jī)連接。攝像頭采集的畫(huà)面輸出為H.264編碼的RTSP碼流，1080P分辨率，20fps，所有設(shè)備處于同一網(wǎng)段；PC端可通過(guò)FFplay、VLC等播放器拉流播放四路視頻流。

播放效果演示

【畫(huà)面1】為人體關(guān)鍵點(diǎn)檢測(cè)模型；

【畫(huà)面2】是目標(biāo)檢測(cè)模型；

【畫(huà)面3】為圖像分割模型；

【畫(huà)面4】為區(qū)域預(yù)警檢測(cè)（當(dāng)有目標(biāo)進(jìn)入紅框區(qū)域時(shí)，區(qū)域框的顏色由綠色變?yōu)榧t色）。

5、總結(jié)

總體而言，基于飛凌嵌入式FET3588-C核心板的智能網(wǎng)關(guān)解決方案實(shí)現(xiàn)了從多路視頻輸入解碼、AI實(shí)時(shí)推理到編碼推流至媒體服務(wù)器的全流程技術(shù)閉環(huán)，能夠?yàn)楣I(yè)視頻監(jiān)控提供高效的邊緣計(jì)算支持。