互聯(lián)網(wǎng)隨著5G浪潮的到來，物聯(lián)網(wǎng)的計算正在面臨巨大的挑戰(zhàn)。

首先，視頻信息占據(jù)流量的 80% 以至 90%，視頻的處理非常耗費(fèi)算力，這其中包括視頻的編解碼，以及對視頻信息的實(shí)時解讀、分析。其次，物聯(lián)網(wǎng)的場景無限多樣化，需要不同算法適應(yīng)不同場景，能夠靈活配置快速移植。業(yè)界需要新一代的計算架構(gòu)以及與之相對應(yīng)的軟件體系來承載。

近日，安創(chuàng)加速團(tuán)隊(duì)、專注于視頻處理創(chuàng)新的科技公司Aupera科技獲得 FPGA 巨頭賽靈思的戰(zhàn)略投資。此前，Aupera科技曾獲得安創(chuàng)加速器投資。

Aupera 團(tuán)隊(duì)由一支專注于打造極致產(chǎn)品的頂級工程師、專家組成，團(tuán)隊(duì)成員曾經(jīng)服務(wù)于NASA、Cisco、華為、貝爾實(shí)驗(yàn)室等，在經(jīng)歷了兩次整體架構(gòu)迭代后，構(gòu)建了一套高效、徹底的異構(gòu)計算框架，并創(chuàng)新提出了分布式微節(jié)點(diǎn)計算架構(gòu)。

“要解決視頻處理的根本問題，首先要解決的是海量視頻的編解碼算力，需要提供高密度的計算力，可負(fù)擔(dān)的計算力，我們Aupera就是從這方面入手的”， Aupera 創(chuàng)始人廖博士表示。

如今，基于異構(gòu)計算的分布式微節(jié)點(diǎn)技術(shù)已經(jīng)落地，并且已經(jīng)在頭部客戶實(shí)現(xiàn)商用，在此基礎(chǔ)上 ，Aupera 又在同樣的硬件、軟件框架中嵌入了實(shí)時AI的加速引擎。“這樣高效的架構(gòu)，特別適用于那些有海量視頻需要實(shí)時對內(nèi)容進(jìn)行處理的場景，” 據(jù)廖博士介紹。

分布式微節(jié)點(diǎn)計算架構(gòu)

分布式、微任務(wù)、易擴(kuò)展性，這些都是視頻流處理的特點(diǎn)。分布式微節(jié)點(diǎn)計算架構(gòu)，如下圖，用幾十個、幾百個處理器模組，經(jīng)過10G、100G的以太網(wǎng)交換機(jī)連接在一起，可以跨機(jī)箱、跨集群、跨數(shù)據(jù)中心，不受限于物理位置，系統(tǒng)可以線性擴(kuò)展。

每個處理器模組，在控制層面，采用了 Arm 處理器，靈巧方便；在數(shù)據(jù)處理層面，采用了 Xilinx FPGA。FPGA 的優(yōu)勢在于實(shí)現(xiàn)高吞吐量高性能的同時，也能滿足低延時的應(yīng)用、實(shí)時的響應(yīng)。同時，F(xiàn)PGA 不僅能夠自定義 AI 加速，還可以進(jìn)行多維度、立體式的整體優(yōu)化，對視頻數(shù)據(jù)的前處理、后處理，甚至包括網(wǎng)絡(luò)、存儲。FPGA 做為 AI 加速的另一大亮點(diǎn)，在于快速算法迭代，快速模型設(shè)計，到加快產(chǎn)品商用、加快市場投放，這在人工智能算法日益更新快速迭代的情形下，顯得尤為重要。

面向視頻+人工智能的應(yīng)用的融合軟件架構(gòu)

與此同時，為了保證分布式微節(jié)點(diǎn)架構(gòu)能夠高效運(yùn)轉(zhuǎn)，并且承載高密度的算力，Aupera 還推出了一整套面向視頻+人工智能應(yīng)用的融合軟件架構(gòu)——AupXStream Video+AI SDK。

這套軟件體系擁有以下幾大特點(diǎn)——

一、整個軟件面向視頻的處理集成了 FFMpeg 和 GStreamer 這兩個視頻領(lǐng)域開發(fā)必備的工具。特別是將 FFMPEG 成功移植到 Arm 處理器上這一設(shè)計，使得視頻工程師可在無需改變?nèi)魏尾僮髁?xí)慣的情況下，使用同樣的命令行、同樣的操作，獲得更高的性能和更好的效果。

二、針對場景化 AI 的計算以及與視頻編解碼、視頻數(shù)據(jù)處理的超融合能力。AupXStream Video+AI SDK 將視頻編解碼、視頻內(nèi)容分析有機(jī)地結(jié)合了起來，最大限度地降低與外部設(shè)備的讀寫操作，從而得到整體性能的大幅提升。

三、云-邊-端的線性拓展以及平臺資源的智能管理。

AupXStream Video+AI SDK 為硬件層、產(chǎn)品運(yùn)營、以及云服務(wù)，打造了一整套平臺資源管理體系：從機(jī)箱的狀態(tài)管理，溫度預(yù)警，風(fēng)扇控制，到系統(tǒng)的任務(wù)調(diào)配、負(fù)載均衡，以及物聯(lián)網(wǎng)的云管理、云端運(yùn)維等全面覆蓋。因此，Aupera 的這套軟件體系可以實(shí)現(xiàn)云-邊-端服務(wù)的線性配置，算力可以隨著邊緣節(jié)點(diǎn)資源得以延申，實(shí)現(xiàn)計算的去中心化和無邊界化。

目前，AupXStream SDK支持的功能有：

H.264、H.265 硬件視頻編解碼，Jpeg 硬件編碼；

通用音視頻媒體框架，包括視頻合成、混流， 格式轉(zhuǎn)換；

高效的視頻圖像加速引擎，包括圖像前處理，縮放， 旋轉(zhuǎn)，圖層疊加，動態(tài)水印；

完善的深度學(xué)習(xí)開發(fā)環(huán)境，支持 Caffe，Tensorflow 及 PyTorch 等主流開發(fā)環(huán)境；

通用的深度學(xué)習(xí)推理引擎，支持 Resnet，inception，MobileNet，YOLO，SSD 等各種主流深度神經(jīng)網(wǎng)絡(luò)；

支持上百種預(yù)訓(xùn)練模型及應(yīng)用模板，快速搭建窄帶高清，多方會議電話，安防，物流，新零售，等 AI+ 視頻應(yīng)用；

快速應(yīng)用，快速為場景化服務(wù)，是這套軟件體系的最大亮點(diǎn)。讓千千萬萬的應(yīng)用開發(fā)者，享受FPGA 芯片的高效、實(shí)時應(yīng)用，而不用為底層的復(fù)雜操心。

行業(yè)領(lǐng)袖的戰(zhàn)略投資

Aupera 對于計算架構(gòu)的探索與創(chuàng)新，得到了業(yè)界的認(rèn)可與支持。

在早期，Aupera科技曾獲得安創(chuàng)加速器投資。最近，F(xiàn)PGA 芯片行業(yè)領(lǐng)袖 Xilinx（賽靈思），也對 Aupera 進(jìn)行戰(zhàn)略投資——除了資金上的投入以外，賽靈思還在市場拓展以及應(yīng)用實(shí)現(xiàn)方面，積極與 Aupera 一起為更多客戶實(shí)現(xiàn)應(yīng)用落地，為客戶提供即時響應(yīng)的技術(shù)支持；目標(biāo)是讓 FPGA 計算平臺能在物聯(lián)網(wǎng)時代變化多端的 AI 應(yīng)用場景中更快得到應(yīng)用，并最大限度的滿足客戶多樣化的需求，讓數(shù)據(jù)處理核心算法自主可控。

目前，Aupera 的高密度視頻轉(zhuǎn)碼產(chǎn)品、高密度視頻結(jié)構(gòu)化產(chǎn)品已經(jīng)在頭部客戶得到了商用，并且正在擴(kuò)大規(guī)模。隨著 5G 的到來，Aupera 的解決方案將會在物聯(lián)網(wǎng)、邊緣 AI 計算大力拓展。

為物聯(lián)網(wǎng)擦亮眼睛

物聯(lián)網(wǎng)的時代已經(jīng)來臨，大家都說，攝像頭是物聯(lián)網(wǎng)的眼睛，一張圖片勝過千言萬語，一段視頻又是成百上千張圖片組成。Aupera 的解決方案，包括了云、邊緣、端，提供了一整套的解決方案。

對消費(fèi)者用戶而言，沒有繁瑣的安裝，許多視頻 AI 的應(yīng)用通過云端下載即可實(shí)現(xiàn)，將普通攝像頭即時變成智能攝像頭，同時，Aupera 云端的算法將實(shí)時更新，不斷豐富，每一個家庭每一個用戶都可以實(shí)現(xiàn)根據(jù)自身的使用場景來選擇最佳應(yīng)用。

“視覺給人類帶來的信息占到人獲取信息量的 80% 以上，視頻將是人類溝通的主流”，這個觀點(diǎn)，是廖博士早在從事移動通訊開發(fā)時就堅信。針對視頻，針對視頻內(nèi)容的理解，開發(fā)一款極致高效的產(chǎn)品，讓視頻真正為人所用，這是 Aupera 的一群頂級工程師的初心。