電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）AI大模型襲卷而來，而如何讓終端產(chǎn)品插上AI的翅膀會(huì)是芯片廠商研發(fā)的方向和市場(chǎng)的機(jī)會(huì)。如今網(wǎng)絡(luò)攝像機(jī)作為智慧城市、智能家居等應(yīng)用的主流終端發(fā)展迅速，IPC SoC芯片是其核心之一。最近愛芯元智帶來的兩款I(lǐng)PC SoC新品在黑光全彩處理、適配Transformer大模型等方面表現(xiàn)十分亮眼，愛芯元智副總裁史欣也向媒體分享了公司對(duì)IPC SoC高清化、智能化發(fā)展的洞察。

兩款I(lǐng)PC SoC：AX630C和AX620Q

愛芯元智帶來的兩款新產(chǎn)品AX630C和AX620Q都搭載了最新的愛芯智眸AI-ISP4.0圖像處理引擎以及愛芯通元4.0高性能、低功耗的NPU引擎。這些技術(shù)的升級(jí)使得這兩款產(chǎn)品在視頻圖像效果、智能業(yè)務(wù)處理和分析等方面均達(dá)到了業(yè)界的領(lǐng)先水平。

愛芯智眸AI-ISP4.0對(duì)HDR、去噪、demosaic、銳化、去霧等算法做了升級(jí)，在暗光下的噪聲處理、色彩還原、運(yùn)動(dòng)拖影、清晰度等方面較上一代產(chǎn)品更優(yōu)秀，通過AI賦能ISP Pipeline里的關(guān)鍵模塊，在各種復(fù)雜應(yīng)用場(chǎng)景中全面提升成像效果，為后期智能處理提供高質(zhì)量的圖像、視頻素材。

愛芯通元混合精度NPU則通過減少數(shù)據(jù)搬運(yùn)，在一定程度上減小了內(nèi)存墻和功耗墻的阻礙，提高整個(gè)NPU的效率，從而在端側(cè)邊緣側(cè)面積、功耗受限的情況下，以更高的有效算力支持更多的智能算法。

愛芯元智的“真黑光”技術(shù)，則是通過愛芯智眸AI-ISP將畫面真實(shí)還原，后續(xù)再通過NPU進(jìn)行優(yōu)化，進(jìn)行更加準(zhǔn)確的圖像處理，在極低照度下獲得超越人眼所見的黑光全彩效果。

AX630C具有高算力的特征，其CPU采用雙核A53@1.2G，配合3.2T@INT8的NPU以及硬化的CV算子模塊，可以對(duì)4K圖像進(jìn)行實(shí)時(shí)的智能處理，提高客戶智能算法處理的精度和性能。同時(shí)，AX630C新一代的NPU引擎支持主流的Transformer網(wǎng)絡(luò)如ViT/DeiT/Swin/SwinV2/DETR等，可以解決訓(xùn)練數(shù)據(jù)集不足引起的算法精度下降，以及長(zhǎng)尾場(chǎng)景下算法的泛化性問題。

據(jù)介紹，AX630C是愛芯元智面向智慧城市行業(yè)前端IPC市場(chǎng)推出的超高清智能SoC，可支持4K@30fps實(shí)時(shí)真黑光；AX620Q是愛芯元智面向模組與渠道行業(yè)前端IPC市場(chǎng)推出的高清智能SoC，可支持5Mp實(shí)時(shí)、4K非實(shí)時(shí)的真黑光。

從細(xì)節(jié)上看，為了實(shí)現(xiàn)黑光全彩的效果，愛芯智眸AI-ISP4.0集中對(duì)四個(gè)關(guān)鍵模塊進(jìn)行了算法升級(jí)。史欣分析，傳統(tǒng)ISP由十幾個(gè)模塊組成，在算力足夠大的時(shí)候若不考慮成本可以用AI模型去增加每一個(gè)模塊。而愛芯元智結(jié)合了客戶的痛點(diǎn)需求和成本因素，對(duì)pipeline模塊中HDR、3DNR、RLTM、Demosaic等進(jìn)行了增強(qiáng)，達(dá)到了色彩飽和度高、運(yùn)動(dòng)圖像無拖尾，以及噪聲、銳化、清晰度等效果的顯著提高。后續(xù)，愛芯元智還將針對(duì)防抖、3A等模塊進(jìn)行優(yōu)化。

這其中的另一個(gè)問題是AI的算力消耗，本質(zhì)上來說盡可能將模塊的精確度提高就能更少的消費(fèi)算力。史欣舉例說，例如做人臉處理是對(duì)整個(gè)區(qū)域或者部分區(qū)域做降噪，消費(fèi)的算力不一樣。原來在400萬分辨率的情況下需要1T做整個(gè)AI-ISP的處理，現(xiàn)在愛芯元智的第三、四代產(chǎn)品已經(jīng)降到了0.6甚至0.5T，接下來可以做到0.2T就可以完成3DNR降噪的算力消耗，既能降低芯片成本，又可以留出更多的算力讓客戶開發(fā)更多可能。

Transformer在智慧城市中的應(yīng)用

“Transformer應(yīng)用的一個(gè)典型場(chǎng)景是對(duì)信息特征的檢索，從最早期的后端處理、服務(wù)器處理，算法上云，到目前開始進(jìn)入算法在邊緣側(cè)的部署等等，但始終沒有解決端側(cè)部署的問題。大的廠商能夠根據(jù)行業(yè)應(yīng)用來適配模型大小，而Transformer興起之后將帶來更多具象化的信息，使得檢索更容易、并縮減檢索的時(shí)間。”史欣說道。

愛芯元智能夠幫助客戶把在服務(wù)器、云端訓(xùn)練好的算法在裁剪之后在端側(cè)部署。這里既有部署性包括帶寬、功耗、成本等的考慮，也有精度的要求。愛芯元智通過幾年來在NPU和算法工具鏈的迭代，IPC SoC能夠支持算法的快速部署、保證精度，具備端側(cè)部署的軟硬件條件。



不僅是Transformer大模型，愛芯元智還在適配國(guó)內(nèi)的DINOv2大模型，愛芯元智依托硬件NPU、軟件算法等技術(shù)并與合作伙伴共同推出算法部署國(guó)產(chǎn)化。

普惠AI

我們看到愛芯元智有一個(gè)非常明確的發(fā)展理念，即是普惠AI。AI不應(yīng)只在云端，更應(yīng)該讓消費(fèi)、智慧城市、汽車等各個(gè)行業(yè)受惠。史欣談到，客戶希望能夠從To G或者To大B的業(yè)務(wù)部署向To小B，甚至To C的業(yè)務(wù)上進(jìn)行部署。即便是家用攝像頭這個(gè)普及型消費(fèi)電子產(chǎn)品，也需要AI-ISP加持，那么更需要像愛芯元智這樣具備軟硬件能力的廠商通過產(chǎn)品技術(shù)、性價(jià)比等去擁抱市場(chǎng)。

對(duì)于AI芯片的發(fā)展趨勢(shì)，史總給出預(yù)判，他認(rèn)為端側(cè)AI的小型化將越來越多的落地，同時(shí)其性能要有前瞻性和較高的性價(jià)比。同時(shí)產(chǎn)品的易用性加強(qiáng)，芯片廠商的方案交付要更簡(jiǎn)單。同時(shí)除了自身掌握關(guān)鍵技術(shù)之外，也需要生態(tài)合作伙伴做更豐富的算法和軟件，如此才能加快AI的普惠化，助力智能化產(chǎn)業(yè)升級(jí)。