AI Codec自2016年首次提出以來，眾多海內(nèi)外高校、企業(yè)研究院等機(jī)構(gòu)對(duì)此展開了廣泛研究。6年時(shí)間里，AI Codec 的SOTA方案的壓縮性能已經(jīng)超越了H.266(最新的傳統(tǒng)Codec標(biāo)準(zhǔn))，展現(xiàn)了強(qiáng)大的技術(shù)潛力。但受限于計(jì)算復(fù)雜度、非標(biāo)等原因，AI Codec在應(yīng)用落地方面的案例卻屈指可數(shù)。LiveVideoStackCon2022北京站邀請(qǐng)了來自雙深科技的田康為大家分享基于雙深科技的AI Image Codec技術(shù)落地探索經(jīng)驗(yàn)。

文/田康 編輯/LiveVideoStack

大家好，本次分享的主題為：AI Image Codec技術(shù)落地實(shí)踐，主要將分三部分介紹我們?cè)谝苿?dòng)端方面取得的技術(shù)成果。第一部分介紹圖像視頻行業(yè)發(fā)展趨勢(shì)和我們的理解；第二部分簡(jiǎn)單總結(jié)AI Codec發(fā)展；第三部分為重點(diǎn)，即AI Image Codec移動(dòng)端落地實(shí)踐。

-01-

圖像視頻行業(yè)發(fā)展趨勢(shì)

首先介紹圖像視頻行業(yè)發(fā)展趨勢(shì)，“我們身處圖像數(shù)據(jù)大爆發(fā)的時(shí)代”可能已成為了一項(xiàng)行業(yè)共識(shí)。據(jù)我們從相關(guān)機(jī)構(gòu)取得的調(diào)研數(shù)據(jù)顯示，全球圖片視頻數(shù)據(jù)總量至2025年預(yù)計(jì)將超過140ZB，每年的數(shù)據(jù)復(fù)合增長(zhǎng)率達(dá)到27%，這是一個(gè)很恐怖的數(shù)量級(jí)。隨著近年來ChatGPT等技術(shù)的火爆，相信增長(zhǎng)率還會(huì)進(jìn)一步提升。 簡(jiǎn)單分析數(shù)據(jù)量迅速增長(zhǎng)的原因：首先是在醫(yī)療、安防等應(yīng)用場(chǎng)景下，影像數(shù)據(jù)按照國(guó)家政策要求需要長(zhǎng)期或永久存儲(chǔ)，導(dǎo)致數(shù)據(jù)積累量越來越大。第二是隨著大眾對(duì)高畫質(zhì)、高幀率等高質(zhì)量視頻需求的增長(zhǎng)，導(dǎo)致數(shù)據(jù)密度提升。第三是隨著視頻數(shù)據(jù)在互聯(lián)網(wǎng)、安防、無人機(jī)、云游戲（不同于傳統(tǒng)游戲，過程中伴隨著超大量視頻傳輸）等等多種應(yīng)用場(chǎng)景的拓展帶來了數(shù)據(jù)量的巨量增長(zhǎng)。 那么要高效運(yùn)用這些數(shù)據(jù)必定伴隨著壓縮、傳輸和存儲(chǔ)等底層技術(shù)的發(fā)展優(yōu)化，我們認(rèn)為壓縮技術(shù)的提升是其中的關(guān)鍵，主要原因有三個(gè)：首先是帶寬和存儲(chǔ)的提升是有瓶頸的。其次針對(duì)野外巡檢等特殊應(yīng)用場(chǎng)景，增加帶寬并不適用。第三是存儲(chǔ)和帶寬的提升并沒有從根本解決傳輸數(shù)據(jù)量龐大這個(gè)問題。

上圖為我們?cè)O(shè)計(jì)的視覺AI應(yīng)用鏈路圖，首先通過攝像頭或計(jì)算機(jī)生產(chǎn)影像內(nèi)容，然后進(jìn)行修復(fù)、剪輯或AI審核等處理，并將數(shù)據(jù)呈遞給用戶進(jìn)行數(shù)據(jù)查看，過程中可能伴隨著AI動(dòng)作識(shí)別交互或超分，隨后傳遞至存儲(chǔ)設(shè)備進(jìn)行數(shù)據(jù)存儲(chǔ)。在應(yīng)用前通過文本、圖片、跨模態(tài)等檢索方式查找所需的數(shù)據(jù)，最終可以對(duì)其進(jìn)行結(jié)構(gòu)化解析和隱私/分布式計(jì)算等應(yīng)用。 可以看到整個(gè)流程都由編解碼來進(jìn)行銜接。同時(shí)在每個(gè)環(huán)節(jié)都可能存在AI的應(yīng)用，這也是數(shù)據(jù)處理后續(xù)的發(fā)展趨勢(shì)。 和傳統(tǒng)編解碼相比，AI端到端編解碼在天然上更適應(yīng)這種趨勢(shì)。從算法層面來看，AI編解碼以提取的圖像特征直接進(jìn)行下游應(yīng)用，從而節(jié)約了下游特征提取計(jì)算量。從硬件層面來看，AI的大量應(yīng)用使當(dāng)下硬件都或多或少地帶有AI算力，這同時(shí)為AI編解碼的應(yīng)用創(chuàng)造了條件。

-02-

AI Codec發(fā)展

接下來介紹AI Codec的發(fā)展，上圖為傳統(tǒng)和AI編解碼發(fā)展歷程的對(duì)比?？梢钥吹剑珹I Codec壓縮性能超越傳統(tǒng)的H.264、H.265僅使用了傳統(tǒng)方法1/6的發(fā)展時(shí)間。從1988年的H.261到2020年的H.266，相較于傳統(tǒng)編解碼器平均十年一次的迭代頻率，AI編解碼實(shí)現(xiàn)了飛速發(fā)展，從2016年端到端編碼框架的提出到后續(xù)GAN、1857標(biāo)準(zhǔn)的應(yīng)用，甚至是后續(xù)AIGC編碼發(fā)展方向的出現(xiàn)，它在短時(shí)間內(nèi)不斷涌現(xiàn)可落地應(yīng)用的各種新方法。

另一方面是AI芯片行業(yè)的發(fā)展同時(shí)為AI編解碼提供了落地土壤。近年來GPT-4、AIGC的大規(guī)模使用在側(cè)面推動(dòng)了AI芯片業(yè)整體的快速發(fā)展，隨著行業(yè)利好，高通等著名邊緣芯片企業(yè)也在逐步啟動(dòng)對(duì)AI芯片的開發(fā)研究。其次是存算一體、類腦芯片、量子計(jì)算等未來技術(shù)為芯片算力發(fā)展帶來了更好前景。

-03-

AI Image Codec移動(dòng)端落地實(shí)踐

接下來介紹我們關(guān)于AI Image Codec在移動(dòng)端的落地實(shí)踐，以互聯(lián)網(wǎng)移動(dòng)端CDN圖片分發(fā)場(chǎng)景為應(yīng)用場(chǎng)景，首先解釋采用該場(chǎng)景的原因。

第一，當(dāng)下大量社交、內(nèi)容社區(qū)、電商APP均涉及該場(chǎng)景，中心端以一對(duì)多方式進(jìn)行圖片的分發(fā)，即使是抖音這種小視頻平臺(tái)也會(huì)涉及很多圖片內(nèi)容。同時(shí)由于CDN 80%左右的運(yùn)營(yíng)成本為流量帶寬費(fèi)用，因此它有很大的圖片壓縮訴求，優(yōu)化圖片壓縮技術(shù)可以有效節(jié)約成本。第三是該場(chǎng)景為閉環(huán)場(chǎng)景，可以解決目前AI Codec非標(biāo)的問題。最后是移動(dòng)端的AI算力相對(duì)于其他物聯(lián)網(wǎng)設(shè)備較強(qiáng)，可以實(shí)現(xiàn)更好的編解碼效果。

以上為我們自研的AI圖像編解碼模型框架，它被稱為ANF。不同于傳統(tǒng)編解碼器通過分塊預(yù)測(cè)處理來進(jìn)行數(shù)據(jù)壓縮，ANF編解碼器在接收?qǐng)D片后，通過神經(jīng)網(wǎng)絡(luò)提取高層像素規(guī)律作為數(shù)據(jù)量化和輔助熵模型概率預(yù)估的依據(jù)。數(shù)據(jù)最終傳遞至傳輸端進(jìn)行熵解碼和像素重建，向用戶呈現(xiàn)圖片。

我們?cè)谡麄€(gè)流程中針對(duì)AI訓(xùn)練設(shè)置了兩個(gè)約束，第一是R-Loss，它代表比特流和超先驗(yàn)的存儲(chǔ)信息量；第二是D-Loss，它用于衡量輸入和輸出圖片之間的質(zhì)量差，以上兩個(gè)指標(biāo)都需要保持盡量小。

針對(duì)該模型我們也提出了一些優(yōu)化策略，如在特征提取階段采用Neighbor-patch-attention策略來參考周邊信息，提取更深層次特征。其次是在熵模型概率預(yù)估階段: 采用Space Shuffle策略，提升概率估計(jì)準(zhǔn)確度。第三是在超先驗(yàn)階段，將局部感受野擴(kuò)展到全局感受野來提取更準(zhǔn)確的輔助信息。

右圖為測(cè)試結(jié)果，其中紅線代表ANF模型數(shù)據(jù)，可以看到相比于VVC等傳統(tǒng)編碼器，它的測(cè)試結(jié)果要超出0.5～0.7dB左右。

由于ANF模型的架構(gòu)比較復(fù)雜，為了更好的在移動(dòng)端上進(jìn)行應(yīng)用，我們對(duì)它進(jìn)行了輕量化處理，在量化和部署加速方面做了相當(dāng)多的工作。在畫質(zhì)損失盡量小的前提下盡量獲取加速收益。

以上是輕量化后的ANF模型和其他編解碼器使用LPIPS指標(biāo)測(cè)試的對(duì)比結(jié)果，用于衡量ANF和其他編解碼器之間的差距，該指標(biāo)越小代表壓縮后的圖像和原圖主觀質(zhì)量越接近。通過在多種場(chǎng)景下測(cè)試可以看到，ANF壓縮的圖片質(zhì)量要明顯優(yōu)于其他編解碼器。

在客觀指標(biāo)結(jié)果較好的基礎(chǔ)上，我們組織對(duì)壓縮圖像進(jìn)行了主觀評(píng)測(cè)，選擇了數(shù)十種不同場(chǎng)景，約兩萬張涵蓋不同分辨率的圖片作為數(shù)據(jù)集進(jìn)行測(cè)試。以avif的壓縮圖像作為基準(zhǔn)進(jìn)行對(duì)比，按照三種不同比例將原始圖片用ANF和avif編解碼器進(jìn)行壓縮，將壓縮后的圖片從相同位置裁取100*100左右大小的塊，與原圖對(duì)應(yīng)小塊對(duì)比壓縮畫質(zhì)，最后征集志愿者進(jìn)行測(cè)評(píng)。

下表為評(píng)測(cè)結(jié)果，可以看到同體積下，主觀選擇ANF的比例(49.4%)明顯高于AVIF(18.6%)，說明ANF主觀質(zhì)量明顯比AVIF好; 體積比為1:1.4時(shí)，結(jié)果與1:1時(shí)相同；體積比為1:2時(shí)，選擇ANF和AVIF的次數(shù)相當(dāng)，且有較大比例“不選擇”，說明兩者主觀畫質(zhì)相當(dāng)。

以上為同體積比下，兩種編碼器的測(cè)試效果圖，可以看到ANF壓縮圖片的質(zhì)量和原圖更加接近。

以上為體積比為1:1.5時(shí)，兩種編碼器的測(cè)試效果圖。可以看到ANF的圖像細(xì)節(jié)效果仍然不錯(cuò)。

接下來介紹ANF的解碼速度，我們?cè)隍旪?gen1平臺(tái)上對(duì)解碼速度進(jìn)行了測(cè)試，使用自封SDK測(cè)試從圖片載入到最終在移動(dòng)端顯示所需的時(shí)間?？梢钥吹皆?080P分辨率下，ANF的平均延遲可以達(dá)到29.4毫秒，這個(gè)量級(jí)是人眼感受不到的，可以滿足應(yīng)用需求。

以上為編碼吞吐對(duì)比結(jié)果，在同樣的硬件條件下和傳統(tǒng)編碼器相比，ANF可獲得10-30倍的編碼加速。

以上為壓縮對(duì)二次識(shí)別檢測(cè)影響的測(cè)試結(jié)果，選取了精確率和召回率兩個(gè)指標(biāo)進(jìn)行衡量?？梢钥吹皆诘蛪嚎s比下，ANF壓縮圖片的檢測(cè)精度略高于avif, 兩項(xiàng)指標(biāo)與原圖相當(dāng)；在高壓縮比下，ANF壓縮圖片的檢測(cè)精度明顯高于avif, 與原圖的差距保持在2-5%范圍。

接下來進(jìn)行總結(jié)，首先在當(dāng)前的圖像視頻大爆發(fā)時(shí)代，我們認(rèn)為編解碼技術(shù)的提升迫在眉睫和勢(shì)在必行的。第二是圖像處理AI化的趨勢(shì)明顯，基于AI的編碼方式從算法和硬件層面均能夠更好地協(xié)同。第三是AI Codec的發(fā)展速度很快，未來發(fā)展前景光明；同時(shí)AI Codec的發(fā)展也順應(yīng)了AI芯片發(fā)展的趨勢(shì)。最終我們基于AI Codec的主觀優(yōu)化，可以超過AVIF 30%以上，解碼效率可在高端機(jī)型落地，編碼效率顯著優(yōu)于傳統(tǒng)Codec的CPU軟編方案，具備在CDN圖片場(chǎng)景落地的可行性。我的分享到此結(jié)束，謝謝大家！
責(zé)任編輯：彭菁