AI視覺應用

在過去十年，人工智能和機器學習算法有了長足發(fā)展。這些發(fā)展主要體現(xiàn)在視覺相關的應用上。2012年，AlexNet從ImageNet大規(guī)模視覺識別挑戰(zhàn)賽勝出(ILSVRC)，成為首個使用反向傳播算法完成訓練的深度神經(jīng)網(wǎng)絡。與傳統(tǒng)的淺網(wǎng)絡相比，性能產(chǎn)生近10%的成長，預測精度躋身前5位。

這個重大發(fā)展是一個轉折點。從那時起，深度神經(jīng)網(wǎng)絡在性能/精度兩個方面不斷迎來巨大進展。2015年ResNet超越單個人類的分類能力，如圖1所示。就各種目的和用途而言，現(xiàn)今神經(jīng)網(wǎng)絡的錯誤率已經(jīng)可以與貝葉斯錯誤率相媲美，可視為解決計算機視覺應用中的圖像分類問題。

圖1 前5名預測準確性
(來源：https://devopedia.org/imagenet)

有鑒于如此令人振奮的結果，半導體制造商爭相開發(fā)組件，支持深度學習部署的高度復雜運算需求。在未來十年，推斷功能的商業(yè)化，特別是用深度學習實現(xiàn)的計算機視覺商業(yè)化，將繼續(xù)高速成長。計算機視覺市場規(guī)模預計將以30%的年均復合成長率(CAGR)成長，到2025年將達到262億美元。用深度學習實現(xiàn)的計算機視覺可以廣泛地應用到各類產(chǎn)業(yè)市場，包括零售分析、智慧城市、執(zhí)法、邊境安全、機器人、醫(yī)療成像、作物收獲優(yōu)化、符號語言識別等。在不遠的未來，AI將成為日常生活的內在組成要素，而且有些人認為這樣的未來近在咫尺。

隨著新穎的網(wǎng)絡、層和量化技術被開發(fā)出來，采用固定內存架構的硬化Tensor加速器，不再能夠滿足未來的需求。這種狀況已經(jīng)在MobileNets的發(fā)展中表露無遺。在MobileNet骨干網(wǎng)絡中，使用深度卷積能大幅降低運算-內存比。這對于通用CPU這樣的組件來說非常理想。CPU一般受運算約束，但在若因架構受內存所限而導致效率有限，在某種程度上等于浪費寶貴的運算周期，就如數(shù)據(jù)中心中的待機服務器消耗能量一樣。這種運算-內存比影響著部署網(wǎng)絡時具體Tensor加速器架構的總效率。不幸的是，ASIC和ASSP Tensor加速器架構一般在組件試生產(chǎn)前，至少凍結一年。但在使用賽靈思推論技術時，則不會發(fā)生這種情況，該技術能隨時間推移進行調整和優(yōu)化，以支持神經(jīng)網(wǎng)絡架構的快速演進發(fā)展，進而確保低功耗、高效率。

本文介紹賽靈思產(chǎn)品組合中的Kria K26 SOM，及其在嵌入式視覺應用中的主要優(yōu)勢。

智能應用除了要求低延遲，還需要具備私密性、低功耗、安全性和低成本。以Zynq MPSoC架構為基礎，產(chǎn)品如Kria K26 SOM提供穩(wěn)定的單位功耗性能和更低的總體擁有成本，使其成為邊緣設備的較佳選擇。該產(chǎn)品具備硬件可配置能力，也就是說在K26上實現(xiàn)的解決方案是可擴展，同時具備未來兼容能力。

原始運算能力

就在邊緣設備上部署解決方案而言，硬件必須擁有充足的算力，才能處理ML算法工作負載。人們可以使用各種深度學習處理單元(DPU)配置對Kria K26 SOM進行配置，還能根據(jù)性能要求，將最適用的配置整合到設計內。例如，運行在300MHz的DPU B3136的峰值性能是0.94TOPS。運行在300MHz的DPU B4096的峰值性能是1.2TOPS，幾乎是Jetson Nano公布的峰值性能472GFLOPS的3倍。

支援更低精度數(shù)據(jù)類型

深度學習算法正在以極快的速度演進發(fā)展，INT8、二進制、三進制等更低精度的數(shù)據(jù)類型和客制化客制數(shù)據(jù)正在進入使用。GPU廠商難以滿足當前的市場需求，因為他們必須修改/調整他們的架構，才能適應并支持客制的或者更低精度的數(shù)據(jù)類型。Kria K26 SOM支持全系列數(shù)據(jù)類型精度，如PF32、INT8、二進制和其他客制數(shù)據(jù)類型。此外，根據(jù)Mark Horowitz提供的數(shù)據(jù)點，以較低精度數(shù)據(jù)類型進行的運算功耗更低，比如在INT8上進行的運算的功耗比在 FP32 上進行的運算低一個數(shù)量級。如圖2所示。

圖2 視覺AI入門套件

低延遲與低功耗

一般情況下，對于任何實現(xiàn)在多核心CPU、GPU或者任何SoC上的應用設計而言，功耗可在總體上按如下估算大致進行劃分：

? 核心=30%

? 內部存儲器(L1、L2、L3)=30%

? 外部內存(DDR)=40%

這就是GPU功耗高的主要原因。為改善軟件可程序設計能力，GPU架構需要頻繁存取外部DDR。這種做法非常低效，有時候會對高帶寬設計要求造成瓶頸。相反，Zynq MPSoC架構具有高能效，其可重配置能力便于開發(fā)者設計的應用減少或不必存取外部內存。這不僅有助于減少應用的總功耗，也透過降低端到端延遲改善響應能力。圖3所示為一種典型的汽車應用架構，其中GPU與各個模塊的通訊都透過DDR實現(xiàn)，而Zynq MPSoC組件采用的是在設計上避免存取任何DDR的高效率流水線。

圖3 典型的GPU與MPSoC架構

透過靈活性實現(xiàn)低延遲

與數(shù)據(jù)流固定的GPU不同，賽靈思的硬件提供靈活性，以重新配置數(shù)據(jù)路徑，進而實現(xiàn)較大吞吐量并降低延遲。此外，可程序設計的數(shù)據(jù)路徑也降低了對批處理的需求，而批處理是GPU的一個重大不足，需要在降低延遲或提高吞吐量間做出權衡。Kria SOM的架構已在稀疏網(wǎng)絡中展示巨大潛力。稀疏網(wǎng)絡是當前ML應用中最熱門的趨勢之一。另一個重要特性是任意I/O連接，能進一步提高Kria SOM靈活性，其使K26 SOM在毋需主機CPU的情況下，可以連接到任何設備、網(wǎng)絡或存儲設備。

剪枝優(yōu)勢降低模型復雜度

賽靈思提供AI優(yōu)化工具，能進一步增強運行在K26 SOM上的各種神經(jīng)網(wǎng)絡性能。本文提供的比較資料，到目前為止均是在未經(jīng)優(yōu)化或剪枝(Pruning)的原始模型上取得的。大多數(shù)神經(jīng)網(wǎng)絡通常都有過度參數(shù)化的情況，存在可以優(yōu)化的嚴重冗余。賽靈思的AI優(yōu)化器是一種模型壓縮技術，該工具可在幾乎不影響精度的情況下，將模型復雜度最多降低50倍。

本文引用賽靈思所做的研究案例。這是一個擁有117千兆次運算(Gops)的復雜SSD+VGG模型，其使用賽靈思AI優(yōu)化器工具迭代進行優(yōu)化。圖4所示為使用AI優(yōu)化器工具為模型剪枝帶來的好處。

圖4 模型剪枝結果

作為基線，該模型運算量為117Gops，運行在用兩個B4096 DPU配置的Zynq UltraScale+ MPSoC上，最高FPS為18。經(jīng)過數(shù)次剪枝迭代，數(shù)據(jù)顯示復雜性明顯下降，F(xiàn)PS相應增加，但未對精度(mAP)造成任何影響。在第11次迭代時，復雜性降低10倍，從117Gops降低到11.6Gops；性能提高5倍，從18FPS提高到103FPS；精度僅下降1.1%，從61.55mAP下降到60.4mAP。

到這里，本文已對Kria K26 SOM與GPU的原始性能對比做了介紹。了解這種原始性能在實際用例中的意義至關重要。實際用例結構復雜，涉及流水線中的其他模塊，如任何AI-ML應用所需的預處理和后處理組件。在這類應用中，最大吞吐量由流水線中性能最低的組件決定。

實際應用性能比較

為了分析實際用例，本文選擇一種準確檢測和識別車輛牌照、使用機器學習的應用。賽靈思已與Uncanny Vision合作，旨在為市場提供較佳的汽車牌照(車牌)識別(ANPR)解決方案。這種應用已得到世界上眾多城市的廣泛采用，用于智慧城市的建設中。ANPR的主要應用包括自動收費管理系統(tǒng)、高速公路監(jiān)測系統(tǒng)、停車場門禁和安全門門禁。ANPR應用是一種使用AI的流水線，內含影片影像譯碼、圖像預處理、機器學習(檢測)和OCR字符識別，如圖5所示。

圖5 ALPR應用的處理區(qū)塊

ANPR AI盒應用一般從現(xiàn)貨IP攝影機攝入一個到多個H.264或H.265編碼的RTSP流并進行譯碼(解壓縮)。譯碼的影像幀在被機器學習算法攝入前，先進行預處理(通常是縮放、剪裁、色彩空間轉換和歸一化)。就高性能商用ANPR實現(xiàn)方案而言，通常需要多級AI流水線。第一個網(wǎng)絡的作用是檢測和定位幀內的車輛。這項操作中還結合跨多幀追蹤車輛軌跡的算法和選擇最佳幀曝光，為OCR優(yōu)化圖像畫質的算法。通常先剪裁和縮放車輛感興趣區(qū)域(ROI)，然后饋入負責定位車牌的次級檢測網(wǎng)絡。

與車牌ROI有關的像素經(jīng)過剪裁和縮放，最終被饋送到負責實現(xiàn)OCR預測的最后一個神經(jīng)網(wǎng)絡。最后一級提供的元數(shù)據(jù)預測是壓印或印刷在車牌上或是以其他方式可見的字母數(shù)字字符。為了進行比較，已部署在GPU和CPU上的Uncanny Vision ANPR應用，為實現(xiàn)在Kria KV260視覺AI入門套件上的部署進行了優(yōu)化。結果證明，將Uncanny Vision算法在Kria SOM上進行部署后，打破100美元的價格壁壘，而且性能是Uncanny Vision先前同類SOM產(chǎn)品的2到3倍。

這些數(shù)據(jù)說明，Uncanny Vision的ANPR流水線在針對KV260入門套件進行優(yōu)化后，實現(xiàn)超過33fps的吞吐量，這種較佳的性能水平為ANPR整合商和OEM廠商提供優(yōu)于競爭對手的開發(fā)靈活性。每多安裝一個AI盒都會直接影響安裝成本，還不考慮相關的布線和導管成本。

根據(jù)安裝的具體情況，設計師可以犧牲幀率來換取更大的每盒處理流數(shù)。對于停車場安裝(如停停走走、攔車桿和自由通行)，推斷和捕獲幀率通常要達到10fps才可滿足要求，還能可靠地采集車牌元數(shù)據(jù)。這便于設計師將多個攝影機流聚合到單個AI盒，進而節(jié)省每個閘門的總體資本支出(CAPEX)和營運成本(OPEX)。在高速應用中，如高速公路收費和執(zhí)法，較高的幀率確保能夠準確可靠地檢測和識別高速行駛中的車輛。在33fps的吞吐量下，與當今市場上的解決方案相比，K26 SOM能夠更加可靠地為識別和證據(jù)收集提供支持。

大多數(shù)ANPR系統(tǒng)都需要在環(huán)境嚴苛的條件下運行。I級的K26 SOM專為嚴酷環(huán)境開發(fā)，支持-40至100℃的工作溫度范圍和三年保固。在采用K26I SOM后，與市場解決方案相比，ANPR系統(tǒng)的總體擁有成本顯著降低。

Uncanny Vision的ANPR應用說明，K26 SOM不僅在標準性能比較中表現(xiàn)較佳，并且為開發(fā)者提供加速整體AI和視覺流水線所需的原始性能時，效率也更高。透過對比，在標準的基準檢驗領域之外，競爭解決方案效率較低且功耗較高。

賽靈思透過開發(fā)各種工具、庫、框架和參考示例，為方便應用做了大量工作，大幅簡化軟件開發(fā)者的開發(fā)工作。

AI開發(fā)工具包

Vitis AI開發(fā)環(huán)境由賽靈思Vitis AI開發(fā)工具包構成，支持該公司SoC、Alveo加速器卡以及Kria SOM。其組成包括經(jīng)優(yōu)化的工具、庫和預訓練模型，為開發(fā)者部署客制模型鋪平道路。其在設計時便充分考慮到高效率和易用性，在組件上釋放AI加速的潛力。

此外，Vitis AI整合Apache開源TVM項目，TVM依托開源小區(qū)和各類大型商業(yè)用戶提供的輸入，提供多樣化、緊跟時代、可擴展的機器學習框架支持。TVM自動運行圖形分割和圖形編譯，基本上確保能夠部署來自任何框架的網(wǎng)絡運算符，即使該運算符并非原生地受到Vitis AI開發(fā)環(huán)境的支持。

事實上在TVM環(huán)境中，任何運算符都能編譯到x86和Arm目標組件上。這意謂著開發(fā)者可以迅速地部署模型，在賽靈思DPU上為Vitis AI開發(fā)環(huán)境支持的子圖加速，同時在CPU上部署圖形的其余部分。

SDK

PetaLinux是一種針對賽靈思SoC的嵌入式Linux軟件開發(fā)套件(SDK)。PetaLinux使用Yocto，是一種為構建、開發(fā)、測試和部署嵌入式Linux系統(tǒng)提供一切必要內容的開發(fā)工具。

PetaLinux工具包含：

? Yocto可擴展SDK(eSDK)

? 賽靈思軟件命令行工具(XSCT)和工具鏈

? PetaLinux CLI工具

視覺庫

Vitis視覺庫用戶能在平臺上，開發(fā)和部署加速計算機視覺和圖像處理應用，同時在應用層面操作。這些開源庫功能提供使用OpenCV的接口，但專為賽靈思平臺的高性能和低資源耗用進行了優(yōu)化。此外，它們也提供靈活性，可以滿足用戶視覺系統(tǒng)的自適應吞吐量需求。

影像分析SDK

影像分析SDK是一種建構在開源且被廣泛采用的GStreamer上的應用框架。這種SDK設計上支持跨所有賽靈思平臺的開發(fā)，包括FPGA、SoC、Alveo卡以及Kria SOM。使用該SDK，開發(fā)者毋需深入掌握FPGA復雜的底層技術，就能裝配視覺分析和影像分析流水線。

此外，該SDK提供的API讓用戶能夠快速開發(fā)以GStreamer插件形式存在，能整合至SDK框架的高效客制加速核心。無論是否使用客制加速核心，一般的嵌入式開發(fā)者都能簡便輕松地裝配客制加速流水線。

加速應用增強功能

加速應用是Kria SOM解決方案的基本架構。這些應用是完整、可量產(chǎn)的端到端解決方案，專門支持常見的視覺用例。賽靈思加速應用在可程序設計邏輯區(qū)域包含一個預優(yōu)化的視覺流水線加速器。開發(fā)者可按原狀使用，也可以進一步優(yōu)化滿足應用的特定需求。借助具有高可靠性的軟件協(xié)議堆棧，只修改韌體或倒換AI模型，用戶就能輕松地客制和增強解決方案功能。

K26 SOM在實際應用下的性能較穩(wěn)定，提供顯著的性能優(yōu)勢。該產(chǎn)品的底層硬件功能強大，有助于在降低延遲和減少功耗的情況下為完整的應用提速。對于ANPR應用，K26 SOM性能較佳，憑借更高的吞吐量，用戶能夠在每個組件上處理更多，進而降低總體成本。其具有更高吞吐量、更低延遲、更小功耗等優(yōu)勢，同時能夠為滿足未來需求提供靈活性和可擴展能力，Kria K26 SOM是在邊緣設備上實現(xiàn)使用視覺AI應用的較佳選擇。