隨著機(jī)器學(xué)習(xí)算法的研究，其變得越來越復(fù)雜和多樣性。計(jì)算密集性對計(jì)算資源和存儲以及帶寬提出了更高的要求，復(fù)雜性更要求硬件要有很好的靈活性。CPU是一個(gè)標(biāo)量處理單元，對于處理過程復(fù)雜的算法很靈活，比如決策樹和大量的圖像或者機(jī)器學(xué)習(xí)算法。GPU和DSP集成了大量的運(yùn)算單元，能夠并行處理大量計(jì)算，但是功耗較大。FPGA具有并行計(jì)算優(yōu)點(diǎn)，以及靈活的可編程特性，但是在處理計(jì)算密集的過程時(shí)，依然受到存儲和帶寬限制，而且FPGA開發(fā)過程時(shí)間較長。Xilinx的ACAP將這三者結(jié)合起來，目標(biāo)是能夠解決計(jì)算密集和帶寬瓶頸以及開發(fā)周期問題。本篇對ACAP的架構(gòu)進(jìn)行一個(gè)簡單的介紹。

功能介紹

ACAP是Xilinx推出的一種革命性異構(gòu)計(jì)算架構(gòu)，計(jì)劃在今年10月份推出。它將標(biāo)量計(jì)算，可編程邏輯還有矢量計(jì)算結(jié)合在一起，充分利用各自的優(yōu)勢，不僅僅增強(qiáng)了針對各種機(jī)器學(xué)習(xí)算法的適用性，也提高了計(jì)算密度和存儲帶寬。其中AI engine和NoC是新穎的設(shè)計(jì)，F(xiàn)PGA和CPU的結(jié)合早在zynq系列中已經(jīng)應(yīng)用。AI engine優(yōu)點(diǎn)類似于GPU的結(jié)構(gòu)，由多個(gè)DSP和BRAM以及DMA等構(gòu)成，可以處理創(chuàng)新的超長指令字和單指令，多個(gè)數(shù)據(jù)指令。AI engine之間相互互聯(lián)，可以提供高達(dá)100Tb/s的存儲帶寬。NoC是一種片上網(wǎng)絡(luò)，實(shí)現(xiàn)CPU，F(xiàn)PGA，AI engine之間的互聯(lián)。CPU是采用的雙核arm cortex-A72，與賽靈思上一代A53核相比，每核單線程相比性能提高了2倍。FPGA部分保留了原有設(shè)計(jì)，其內(nèi)部的存儲器可以用于多層級cache。

圖1.1 ACAP結(jié)構(gòu)

Xilinx自適應(yīng)加速平臺（ACAP）結(jié)合了矢量、標(biāo)量、自適應(yīng)硬件單元，提供了三大引人注目的優(yōu)勢：

1 軟件可編程特性；

2 異構(gòu)加速

3 靈活應(yīng)變能力

AI engine結(jié)構(gòu)

一個(gè)AI engine是一個(gè)小型運(yùn)算單元，其由用于計(jì)算的DSP，指令控制單元，搬運(yùn)數(shù)據(jù)的DMA引擎，局部存儲單元等組成。每個(gè)相鄰AI engine之間存在cascade的連線，以及memory的連接，可以實(shí)現(xiàn)級聯(lián)的運(yùn)算以及存儲轉(zhuǎn)運(yùn)。比如多個(gè)AI engine之間可以級聯(lián)，實(shí)現(xiàn)矩陣運(yùn)算。計(jì)算數(shù)據(jù)向前傳遞到下一個(gè)AI engine進(jìn)行進(jìn)一步累加或者其他運(yùn)算。

圖2.1 AI engine架構(gòu)

大量的AI engine排列成陣列結(jié)構(gòu)，走線之間通過switch結(jié)構(gòu)進(jìn)行數(shù)據(jù)交換。連接方式有三種，一種是不同AI engine的存儲之間可以連接，不同計(jì)算核心（AI core）形成cascade連接，還有AI core和存儲之間的連接。這些連接為計(jì)算任務(wù)提供了更高的靈活性。

圖2.2 AI engine之間的連接

AI engine的計(jì)算單元相當(dāng)于一個(gè)CPU結(jié)構(gòu)，有32bit的RISC指令的標(biāo)量計(jì)算單元。還有集成了多個(gè)DSP的用于處理矢量運(yùn)算的矢量單元，其可以處理512bit的矢量運(yùn)算，支持8bit，16bit以及32bit浮點(diǎn)運(yùn)算。包含兩個(gè)load和一個(gè)save單元用于數(shù)據(jù)傳遞。還有一個(gè)指令控制單元，可以解析超長指令字和精簡指令字。局部存儲有32KB大小。

圖2.3 AI core結(jié)構(gòu)

HBM和NoC

HBM和NoC是為了解決存儲和帶寬瓶頸問題提出的新型結(jié)構(gòu)，比較通俗的理解就是把DRAM直接放到片上來，一是解決了PCB布線對引腳的限制以及對時(shí)鐘頻率的限制，因?yàn)榉诺狡虾螅琀BM和FPGA之間的連線寬度就很小，就可以支持更多引腳連接，目前一個(gè)HBM有1024個(gè)數(shù)據(jù)引腳。三星的HBM最大帶寬可以達(dá)到307GB/s，是GDDR5的10倍，xilinx的U50有兩塊HBM2，可以提供460GB/s帶寬。HBM的使用可以為計(jì)算提供較高的帶寬，對于像RNN，MLP（多層感知機(jī)）這樣arithmetic intensity（每byte數(shù)據(jù)可以支持多少次運(yùn)算）很大的運(yùn)算來說，可以大大緩解帶寬瓶頸。因?yàn)樵赗NN和MLP中，大量的權(quán)重?cái)?shù)據(jù)僅僅用一次就要更新。這不像CNN，權(quán)重會被一幅feature map運(yùn)算多次。數(shù)據(jù)共享次數(shù)小，就造成了帶寬需求高。

圖3.1 不同器件的roofline

上圖是不同器件的roofline對比，使用了HBM的Alveo在針對RNN和MLP有更好的表現(xiàn)。

NoC 有助于每個(gè)硬件組件和軟 IP 模塊間輕松地相互訪問，或通過存儲器映射接口訪問軟件。它提供了一個(gè)標(biāo)準(zhǔn)化的、可擴(kuò)展的硬件框架，使異構(gòu)引擎和接口邏輯之間能夠進(jìn)行高效通信，總帶寬為1Tb/s。

總結(jié)

本篇對xilinx的ACAP結(jié)構(gòu)做了簡單介紹，這個(gè)系列的器件確實(shí)是很大的一個(gè)改進(jìn)。其支持軟件編程，相信可以更加易用和靈活。不禁讓我們做FPGA的擔(dān)心，越來越軟件化，我們將何去何從？