當(dāng)以太網(wǎng)接口的速率提升到100G以上后，用傳統(tǒng)FPGA來(lái)實(shí)現(xiàn)對(duì)應(yīng)的數(shù)據(jù)處理時(shí)，一定會(huì)遇到總線效率的問(wèn)題。本文就分享團(tuán)隊(duì)對(duì)大位寬高速數(shù)據(jù)處理時(shí)采用的分段總線方法的一些心得，希望大家可以批評(píng)指正。

01分段總線及格式

1.1 分段總線的格式

隨著不斷提升的以太網(wǎng)帶寬對(duì)總線吞吐率要求的提升，需要在芯片內(nèi)部采用更高的主頻、更大的總線位寬，但受制程及功耗影響，總線頻率不能持續(xù)提升，這就需要在總線數(shù)據(jù)位寬方面加大提升力度。下圖為Achronix公司在介紹400G以太網(wǎng)FPGA實(shí)現(xiàn)時(shí)給出的結(jié)論，對(duì)于400G以太網(wǎng)的數(shù)據(jù)處理，意味著數(shù)據(jù)總線位寬超過(guò)1024bit，時(shí)鐘頻率超過(guò)724MHz，傳統(tǒng)的FPGA在實(shí)現(xiàn)時(shí)很難做到時(shí)序收斂。

主要原因在于更寬的數(shù)據(jù)總線帶來(lái)了總線效率的問(wèn)題，針對(duì)變長(zhǎng)數(shù)據(jù)輸入的情景，當(dāng)芯片內(nèi)部總線位寬變大時(shí)，若每個(gè)總線字在數(shù)據(jù)傳輸過(guò)程中不能被有效利用，則可能導(dǎo)致總線效率降低。

例如，在位寬為64bit的總線上傳輸65字節(jié)的數(shù)據(jù)幀，其在總線上的傳輸格式如下圖所示，第9個(gè)總線字僅用來(lái)傳輸1字節(jié)，導(dǎo)致總線效率降低，約為90.3%。

若總線位寬再進(jìn)一步提升至512bit后，如下圖所示，總線效率只有50.8%。

可見(jiàn)，在傳統(tǒng)總線中，當(dāng)傳輸數(shù)據(jù)量未對(duì)齊邊界到總線位寬時(shí)，總線效率隨位寬的拓寬而降低。

【以下內(nèi)容來(lái)源于劉歡博士的論文】

為解決上述總線效率問(wèn)題，需要引入分段總線格式。非分段總線每個(gè) 總線字內(nèi)僅可以容納一個(gè)數(shù)據(jù)幀的內(nèi)容，當(dāng)總線字不能被充分利用時(shí)（如長(zhǎng)度為 64 字節(jié)的數(shù)據(jù)總線承載 65 字節(jié)的幀），未利用部分使用特定值（如全 0）做填充處理， 在某些幀長(zhǎng)下，填充字段所占比例過(guò)高，導(dǎo)致總線效率低下。分段總線將數(shù)據(jù)總線字分為多個(gè)總線段，每個(gè)總線段可以容納一個(gè)數(shù)據(jù)幀的內(nèi)容，換言之，一個(gè)總線字由多個(gè)總線段組成，此時(shí)一個(gè)總線字可以承載多個(gè)數(shù)據(jù)幀的內(nèi)容，從而降低了填充字段的影響。

分段總線在工業(yè)界與學(xué)術(shù)界均獲得了關(guān)注與研究，在工業(yè)界，Xilinx 與 Intel 的 400G 和600G以太網(wǎng) IP 核、PCIe IP核等的片內(nèi)總線均采用了簡(jiǎn)單分段總線格式，以實(shí)現(xiàn)更高的總線效率；在學(xué)術(shù)界，涌現(xiàn)了一種新的分段總線架構(gòu)：Multi Buses[1]，下文分別對(duì)兩種分段總 線格式進(jìn)行介紹，并分析其總線效率與實(shí)現(xiàn)開(kāi)銷(xiāo)。

（1）Xilinx/Intel 分段總線格式

Xilinx 在其最新一代 Versal ACAP 中采用了 600G 以太網(wǎng) IP 硬核[316]，該 IP 核可以支持一個(gè) 400G 以太網(wǎng)端口+2個(gè)100G 以太網(wǎng)端口，對(duì)于 400G 以太網(wǎng)端口，用戶側(cè)采用1024比特?cái)?shù)據(jù)總線，該數(shù)據(jù)總線分為 8 段，每段 128 比特；Intel 在其最新一代Agilex FPGA中采用Chiplet技術(shù)集成了400G 以太網(wǎng)[2-4]，其面向用戶側(cè)接口 也采用了 1024 比特?cái)?shù)據(jù)總線，該總線分為 16 段，每段 64 比特。Xilinx/Intel分段總線格式如圖所示。

Xilinx/Intel 分段總線運(yùn)行頻率均為 390MHz 左右，在頻率受限的前提下，通過(guò)使 用寬總線，可以實(shí)現(xiàn)更高的最高吞吐量；通過(guò)使用分段總線，可以在一個(gè)總線數(shù)據(jù)字中承載多個(gè)數(shù)據(jù)幀的數(shù)據(jù)，減小填充的影響，從而提升總線效率，增強(qiáng)對(duì)短數(shù)據(jù)幀的支持。

（2）Multi Buses 分段總線格式

最近，學(xué)術(shù)界涌現(xiàn)出了一種名為 Multi Buses 的新型分段總線，該總線格式如圖所示，數(shù)據(jù)總線采用了 Word、Region、Block 和 Item 四個(gè)度量標(biāo)準(zhǔn)，下圖僅為示意圖，四種度量標(biāo)準(zhǔn)之間的數(shù)量關(guān)系可以任意定義。圖中 Word 代表了總線字， 其長(zhǎng)度與總線寬度相等；Block 與 Xilinx/Intel 分段總線格式中的總線段起到相同的 作用，即單個(gè) Block 內(nèi)僅可以承載一個(gè)數(shù)據(jù)幀的內(nèi)容，未使用部分采用特定值填充；Item 即總線傳輸?shù)淖钚挝?，例如，以太網(wǎng)/PCIe等傳輸總線，其用戶側(cè)數(shù)據(jù)總線的 最小傳輸單位為 1 字節(jié)；Region 是 Multi Buses 引入的新概念，也是該總線的重要?jiǎng)?chuàng)新點(diǎn)，下面對(duì) Region 的概念與優(yōu)勢(shì)進(jìn)行詳細(xì)介紹。

數(shù)據(jù)總線用于傳輸數(shù)據(jù)，而處理模塊用于處理總線承載的數(shù)據(jù)，在設(shè)計(jì)總線格式時(shí)，除需要考慮總線的傳輸效率外，還需要顧及處理模塊的實(shí)現(xiàn)復(fù)雜度。對(duì)于 Xilinx/Intel 分段總線，總線段的長(zhǎng)度越小，填充字段造成的影響越小，因此可以實(shí)現(xiàn)更高的總線效率，但由于數(shù)據(jù)幀的結(jié)束可能發(fā)生在任意一個(gè)總線段，因此每個(gè)總線段都需要預(yù)留一個(gè)處理模塊，換言之，總線效率提高的同時(shí)，設(shè)計(jì)的面積復(fù)雜度也線性提高了。

但是，需要注意的是，數(shù)據(jù)幀在傳輸時(shí)需要滿足最小長(zhǎng)度要求，例如，以太網(wǎng)幀的最小傳輸長(zhǎng)度為 64 字節(jié)，數(shù)據(jù)幀的最小傳輸長(zhǎng)度可能遠(yuǎn)大于總線段的長(zhǎng)度，而處理模塊處理數(shù)據(jù)時(shí)，一般以數(shù)據(jù)幀為單位。因此，如果可以把各個(gè)總線段的處理結(jié)果聚合為數(shù)據(jù)幀的處理結(jié)果，然后交由處理模塊做進(jìn)一步處理，如此可以有效減少處理模塊的數(shù)量，進(jìn)而減小面積開(kāi)銷(xiāo)。根據(jù)該思想，Multi Buses 提出了 Region 的概 念，Region 的大小與傳輸數(shù)據(jù)幀的最小長(zhǎng)度緊密相關(guān)，在一個(gè) Region 中，允許承載兩個(gè)數(shù)據(jù)幀的內(nèi)容，因此在一個(gè) Region 中僅會(huì)出現(xiàn)一個(gè)數(shù)據(jù)幀結(jié)束，該結(jié)束數(shù)據(jù)幀的后續(xù)處理，將交由本 Region 對(duì)應(yīng)的處理模塊進(jìn)行。

舉例說(shuō)明 Region 的概念與設(shè)計(jì)優(yōu)勢(shì)。使用 4096 比特/512 字節(jié)數(shù)據(jù)總線傳輸以太 網(wǎng)數(shù)據(jù)幀，當(dāng)總線段長(zhǎng)度為 8 字節(jié)時(shí)，總線段數(shù)量為 64，此時(shí)如果不引入 Region 的 概念，則需要 64個(gè)處理模塊以完成數(shù)據(jù)幀的處理；以太網(wǎng)數(shù)據(jù)幀的最小長(zhǎng)度為 64 字節(jié)，因此一個(gè)總線字中最多承載 9個(gè)數(shù)據(jù)幀的數(shù)據(jù)，并出現(xiàn) 8個(gè)數(shù)據(jù)幀結(jié)束，此時(shí) 56個(gè)處理模塊都是空閑的。引入 Region 的概念，并將 Region 大小設(shè)置為 64 字節(jié)，此 時(shí)一個(gè)總線數(shù)據(jù)字可以分為 8個(gè) Region，每個(gè) Region 對(duì)應(yīng)一個(gè)處理模塊，數(shù)據(jù)處理模塊的數(shù)量降低了 87.5%，當(dāng)傳輸最短幀時(shí)，數(shù)據(jù)處理模塊的利用率可以達(dá)到 100%。

（3）分段總線效率與面積開(kāi)銷(xiāo)分析

總線效率