Multi-Die設(shè)計正成為增強數(shù)據(jù)中心現(xiàn)代計算性能、可擴展性和靈活性的關(guān)鍵解決方案。通過將傳統(tǒng)的單片設(shè)計拆分為更小的異構(gòu)或同構(gòu)芯片（也稱小芯片），開發(fā)者可以針對特定任務(wù)優(yōu)化每個組件，進而顯著提高效率和能力。這種模塊化策略對數(shù)據(jù)中心特別有利，因為數(shù)據(jù)中心需要高性能、可靠且可擴展的系統(tǒng)來處理大量數(shù)據(jù)和復(fù)雜的AI工作負(fù)載。

超大規(guī)模數(shù)據(jù)中心不斷發(fā)展的復(fù)雜架構(gòu)可以使用各種類型的Multi-Die設(shè)計：

計算芯片負(fù)責(zé)核心處理任務(wù)，包括通用CPU、用于并行處理的GPU以及專用于人工智能（AI）和機器學(xué)習(xí)（ML）的加速器

內(nèi)存芯片為數(shù)據(jù)密集型應(yīng)用提供必要的存儲和帶寬，支持各種類型的內(nèi)存，如DDR、HBM和新興的非易失性技術(shù)

IO芯片負(fù)責(zé)管理輸入和輸出操作，促進計算單元與內(nèi)存、網(wǎng)絡(luò)和存儲等外部接口之間的數(shù)據(jù)傳輸，確保高數(shù)據(jù)帶寬和低延遲

此外，定制芯片可以滿足特定要求或優(yōu)化特定功能，包括增強數(shù)據(jù)保護的安全設(shè)計、高效節(jié)能的電源管理設(shè)計以及具備高級通信功能的網(wǎng)絡(luò)設(shè)計。

本文深入探討了PCIe和以太網(wǎng)以及UCIe IP的多芯片設(shè)計如何最大限度地提高帶寬和性能，助力現(xiàn)代化AI數(shù)據(jù)中心基礎(chǔ)設(shè)施實現(xiàn)縱向和橫向擴展。

為何縱向和橫向擴展是數(shù)據(jù)中心連接性的關(guān)鍵

互連是構(gòu)建AI基礎(chǔ)結(jié)構(gòu)的一大挑戰(zhàn)，我們應(yīng)如何將多個數(shù)據(jù)中心的數(shù)萬臺服務(wù)器連接在一起，形成能夠處理AI工作負(fù)載的龐大網(wǎng)絡(luò)？AI數(shù)據(jù)中心的復(fù)雜性不言而喻，涵蓋多個CPU和加速器、各種交換機、大量NIC以及其他設(shè)備。無縫連接這些組件離不開高效的網(wǎng)絡(luò)。因此，縱向和橫向擴展技術(shù)就顯得至為關(guān)鍵。IO分解為這兩種擴展策略提供了契機。在縱向擴展場景中，PCIe和UCIe利用UCIe IP實現(xiàn)Die-to-Die連接，構(gòu)建內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)；同時，對于橫向擴展場景，以太網(wǎng)和UCIe IP則可以在服務(wù)器間建立高速、低延遲鏈路。

縱向擴展和橫向擴展概述

縱向擴展（或垂直擴展）指的是通過添加CPU數(shù)量、擴展內(nèi)存或增強存儲容量增加單臺服務(wù)器的資源。這種方法將所有資源集中在一臺機器內(nèi)，可以簡化架構(gòu)、降低延遲。縱向擴展的核心在于用來構(gòu)建內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)的PCIe技術(shù)。最新的PCIe 7.0標(biāo)準(zhǔn)可連接CPU、GPU、NIC、存儲驅(qū)動器等外設(shè)，提供低延遲和高帶寬接口，確保服務(wù)器內(nèi)的高效通信。

橫向擴展（或水平擴展）是將工作負(fù)載分配到多臺服務(wù)器上，創(chuàng)建協(xié)同工作的機器網(wǎng)絡(luò)。這種方法經(jīng)濟高效、具備冗余能力，并能靈活應(yīng)對不斷增長的工作負(fù)載。然而，這也增加了網(wǎng)絡(luò)配置與管理的復(fù)雜性，因為多臺機器間的通信可能會增加延遲。因此，以太網(wǎng)技術(shù)和即將推出的超級以太網(wǎng)標(biāo)準(zhǔn)便顯得尤為重要，它們?yōu)閿?shù)據(jù)中心內(nèi)的服務(wù)器提供了高速、低延遲通信鏈路。目前，業(yè)界正在積極探討新標(biāo)準(zhǔn)，旨在實現(xiàn)AI加速器與交換機之間的高速鏈路，確保數(shù)據(jù)傳輸與協(xié)調(diào)工作更加高效。

▲圖1 數(shù)據(jù)中心架構(gòu)擴展所需關(guān)鍵互連技術(shù)一覽

集成以太網(wǎng)和PCIe的Multi-Die設(shè)計

如圖1所示，Multi-Die設(shè)計為實現(xiàn)縱向與橫向擴展提供了諸多可能。Multi-Die設(shè)計采用了PCIe、以太網(wǎng)和UCIe IP，對縮短上市時間、降低成本和風(fēng)險至關(guān)重要，同時提供了全面的架構(gòu)靈活性。接下來，本文將詳細介紹Multi-Die設(shè)計的幾個主要IO小芯片類型，包括超大型AI訓(xùn)練芯片、交換機SoC以及重定時器。

超大型AI訓(xùn)練芯片

為了處理龐大的數(shù)據(jù)模型，AI芯片必須能高效執(zhí)行計算和數(shù)據(jù)管理任務(wù)。AI訓(xùn)練專用芯片旨在滿足這些巨大的計算和數(shù)據(jù)處理需求，在單個芯片上集成多個處理單元、內(nèi)存和互連，以提供優(yōu)越的性能和效率。因此，集成了40G UCIe和224G以太網(wǎng)的Multi-Die設(shè)計應(yīng)運而生，為AI的高效訓(xùn)練帶來了實現(xiàn)方案。數(shù)據(jù)中心不再需要依賴于數(shù)千個龐大的GPU，而是可以通過更加小巧的SoC來執(zhí)行AI訓(xùn)練，這大幅減小了延遲和功耗，進一步改善了帶寬和傳輸距離。

224G以太網(wǎng)PHY IP提供了強大且可定制的接口。CEI-224G還在不斷發(fā)展，對AI訓(xùn)練操作來說，實現(xiàn)每通道224Gbps，同時保持生態(tài)系統(tǒng)互操作性并降低功耗至關(guān)重要。此外，UCIe IP可以在多個芯片上提供高速、低延遲、節(jié)能的數(shù)據(jù)傳輸，速度高達40Gbps，顯著增強這些芯片的可擴展性和模塊化。

▲圖2 適用于AI訓(xùn)練芯片的224G/UCIe Multi-Die設(shè)計

具有電或光合封接口的100T交換機SoC

AI加速器當(dāng)然非常重要，但怎么將它們連接到一起呢？這需要很多交換機。交換機SoC正成為橫向擴展AI和HPC數(shù)據(jù)中心并保持低功耗的另一種解決方案，電傳輸距離為3-4米，光傳輸距離為10-100米。這些SoC將電和光互連直接集成到CPU和GPU中，有助于增強網(wǎng)絡(luò)優(yōu)化的可擴展性和效率，對緩解集群規(guī)模迅速擴張時的連接性瓶頸非常重要。電I/O雖支持高帶寬密度且功耗低，但傳輸距離有限；而光互連則能顯著延長數(shù)據(jù)傳輸范圍。可插拔光收發(fā)器模塊能增加傳輸距離，但大規(guī)模AI工作負(fù)載難以承受其高昂成本與整體能耗。相比之下，共封裝光I/O方案支持更高帶寬，其功耗更低、延遲更小且傳輸距離更遠，恰好能夠迎合AI/ML基礎(chǔ)結(jié)構(gòu)的擴展需求。

光和電IO可支持以224Gbps運行的多條高速通道，且相比傳統(tǒng)可插拔QSFPDD或OSFP收發(fā)器模塊，其功耗顯著降低。此外，集成UCIe和高速以太網(wǎng)等先進標(biāo)準(zhǔn)，可促進與主芯片的高速、低延遲通信，突破傳統(tǒng)互連的局限性。

▲圖3 100T光/電交換機SoC

用于重定時器或擴展傳輸范圍的高帶寬IO

重定時器和擴展傳輸范圍解決方案也同樣不可或缺，可以維持信號完整性、減少長距離延遲。重定時器支持PCIe和CXL等高級協(xié)議，可無縫集成到現(xiàn)代數(shù)據(jù)中心架構(gòu)中，并實現(xiàn)大量內(nèi)存擴展，無需徹底改造現(xiàn)有系統(tǒng)。這種兼容性對于處理內(nèi)存密集型AI推理操作以及克服PCIe 7.0等新標(biāo)準(zhǔn)帶來的信號完整性挑戰(zhàn)至關(guān)重要。

PCIe和CXL協(xié)議的融合正通過實現(xiàn)內(nèi)存池和動態(tài)、經(jīng)濟高效的內(nèi)存分配重塑數(shù)據(jù)中心架構(gòu)。為了使重定時器在新環(huán)境中發(fā)揮作用，它們必須具有協(xié)議感知能力，并能夠適應(yīng)快速發(fā)展的CXL標(biāo)準(zhǔn)。片上診斷、安全啟動功能和低功耗等特性對于確保安全、易于調(diào)試和可持續(xù)性至關(guān)重要。業(yè)界向Multi-Die設(shè)計的轉(zhuǎn)變進一步強調(diào)了通用、高帶寬I/O解決方案的必要性，從而簡化了系統(tǒng)設(shè)計并加快了上市時間。這些技術(shù)進步不僅對于滿足當(dāng)前AI與高性能計算的需求至關(guān)重要，也確保了數(shù)據(jù)中心能夠輕松應(yīng)對未來不斷攀升的算力與帶寬需求。

▲圖4 重定時器或擴展傳輸范圍IO設(shè)計

采用以太網(wǎng)、PCIe和UCIe IP的Multi-Die實現(xiàn)示例

圖5為Multi-Die設(shè)計示例，其中包含224G以太網(wǎng)PHY和集成1.6T PCS和MAC以太網(wǎng)控制器、PCIe 6.x或7.0 PHY和控制器、安全IP、傳感器、DFT和UCIe PHY和控制器IP。該設(shè)計可以重新配置，為各種通道實現(xiàn)1.6T/3.2T/6.4T帶寬，包括45dB LR、MR和VSR以太網(wǎng)以及PCIe 6.x和7.0范圍。

45dB長距離以太網(wǎng)和UCIe重定時器Die-to-Die設(shè)計

組合PCIe/CXL/以太網(wǎng)和UCIe Die-to-Die設(shè)計

適用于交換機的1.6T/3.2T/6.4T可擴展IO設(shè)計

▲圖5 Multi-Die設(shè)計框圖

這種Multi-Die設(shè)計支持雙向224G數(shù)據(jù)傳輸?shù)目膳渲猛ǖ罃?shù)，能應(yīng)對高達45dB的插入損耗。其目的是滿足AI基礎(chǔ)結(jié)構(gòu)對更高帶寬、更低功耗和更遠傳輸距離的需求。該示例增強了CPU/GPU集群連接和創(chuàng)新計算架構(gòu)的可擴展性，包括一致性內(nèi)存擴展和資源解耦。

總結(jié)

集成PCIe和以太網(wǎng)等高速接口以及UCIe IP和鏈路健康監(jiān)控功能，有助于擴展Multi-Die設(shè)計的帶寬。新思科技為UCIe提供高達40Gbps的高質(zhì)量、完整IP解決方案，集成信號完整性監(jiān)視器和可測試性功能、224G以太網(wǎng)及PCIe 7.0，能夠大幅提高帶寬、降低延遲并改善可擴展性。新思科技的Multi-Die設(shè)計IP解決方案遵循不斷演變的行業(yè)標(biāo)準(zhǔn)，可以與生態(tài)系統(tǒng)內(nèi)的產(chǎn)品互操作，其多項前沿技術(shù)已經(jīng)應(yīng)用到芯片中，是實現(xiàn)下一代數(shù)據(jù)中心AI芯片的低風(fēng)險解決方案。