Multi-Die設(shè)計(jì)正成為增強(qiáng)數(shù)據(jù)中心現(xiàn)代計(jì)算性能、可擴(kuò)展性和靈活性的關(guān)鍵解決方案。通過將傳統(tǒng)的單片設(shè)計(jì)拆分為更小的異構(gòu)或同構(gòu)芯片（也稱小芯片），開發(fā)者可以針對(duì)特定任務(wù)優(yōu)化每個(gè)組件，進(jìn)而顯著提高效率和能力。這種模塊化策略對(duì)數(shù)據(jù)中心特別有利，因?yàn)閿?shù)據(jù)中心需要高性能、可靠且可擴(kuò)展的系統(tǒng)來處理大量數(shù)據(jù)和復(fù)雜的AI工作負(fù)載。

超大規(guī)模數(shù)據(jù)中心不斷發(fā)展的復(fù)雜架構(gòu)可以使用各種類型的Multi-Die設(shè)計(jì)：

計(jì)算芯片負(fù)責(zé)核心處理任務(wù)，包括通用CPU、用于并行處理的GPU以及專用于人工智能（AI）和機(jī)器學(xué)習(xí)（ML）的加速器

內(nèi)存芯片為數(shù)據(jù)密集型應(yīng)用提供必要的存儲(chǔ)和帶寬，支持各種類型的內(nèi)存，如DDR、HBM和新興的非易失性技術(shù)

IO芯片負(fù)責(zé)管理輸入和輸出操作，促進(jìn)計(jì)算單元與內(nèi)存、網(wǎng)絡(luò)和存儲(chǔ)等外部接口之間的數(shù)據(jù)傳輸，確保高數(shù)據(jù)帶寬和低延遲

此外，定制芯片可以滿足特定要求或優(yōu)化特定功能，包括增強(qiáng)數(shù)據(jù)保護(hù)的安全設(shè)計(jì)、高效節(jié)能的電源管理設(shè)計(jì)以及具備高級(jí)通信功能的網(wǎng)絡(luò)設(shè)計(jì)。

本文深入探討了PCIe和以太網(wǎng)以及UCIe IP的多芯片設(shè)計(jì)如何最大限度地提高帶寬和性能，助力現(xiàn)代化AI數(shù)據(jù)中心基礎(chǔ)設(shè)施實(shí)現(xiàn)縱向和橫向擴(kuò)展。

為何縱向和橫向擴(kuò)展是數(shù)據(jù)中心連接性的關(guān)鍵

互連是構(gòu)建AI基礎(chǔ)結(jié)構(gòu)的一大挑戰(zhàn)，我們應(yīng)如何將多個(gè)數(shù)據(jù)中心的數(shù)萬臺(tái)服務(wù)器連接在一起，形成能夠處理AI工作負(fù)載的龐大網(wǎng)絡(luò)？AI數(shù)據(jù)中心的復(fù)雜性不言而喻，涵蓋多個(gè)CPU和加速器、各種交換機(jī)、大量NIC以及其他設(shè)備。無縫連接這些組件離不開高效的網(wǎng)絡(luò)。因此，縱向和橫向擴(kuò)展技術(shù)就顯得至為關(guān)鍵。IO分解為這兩種擴(kuò)展策略提供了契機(jī)。在縱向擴(kuò)展場(chǎng)景中，PCIe和UCIe利用UCIe IP實(shí)現(xiàn)Die-to-Die連接，構(gòu)建內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)；同時(shí)，對(duì)于橫向擴(kuò)展場(chǎng)景，以太網(wǎng)和UCIe IP則可以在服務(wù)器間建立高速、低延遲鏈路。

縱向擴(kuò)展和橫向擴(kuò)展概述

縱向擴(kuò)展（或垂直擴(kuò)展）指的是通過添加CPU數(shù)量、擴(kuò)展內(nèi)存或增強(qiáng)存儲(chǔ)容量增加單臺(tái)服務(wù)器的資源。這種方法將所有資源集中在一臺(tái)機(jī)器內(nèi)，可以簡(jiǎn)化架構(gòu)、降低延遲?？v向擴(kuò)展的核心在于用來構(gòu)建內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)的PCIe技術(shù)。最新的PCIe 7.0標(biāo)準(zhǔn)可連接CPU、GPU、NIC、存儲(chǔ)驅(qū)動(dòng)器等外設(shè)，提供低延遲和高帶寬接口，確保服務(wù)器內(nèi)的高效通信。

橫向擴(kuò)展（或水平擴(kuò)展）是將工作負(fù)載分配到多臺(tái)服務(wù)器上，創(chuàng)建協(xié)同工作的機(jī)器網(wǎng)絡(luò)。這種方法經(jīng)濟(jì)高效、具備冗余能力，并能靈活應(yīng)對(duì)不斷增長(zhǎng)的工作負(fù)載。然而，這也增加了網(wǎng)絡(luò)配置與管理的復(fù)雜性，因?yàn)槎嗯_(tái)機(jī)器間的通信可能會(huì)增加延遲。因此，以太網(wǎng)技術(shù)和即將推出的超級(jí)以太網(wǎng)標(biāo)準(zhǔn)便顯得尤為重要，它們?yōu)閿?shù)據(jù)中心內(nèi)的服務(wù)器提供了高速、低延遲通信鏈路。目前，業(yè)界正在積極探討新標(biāo)準(zhǔn)，旨在實(shí)現(xiàn)AI加速器與交換機(jī)之間的高速鏈路，確保數(shù)據(jù)傳輸與協(xié)調(diào)工作更加高效。

▲圖1 數(shù)據(jù)中心架構(gòu)擴(kuò)展所需關(guān)鍵互連技術(shù)一覽

集成以太網(wǎng)和PCIe的Multi-Die設(shè)計(jì)

如圖1所示，Multi-Die設(shè)計(jì)為實(shí)現(xiàn)縱向與橫向擴(kuò)展提供了諸多可能。Multi-Die設(shè)計(jì)采用了PCIe、以太網(wǎng)和UCIe IP，對(duì)縮短上市時(shí)間、降低成本和風(fēng)險(xiǎn)至關(guān)重要，同時(shí)提供了全面的架構(gòu)靈活性。接下來，本文將詳細(xì)介紹Multi-Die設(shè)計(jì)的幾個(gè)主要IO小芯片類型，包括超大型AI訓(xùn)練芯片、交換機(jī)SoC以及重定時(shí)器。

超大型AI訓(xùn)練芯片

為了處理龐大的數(shù)據(jù)模型，AI芯片必須能高效執(zhí)行計(jì)算和數(shù)據(jù)管理任務(wù)。AI訓(xùn)練專用芯片旨在滿足這些巨大的計(jì)算和數(shù)據(jù)處理需求，在單個(gè)芯片上集成多個(gè)處理單元、內(nèi)存和互連，以提供優(yōu)越的性能和效率。因此，集成了40G UCIe和224G以太網(wǎng)的Multi-Die設(shè)計(jì)應(yīng)運(yùn)而生，為AI的高效訓(xùn)練帶來了實(shí)現(xiàn)方案。數(shù)據(jù)中心不再需要依賴于數(shù)千個(gè)龐大的GPU，而是可以通過更加小巧的SoC來執(zhí)行AI訓(xùn)練，這大幅減小了延遲和功耗，進(jìn)一步改善了帶寬和傳輸距離。

224G以太網(wǎng)PHY IP提供了強(qiáng)大且可定制的接口。CEI-224G還在不斷發(fā)展，對(duì)AI訓(xùn)練操作來說，實(shí)現(xiàn)每通道224Gbps，同時(shí)保持生態(tài)系統(tǒng)互操作性并降低功耗至關(guān)重要。此外，UCIe IP可以在多個(gè)芯片上提供高速、低延遲、節(jié)能的數(shù)據(jù)傳輸，速度高達(dá)40Gbps，顯著增強(qiáng)這些芯片的可擴(kuò)展性和模塊化。

▲圖2 適用于AI訓(xùn)練芯片的224G/UCIe Multi-Die設(shè)計(jì)

具有電或光合封接口的100T交換機(jī)SoC

AI加速器當(dāng)然非常重要，但怎么將它們連接到一起呢？這需要很多交換機(jī)。交換機(jī)SoC正成為橫向擴(kuò)展AI和HPC數(shù)據(jù)中心并保持低功耗的另一種解決方案，電傳輸距離為3-4米，光傳輸距離為10-100米。這些SoC將電和光互連直接集成到CPU和GPU中，有助于增強(qiáng)網(wǎng)絡(luò)優(yōu)化的可擴(kuò)展性和效率，對(duì)緩解集群規(guī)模迅速擴(kuò)張時(shí)的連接性瓶頸非常重要。電I/O雖支持高帶寬密度且功耗低，但傳輸距離有限；而光互連則能顯著延長(zhǎng)數(shù)據(jù)傳輸范圍?？刹灏喂馐瞻l(fā)器模塊能增加傳輸距離，但大規(guī)模AI工作負(fù)載難以承受其高昂成本與整體能耗。相比之下，共封裝光I/O方案支持更高帶寬，其功耗更低、延遲更小且傳輸距離更遠(yuǎn)，恰好能夠迎合AI/ML基礎(chǔ)結(jié)構(gòu)的擴(kuò)展需求。

光和電IO可支持以224Gbps運(yùn)行的多條高速通道，且相比傳統(tǒng)可插拔QSFPDD或OSFP收發(fā)器模塊，其功耗顯著降低。此外，集成UCIe和高速以太網(wǎng)等先進(jìn)標(biāo)準(zhǔn)，可促進(jìn)與主芯片的高速、低延遲通信，突破傳統(tǒng)互連的局限性。

▲圖3 100T光/電交換機(jī)SoC

用于重定時(shí)器或擴(kuò)展傳輸范圍的高帶寬IO

重定時(shí)器和擴(kuò)展傳輸范圍解決方案也同樣不可或缺，可以維持信號(hào)完整性、減少長(zhǎng)距離延遲。重定時(shí)器支持PCIe和CXL等高級(jí)協(xié)議，可無縫集成到現(xiàn)代數(shù)據(jù)中心架構(gòu)中，并實(shí)現(xiàn)大量?jī)?nèi)存擴(kuò)展，無需徹底改造現(xiàn)有系統(tǒng)。這種兼容性對(duì)于處理內(nèi)存密集型AI推理操作以及克服PCIe 7.0等新標(biāo)準(zhǔn)帶來的信號(hào)完整性挑戰(zhàn)至關(guān)重要。

PCIe和CXL協(xié)議的融合正通過實(shí)現(xiàn)內(nèi)存池和動(dòng)態(tài)、經(jīng)濟(jì)高效的內(nèi)存分配重塑數(shù)據(jù)中心架構(gòu)。為了使重定時(shí)器在新環(huán)境中發(fā)揮作用，它們必須具有協(xié)議感知能力，并能夠適應(yīng)快速發(fā)展的CXL標(biāo)準(zhǔn)。片上診斷、安全啟動(dòng)功能和低功耗等特性對(duì)于確保安全、易于調(diào)試和可持續(xù)性至關(guān)重要。業(yè)界向Multi-Die設(shè)計(jì)的轉(zhuǎn)變進(jìn)一步強(qiáng)調(diào)了通用、高帶寬I/O解決方案的必要性，從而簡(jiǎn)化了系統(tǒng)設(shè)計(jì)并加快了上市時(shí)間。這些技術(shù)進(jìn)步不僅對(duì)于滿足當(dāng)前AI與高性能計(jì)算的需求至關(guān)重要，也確保了數(shù)據(jù)中心能夠輕松應(yīng)對(duì)未來不斷攀升的算力與帶寬需求。

▲圖4 重定時(shí)器或擴(kuò)展傳輸范圍IO設(shè)計(jì)

采用以太網(wǎng)、PCIe和UCIe IP的Multi-Die實(shí)現(xiàn)示例

圖5為Multi-Die設(shè)計(jì)示例，其中包含224G以太網(wǎng)PHY和集成1.6T PCS和MAC以太網(wǎng)控制器、PCIe 6.x或7.0 PHY和控制器、安全I(xiàn)P、傳感器、DFT和UCIe PHY和控制器IP。該設(shè)計(jì)可以重新配置，為各種通道實(shí)現(xiàn)1.6T/3.2T/6.4T帶寬，包括45dB LR、MR和VSR以太網(wǎng)以及PCIe 6.x和7.0范圍。

45dB長(zhǎng)距離以太網(wǎng)和UCIe重定時(shí)器Die-to-Die設(shè)計(jì)

組合PCIe/CXL/以太網(wǎng)和UCIe Die-to-Die設(shè)計(jì)

適用于交換機(jī)的1.6T/3.2T/6.4T可擴(kuò)展IO設(shè)計(jì)

▲圖5 Multi-Die設(shè)計(jì)框圖

這種Multi-Die設(shè)計(jì)支持雙向224G數(shù)據(jù)傳輸?shù)目膳渲猛ǖ罃?shù)，能應(yīng)對(duì)高達(dá)45dB的插入損耗。其目的是滿足AI基礎(chǔ)結(jié)構(gòu)對(duì)更高帶寬、更低功耗和更遠(yuǎn)傳輸距離的需求。該示例增強(qiáng)了CPU/GPU集群連接和創(chuàng)新計(jì)算架構(gòu)的可擴(kuò)展性，包括一致性內(nèi)存擴(kuò)展和資源解耦。

總結(jié)

集成PCIe和以太網(wǎng)等高速接口以及UCIe IP和鏈路健康監(jiān)控功能，有助于擴(kuò)展Multi-Die設(shè)計(jì)的帶寬。新思科技為UCIe提供高達(dá)40Gbps的高質(zhì)量、完整IP解決方案，集成信號(hào)完整性監(jiān)視器和可測(cè)試性功能、224G以太網(wǎng)及PCIe 7.0，能夠大幅提高帶寬、降低延遲并改善可擴(kuò)展性。新思科技的Multi-Die設(shè)計(jì)IP解決方案遵循不斷演變的行業(yè)標(biāo)準(zhǔn)，可以與生態(tài)系統(tǒng)內(nèi)的產(chǎn)品互操作，其多項(xiàng)前沿技術(shù)已經(jīng)應(yīng)用到芯片中，是實(shí)現(xiàn)下一代數(shù)據(jù)中心AI芯片的低風(fēng)險(xiǎn)解決方案。