當前語言大模型的參數(shù)量已達千億以上，訓練數(shù)據(jù)集的規(guī)模也達到了TB級別。業(yè)界典型的自然語言大模型有GPT、LLAMA、PaLM、文心、悟道、源等。如果用“算力當量”（PetaFlops/s-day，PD），即每秒千萬億次的計算機完整運行一天消耗的算力總量來表征大模型的算力需求，具有1750億參數(shù)的GPT-3模型的訓練算力需求為3640PetaFlop/s-day。

參數(shù)量為2457億的源1.0大模型訓練算力消耗為4095Peta-Flop/s-day。大模型的高效訓練通常需要具備千卡以上高算力AI芯片構(gòu)成的AI服務器集群支撐。在全球科技企業(yè)加大投入生成式AI研發(fā)和應用的大背景下，配置高算力AI芯片的AI服務器需求也不斷高漲。

2019年OCP成立OAI小組，對更適合超大規(guī)模深度學習訓練的AI加速卡形態(tài)進行了定義，目的是為了支持更高功耗、更大互連帶寬AI加速卡的物理和電氣形態(tài)，同時為了解決多元AI加速卡形態(tài)和接口不統(tǒng)一的問題。隨后，為了進一步促進OAI生態(tài)的建立，OAI小組在OAM的基礎(chǔ)上統(tǒng)一了AI加速卡基板OAI-UBB設(shè)計規(guī)范。OAI-UBB規(guī)范以8張OAM為一個整體，進一步定義了8xOAM的Baseboard的主機接口、供電方式、散熱方式、管理接口、卡間互連拓撲、Scale Out方式。

2019年底，OCP正式發(fā)布了OAI-UBB1.0設(shè)計規(guī)范，并隨后推出了基于OAI-UBB1.0規(guī)范的開放加速硬件平臺，無需硬件修改即可支持不同廠商的OAM產(chǎn)品。

面向生成式AI的大模型算力系統(tǒng)的構(gòu)建是一項復雜的系統(tǒng)工程，基于上述設(shè)計原則，以提高適配部署效率、提高系統(tǒng)穩(wěn)定性、提高系統(tǒng)可用性為目標，進一步歸納總結(jié)出開放加速規(guī)范AI服務器的設(shè)計方法。

面向AIGC的計算系統(tǒng)交付模式不再是單一服務器，絕大多數(shù)情況最終部署的形式是包含計算、存儲、網(wǎng)絡設(shè)備，軟件、框架、模型組件，機柜、制冷、供電、液冷基礎(chǔ)設(shè)施等在內(nèi)的一體化高集成度算力集群。

（1）系統(tǒng)架構(gòu)

為滿足大模型訓練模型參數(shù)規(guī)模的不斷增大給模型訓練帶來的計算、存儲、通信等方面的挑戰(zhàn)，系統(tǒng)架構(gòu)設(shè)計將賦能AI服務器節(jié)點和服務器集群以超大規(guī)模集群互連的大模型訓練能力。OAM 是 OCP-OAI 小組制定的 AI加速模塊接口規(guī)范，現(xiàn)已發(fā)布 OAM v1.5 規(guī)范，OAM 模塊承擔起單個 GPU 節(jié)點的 AI 加速計算能力，通過符合 UBB v1.5 base 規(guī)范的基板完成OAM間的 7P × 8 FC（Fully Connect，全互連）、6P × 8 HCM（Hybrid cubic mesh，混合立方互連）等高速互連拓撲實現(xiàn)多OAM數(shù)據(jù)低延時共享，利用RDMA網(wǎng)絡部署等優(yōu)化通過OSFP/QSFP-DD線纜實現(xiàn)對外拓展完成集群互連，突破了服務器集群在GPU計算資源、通信效率上的瓶頸，最大程度發(fā)揮OAM計算性能并降低通信帶寬限制。OAM模塊透過 PCIe Switch 通過4條PCIe x 16與高性能CPU建立起高速高帶寬數(shù)據(jù)通道，并支持搭配32條RDIMM或LRDIMM內(nèi)存，以最大程度的保障OAM與CPU之間的數(shù)據(jù)通信處理需求。

（2）OAM模塊

OAM規(guī)范由OCP-OAI建立，定義了開放硬件計算加速模塊的結(jié)構(gòu)形態(tài)及互連接口，簡化了OAM模塊間高速通信鏈路互連，以此促進跨加速器通信的可擴展性。CPU與OAM 間的連接是透過 PCIe Switch 上行與CPU 4條PCIe x16帶寬完成，極大程度增加CPU與OAM之間的數(shù)據(jù)通信數(shù)量，避免大數(shù)據(jù)量AI訓練場景中CPU與OAM間數(shù)據(jù)通信出現(xiàn)瓶頸。支持節(jié)點內(nèi)及節(jié)點間OAMP2P高速互連，OAM之間全互連拓撲改善了多OAM數(shù)據(jù)共享的延遲情況，為計算提供更高效的性能。

（3）UBB基板

UBB基板能夠承載支持8個OAM模塊，形成一個AI加速計算子系統(tǒng)。UBB尺寸為16.7×21英寸，搭配UBB的機型可以放置于19英寸或21英寸機柜之中。UBB基板上的8個OAM模塊通過可以通過OAM設(shè)計規(guī)范中的不同互連拓撲進行互連。UBB鏈路可以被拆分為×8鏈路，如果所有7個端口對配置成×16將無法完成對外拓展，因此為實現(xiàn)節(jié)點對外拓展形成互連集群，UBB基板將互連鏈路限制在×8以內(nèi)，并默認設(shè)計端口1的后半部分（×8，通常稱為1H端口）被用作對外拓展端口。

4）硬件設(shè)計

UBB基板及OAM硬件設(shè)計應遵從UBB規(guī)范及OAM規(guī)范中的各項硬件規(guī)范、電氣規(guī)范、時序規(guī)范等。遵從UBB規(guī)范中對OAM布局的規(guī)范。

OAM 互連拓撲損耗評估標準。對 OAM 互連所涉及的56Gbps PAM信號進行信號完整性設(shè)計，包括高速走線參考平面設(shè)計、高噪聲電源區(qū)域走線、過孔stub及層面規(guī)劃、走線間距、過孔間串擾控制等。OAM之間互連信號，整體損耗在基頻處要求在30dB 以內(nèi)，其中OAM 的 TX & RX 模組損耗需 控 制 在 8dB 以 內(nèi) ， C a b l e 拓 撲 要 求QSFP-DD assembly 線纜損耗在5dB以內(nèi)，PCB 損耗根據(jù)拓撲具體計算即可。

（5）散熱設(shè)計

風冷散熱：服務器節(jié)點風冷散熱使用高效能風扇墻設(shè)計，并采用側(cè)邊防回流設(shè)計以增大相同風扇轉(zhuǎn)速下的系統(tǒng)風量。采用導風罩設(shè)計的基礎(chǔ)上增加OAM、CPU區(qū)域多風道隔離設(shè)計，能夠結(jié)合區(qū)域感溫能力實現(xiàn)分區(qū)散熱。風扇全部支持熱插拔，支持N+1轉(zhuǎn)子冗余，支持風扇速度智能調(diào)節(jié)。針對UBB基板及OAM模塊，進行散熱器性能的熱阻值參數(shù)設(shè)計。

（6）系統(tǒng)管理

OAM模塊的系統(tǒng)管理方面的設(shè)計包含提供資產(chǎn)信息、規(guī)范寄存器，并支持滿足FW更新、帶外監(jiān)控要求功能。資產(chǎn)信息提供對OAM模塊PN、SN、FW版本等信息的訪問；寄存器信息提供對電壓、功耗、溫度、ECC狀態(tài)及錯誤、外設(shè)錯誤、PCIe錯誤、Memory錯誤等信息的訪問；帶外監(jiān)控提供溫度、功耗、OAM模塊信息、異常告警、OAM狀態(tài)、卡復位等功能。

（7）故障診斷

故障診斷功能包含OAM卡內(nèi)部Uncorrect able Error、PCIe 總線錯誤、ESL 連接異常、卡丟失等功能。通過BMC可監(jiān)控系統(tǒng)PCIeSwitch模塊、UBB基板及OAM模塊的ECC狀態(tài)及錯誤、外設(shè)錯誤、PCIe錯誤、Memory錯誤等。支持鏈路級別的高級故障診斷功能，通過全時監(jiān)測PCIe Switch運行日志獲取OAM卡故障信息。

（8）軟件平臺

針對大模型開發(fā)過程中存在的調(diào)度難、部署慢、效率低、集群異常等問題，構(gòu)建具備高性能、高可靠、可擴展的AI算力資源統(tǒng)一管理和人工智能作業(yè)調(diào)度平臺，通過計算資源池化和容器化技術(shù)，屏蔽底層硬件差異，以標準算力模式面向用戶直接提供計算資源，并通過適應性策略及敏捷框架對算力進行精準調(diào)度配給。

本文來自“開放加速規(guī)范AI服務器設(shè)計指南（2023）”，以上分享了系統(tǒng)架構(gòu)、OAM模塊、UBB基板、硬件設(shè)計、散熱設(shè)計、系統(tǒng)管理、故障診斷、軟件平臺；集群網(wǎng)絡與存儲、整機柜、液冷、制冷、運維等相關(guān)規(guī)范詳情，請下指南原文。

審核編輯：湯梓紅