電子發(fā)燒友網(wǎng)報道（文/周凱揚）從最近英偉達公布的財報中就可以看出，AI應(yīng)用的火熱使其賺得盆滿缽滿，原本就在AI軟硬件生態(tài)稱王的英偉達，現(xiàn)今更是如日中天。而這樣的處境也讓不少AI芯片初創(chuàng)公司不好過，他們的產(chǎn)品有的還沒落地，有的則難以與A100、H100這樣的產(chǎn)品匹敵。這幾年沉寂下去的AI芯片初創(chuàng)公司著實不少，但還是有的廠商敢于繼續(xù)往這個市場里鉆。

水平擴展性的限制

隨著AI/ML的模型越來越大，甚至是以5年內(nèi)翻4萬倍的速度提升，要想在硬件上跟上軟件進度已經(jīng)越來越難了。可即便如此，從16nm到4nm，從低精度到脈動陣列，都給了我們巨大的優(yōu)勢去追隨這些大模型。

但運行這些大模型終究不是靠單個芯片的力量，而是整個規(guī)模集群需要面臨的問題，所以這就牽扯到了水平擴展性。工藝制程的提高帶來了5倍的性能提升，芯片架構(gòu)帶來了14倍的性能提升，而水平擴展則要實現(xiàn)600倍的性能提升，才能滿足未來的AI/ML計算要求。這也就是目前AI計算存在的問題，大模型往往需要更大的內(nèi)存、更高的算力和更大的帶寬，隨著設(shè)備數(shù)量越多，這三大硬件要求的分配復(fù)雜程度就變得越來越高。

比如在GPU上就已經(jīng)嘗試了不少并行擴展方案，比如數(shù)據(jù)并行、流水線模型并行或張量模型并行等，但以上方案往往都會受到內(nèi)存、帶寬和參數(shù)量的限制，并沒有單一通用的解決方案，大模型往往需要同時結(jié)合這三種方案，所以擴展效率不高。AI芯片公司Cerebras則想出了一個在大規(guī)模集群下提高水平擴展性的解決方案。

Cerebras的WSE

要說在AI芯片的初創(chuàng)公司里，走著獨立無二路線的公司，Cerebras絕對能排得上名號。2019年，他們推出了WSE，一個晶圓大小的AI處理器，到了2021年，他們又推出了第二代的WSE-2，采用更先進的工藝將單個處理器的核心數(shù)推進至85萬核。而這次Hot Chips上，他們則展示了用于對抗英偉達的解決方案。
Cerebras選擇了將內(nèi)存和計算解耦的方案，利用內(nèi)存擴展技術(shù)MemoryX，將模型權(quán)重存儲在外部，然后將權(quán)重傳輸給WSE-2組成的CS-2系統(tǒng)，CS-2再將梯度傳給外部存儲。Cerebras還打造了一個互聯(lián)方案SwarmX，用于連接多個CS-2系統(tǒng)，從而提高擴展性。

以Cerebras搭建的Andromeda超算為例，該超算由16個CS-2系統(tǒng)組成，擁有1350萬個AI優(yōu)化核心，稀疏算力高達1ExaFLOPs，稠密算力高達120PetaFLOPs。在這樣強大的算力下，訓(xùn)練大模型只要幾周的時間。而且在Cerebras不同規(guī)模的集群上，不同參數(shù)的大模型可以共享同樣的代碼，以同樣的方式訓(xùn)練，省去了不少開發(fā)時間。

除了Andromeda以外，Cerebras也已經(jīng)開始了下一個AI超算的部署，由64個CS-2系統(tǒng)組成的Condor Galaxy 1，該超算的算力將擴展至4ExaFLOPs的稀疏算力。而Condor Galaxy 1名字后的1，也意味著這僅僅是單個超算中心所用的系統(tǒng)而已，未來他們計劃在2024年底之前擴展為9個超算中心，分布在美國各地，構(gòu)建最大的分布式超算網(wǎng)絡(luò)，總算力高達36ExaFLOPs，是英偉達Israel-1超算的9倍，是谷歌最大TPUv4集群的4倍。

寫在最后

單從擴展性和性能的角度來看，Cerebras確實已經(jīng)做到了一個新的高度。但對于購置這些GPU或AI芯片的云服務(wù)或互聯(lián)網(wǎng)公司來說，GPU或許是一個更加通用的資源，在AI技術(shù)日新月異的當(dāng)下，GPU總能憑借自己的軟硬件生態(tài)快速找到自己的一席之地，并在高性能的王座上穩(wěn)坐一段時間。這也就是AI爆款應(yīng)用的市場導(dǎo)向決定的了，性能固然重要，但搶占先機才是最關(guān)鍵的一環(huán)。