近期,AI芯片初創(chuàng)企業(yè)Cerebras再次成為行業(yè)熱點(diǎn)。該公司推出了全新的「第三代晶圓級(jí)引擎」——WSE-3,其強(qiáng)大性能引起了業(yè)界的廣泛關(guān)注。
據(jù)悉,WSE-3的性能實(shí)現(xiàn)了驚人的提升。相較于上一代WSE-2,其性能直接翻倍,而功耗卻保持在相同水平。這一突破性進(jìn)步再次彰顯了Cerebras在AI芯片領(lǐng)域的領(lǐng)先地位。
WSE-3采用了4萬(wàn)億晶體管的5納米工藝制程,工藝水平達(dá)到了驚人的高度。更令人驚訝的是,WSE-3打造的單個(gè)超級(jí)計(jì)算機(jī)能夠訓(xùn)練出高達(dá)24萬(wàn)億參數(shù)的模型,相當(dāng)于GPT-4/Gemini的十倍之多,這無(wú)疑將推動(dòng)AI模型的發(fā)展邁入全新階段。
WSE-3擁有驚人的90萬(wàn)個(gè)核心數(shù)量,并配備了44GB的片上SRAM存儲(chǔ),其峰值性能達(dá)到125 FP16 PetaFLOPS。這一性能水平相當(dāng)于52塊英偉達(dá)H100 GPU的總和,再次證明了Cerebras在AI計(jì)算領(lǐng)域的強(qiáng)大實(shí)力。
據(jù)悉,WSE-3在晶體管數(shù)量和芯片面積上也實(shí)現(xiàn)了巨大突破。與英偉達(dá)H100相比,WSE-3的晶體管數(shù)量高達(dá)40000億個(gè),是H100的50倍之多;而芯片面積更是達(dá)到了驚人的46225平方毫米,是H100的57倍。這一巨大提升使得WSE-3在處理復(fù)雜AI任務(wù)時(shí)具備了更強(qiáng)大的能力。
此外,WSE-3的每個(gè)核心都可以獨(dú)立編程,并針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練和深度學(xué)習(xí)推理中所需的基于張量的稀疏線性代數(shù)運(yùn)算進(jìn)行了優(yōu)化。這意味著研究團(tuán)隊(duì)可以在WSE-3的支持下,以前所未有的速度和規(guī)模訓(xùn)練和運(yùn)行AI模型,無(wú)需擔(dān)心復(fù)雜的分布式編程技巧。
由WSE-3組成的CS-3超級(jí)計(jì)算機(jī)能夠訓(xùn)練出比GPT-4和Gemini大10倍的下一代前沿大模型。這一能力的提升將極大推動(dòng)AI技術(shù)的發(fā)展和應(yīng)用領(lǐng)域的拓展。
審核編輯:黃飛
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4783瀏覽量
101236 -
超級(jí)計(jì)算機(jī)
+關(guān)注
關(guān)注
2文章
464瀏覽量
42037 -
晶體管
+關(guān)注
關(guān)注
77文章
9782瀏覽量
138982 -
5nm
+關(guān)注
關(guān)注
1文章
342瀏覽量
26148 -
AI芯片
+關(guān)注
關(guān)注
17文章
1911瀏覽量
35244
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論