第七屆集微半導(dǎo)體峰會于6月初在廈門成功舉辦，上海天數(shù)智芯半導(dǎo)體有限公司（以下簡稱“天數(shù)智芯”）產(chǎn)品線總裁鄒翾受邀參加“集微通用芯片行業(yè)應(yīng)用峰會”，發(fā)表了題為“國產(chǎn)GPU助力大模型的實(shí)踐”的主題演講，全面介紹了天數(shù)智芯基于自研通用GPU的全棧式集群解決方案及其在支持大模型上的具體實(shí)踐。

天數(shù)智芯產(chǎn)品線總裁鄒翾

鄒翾指出，順應(yīng)大模型的發(fā)展潮流，天數(shù)智芯依托通用GPU架構(gòu)，從訓(xùn)練和推理兩個(gè)角度為客戶提供支撐，全力打造高性價(jià)比、通用性的全棧式集群解決方案，為大模型時(shí)代提供強(qiáng)大算力底座。

據(jù)介紹，天數(shù)智芯的天垓、智鎧系列通用GPU產(chǎn)品具有高性能、廣通用、開發(fā)成本低的特點(diǎn)，廣泛支持DeepSpeed、Colossal、BM Train等各種大模型框架，基于天垓、智鎧加速卡的算力集群方案不僅能夠有效支持LLaMa、GPT-2、CPM、GLM等主流AIGC大模型的Pretrain和Finetune，還適配了清華、智源、復(fù)旦等在內(nèi)的國內(nèi)多個(gè)研究機(jī)構(gòu)的開源項(xiàng)目，為行業(yè)伙伴提供一站式的大模型算力及賦能服務(wù)。同時(shí)面向大模型推理側(cè)的一體機(jī)，性價(jià)比超過國內(nèi)現(xiàn)有市場主流產(chǎn)品。

為全面助力大模型的發(fā)展，天數(shù)智芯還圍繞底層技術(shù)支撐做了大量功課。鄒翾介紹說，一方面天數(shù)智芯通過最大化數(shù)據(jù)復(fù)用、可擴(kuò)展大矩陣計(jì)算和存算異步、混合精度Transformer加速、高效高帶寬顯存及P2P等方式來提升芯片性能。另一方面，持續(xù)提升基礎(chǔ)軟件實(shí)力，在支持前沿大模型、混合并行策略、新型Att加速、兼容APIs、模型壓縮等輕量化部署方面開展布局。

鄒翾表示，不論從應(yīng)用還是研發(fā)角度來看，大模型需求會持續(xù)走高，天數(shù)智芯將堅(jiān)持以服務(wù)國家戰(zhàn)略為主線，始終致力于自主開發(fā)用戶易用的高性能通用GPU產(chǎn)品，不斷升級算力解決方案，適配支持更高效、更復(fù)雜算法的大模型，為我國大模型創(chuàng)新發(fā)展、應(yīng)用落地提供更加堅(jiān)實(shí)的算力支撐。

關(guān)于天數(shù)智芯

上海天數(shù)智芯半導(dǎo)體有限公司（簡稱“天數(shù)智芯”）是中國領(lǐng)先的通用GPU 高端芯片及超級算力系統(tǒng)提供商。天數(shù)智芯以“服務(wù)國家戰(zhàn)略”為己任，堅(jiān)持“四個(gè)面向”，致力于開發(fā)自主可控、國際領(lǐng)先的高性能通用GPU產(chǎn)品，探索通用GPU趕超發(fā)展道路，加快建設(shè)自主產(chǎn)業(yè)生態(tài)，為全產(chǎn)業(yè)提供高端算力解決方案。未來，天數(shù)智芯將堅(jiān)持中國特色的自主自強(qiáng)創(chuàng)新發(fā)展道路，打造更可信、更高效、更綠色的世界一流算力引擎，賦能千行百業(yè)數(shù)字化轉(zhuǎn)型，促進(jìn)我國數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展，開啟中國引領(lǐng)世界走向元宇宙、數(shù)字孿生的嶄新一頁。