1月21日，寒武紀思元290智能芯片及加速卡、玄思1000智能加速器在官網低調亮相，寒武紀表示該系列產品已實現規模化出貨。去年，寒武紀招股書曾簡單披露了一款訓練芯片的“彩蛋”，此后，寒武紀思元290芯片就一直被業界廣泛關注并引發行業諸多猜想。如今，隨著新一代訓練產品線集中亮相，寒武紀略顯“神秘”的訓練芯片及相應的業務布局逐漸清晰。

思元290智能芯片是寒武紀的首顆訓練芯片，采用臺積電7nm先進制程工藝，集成460億個晶體管，支持MLUv02擴展架構，全面支持AI訓練、推理或混合型人工智能計算加速任務。寒武紀MLU290-M5智能加速卡搭載思元290智能芯片，采用開放加速模塊OAM設計，具備64個MLU Core，1.23TB/s內存帶寬以及全新MLU-Link?多芯互聯技術，在350W的最大散熱功耗下提供AI算力高達1024 TOPS（INT4）。

寒武紀玄思1000智能加速器，在2U機箱內集成4顆思元290智能芯片，高速本地閃存、Mellanox InfiniBand網絡，對外提供高速MLU-Link?接口，打破智能芯片、服務器、POD與集群的傳統數據中心橫向擴展架構，實現AI算力在計算中心級縱向擴展，是AI算力的高集成度平臺。寒武紀訓練產品線采用自適應精度訓練方案，面向互聯網、金融、交通、能源、電力和制造等領域的復雜AI應用場景提供充裕算力，推動人工智能賦能產業升級。

思元290采用MLUv02擴展架構

MLUv02架構為寒武紀MLU200全產品線共享，滿足云、邊、端三個場景的算力需求。云端訓練對AI算力的要求更為苛刻，因此寒武紀對思元290的MLUv02架構進行了多項擴展，包括業內領先的MLU-Link?多芯互聯技術、高帶寬HBM2內存、高速片上總線NOC以及新一代PCIe 4.0接口。相比寒武紀思元270芯片，思元290芯片實現峰值算力提升4倍、內存帶寬提高12倍、芯片間通訊帶寬提高19倍。新架構結合7nm制程，思元290可提供更優性能功耗比，以及多MLU系統的擴展能力。

MLU290的MLUv02架構進行了多項擴展

寒武紀MLU-Link?多芯互聯技術

近年來，AI算法模型的復雜程度高速增長，對算力和訓練速度提出了更高的要求。為了構建更強大的計算平臺，多芯片間的互聯技術已成為市場剛需。

寒武紀推出MLU-Link?多芯互聯技術，并首次搭載于寒武紀思元290芯片，每顆思元290的多芯互聯總帶寬高達600GB/s。MLU-Link?具備豐富的互聯特性，突破PCIe帶寬和互聯的瓶頸，相比思元270芯片通過PCIe并行的通訊方式，帶寬提高19倍。MLU-Link?多芯互聯技術支持多顆思元芯片無縫互聯，支持跨系統互聯，將縱向擴展能力整合到整個人工智能計算中心（AIDC），可以端到端加速大型AI模型訓練。

寒武紀vMLU解決方案

不同場景下的AI訓練對計算和存儲的要求千差萬別，如何提供更靈活也更穩定的服務，但同時讓算力得到充分地利用，是AIDC面臨的持續挑戰。寒武紀虛擬化技術vMLU，支持在思元290上實現4個相互隔離的AI計算實例，每個實例獨占計算、內存和編解碼資源。實例之間的硬件資源互不干擾，即使在虛擬化環境下仍可保持90%以上的極高效率，幫助客戶充分利用硬件資源。

vMLU還可以幫助思元290芯片提供最佳的靈活性。通過熱遷移技術，云管理員可將正在運行的AI負載及其應用程序移動到另外一臺主機上，從而平衡整個AIDC的負載，并實現更好的容災功能。

寒武紀首款訓練智能加速卡MLU290-M5

寒武紀MLU290-M5智能加速卡搭載了思元290智能芯片，采用開放加速模塊OAM設計，具備64個MLU Core，1.23TB/s 內存帶寬以及全新MLU-Link?多芯互聯技術，在350w的最大散熱功耗下提供AI算力高達1024 TOPS(INT4)。

寒武紀首款智能加速器玄思1000

寒武紀首款智能加速器玄思1000包含4片思元290智能加速卡，最大AI算力超過4100萬億次每秒(4.1 PetaOPS INT4)，一臺玄思1000計算單元就足以替代一個小型傳統超級計算中心。

玄思1000內置高帶寬低延時的MLU-Link?多芯互聯技術，實現內部4顆思元290進行高速互聯，同時打破服務器、緊耦合微集群（POD）與集群的傳統數據中心橫向擴展架構，將AIDC構建為節點、POD乃至超大規模混合擴展架構(Hybrid Scale-out)，實現AI算力計算中心級縱向擴展，滿足高性能、高擴展性、靈活性、高魯棒性的要求。

重塑AIDC基礎架構

算力、算法、數據是人工智能發展的三大要素，隨著這幾年AI的逐步發展，算力的核心地位更為凸顯。人工智能技術落地于實際應用中需要芯片和硬件層面強大的算力支撐。算力已成為驅動AI產業化和產業AI化發展的關鍵要素。

下一代AIDC要求更多智能芯片無縫協同、并行運行的同時，還能保持高計算效率，從而提供超級巨大的算力，以應對超大規模訓練的需要。寒武紀玄思1000智能加速器重新思考了未來AIDC的基礎架構，在內部和外部采用統一的MLU-Link?多芯互聯技術進行通訊，使得思元290智能芯片的互聯范圍可以從單機擴展到POD乃至整個計算中心，重塑了基礎架構。

玄思1000配置8個對外互聯的MLU-Link?接口，支持跨系統互聯構建MLU POD。標準配置支持MLU POD 16、24、32。在POD內部，所有290芯片均可通過MLU-Link?多芯互聯技術進行通訊，在帶寬和延時方面實現了突破；POD外部通過玄思1000內置的網卡與其他系統進行通訊，實現了AI訓練集群性能、擴展性和魯棒性的協同提升。

POD內所有思元芯片通過MLU-Link?全互聯

除了標準配置的POD之外，在計算中心條件允許的前提下，通過MLU-Link?多芯互聯技術，可實現1024顆或更多思元290互聯，不需要額外的網卡即可實現無縫加速。

寒武紀Neuware?訓練軟件棧

寒武紀Neuware?軟件棧為思元 290 芯片提供完善的軟件及應用生態，支持業界主流的TensorFlow和PyTorch等深度學習框架，用戶不需要改變使用習慣，即可在思元290芯片上實現圖形圖像、語音、NLP、搜索推薦等多種應用的訓練和推理。其中，基于Horovod分布式訓練框架與MLU-Link?多芯互聯技術相互配合，讓思元290在單機多卡、多機多卡的場景下達到業界領先的訓練加速比。寒武紀Neuware?提供完善的開發工具包和社區支持，幫助用戶在思元290芯片進行方便、靈活的定制開發及部署工作。配合強大的BANG智能編程語言及配套調試工具，用戶可以為自定義的算法提供最佳性能調優。

2021年1月，IDC發布了《2020-2021 中國人工智能計算力發展評估報告》，該報告預計，中國人工智能市場規模在2020年達到62.7億美元，2019-2024年的復合增長率為30.4%。IDC的調研還發現，超過九成的企業正在使用或者計劃在三年內使用人工智能，其中74.5%的企業期望在未來可以采取具備公用設施意義的人工智能基礎設施。

隨著AI算法突飛猛進的發展，越來越多的模型訓練需要巨量的算力支撐才能快速有效地實施，算力是未來人工智能應用取得突破的決定性因素。值得強調的是，在巨量的人工智能市場中，云服務市場表現更為突出。早前，2020年7月，IDC發布的另一份報告顯示，2018至2024年，中國AI云服務市場年復合增長率將達到93.6%。而目前人工智能芯片仍處于成長期，未來三年，人工智能芯片市場將呈現多元化發展趨勢。

寒武紀290產品線，有望在持續高速增長的人工智能市場尤其是云服務市場，搶占更多的市場份額，推動自身和AI行業的發展。據悉，寒武紀思元290芯片及加速卡已與部分硬件合作伙伴完成適配，并已實現規模化出貨。

寒武紀最初布局終端IP場景，連續迭代推出讓其聲名鵲起的寒武紀1A、寒武紀1H、寒武紀1M系列處理器，而后迅速布局云端智能芯片及加速卡系列產品思元100和思元270，又于2019年推出基于思元220芯片的邊緣智能加速卡。由此建立起覆蓋云邊端、訓練、推理的完整產品矩陣，同時利用平臺級基礎系統軟件Cambricon Neuware，連接全線產品，由點及面，實現了“訓推一體、端云融合”。寒武紀也成為目前國際上少數幾家全面系統掌握了通用型智能芯片及其基礎系統軟件研發和產品化核心技術的企業之一。

以寒武紀一年迭代推出一到兩款新品的研發速度，我們有理由開始期待，寒武紀的下一個新品 “彩蛋” 了。

fqj