淺談搭載20片寒武紀芯片的神經元計算服務器的獨到之處
曙光在過去幾年當中,高度重視人工智能技術和產品發展。據報道,曙光和寒武紀簽約了戰略合作,兩個研發團隊研發出了一款“PHANERON”推理專用服務器,這是世界首款在推理應用上采用神經元計算的服務器產品。
10月24日,2017中科曙光智能峰會在青島盛大開幕。包括中國工程院原常務副院長、院士潘云鶴,中國工程院院士、曙光公司董事長李國杰、中國工程院院士潘德爐在內的一大批專家和企業界代表參加大會。在大會上,曙光發布了全球首款在推理應用上采用神經元計算的服務器產品;以及能夠快速釋放計算能力的人工智能管理平臺SothisAI。那么,這款搭載了20片寒武紀芯片的服務器有何獨到之處呢?人工智能管理平臺SothisAI又用怎樣的用武之地?我們邀請了曙光公司副總裁沙超群為大家答疑解惑。
潘云鶴院士
科工力量:作為服務器廠商,曙光為何這么重視人工智能?
沙超群:了解曙光的朋友們都知道,曙光這家公司從李院士和歷軍總裁創立之初,我們專注于計算,在過去的高性能計算、云計算、大數據處理等通用計算,我們都是專注在計算領域,別得也干不了,計算我們干得還不錯。今年國務院也印發了我國人工智能的發展規劃,人工智能技術是信息產業發展的新方向,也是我們曙光所從事的高性能計算機發展的未來新的應用領域。曙光在未來大型計算機的研發和應用過程中,人工智能也一定是最重要的發展方向。
科工力量:曙光已經有哪些應用和產品?
沙超群:曙光在過去幾年當中,高度重視人工智能技術和產品發展。我們已經在一些超級計算機的應用方面,大量采用了人工智能的技術。比如新疆的云計算中心通過超級計算機進行實時視頻圖像的分析和處理,以便為平安城市等帶來社會效益。同時,曙光的百城百行云計算發展計劃當中,城市數據已經經過了近十年的積累,形成了比較大規模的數據量。在曙光的發布會上,我們公布了三款產品,分別是“PHANERON”推理專用服務器、曙光的X860-LE全浸沒式液冷的AI訓練專用服務器和曙光人工智能管理平臺SothisAI。
在2016年數據中國加速計劃的會議上,曙光和寒武紀簽約了戰略合作,經過一年的時間,兩個研發團隊研發出了一款“PHANERON”推理專用服務器,這是世界首款在推理應用上采用神經元計算的服務器產品,這個名字的意思大概是這樣的,是取自“顯生宙”的詞頭,象征著采用神經元進行在線推理計算。
科工力量:這款“PHANERON”推理專用服務器有什么特別之處么?
沙超群:這樣一款產品在4U空間中部署20個人工智能前端推理模塊,能夠為推理提供強大的計算支持,單位節點峰值推理計算能力達到120TFlops,還通過提高密度來降低總體服務器的部署數量,可顯著降低項目總體投資。今天推理用的在線服務器產品,由于它的應用模式,大概一臺機器可以頂上20臺通用的服務器產品,也就是1:20,大家可以想象在成本空間的節約上,優勢非常大。
其實更讓我個人興奮的不是這款產品,而是計劃明年年底推出PHANERON2這個產品,性能提升5-6倍,那時候一臺這樣的服務器可以頂上100臺通用的服務器產品。
李國杰院士
科工力量:能介紹下曙光的X860-LE全浸沒式液冷的AI訓練專用服務器么?
沙超群:在機器學習方面,我們由于需要大量圖片深度分析,最早從提供2U,到現在是8U,一個2U的設備空間基本沒有辦法解決散熱。數據中心42U可以放20臺這樣的設備,功耗是60千瓦,大概在一個柜子里面,500瓦的電爐子,可以放120個電爐子。風冷解決方案對該量級的散熱問題已經束手無策。
曙光的X860-LE全浸沒式液冷的AI訓練專用服務器就是專門解決能耗和噪音的問題,我們把它浸沒在液體當中,通過蒸發把熱量帶走。這個產品有兩個特點:第一個是業界最高密度的GPU的訓練平臺。它是世界上PUE(注:Power Usage Effectiveness的簡寫,是評價數據中心能源效率的指標)最低的訓練的服務器產品,它的PUE能到1.02。剛剛談到了噪音的問題,這個系統第二個特點就是零噪音。
回到PUE的問題,今天我們的數據中心大概PUE會在1.6-2.0,我們這個產品的PUE是1.02。大概算一下,一個300瓦的GPU,在制冷方面的能耗節約大概180瓦,如果現在PUE是1.6的話,一個GPU每年省電是1200元。今天很多客戶這種GPU的采購已經是2萬片-3萬片,僅僅在這一塊的節能就是巨大的,同時也節約了大概兩三千萬的運營費用。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
相關閱讀:
- [電子說] 華為與龍崗區政府簽署全面戰略合作協議 2024-12-05
- [電子說] 人工智能加速產業升級,又一地區重點布局傳感器 2024-12-05
- [電子說] IBM TechXchange 2024精彩前瞻 2024-12-05
- [電子說] 自然語言處理在聊天機器人中的應用 2024-12-05
- [電子說] 自然語言處理與機器學習的關系 自然語言處理的基本概念及步驟 2024-12-05
- [電子說] 商湯科技亮相全國工商聯人工智能委員會成立大會 2024-12-05
- [電子說] 長城汽車Coffee Agent大模型通過生成式人工智能服務備案 2024-12-05
- [電子說] 馬斯克xAI計劃:孟菲斯超算集群將擴大十倍 2024-12-05
( 發表人:黃昊宇 )