在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

打通AI芯片到大模型訓(xùn)練的算力橋梁,開放加速設(shè)計(jì)指南強(qiáng)力助推

全球TMT ? 來源: 全球TMT ? 作者: 全球TMT ? 2023-10-17 16:51 ? 次閱讀

北京2023年10月17日/美通社/ -- 日前,2023全球AI芯片峰會(huì)(GACS 2023)在深圳市舉行,AI芯片產(chǎn)業(yè)鏈頂尖企業(yè)、專家學(xué)者齊聚,圍繞生成式AI與大模型算力需求、AI芯片高效落地等產(chǎn)業(yè)議題進(jìn)行研討分享。

面向大模型時(shí)代的計(jì)算需求,算力創(chuàng)新已不僅是單個(gè)處理器微架構(gòu)和芯片工藝的突破,而需要產(chǎn)業(yè)攜手進(jìn)行軟硬件全棧系統(tǒng)架構(gòu)全面創(chuàng)新。當(dāng)前各類AI芯片創(chuàng)新仍面臨存儲(chǔ)墻、功耗墻等架構(gòu)痼疾,隨著開放的通用指令架構(gòu)、互聯(lián)總線、AI加速器、開源的操作系統(tǒng)、模型框架、工具鏈和軟件紛紛涌現(xiàn),開放開源的算力系統(tǒng)創(chuàng)新,已經(jīng)成為實(shí)現(xiàn)AI芯片轉(zhuǎn)化為高效算力的二級(jí)引擎。

會(huì)上,浪潮信息分享了在開放加速計(jì)算系統(tǒng)領(lǐng)域的最新成果《開放加速規(guī)范AI服務(wù)器設(shè)計(jì)指南》,通過系統(tǒng)平臺(tái)層面的技術(shù)創(chuàng)新,攜手產(chǎn)業(yè)上下游加速生成式AI算力產(chǎn)業(yè)發(fā)展。

wKgZomUuSyuAedvQAAB8OWRGPj8210.jpg


大模型推動(dòng)算力產(chǎn)業(yè)步入系統(tǒng)級(jí)創(chuàng)新時(shí)代

隨著制程工藝逼近天花板,AI芯片正迎來架構(gòu)創(chuàng)新的黃金時(shí)代,諸多創(chuàng)新者正通過越來越廣泛的創(chuàng)新思路來繞過摩爾定律瀕臨極限的瓶頸,圍繞架構(gòu)創(chuàng)新,AI芯片產(chǎn)業(yè)正從早期的百花齊放,向更深更多維層面發(fā)展。

與此同時(shí),參數(shù)量高達(dá)數(shù)千億的大模型創(chuàng)新往往需要在成百上千的AI服務(wù)器組成的平臺(tái)上進(jìn)行訓(xùn)練。面向AIGC的算力能力考量的不僅僅是單一芯片、或者是單一服務(wù)器,而是包含計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備,軟件、框架、模型組件,機(jī)柜、制冷、供電基礎(chǔ)設(shè)施等在內(nèi)的一體化高度集成的智算集群。

因此,要將AI芯片真正轉(zhuǎn)化為大模型算力,需要產(chǎn)業(yè)鏈上下游攜手從規(guī)模化算力部署的角度進(jìn)行系統(tǒng)級(jí)創(chuàng)新,統(tǒng)籌考慮大模型訓(xùn)練需求特點(diǎn),設(shè)計(jì)構(gòu)建算力系統(tǒng),以實(shí)現(xiàn)全局最優(yōu)的性能、能效或TCO指標(biāo)。

開放加速設(shè)計(jì)指南,打通從芯片到大模型的算力橋梁

2019年,開放計(jì)算組織OCP面向大模型訓(xùn)練發(fā)布了開放加速計(jì)算(OAI)技術(shù)標(biāo)準(zhǔn),旨在促進(jìn)上下游協(xié)同,降低產(chǎn)業(yè)創(chuàng)新成本和周期。開放加速計(jì)算(OAI)系統(tǒng)架構(gòu)具備更高的散熱和互聯(lián)能力,可以承載具有更高算力的芯片,同時(shí)具備非常強(qiáng)的跨節(jié)點(diǎn)擴(kuò)展能力。因?yàn)樘烊贿m用于大規(guī)模深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),已經(jīng)在全球范圍內(nèi)得到芯片、系統(tǒng)及應(yīng)用廠商的廣泛參與支持。

大模型訓(xùn)練對(duì)開放加速計(jì)算系統(tǒng)的總功耗、總線速率、電流密度的需求不斷提升,給系統(tǒng)設(shè)計(jì)帶來了巨大的挑戰(zhàn)。因此,浪潮信息基于系統(tǒng)研發(fā)和大模型工程實(shí)踐經(jīng)驗(yàn),將從AI芯片到大模型算力系統(tǒng)所需完成的體系結(jié)構(gòu)、信號(hào)完整性、散熱、可靠性、架構(gòu)設(shè)計(jì)等大量系統(tǒng)性設(shè)計(jì)標(biāo)準(zhǔn)進(jìn)行細(xì)化總結(jié),發(fā)布了面向生成式AI場景的《開放加速規(guī)范AI服務(wù)器指南》(以下簡稱《指南》),提出四大設(shè)計(jì)原則、全棧設(shè)計(jì)方法,包括硬件設(shè)計(jì)參考、管理接口規(guī)范和性能測試標(biāo)準(zhǔn)。

wKgaomUuSyuADkWWAACq9tyIEYc269.jpg


《開放加速規(guī)范AI服務(wù)器指南》全棧設(shè)計(jì)方法

《開放加速規(guī)范AI服務(wù)器指南》統(tǒng)籌考慮大模型分布式訓(xùn)練對(duì)于計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)的需求特點(diǎn),提供了從節(jié)點(diǎn)層到集群層的AI芯片應(yīng)用部署全棧設(shè)計(jì)參考。包括各項(xiàng)硬件規(guī)范、電氣規(guī)范、時(shí)序規(guī)范,并提供管理、故障診斷和網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)等軟硬協(xié)同參考,旨在通過節(jié)點(diǎn)層/集群層多維協(xié)同設(shè)計(jì)確保AI服務(wù)器節(jié)點(diǎn)和服務(wù)器集群以超大規(guī)模集群互連的大模型訓(xùn)練能力。

wKgZomUuSyyAVh8cAACHyJ1iTGg863.jpg


基于板端QSFP-DD的跨節(jié)點(diǎn)互連拓?fù)?/p>

由于架構(gòu)復(fù)雜度高、芯片種類多、高速信號(hào)多、系統(tǒng)功耗大等特點(diǎn),異構(gòu)加速計(jì)算節(jié)點(diǎn)常面臨故障率高的問題。因此,《指南》提供了詳細(xì)的系統(tǒng)測試指導(dǎo),對(duì)結(jié)構(gòu)、散熱、壓力、穩(wěn)定性、軟件兼容性等方面的測試要點(diǎn)進(jìn)行了全面梳理,幫助用戶最大程度降低系統(tǒng)生產(chǎn)、部署、運(yùn)行過程中的故障風(fēng)險(xiǎn),提高系統(tǒng)穩(wěn)定性,減少斷點(diǎn)對(duì)訓(xùn)練持續(xù)性的影響。

wKgaomUuSyyAC7xZAAB-mfj5Y7o590.jpg


OAM互連信號(hào)損耗要求

不同于通用計(jì)算系統(tǒng),面向生成式AI的加速計(jì)算系統(tǒng)具有軟硬件強(qiáng)耦合特性。為了提高開放加速計(jì)算系統(tǒng)的算力可用性,《指南》給出了八類AI主流業(yè)務(wù)和三類AIGC大模型基準(zhǔn)測評(píng)和調(diào)優(yōu)方法,以確保開放加速計(jì)算系統(tǒng)能夠有效支撐當(dāng)前主流大模型的創(chuàng)新應(yīng)用。

AI芯片廠商可以基于《指南》快速將符合開放加速規(guī)范的AI芯片落地成高可用高可靠高性能的大模型算力系統(tǒng),提高系統(tǒng)適配和集群部署效率,減少芯片合作伙伴在系統(tǒng)層面的研發(fā)成本投入,加速生成式AI算力產(chǎn)業(yè)的創(chuàng)新步伐。

全棧協(xié)同,高效釋放大模型創(chuàng)新生產(chǎn)力

目前,浪潮信息已經(jīng)基于開放加速規(guī)范發(fā)布了三代AI服務(wù)器產(chǎn)品,和10余家芯片伙伴實(shí)現(xiàn)了多元AI計(jì)算產(chǎn)品的創(chuàng)新研發(fā)。多元算力產(chǎn)品方案得到了眾多用戶的認(rèn)可,已經(jīng)在多個(gè)智算中心應(yīng)用落地,成功支持GPT-2、源1.0及實(shí)驗(yàn)室自研蛋白質(zhì)結(jié)構(gòu)預(yù)測等多個(gè)超大規(guī)模巨量模型的高效訓(xùn)練。

同時(shí),為進(jìn)一步解決大模型算力的系統(tǒng)全棧問題、兼容適配問題、性能優(yōu)化問題等,浪潮信息基于大模型自身實(shí)踐與服務(wù)客戶的專業(yè)經(jīng)驗(yàn),推出OGAI大模型智算軟件棧,能夠?yàn)榇竽P蜆I(yè)務(wù)提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度及開發(fā)管理的完整軟件棧和工具鏈,幫助更多企業(yè)順利跨越大模型研發(fā)應(yīng)用門檻,充分釋放大模型算力價(jià)值。

作為全球領(lǐng)先的AI算力基礎(chǔ)設(shè)施供應(yīng)商,浪潮信息將通過智算系統(tǒng)軟硬件高度協(xié)同進(jìn)行持續(xù)創(chuàng)新,攜手產(chǎn)業(yè)伙伴加速AI算力繁榮發(fā)展并充分釋放算力生產(chǎn)力,推動(dòng)實(shí)現(xiàn)"助百模,智千行",加速生成式AI產(chǎn)業(yè)創(chuàng)新。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 芯片
    +關(guān)注

    關(guān)注

    459

    文章

    52217

    瀏覽量

    436553
  • 半導(dǎo)體
    +關(guān)注

    關(guān)注

    335

    文章

    28640

    瀏覽量

    232941
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    34324

    瀏覽量

    275513
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1150

    瀏覽量

    15465
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3035

    瀏覽量

    3840
收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    網(wǎng)絡(luò)的“神經(jīng)突觸”:AI互聯(lián)技術(shù)如何重構(gòu)分布式訓(xùn)練范式

    過程中,由于單個(gè)AI芯片提升速度無法跟上模型參數(shù)的增長速率,再加上龐大的模型參數(shù)和
    的頭像 發(fā)表于 06-08 08:11 ?5269次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>網(wǎng)絡(luò)的“神經(jīng)突觸”:<b class='flag-5'>AI</b>互聯(lián)技術(shù)如何重構(gòu)分布式<b class='flag-5'>訓(xùn)練</b>范式

    即國力,比克電池如何為AI時(shí)代“蓄能

    從車路協(xié)同破解出行困局,AI醫(yī)生實(shí)現(xiàn)千萬級(jí)問診,再到智能工廠的全球零時(shí)差協(xié)同——人類正加速邁入以定義生產(chǎn)
    的頭像 發(fā)表于 06-04 14:22 ?233次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>即國力,比克電池如何為<b class='flag-5'>AI</b>時(shí)代“蓄能

    AI原生架構(gòu)升級(jí):RAKsmart服務(wù)器在超大規(guī)模模型訓(xùn)練中的突破

    近年來,隨著千億級(jí)參數(shù)模型的崛起,AI訓(xùn)練對(duì)的需求呈現(xiàn)指數(shù)級(jí)增長。傳統(tǒng)服務(wù)器架構(gòu)在應(yīng)對(duì)分布式訓(xùn)練
    的頭像 發(fā)表于 04-24 09:27 ?206次閱讀

    RAKsmart智能架構(gòu):異構(gòu)計(jì)算+低時(shí)延網(wǎng)絡(luò)驅(qū)動(dòng)企業(yè)AI訓(xùn)練范式升級(jí)

    AI模型參數(shù)量突破萬億、多模態(tài)應(yīng)用爆發(fā)的今天,企業(yè)AI訓(xùn)練正面臨效率與成本的雙重挑戰(zhàn)。R
    的頭像 發(fā)表于 04-17 09:29 ?251次閱讀

    首創(chuàng)開源架構(gòu),天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    套件2.0,打造了一整套圍繞AI開發(fā)效率與落地路徑展開的“系統(tǒng)性解法”,為開發(fā)者提供了AI應(yīng)用開發(fā)工具全家桶。同時(shí),全新升級(jí)的旗艦5G智能體AI芯片天璣9400+也為智能體化用戶體驗(yàn)提
    發(fā)表于 04-13 19:52

    芯片的生態(tài)突圍與革命

    據(jù)的爆發(fā)式增長,大芯片已成為科技競爭的核心領(lǐng)域之一。 ? 大芯片的核心應(yīng)用場景豐富多樣。
    的頭像 發(fā)表于 04-13 00:02 ?1505次閱讀

    DeepSeek推動(dòng)AI需求:800G光模塊的關(guān)鍵作用

    隨著人工智能技術(shù)的飛速發(fā)展,AI需求正以前所未有的速度增長。DeepSeek等大模型訓(xùn)練與推理任務(wù)對(duì)
    發(fā)表于 03-25 12:00

    千卡破局:科通技術(shù)以&quot;AI模型+AI芯片&quot;重構(gòu)智底座

    2025年,隨著DeepSeek大模型的開源迭代,AI技術(shù)在云計(jì)算領(lǐng)域的應(yīng)用加速滲透,市場對(duì)高性能AI芯片的需求迎來爆發(fā)式增長。作為
    的頭像 發(fā)表于 03-17 11:14 ?392次閱讀

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功怎么處理?

    訓(xùn)練好的ai模型導(dǎo)入cubemx不成功咋辦,試了好幾個(gè)模型壓縮了也不行,ram占用過大,有無解決方案?
    發(fā)表于 03-11 07:18

    讓大模型訓(xùn)練更高效,奇異摩爾用互聯(lián)創(chuàng)新方案定義下一代AI計(jì)算

    訓(xùn)練成本,使得企業(yè)能夠以低成本實(shí)現(xiàn)高性能AI模型訓(xùn)練;在推理端,DeepSeek加速AI
    的頭像 發(fā)表于 02-18 09:19 ?1228次閱讀
    讓大<b class='flag-5'>模型</b><b class='flag-5'>訓(xùn)練</b>更高效,奇異摩爾用互聯(lián)創(chuàng)新方案定義下一代<b class='flag-5'>AI</b>計(jì)算

    芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第3篇閱讀心得:GPU革命:從圖形引擎AI加速器的蛻變

    在數(shù)據(jù)挖掘工作中,我經(jīng)常需要處理海量數(shù)據(jù)的深度學(xué)習(xí)任務(wù),這讓我對(duì)GPU架構(gòu)和張量運(yùn)算充滿好奇。閱讀《芯片》第7-9章,讓我對(duì)這些關(guān)鍵技術(shù)有了全新認(rèn)識(shí)。 GPU架構(gòu)從早期的固定功能流水線,
    發(fā)表于 11-24 17:12

    AI時(shí)代的重要性及現(xiàn)狀:平衡發(fā)展與優(yōu)化配置的挑戰(zhàn)

    AI時(shí)代,扮演著至關(guān)重要的角色。如果說數(shù)據(jù)是AI模型的“燃料”,那么
    的頭像 發(fā)表于 11-04 11:45 ?1038次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--全書概覽

    1章 從TOP500和MLPerf看芯片格局 1.1科學(xué)最前沿TOP500 1.2 AI
    發(fā)表于 10-15 22:08

    名單公布!【書籍評(píng)測活動(dòng)NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    ,在全球范圍內(nèi),對(duì)于推動(dòng)科技進(jìn)步、經(jīng)濟(jì)發(fā)展及社會(huì)整體的運(yùn)作具有至關(guān)重要的作用。隨著信息技術(shù)的高速發(fā)展,高性能計(jì)算(HPC)和人工智能(AI)等技術(shù)在多個(gè)領(lǐng)域的應(yīng)用變得日益廣泛,芯片
    發(fā)表于 09-02 10:09

    模型時(shí)代的需求

    現(xiàn)在AI已進(jìn)入大模型時(shí)代,各企業(yè)都爭相部署大模型,但如何保證大模型,以及相關(guān)的穩(wěn)定性和性能
    發(fā)表于 08-20 09:04
    主站蜘蛛池模板: 精品少妇一区二区三区视频 | 国产香蕉98碰碰久久人人 | 四虎影院在线网址 | 天天躁夜夜躁狠狠躁躁 | 最近视频在线播放免费观看 | 天天爽天天爽天天片a久久网 | 天天舔 | 欧美性久久 | 狠狠色丁香婷婷综合橹不卡 | 日韩一级视频 | ak福利午夜在线观看 | 女人被免费网站视频在线 | 天天色天天搞 | 四虎久久精品国产 | 一级特黄特黄的大片免费 | 午夜宅男视频 | 四虎在线免费播放 | 久久午夜免费视频 | 哟交小u女国产精品视频 | 又粗又大又爽又色又过瘾视频 | 国产午夜免费视频 | 久久99热精品这里久久精品 | 夜夜夜夜曰天天天天拍国产 | 亚洲精品黄色 | 欧美一欧美一区二三区性 | 丁香激情综合网 | 女bbbbxxxx毛片视频 | 午夜视频免费 | 无遮挡很爽很污很黄在线网站 | 韩国三级在线不卡播放 | ts人妖在线观看 | 天天操天天干视频 | 边做边爱在线观看视频免费 | 日韩特黄 | 国产免费福利网站 | 免费的男女拍拍拍的视频 | 欧美操穴视频 | 插综合网 | 97综合视频 | 一本到中文字幕高清不卡在线 | 国产精品久久久久影院色老大 |