在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

浪潮信息發(fā)布源2.0-M32開源大模型,模算效率大幅提升

浪潮AIHPC ? 來源:浪潮AIHPC ? 2024-05-29 09:34 ? 次閱讀

5月28日,浪潮信息發(fā)布“源2.0-M32”開源大模型。“源2.0-M32”在基于”源2.0”系列大模型已有工作基礎(chǔ)上,創(chuàng)新性地提出和采用了“基于注意力機(jī)制的門控網(wǎng)絡(luò)”技術(shù),構(gòu)建包含32個專家(Expert)的混合專家模型(MoE),并大幅提升了模型算力效率,模型運(yùn)行時激活參數(shù)37億,在業(yè)界主流基準(zhǔn)評測中性能全面對標(biāo)700億參數(shù)的LLaMA3開源大模型。

算法層面源2.0-M32提出并采用了一種新型的算法結(jié)構(gòu):基于注意力機(jī)制的門控網(wǎng)絡(luò)(Attention Router),針對MoE模型核心的專家調(diào)度策略,這種新的算法結(jié)構(gòu)關(guān)注專家模型之間的協(xié)同性度量,有效解決傳統(tǒng)門控網(wǎng)絡(luò)下,選擇兩個或多個專家參與計算時關(guān)聯(lián)性缺失的問題,使得專家之間協(xié)同處理數(shù)據(jù)的水平大為提升。源2.0-M32采用源2.0-2B為基礎(chǔ)模型設(shè)計,沿用并融合局部過濾增強(qiáng)的注意力機(jī)制(LFA, Localized Filtering-based Attention),通過先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性,然后再計算全局關(guān)聯(lián)性的方法,能夠更好地學(xué)習(xí)到自然語言的局部和全局的語言特征,對于自然語言的關(guān)聯(lián)語義理解更準(zhǔn)確,進(jìn)而提升了模型精度。

9ad71f44-1cea-11ef-b74b-92fbcf53809c.png

Figure1基于注意力機(jī)制的門控網(wǎng)絡(luò)(Attention Router)

■ 數(shù)據(jù)層面,源2.0-M32基于2萬億的token進(jìn)行訓(xùn)練、覆蓋萬億量級的代碼、中英文書籍、百科、論文及合成數(shù)據(jù)。大幅擴(kuò)展代碼數(shù)據(jù)占比至47.5%,從6類最流行的代碼擴(kuò)充至619類,并通過對代碼中英文注釋的翻譯,將中文代碼數(shù)據(jù)量增大至1800億token。結(jié)合高效的數(shù)據(jù)清洗流程,滿足大模型訓(xùn)練“豐富性、全面性、高質(zhì)量”的數(shù)據(jù)集需求。基于這些數(shù)據(jù)的整合和擴(kuò)展,源2.0-M32在代碼生成、代碼理解、代碼推理、數(shù)學(xué)求解等方面有著出色的表現(xiàn)。

■ 算力層面,源2.0-M32采用了非均勻流水并行的方法,綜合運(yùn)用流水線并行+數(shù)據(jù)并行的策略,顯著降低了大模型對芯片間P2P帶寬的需求,為硬件差異較大訓(xùn)練環(huán)境提供了一種高性能的訓(xùn)練方法。針對MoE模型的稀疏專家計算,采用合并矩陣乘法的方法,模算效率得到大幅提升。

基于在算法、數(shù)據(jù)和算力方面全面創(chuàng)新,源2.0-M32的性能得以大幅提升,在多個業(yè)界主流的評測任務(wù)中,展示出了較為先進(jìn)的能力表現(xiàn),在MATH(數(shù)學(xué)競賽)、ARC-C(科學(xué)推理)榜單上超越了擁有700億參數(shù)的LLaMA3大模型

9b0363c4-1cea-11ef-b74b-92fbcf53809c.jpg

Figure2 源2.0-M32業(yè)界主流評測任務(wù)表現(xiàn)

源2.0-M32大幅提升了模型算力效率,在實(shí)現(xiàn)與業(yè)界領(lǐng)先開源大模型性能相當(dāng)?shù)耐瑫r,顯著降低了在模型訓(xùn)練、微調(diào)和推理所需的算力開銷。在模型推理運(yùn)行階段,M32處理每token所需算力為7.4GFLOPs,而LLaMA3-70B所需算力為140GFLOPs。在模型微調(diào)訓(xùn)練階段,對1萬條平均長度為1024 token的樣本進(jìn)行全量微調(diào),M32消耗算力約0.0026PD(PetaFLOPs/s-day),而LLaMA3消耗算力約為0.05PD。M32憑借特別優(yōu)化設(shè)計的模型架構(gòu),在僅激活37億參數(shù)的情況下,取得了和700億參數(shù)LLaMA3相當(dāng)?shù)男阅芩剑乃懔H為LLaMA3的1/19,從而實(shí)現(xiàn)了更高的模算效率。

浪潮信息人工智能首席科學(xué)家吳韶華表示:當(dāng)前業(yè)界大模型在性能不斷提升的同時,也面臨著所消耗算力大幅攀升的問題,對企業(yè)落地應(yīng)用大模型帶來了極大的困難和挑戰(zhàn)。源2.0-M32是浪潮信息在大模型領(lǐng)域持續(xù)耕耘的最新探索成果,通過在算法、數(shù)據(jù)、算力等方面的全面創(chuàng)新,M32不僅可以提供與業(yè)界領(lǐng)先開源大模型相當(dāng)?shù)男阅埽梢源蠓档痛竽P退杷懔ο摹?strong>大幅提升的模算效率將為企業(yè)開發(fā)應(yīng)用生成式AI提供模型高性能、算力低門檻的高效路徑。M32開源大模型配合企業(yè)大模型開發(fā)平臺EPAI(Enterprise Platform of AI),將助力企業(yè)實(shí)現(xiàn)更快的技術(shù)迭代與高效的應(yīng)用落地,為人工智能產(chǎn)業(yè)的發(fā)展提供堅實(shí)的底座和成長的土壤,加速產(chǎn)業(yè)智能化進(jìn)程。


審核編輯:劉清
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1796

    文章

    47668

    瀏覽量

    240289
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2546

    瀏覽量

    3167
  • 生成式AI
    +關(guān)注

    關(guān)注

    0

    文章

    514

    瀏覽量

    547

原文標(biāo)題:浪潮信息發(fā)布源2.0-M32開源大模型,模算效率大幅提升,37億激活參數(shù)性能對標(biāo)LLaMA3-700億

文章出處:【微信號:浪潮AIHPC,微信公眾號:浪潮AIHPC】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    浪潮信息與智研究院攜手共建大模型多元力生態(tài)

    近日,浪潮信息與北京智人工智能研究院正式簽署戰(zhàn)略合作協(xié)議,雙方將緊密合作,共同構(gòu)建大模型多元開源創(chuàng)新生態(tài)。 此次合作旨在
    的頭像 發(fā)表于 12-31 11:49 ?295次閱讀

    浪潮信息與智研究院達(dá)成戰(zhàn)略合作協(xié)議

    近日,浪潮信息與智研究院達(dá)成戰(zhàn)略合作協(xié)議,雙方將緊密協(xié)作共建大模型多元開源創(chuàng)新生態(tài),提升
    的頭像 發(fā)表于 12-26 10:25 ?223次閱讀

    捷通達(dá)攜手浪潮信息,ERP系統(tǒng)性能大幅提升

    的共同努力,捷通達(dá)成功將原有的SAP HANA系統(tǒng)升級為浪潮信息新一代SAP HANA數(shù)據(jù)庫一體機(jī)解決方案。這一升級不僅大幅提升了系統(tǒng)的運(yùn)行效率,更使得ERP系統(tǒng)的數(shù)據(jù)查詢時間
    的頭像 發(fā)表于 12-24 14:36 ?244次閱讀

    浪潮信息發(fā)布KOS AI定制版,大幅提升模型訓(xùn)練效率

    浪潮信息近期推出了“元腦服務(wù)器操作系統(tǒng)KOS AI定制版”,為人工智能領(lǐng)域帶來了革命性的變化。這款定制版操作系統(tǒng)通過簡單的兩步操作,即可實(shí)現(xiàn)大模型訓(xùn)練環(huán)境的快速部署。
    的頭像 發(fā)表于 10-30 17:23 ?588次閱讀

    浪潮信息源2.0模型與百度PaddleNLP全面適配

    近日,浪潮信息宣布其開源模型2.0已全面適配百度PaddleNLP。這一舉措標(biāo)志著大模型開發(fā)
    的頭像 發(fā)表于 10-17 18:15 ?575次閱讀

    2.0-M32模型發(fā)布量化版 運(yùn)行顯存僅需23GB 性能可媲美LLaMA3

    北京2024年8月23日?/美通社/ -- 近日,浪潮信息發(fā)布2.0-M32模型4bit和8bit量化版,性能比肩700億參數(shù)的LLaM
    的頭像 發(fā)表于 08-25 22:06 ?375次閱讀
    <b class='flag-5'>源</b><b class='flag-5'>2.0-M32</b>大<b class='flag-5'>模型</b><b class='flag-5'>發(fā)布</b>量化版 運(yùn)行顯存僅需23GB 性能可媲美LLaMA3

    浪潮信息攜全棧智產(chǎn)品和方案亮相WAIC 2024

    7月4日,2024世界人工智能大會(WAIC2024)在上海開幕。大會聚焦大模型力、機(jī)器人、自動駕駛等重點(diǎn)領(lǐng)域,吸引眾多國內(nèi)外知名人工智能企業(yè)參會。作為全球領(lǐng)先的IT基礎(chǔ)設(shè)施供應(yīng)商,浪潮信息參加
    的頭像 發(fā)表于 07-05 18:04 ?1540次閱讀

    浪潮信息重磅發(fā)布2.0-M32開源模型

    浪潮信息近日發(fā)布了一款全新的開源模型——“2.0-M32”。這款大
    的頭像 發(fā)表于 06-05 14:50 ?841次閱讀

    浪潮信息發(fā)布2.0-M32開源模型

    浪潮信息近日推出了革命性的“2.0-M32開源模型。該模型
    的頭像 發(fā)表于 05-29 09:08 ?722次閱讀

    浪潮信息發(fā)布企業(yè)大模型開發(fā)平臺&quot;元腦企智&quot;EPAI,加速AI創(chuàng)新落地

    北京2024年4月18日?/美通社/ -- 4月17日,在2024浪潮信息生態(tài)伙伴大會(IPF2024)上,浪潮信息發(fā)布企業(yè)大模型開發(fā)平臺"元腦企智"EPAI(Enterprise P
    的頭像 發(fā)表于 04-18 21:21 ?500次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發(fā)布</b>企業(yè)大<b class='flag-5'>模型</b>開發(fā)平臺&quot;元腦企智&quot;EPAI,加速AI創(chuàng)新落地

    浪潮信息發(fā)布企業(yè)大模型開發(fā)平臺“元腦企智”EPAI

    4月17日,在2024浪潮信息生態(tài)伙伴大會(IPF2024)上,浪潮信息重磅發(fā)布企業(yè)大模型開發(fā)平臺“元腦企智”EPAI(Enterprise Platform of AI),為企業(yè)AI
    的頭像 發(fā)表于 04-18 10:12 ?432次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>發(fā)布</b>企業(yè)大<b class='flag-5'>模型</b>開發(fā)平臺“元腦企智”EPAI

    浪潮信息&quot;2.0&quot;大模型YuanChat支持英特爾最新商用AI PC

    北京2024年3月27日 /美通社/ -- 3月26日, 浪潮信息與英特爾正式宣布,浪潮信息"2.0系列基礎(chǔ)大模型"已和最新的英特爾? 酷
    的頭像 發(fā)表于 03-27 22:52 ?559次閱讀
    <b class='flag-5'>浪潮信息</b>&quot;<b class='flag-5'>源</b><b class='flag-5'>2.0</b>&quot;大<b class='flag-5'>模型</b>YuanChat支持英特爾最新商用AI PC

    浪潮信息與英特爾合作推出一種大模型效率工具“YuanChat”

    3月26日,浪潮信息與英特爾正式宣布,浪潮信息2.0系列基礎(chǔ)大模型”已和最新的英特爾? 酷睿? Ultra處理器平臺完成適配,本地推理速
    的頭像 發(fā)表于 03-27 13:50 ?698次閱讀
    <b class='flag-5'>浪潮信息</b>與英特爾合作推出一種大<b class='flag-5'>模型</b><b class='flag-5'>效率</b>工具“YuanChat”

    潞晨科技Colossal-AI與浪潮信息AIStation完成兼容性互認(rèn)證

    近日,潞晨科技的Colossal-AI大模型開發(fā)工具和浪潮信息的AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺成功完成了兼容性互認(rèn)證。這一合作意味著用戶可以在AIStation平臺上便捷地部署與調(diào)度Colossal-AI系統(tǒng),從而極大提升
    的頭像 發(fā)表于 03-06 10:18 ?898次閱讀

    潞晨科技Colossal-AI + 浪潮信息AIStation,大模型開發(fā)效率提升10倍

    北京2024年2月29日 /美通社/ -- 近日,潞晨科技Colossal-AI大模型開發(fā)工具與浪潮信息AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺完成兼容性互認(rèn)證。基于AIStation平臺部署與調(diào)度
    的頭像 發(fā)表于 03-01 09:43 ?539次閱讀
    潞晨科技Colossal-AI + <b class='flag-5'>浪潮信息</b>AIStation,大<b class='flag-5'>模型</b>開發(fā)<b class='flag-5'>效率</b><b class='flag-5'>提升</b>10倍
    主站蜘蛛池模板: 极品美女啪啪 | 久久青草91免费观看 | 美女大黄三级视频在线观看 | 99久久99久久久99精品齐 | 欧美在线黄 | 日本免费不卡在线一区二区三区 | 亚洲第九页 | 可以直接看的黄址 | 人人插97 | 成人国产精品一级毛片了 | 老色批在线播放视频网站免费 | 色香蕉在线观看网站 | 97成人免费视频 | 狠狠色丁香久久婷婷 | 就操| 欧美3p精品三区 | 婷婷色香五月激情综合2020 | 美女扒开尿口给男人爽的视频 | 手机看日韩毛片福利盒子 | 四虎永久在线精品免费影视 | 天天干人人 | 人人干人人搞 | 色琪琪一本到影院 | 51xtv成人影院| 一区二区三区四区无限乱码在线观看 | 午夜国产精品免费观看 | 久久黄色毛片 | 欧洲mv日韩mv国产mv | 一个综合色| 四虎午夜剧场 | 一级毛片看真人在线视频 | 午夜网站免费版在线观看 | www.999精品视频观看免费 | 久久综合色视频 | 4438x成人全国最大 | 久青草免费视频手机在线观看 | 免费无遮挡很爽很污很黄 | 国产色噜噜 | 国产精品一级毛片不收费 | sesese在线观看 | 狠狠色婷婷丁香六月 |