在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案

浪潮存儲 ? 來源: 浪潮存儲 ? 2024-07-01 19:00 ? 次閱讀

6月28日,浪潮信息“元腦中國行”全國巡展杭州站順利舉行。會上,浪潮信息重磅推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案。通過加持EPAI/AIStation的資源調度能力、新一代分布式存儲AS13000G7自身產品優勢,新方案從容應對大模型應用對存儲性能、容量以及數據管理等方面的苛刻要求。同時,浪潮信息嘗試性提出GPU計算集群算力與存儲集群聚合帶寬的推薦配比,實現檢測點數據60秒內寫入和讀取恢復,提高大模型訓練效率。

大模型時代

數據基礎設施挑戰升級

隨著數字經濟的蓬勃發展,AI技術正逐漸成為推動企業業務變革和創新的重要動力,大模型已經成為驅動數字經濟深度創新、引領企業業務變革、加速形成新質生產力的重要動能。

會上,存儲產品線副總經理劉希猛表示,隨著大模型參數量和數據量的極速膨脹,多源異構數據的傳、用、管、存,正在成為制約生成式AI落地的瓶頸之一,在AI大模型數據歸集、訓練、數據歸檔與管理等階段,面臨著數據歸集時間長、模型訓練效率低、數據管理復雜度高等針對數據基礎設施的新挑戰,用戶亟需構建支持多協議、高帶寬、低延遲、數據高效流轉的大模型存儲底座。

作為率先在業界提出分布式融合存儲的廠商,浪潮信息聚焦行業客戶的大模型落地需求與核心痛點,打造基于NVMe SSD高效適配和優化的分布式全閃存儲AS13000G7-N系列。依托自研分布式文件系統構建了新一代數據加速引擎DataTurbo,在緩存優化、空間均衡、縮短GPU與存儲讀取路徑等方面進行了全面升級,提供TB級帶寬、千萬級IOPS、EB容量,滿足大模型存儲在性能和容量方面的要求。

劍指AIGC主戰場

打造面向大模型應用的存儲解決方案

在大模型數據處理全流程中,要想使訓練效率達到極致,減少不必要的資源浪費,算力和存力需要均衡配置,訓練階段的數據讀寫性能成為發揮存力最大作用的關鍵。而想要提升存儲效率、降低模型訓練成本,必須要在存儲技術上進行創新。對此,浪潮信息推出基于AS13000G7的AIGC存儲解決方案,該方案通過浪潮信息AIStation人工智能平臺進行智能資源調度和深度數據管理,與EPAI“元腦企智”平臺深度集成,數據在熱、溫、冷、冰四個存儲資源池中高效流動,最大限度滿足AIGC不同階段對高性能、易管理的存儲需求。首先,通過與上層EPAI/AIStation的深度定制,依托智能數據預讀和智能故障處理等技術,為行業用戶提供經驗證的、更成熟的存儲整體方案,目前已累計服務AIGC用戶超100家,其中百PB級用戶超10家;其次,通過全局命名空間、多協議實時互通、數據冷熱分層等技術實現橫向數據自由流動,提升存儲效率和降低用戶TCO 20%以上,方案更加簡約;最后,通過AS13000G7-N系列強大的智能緩存優化、智能空間均衡和GPU直通存儲等優勢實現縱向數據高效訪問,縮短大模型訓練時間50%,方案更加高效。憑借成熟的深度定制能力、卓越的產品性能優勢以及數據全生命周期管理能力,浪潮信息基于AS13000G7的AIGC存儲解決方案充分滿足大模型訓練階段高性能、歸檔階段低成本的存儲需求。

7750f170-3794-11ef-a4c8-92fbcf53809c.png

算存黃金比例

加速大模型訓練

倪光南院士曾提出,“對于AI智能計算中心來說,要想均衡配置存力、算力和運力,一定要注意比例相當,不能失調,才能取得最大的經濟和社會效益。”為了最大限度發揮大模型潛能,解決存算比例不平衡的難題,需要制定最佳的存算比例,保障模型的高效訓練。浪潮信息最新發布的AIGC存儲解決方案嘗試給出了模型訓練時GPU算力與全閃存儲性能、容量的配置推薦。

性能方面:大模型訓練過程中檢測點文件讀寫對存儲系統讀寫性能帶來巨大挑戰。萬億模型需要12~13TB模型參數,寫檢測點需要耗費大量的時間,未經優化的存儲集群一次寫入檢測點需要3個小時。基于對存儲集群讀寫帶寬與大模型檢測點恢復時間的分析,為提高大模型的訓練效率,實現檢測點數據60秒以內的寫入和讀取恢復,前端GPU計算集群算力(單位采用每秒千萬億次浮點預算PFLOPS)與存儲集群聚合帶寬(單位采用每秒千億字節也就是常說的TB/s)的推薦配比為35:1。當然,如果期望獲取更低的CHK寫入和恢復時間,可以繼續增加集群帶寬,但其收益率相對較低。

全閃容量方面:模型訓練場景中,除了初始加載的訓練數據集要存放在全閃池中,還有過程訓練中的CHK數據要保存。隨著萬卡時代的到來,當出現掉卡或訓練中止現象,用戶通常會每隔一段時間就保存一次Check point數據,可以用來恢復訓練或用于模型評估和推理。經過一年多的實踐,建議大模型用戶2~4小時做一次Checkpoint,檢測點數據保存兩周時間,實現存儲集群容量的合理利用。通過模型分析,結合產品特點,便可推算出全閃熱存儲池的存儲配置要求。當然,用戶需求還會涉及到用于收集原始數據、準備原始數據的溫存儲池,用于歸檔的冷數據存儲池。這些溫冷池的容量一般在熱存儲池容量的10-20倍左右,達百PB級。

“元腦中國行”杭州站現場吸引了來自天目山實驗室、網易伏羲、英特爾等300余位專家學者、產業領袖、行業客戶,現場圍繞生成式人工智能、Al for Science、大模型的AIGC應用等行業熱點話題進行分享。浪潮信息還在會上舉行了“EPAI種子計劃”簽約儀式,名都科技、啟帆信息、圖靈軟件、天健遠見等浙江區域的10位元腦伙伴正式加入“EPAI種子計劃”,共同加速AI應用創新發展,推動大模型應用落地實踐。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4505

    瀏覽量

    87073
  • 浪潮
    +關注

    關注

    1

    文章

    474

    瀏覽量

    24502
  • 分布式存儲
    +關注

    關注

    4

    文章

    178

    瀏覽量

    19791
  • AIGC
    +關注

    關注

    1

    文章

    383

    瀏覽量

    2226

原文標題:助力AI產業革新!浪潮信息重磅推出AIGC存儲解決方案

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    曙光存儲領跑中國分布式存儲市場

    近日,賽迪顧問發布《中國分布式存儲市場研究報告(2025)》,指出2024 年中國分布式存儲市場首次超過集中式存儲,規模達 198.2 億元
    的頭像 發表于 05-19 16:50 ?325次閱讀

    秒殺傳統存儲!億萬克DM3000分布式存儲:EB級擴容+協議瞬通

    蛟云SoveCloud DM DM3000系列是億萬克推出的全新一代分布式一存儲產品。該系列用軟件定義存儲理念替換傳統的
    的頭像 發表于 03-20 09:13 ?323次閱讀
    秒殺傳統<b class='flag-5'>存儲</b>!億萬克DM3000<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>:EB級擴容+協議瞬通

    浪潮信息存儲SATA SSD:技術創新引領數據存儲新時代

    解決方案。 近期,浪潮信息推出了自研的SATA SSD新品——TS6000G1。這款SSD產品憑借出色的性能和穩定的品質,成為了浪潮信息
    的頭像 發表于 02-07 13:41 ?542次閱讀

    浪潮信息存儲SATA SSD:以技術創新,開啟數據存儲新篇章

    計算平臺以及個人用戶的數字化需求,迫切需要高效、可靠的存儲解決方案浪潮信息存儲積極響應市場需求,通過自主研發不斷積累技術優勢,
    的頭像 發表于 01-24 10:02 ?393次閱讀

    浪潮信息分布式存儲平臺AS13000G7的優越性能

    近年來,人工智能相關技術在社會發展中扮演著日漸重要的角色。特別是在廣告、影視等多個行業,AIGC將內容生產效率提升數倍甚至數十倍,降低人力成本50%以上,是推動企業數字化轉型的關鍵動力。然而,在AI技術快速發展和相關應用迅速增長的同時,其背后的數據基礎設施也面臨嚴峻的考驗。
    的頭像 發表于 11-12 11:42 ?794次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>分布式</b><b class='flag-5'>存儲</b><b class='flag-5'>平臺</b><b class='flag-5'>AS13000G7</b>的優越性能

    浪潮信息AI存儲性能測試的領先之道

    MLCommons,個致力于推動全球 AI系統發展的頂級工程聯盟,匯聚了包括谷歌、斯坦福大學在內的眾多頂尖企業和研究機構。作為該聯盟的創始成員之浪潮信息自2020年起便積極參與其中,共同探索
    的頭像 發表于 10-29 16:30 ?575次閱讀
    <b class='flag-5'>浪潮信息</b>AI<b class='flag-5'>存儲</b>性能測試的領先之道

    浪潮信息AS13000G7榮獲MLPerf? AI存儲基準測試五項性能全球第

    北京2024年9月27日?/美通社/ -- 9月25日,MLCommons協會發布最新MLPerf? Storage v1.0 AI存儲基準測試成績。浪潮信息分布式存儲
    的頭像 發表于 09-28 16:46 ?370次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>AS13000G7</b>榮獲MLPerf? AI<b class='flag-5'>存儲</b>基準測試五項性能全球第<b class='flag-5'>一</b>

    基于分布式存儲系統醫療影像數據存儲解決方案

    基于分布式存儲系統醫療影像數據存儲解決方案
    的頭像 發表于 09-14 09:53 ?625次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統醫療影像數據<b class='flag-5'>存儲</b><b class='flag-5'>解決方案</b>

    基于分布式對象存儲WDS的信托非結構化數據整合平臺

    基于分布式對象存儲WDS的信托非結構化數據整合平臺
    的頭像 發表于 08-28 09:56 ?594次閱讀
    基于<b class='flag-5'>分布式</b>對象<b class='flag-5'>存儲</b>WDS的信托非結構化數據整合<b class='flag-5'>平臺</b>

    醫療PACS影像數據的極速分布式存儲解決方案

    醫療PACS影像數據的極速分布式存儲解決方案
    的頭像 發表于 08-23 10:13 ?632次閱讀
    醫療PACS影像數據的極速<b class='flag-5'>分布式</b>塊<b class='flag-5'>存儲</b><b class='flag-5'>解決方案</b>

    浪潮信息引領數據編排新紀元,加速釋放數據潛能

    在2024年數據基礎設施技術峰會的璀璨舞臺上,浪潮信息分布式存儲產品線架構師Lance Sun博士以其深厚的行業洞察與前瞻視角,發表了題為“高效數據編排,加速釋放數據潛能”的精彩演講,深刻剖析了當前數據時代,尤其是
    的頭像 發表于 07-03 15:30 ?636次閱讀

    浪潮信息推出AIGC存儲解決方案

    隆重推出了基于其新一代分布式存儲平臺AS13000G7AI
    的頭像 發表于 07-03 11:16 ?1074次閱讀

    黑龍江電力高性能WDS分布式存儲系統解決方案

    黑龍江電力高性能WDS分布式存儲系統解決方案
    的頭像 發表于 07-01 09:54 ?614次閱讀
    黑龍江電力高性能WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統<b class='flag-5'>解決方案</b>

    浪潮信息分布式存儲AS13000完成英特爾至強6能效核處理器適配

    近日,浪潮信息分布式存儲AS13000完成英特爾至強6能效核處理器適配,實現每瓦性能提升2.3倍,以更高的效率、更優的成本滿足海量多態數據的存儲
    的頭像 發表于 06-19 10:05 ?1246次閱讀
    <b class='flag-5'>浪潮信息</b><b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>AS<b class='flag-5'>13000</b>完成英特爾至強6能效核處理器適配

    CCF-TCIST走進浪潮信息 共話AI時代存儲創新

    CCF信息存儲技術專委會走進浪潮信息 共話大模型時代的存儲創新之道 北京2024年6月7日?/美通社/ -- 近日,中國計算機學會
    的頭像 發表于 06-07 14:27 ?461次閱讀
    CCF-TCIST走進<b class='flag-5'>浪潮信息</b> 共話AI時代<b class='flag-5'>存儲</b>創新
    主站蜘蛛池模板: 在线观看免费视频片 | 婷婷久久综合九色综合98 | 色激情五月 | 看日本黄大片在线观看 | 久久人人精品 | 国产精品乳摇在线播放 | semimi亚洲综合在线观看 | 日本吻胸抓胸激烈视频网站 | 色多多视频成人影院 | 国产伦精品一区二区三区 | 亚洲视频在线一区二区 | 免费网站日本永久免费观看 | 69日本xxxxxxxxx96 69日本xxxxxxxxx98 | 国产精品美女自在线观看免费 | 狠狠色婷婷 | 久久国产视频一区 | 男女交性视频播放视频视频 | 99久久99久久久99精品齐 | 天天射天天舔 | 丁香婷婷在线视频 | 一级特黄aa毛片免费观看 | 在线色播 | 久青草国产免费观看 | www.淫.com| 亚洲一级毛片免费看 | 视频一本大道香蕉久在线播放 | 色老头在线官方网站 | 国产在线理论片免费播放 | 天天舔日日干 | 奇米影视亚洲春色77777 | 伊人久久成人成综合网222 | 国产在线观看网址你懂得 | 全黄性色大片 | 欧美xxxx日本 | 米奇精品一区二区三区 | 午夜免费的国产片在线观看 | 亚洲国产婷婷综合在线精品 | 尤物久久99热国产综合 | 99久久99| 国产色丁香久久综合 | 午夜刺激爽爽视频免费观看 |