AMD推出MI300X，可運行多達800億參數模型
6月13日（星期二），AMD舉行新品發布會，最重磅的新品當屬于具有大模型訓練功能的GPU Instinct MI300。
該芯片是針對LLM的優化版，擁有192gb的hbm3內存、5.2 tb/s的帶寬和896gb/s的Infinity Fabric帶寬。amd將1530億個晶體管集成在12個5納米芯片內。使用cdna 3 gpu結構、24個zen 4 cpu核心、128gb hbm3內存。與前作mi250、mi300相比，性能和效率分別提高了8倍和5倍。
mi300x提供的hbm與英偉達ai芯片h100的密度相比，最大2.4倍，帶寬最大1.6倍。amd的芯片將可以運行比英偉達更大的模型。
amd首席執行官蘇姿豐表示，mi300x支持400億個hugging face ai模型運行，并演示llm可以寫關于舊金山的詩。單一mi300x最多可運行一個參數800億個模型，這是世界上第一次在單一gpu上執行如此大的模型。
審核編輯：郭婷
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
芯片
+關注
關注
455文章
50817瀏覽量
423678 -
amd
+關注
關注
25文章
5468瀏覽量
134169 -
cpu
+關注
關注
68文章
10863瀏覽量
211784
發布評論請先 登錄
相關推薦
AMD MI300X AI芯片面臨挑戰
力不從心。 Semianalysis的報告詳細闡述了AMD所面臨的問題。報告指出，由于AMD的軟件存在顯著缺陷，若未經過大量的調試和優化，使用MI300X進行AI模型的訓練幾乎是不可能
IBM與AMD攜手部署MI300X加速器，強化AI與HPC能力
舉措預計將于2025年上半年正式推出。 此次合作的核心目標是提升通用人工智能(AI)模型的性能與能效，并為企業客戶提供高性能計算(HPC)應用的強大支持。AMD的Instinct MI300X
IBM將在云平臺部署AMD加速器
IBM與AMD近期宣布了一項重要合作協議，根據協議，IBM將在其云平臺上部署AMD Instinct MI300X加速器。這一舉措旨在提升企業客戶在生成式AI模型方面的性能和能效，進一
IBM與AMD攜手將在IBM云上部署AMD Instinct MI300X加速器
近日，全球領先的科技企業IBM與AMD共同宣布了一項重要合作。雙方計劃在IBM云上部署AMD的Instinct MI300X加速器服務，以滿足企業客戶對于高性能和高效能AI模型的需求。
三星首度引入AMD MI300X，緩解AI GPU短缺
三星電子近日斥資約270億韓元（約合1.42億元人民幣），購買了AMD Instinct MI300X加速器。這一舉措標志著三星電子首次引入非英偉達品牌的AI GPU，以應對企業內部算
微軟將采用AMD AI芯片以替代英偉達，為云計算提供更優解決方案
微軟將大規模采用AMD的旗艦產品MI300X，并通過Azure云計算平臺向用戶提供計算集群服務。鑒于Nvidia的H100和H200芯片供應緊張，微軟決定提供備選方案。
人工智能市場風向轉變，AMD Instinct MI300X GPU更受歡迎
近一半的受訪者表示對AMD的Instinct MI300X GPU持樂觀態度。與英偉達的H100系列相比，MI300X不僅價格與性能比值更為優越，而且供應穩定，避免了貨源緊張的問題。
AMD Instinct MI300新版將采用HBM3e內存，競爭英偉達B100
AMD于去年宣布旗下兩款Instinct MI300加速器，包括基于GPU的MI300X以及基于APU架構的MI300A， both配備192GB/128GB的HBM3內存，還流傳著一
英偉達繁榮背后的挑戰 仍面臨著各種內憂外患
為搶占AI商機，英特爾和AMD都緊跟著NVIDIA腳步，在NVIDIA率先推出采用臺積電4nm的H100后，AMD于去年推出首批應用于AI和HPC的“Instinct
AMD首批Instinct MI300X已開始交付
AMD開始交付其首批用于AI和HPC的Instinct MI300X GPU。據LaminiAI首席執行官Sharon Zhou透露，該公司已經收到了這批GPU，并計劃使用它們來運行大型模型
硬鋼英偉達！這個GPU已發貨……
AMD MI300X集成八個5nm XCD加速計算模塊，共計304個計算單元，搭配四個6nm IOD模塊，集成256MB無限緩存，還有八顆共192GB HBM3內存，總計1530億個晶體管。按照官方說法，
AMD Instinct MI300X已向LaminiAI批量供貨
LaminaAI作為AMD的長期合作伙伴，能夠搶先體驗到全新MI300X加速器的強大優勢，實屬正常。該公司首席執行官Sharon Zhou在社交媒體進行了公告，同時透露，已經接收到配置8個Instinct MI300X加速器的設
英偉達、AMD AI芯片今年將生產150萬顆，先進封裝設備商受惠
據早前報道，NVIDIA的高端AI芯片H200和GH200以外，明年還將推出B100和GB200等下一代產品。同時，AMD今年主推的AI加速器已有MI300A、MI300X等成功出貨，
工商網監
評論