在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AWS成為第一個提供NVIDIA GH200 Grace Hopper超級芯片的提供商

汽車電子設計 ? 來源:芝能汽車 ? 2023-11-30 09:24 ? 次閱讀

2023年的AWS re:Invent大會上,AWS和NVIDIA宣布AWS將成為第一個提供NVIDIA GH200 Grace Hopper超級芯片的云服務提供商。這一超級芯片通過NVIDIA DGX Cloud與NVIDIA NVLink技術相連,將在Amazon Elastic Compute Cloud(Amazon EC2)上運行,為云計算帶來了一場技術革命。

一)大殺器NVIDIA GH200 NVL32

NVIDIA GH200 NVL32 是針對 NVIDIA GH200 Grace Hopper 超級芯片的機架級參考設計,通過 NVLink 連接,面向超大規模數據中心。支持 16 個與 NVIDIA MGX 機箱設計兼容的雙 NVIDIA Grace Hopper 服務器節點,并且可以采用液體冷卻,以最大限度地提高計算密度和效率。

NVIDIA GH200 NVL32 的主要特點如下:

擁有 32 個 GPU NVLink 域,每個 GPU NVLink 域包含一個 GH200 Grace Hopper 超級芯片,可以訪問網絡中任何其他 Grace Hopper 超級芯片的內存,從而提供 19.5 TB 的 NVLink 可尋址內存。這意味著它可以突破單個系統的內存限制,實現更大的并行性和可擴展性。

使用 9 個 NVLink 交換機,每個交換機包含一個第三代 NVSwitch 芯片,將 32 個 GH200 GPU 連接在一起,形成一個完全連接的胖樹網絡。這意味著它可以實現高速的通信和低延遲的同步,提高人工智能的性能和效率。

由 NVIDIA HPC SDK 以及全套 CUDA、NVIDIA CUDA-X 和 NVIDIA Magnum IO 庫支持,可加速超過 3,000個 GPU 應用程序。這意味著它可以提供豐富的軟件生態系統,讓開發者和研究者可以輕松地開發和部署人工智能應用程序。

二)NVIDIAGH200 NVL32的應用場景

NVIDIA GH200 NVL32 非常適合以下幾種人工智能應用場景:

1)AI推理和訓練:生成式人工智能模型可以根據給定的文本或上下文生成自然語言,廣泛應用于聊天機器人、文本摘要、文本生成、機器翻譯等領域,為用戶提供智能的交互和服務。法學碩士需要大規模、多 GPU 訓練,參數數量非常龐大,例如 GPT-3 有 1750 億個參數,GPT-4 有 1.5 萬億個參數。NVIDIA GH200 NVL32 專為推理和訓練下一代法學碩士而構建。該系統利用 32 個 NVLink 連接的 GH200 Grace Hopper 超級芯片突破了內存、通信和計算瓶頸,訓練萬億參數模型的速度比 NVIDIA HGX H100 快 1.7 倍 以上。在 GPT-530B 推理模型上,NVIDIA GH200 NVL32 系統的性能比四個 H100 NVL8 系統高出 2 倍。

a5470a3c-8f16-11ee-939d-92fbcf53809c.png

2)推薦系統:人工智能模型可以根據用戶的偏好和行為,向用戶推薦最相關和最感興趣的內容或產品。它們廣泛用于電子商務和零售、媒體和社交媒體、數字廣告等領域,以實現內容個性化。

a55a6cc6-8f16-11ee-939d-92fbcf53809c.png

這推動了收入和商業價值。推薦器使用代表用戶、產品、類別和上下文的嵌入,大小可達數十 TB。高度準確的推薦器將提供更具吸引力的用戶體驗,但也需要更大的嵌入和更精確的推薦器。嵌入對于人工智能模型具有獨特的特征,需要大量內存、高帶寬和閃電般快速的網絡。NVIDIA GH200 NVL32 可提供 7 倍 的快速訪問內存,并且與基于 x86 的傳統設計中與 GPU 的 PCIe Gen5 連接相比,可提供 7 倍 的帶寬。與采用 x86 的 H100 相比,它可以實現 7 倍 詳細的嵌入。NVIDIA GH200 NVL32 還可以為具有大量嵌入表的模型提供高達 7.9 倍 的訓練性能。

3)圖神經網絡圖神經網絡是一種人工智能模型,可以將深度學習的預測能力應用于豐富的數據結構,這些數據結構將對象及其關系描述為圖中由線連接的點??茖W和工業的許多分支已經將有價值的數據存儲在圖數據庫中。深度學習用于訓練預測模型,從圖表中挖掘新的見解。

a572e738-8f16-11ee-939d-92fbcf53809c.png

總結:

Amazon和NVIDIA推動NVIDIA DGX Cloud即將在AWS上推出,將成為首家在DGX云中提供NVIDIA GH200 NVL32,并將其作為EC2實例的云服務提供商。NVIDIA GH200 NVL32解決方案包含32個GPU NVLink域和19.5 TB的大容量統一內存。在GPT-3的訓練和LLM推理方面明顯優于先前的模型。NVIDIA GH200 NVL32的CPU-GPU內存互連速度非???,提高了應用程序的內存可用性。該技術是超大規模數據中心可擴展設計的一部分,由NVIDIA軟件和庫提供支持,可加速數千個GPU應用程序。NVIDIA GH200 NVL32特別適用于LLM訓練和推理、推薦系統、GNN等任務,為人工智能和計算應用程序帶來顯著的性能改進。






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    5197

    瀏覽量

    105530
  • GPT
    GPT
    +關注

    關注

    0

    文章

    368

    瀏覽量

    15886
  • 超級芯片
    +關注

    關注

    0

    文章

    37

    瀏覽量

    9022
  • AWS
    AWS
    +關注

    關注

    0

    文章

    435

    瀏覽量

    24982
  • GPU芯片
    +關注

    關注

    1

    文章

    304

    瀏覽量

    6100

原文標題:NVIDIA GH200 NVL32在AWS里落地

文章出處:【微信號:QCDZSJ,微信公眾號:汽車電子設計】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    MediaTek與NVIDIA攜手設計GB10 Grace Blackwell超級芯片

    MediaTek與NVIDIA近日宣布了項重要合作,雙方將共同設計NVIDIA GB10 Grace Blackwell超級
    的頭像 發表于 01-13 10:48 ?423次閱讀

    MediaTek與NVIDIA攜手打造超級芯片

    近日,在即將舉行的CES2025消費電子展上,MediaTek宣布了項重大合作——與NVIDIA共同設計NVIDIA GB10 Grace Blackwell
    的頭像 發表于 01-10 13:49 ?377次閱讀

    MediaTek與NVIDIA攜手打造GB10 Grace Blackwell超級芯片

    MediaTek近日正式宣布與NVIDIA攜手合作,共同設計NVIDIA GB10 Grace Blackwell超級芯片。這款
    的頭像 發表于 01-08 15:32 ?603次閱讀

    聯發科與NVIDIA合作 為NVIDIA 個人AI超級計算機設計NVIDIA GB10超級芯片

    聯發科近日宣布與NVIDIA合作設計NVIDIA GB10 Grace Blackwell超級芯片,將應用于
    的頭像 發表于 01-07 16:26 ?425次閱讀

    NVIDIA Colossus超級計算機集群突破10萬顆Hopper GPU

    NVIDIA近日宣布,其位于田納西州孟菲斯市的xAI Colossus超級計算機集群規模已壯大至10萬顆NVIDIA Hopper GPU。這
    的頭像 發表于 10-30 10:29 ?510次閱讀

    挑選海外云服務器提供商攻略

    挑選海外云服務器提供商綜合考量多方面因素的過程。在明確自身需求的基礎上,可以從性能、成本、安全、服務等多個維度進行全面評估。
    的頭像 發表于 10-15 18:20 ?393次閱讀

    NVIDIA GB200超級芯片引領液冷散熱新紀元

    ,特別是其單顆B200芯片功耗高達1000W,以及由Grace CPU與兩顆Blackwell GPU組成的超級
    的頭像 發表于 08-01 16:35 ?1558次閱讀

    NVIDIA 通過 Holoscan 為 NVIDIA IGX 提供企業軟件支持

    Enterprise-IGX軟件現已在NVIDIA IGX平臺上正式可用,以滿足工業邊緣對實時 AI 計算日益增長的需求。它們將共同幫助醫療、工業和科學計算領域的解決方案提供商利用企業級軟件和支持來加快開發
    的頭像 發表于 06-04 10:21 ?726次閱讀

    NVIDIA AI Enterprise榮獲金獎

    NVIDIA AI Enterprise、GH200 Grace Hopper 超級芯片和 Sp
    的頭像 發表于 05-29 09:27 ?671次閱讀
    <b class='flag-5'>NVIDIA</b> AI Enterprise榮獲金獎

    亞馬遜AWS暫緩采購英偉達GH200芯片,期待Blackwell更強

    然而,AWS對此予以澄清,稱實際上并未取消任何對英偉達的訂單。據其代表解釋,此次從Grace Hopper芯片轉向Blackwell芯片的調
    的頭像 發表于 05-22 15:05 ?889次閱讀

    亞馬遜未中斷英偉達訂單,等待Grace Blackwell更強性能

    英國《金融時報》昨日報道稱,亞馬遜AWS已暫停訂購英偉達最新款“超級芯片Grace Hopper,等待性能更強的新品
    的頭像 發表于 05-22 11:00 ?626次閱讀

    SiPearl更新Rhea1處理器規格,聚焦HPC與AI推理應用

    據了解,Rhea1處理器將與英偉達GH200 Grace Hopper超級芯片共同為歐洲首臺E級超算JUPITER
    的頭像 發表于 05-15 11:41 ?601次閱讀

    NVIDIA Grace Hopper點亮AI超級計算新時代

    瑞士 Alps、法國 EXA1-HE 等超級計算機將使用高能效的、基于 Grace 的系統為氣候和天氣、科學探索等領域提供 200 EFLOPS AI 算力,以支持突破性研究。
    的頭像 發表于 05-15 09:46 ?583次閱讀

    NVIDIA通過CUDA-Q平臺為全球各地的量子計算中心提供加速

    德國、日本和波蘭的超級計算機利用 Grace-Hopper 和量子-經典加速超算平臺推進量子計算研究。
    的頭像 發表于 05-14 09:15 ?560次閱讀

    步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片

    提升至 30 倍 GB200 NVL72 集群將多個由 GB200 驅動的系統整合到液冷機架中。連接 36 GB
    發表于 05-13 17:16
    主站蜘蛛池模板: 黄色一级大片视频 | 无毒三级 | 色屁屁www免费看视频影院 | 国产成人精品日本 | 成人在线免费网站 | 久久精品免费 | 四虎国产精品免费久久影院 | 男女交性永久免费视频播放 | www.亚洲成人| 国产精品美女免费视频大全 | 黄 色 录像成 人播放免费 | 国产精品久久免费观看 | 天天色成人网 | 亚洲 欧美 校园 | 久久综合九色综合97_ 久久久 | 成人xx视频免费观看 | 久草一区 | 爱爱免费小视频 | 中文字幕 亚洲一区 | 日本又粗又长一进一出抽搐 | 久久电影www成人网 久久电影福利 | 国内精品一级毛片免费看 | 国产三级毛片视频 | 日韩午夜r电影在线观看 | 婷婷六月色 | 7086bt伙计 福利一区 | 男男浪荡性受高hnp肉 | 亚洲成人在线网站 | 天天看片天天干 | 免费高清特级毛片 | 欧美色一级 | 资源在线www天堂 | 亚洲第一页国产 | 日本美女黄网站 | 国产精品资源网站在线观看 | 一级毛片 在线播放 | 成 人 免费 网站 | 5x性区m免费毛片视频看看 | 免费的色网站 | 国产女主播在线播放一区二区 | 三级色图 |