2023年是大語言模型、生成式AI、ChatGPT、AIGC大爆發的一年。GPU是大規模深度學習、高性能計算的重要硬件基礎，而大語言模型，如生成式AI、ChatGPT等，則借助GPU的計算能力快速地訓練和推理，獲得更高的模型效果和更廣泛的應用場景。尤其在游戲開發領域，運用大語言模型可以加強游戲的情節推進、人工智能角色表現等方面的體驗，而加速訓練的英偉達GPU則可以使這些特征更加流暢。由于英偉達在GPU硬件設計和優化方面的領先地位，為大型語言模型的快速發展提供了扎實的技術基礎。

目前中國和美國研發的大型AI模型數量占全球總數的80%以上，中國排名全球第二，僅次于美國，其中，已經發布超過79個10億參數規模以上的大型AI模型。中國科學技術信息研究所所長、科技部新一代人工智能發展研究中心主任趙志耘表示，我國前期在人工智能領域的各項部署，為大模型發展奠定了堅實的基礎，并已經建立起涵蓋理論方法和軟硬件技術的體系化研發能力，形成了緊跟世界前沿的大模型技術群。

目前，我國參數規模在10億以上的大型AI模型數量達到79個，并且地域和領域分布相對于集中，全國14個省市/地區都在開展大模型研發，主要集中在北京和廣東兩地，其中北京28個，廣東22個。同時，大模型應用也在不斷拓展和深化落地。一方面，通用領域大模型如文心一言、通義千問、紫東太初、星火認知等正在快速發展，打造跨行業通用化人工智能能力平臺，其應用行業在辦公、生活、娛樂向醫療、工業、教育等加速滲透；另一方面，針對生物制藥、遙感、氣象等垂直領域的專用大模型，發揮其領域縱深優勢，提供針對特定業務場景的高質量專業化解決方案。

5月29日，英偉達在2023臺北電腦展大會推出了DGX GH200 AI超級計算機，這是配備256顆Grace Hopper超級芯片和NVIDIA NVLink交換機系統的尖端系統，具有1 exaflop性能和144TB共享內存。該超級計算機的推出，在人工智能領域引起了轟動，標志著英偉達在大型AI模型技術和硬件設計領域的再次領先。其強大的計算和網絡技術，為生成式AI、大型語言模型和推薦系統的應用和開發帶來了更廣闊的前景，進一步拓展了AI的邊界。此外，DGX GH200還是第一臺Grace Hopper超級芯片和NVLink交換機系統配對的超級計算機，其帶寬較之前顯卡相比多48倍，為人工智能先驅和云服務提供商打開了探索新領域的大門。

DGX GH200與生成式AI

英偉達發布了一系列面向生成式AI的產品和服務，包括大內存生成式AI超級計算機DGX GH200、Grace Hopper超級芯片GH200的全面投產、全新加速以太網平臺Spectrum-X、定制化AI模型代工服務、與WPP合作打造生成式AI內容引擎等，多項舉措都為生成式AI的應用與發展提供了更廣闊的前景。

此外，英偉達還發布了MGX服務器規范，并且已有1600多家生成式AI公司采用了英偉達技術。

目前，英偉達市值已經達到9632億美元，僅差一步之遙即可加入“萬億市值俱樂部”，成為美國上市公司市值排名第五的企業和第一家由華人創立的萬億美元市值公司。

E級算力，谷歌云、Meta、微軟首批試用

英偉達日前發布了一款采用最新GPU和CPU的系統巔峰之作——新型大內存AI超級計算機DGX GH200，預計于今年年底上市。

該超算旨在支持生成式AI語言應用、推薦系統和數據分析工作負載的大型下一代模型。DGX GH200集成了先進的加速計算和網絡技術，是首款將Grace Hopper超級芯片與英偉達NVLink Switch系統搭配的超級計算機。

采用新互連方式，256個Grace Hopper超級芯片可以像單個巨型GPU一樣協同運行，提供了1EFLOPS性能和144TB共享內存，比上一代DGX A100 320GB系統的內存多出近500倍。

谷歌云、Meta、微軟等是首批獲得訪問權限的公司，英偉達打算將DGX GH200設計藍圖提供給其他云服務商及超大規模計算廠商，以便他們進一步為其基礎設施定制DGX GH200。

英偉達還正在打造自己的基于DGX GH200的大型AI超級計算機NVIDIA Helios，將于今年年底上線。此外，DGX GH200超級計算機包含英偉達軟件，提供AI工作流管理、企業級集群管理、加速計算、存儲和網絡基礎設施庫，以及100多個框架、預訓練模型和開發工具，以簡化AI生產的開發和部署。

英偉達的Base Command軟件可以幫助管理AI工作流程、企業級集群、加速計算和存儲、網絡基礎設施等，而AI Enterprise軟件層則提供了許多框架、預訓練模型和開發工具，以簡化AI生產的開發和部署。DGX GH200超級計算機的推出將有助于推動AI技術的發展，為各行各業提供更快、更強大的AI計算能力，加速AI技術的應用和落地。

GH200芯片全面投產

英偉達日前宣布，已全面投產GH200 Grace Hopper超級芯片，將為AI和高性能計算工作負載提供動力。

基于GH200的系統已經被全球制造商采用，提供了超過400個配置，這些系統都基于英偉達的最新Grace Hopper和Ada Lovelace架構。

GH200 Grace Hopper超級芯片采用了NVIDIA NVLink-C2C互連技術，將英偉達Grace CPU和Hopper GPU架構組合在同一封裝中，提供高達900GB/s的總帶寬，比傳統加速系統中的標準PCIe Gen5通道帶寬高7倍，同時互連功耗降低到原來的1/5，能夠滿足苛刻的生成式AI和高性能計算（HPC）應用。預計幾家全球超大規模計算企業和超算中心客戶將采用GH200驅動的系統，這些系統將于今年晚些時候上市。

打造數億美元生成式AI超算

此外，黃仁勛還宣布推出NVIDIA Spectrum-X平臺，旨在提高基于以太網的AI云的性能和效率。

Spectrum-X基于網絡創新，將英偉達Spectrum-4交換機和BlueField-3 DPU緊密耦合，實現了1.7倍的整體AI性能和能效提升，并通過性能隔離增強了多租戶功能，保持一致和可預測的性能。

Spectrum-X具有高度通用性，能夠用于各種AI應用，與基于以太網的堆棧互操作，支持開發者構建軟件定義的云原生AI應用程序。全球各大云計算提供商正在采用Spectrum-X平臺擴展生成式AI服務。Spectrum-X、Spectrum-4交換機、BlueField-3 DPU等現已在戴爾、聯想、超微等系統制造商處提供。

NVIDIA正在以色列數據中心構建一臺超大規模生成式AI超級計算機Israel-1作為Spectrum-X參考設計的藍圖和測試平臺。該超算將采用戴爾PowerEdge XE9680服務器、英偉達HGX H100超級計算平臺、內置BlueField-3 DPU和Spectrum-4交換機的Spectrum-X平臺，預計價值數億美元。該平臺支持256個200Gb/s端口通過單個交換機連接，或在兩層leaf-spine拓撲中提供16000個端口，以支持AI云的增長和擴展，同時保持高水平的性能并最大限度地減少網絡延遲。

全球領先的云計算提供商正在采用Spectrum-X平臺擴展生成式AI服務。Spectrum-X、Spectrum-4交換機、BlueField-3 DPU等現已在戴爾、聯想、超微等系統制造商處提供。

MGX服務器規范

模塊化參考架構

黃仁勛同時發布了NVIDIA MGX服務器規范，為系統制造商提供了模塊化參考架構，以適應廣泛的AI、HPC及NVIDIA Omniverse應用。

MGX支持英偉達全系列GPU、CPU、DPU和網絡適配器，以及各種x86及Arm處理器，這使得制造商能夠更有效地滿足每個客戶的獨特預算、電力輸送、熱設計和機械要求。

永擎（ASRock Rack）、華碩（ASUS）、技嘉（GIGABYTE）、和碩（Pegatron）、QCT、超微（Supermicro）等將采用MGX構建下一代加速計算機，可將開發成本削減多達3/4，并將開發時間縮短2/3至僅需6個月。MGX可以從為其服務器機箱加速計算優化的基本系統架構開始，然后選擇GPU、DPU和CPU。同時，MGX提供了英偉達產品靈活的多代兼容性，以確保制造商可以重用現有設計并輕松采用下一代產品。MGX還能輕松集成到云和企業數據中心中。

除了MGX規范外，黃仁勛還宣布，英偉達與日本電信巨頭軟銀合作，在日本建立一個分布式數據中心網絡。該網絡將在一個共同的云平臺上提供5G服務和生成式AI應用。數據中心將使用MGX系列（包括Grace Hopper、BlueField-3 DPU和Spectrum以太網交換機）以提供5G協議所需的高精度定時，并提高頻譜效率以降低成本和能耗。

這些系統有助于探索自動駕駛、AI工廠、AR/VR、計算機視覺和數字孿生等領域的應用。未來的用途可能包括3D視頻會議和全息通信。這將為這些領域提供更高效、更靈活和更先進的解決方案，推動技術和產業的發展。

GH200在游戲行業的應用

黃仁勛在宣布推出針對游戲的Avatar云引擎（ACE）服務，這是一項定制AI模型代工服務，中間件、工具和游戲開發者可以使用它來構建和部署定制的語音、對話和動畫AI模型。

ACE能賦予非玩家角色（NPC）更智能且不斷進化的對話技能，使其能夠以栩栩如生的個性來回答玩家的問題。ACE for Games為語音、對話和角色動畫提供了優化的AI基礎模型，包括：英偉達NeMo，使用專有數據，構建、定制和部署語言模型；英偉達Riva，用于自動語音識別和文本轉語音，以實現實時語音對話；英偉達Omniverse Audio2Face，用于即時創建游戲角色的表情動畫，以匹配任何語音軌道。

此外，英偉達與其子公司Convai合作，展示了如何快速用英偉達ACE for Games來構建游戲NPU。在名為“Kairos”的演示中，英偉達展示了一個與一個拉面店的供應商Jin互動的游戲。基于生成式AI，Jin雖是個NPC，卻能擬真地回答自然語言問題，且回答內容與敘述的背景故事一致。開發人員可以集成整個NVIDIA ACE for Games解決方案，也可以只使用他們需要的組件。多家游戲開發商和初創公司已采用英偉達的生成式AI技術。

黃仁勛還介紹了英偉達和微軟如何在生成式AI時代合作推動Windows PC的創新。新的和增強的工具、框架和驅動程序使PC開發者更容易開發和部署AI，例如用于優化和部署GPU加速AI模型和新圖形驅動程序的微軟Olive工具鏈將提高帶有英偉達GPU的Windows PC上的DirectML性能。此次合作將增強和擴展搭載RTX GPU的1億臺PC的安裝基礎，可提升400多個AI加速的Windows應用程序和游戲的性能。這將為PC游戲帶來更高的性能和更好的體驗，同時也將推動AI在Windows PC上的應用和發展。

總的來說，黃仁勛在宣布中介紹了NVIDIA在游戲AI方面的最新進展和合作，包括Avatar云引擎（ACE）服務、微軟合作推動Windows PC的創新等。這些技術和合作將為游戲開發者帶來更多的AI工具和解決方案，為玩家帶來更好的游戲體驗。

DGX GH200在數字廣告中的應用

英偉達的生成式AI技術也將在數字廣告行業帶來新機遇。基于NVIDIA AI和Omniverse技術的引擎將多個創意3D和AI工具連接在一起，以大規模革新商業內容和體驗。

英國WPP集團，全球最大的營銷服務機構，正與英偉達合作，利用Omniverse Cloud構建首個生成式AI內容引擎，以更高效和高質量的方式為客戶創建商業內容。

新引擎連接了來自Adobe和Getty Images等工具的3D設計、制造和創意供應鏈工具的生態系統。黃仁勛在演講中展示了創意團隊如何將他們的3D設計工具連接在一起，并在Omniverse中構建客戶產品的數字孿生。使用負責任的數據來源訓練生成式AI技術并結合英偉達Picasso一起構建，使其能夠快速生成虛擬集。此后，WPP客戶可利用完整的場景生成大量廣告、視頻和3D體驗，供全球市場和用戶在任何網絡設備上使用。

這項合作在數字廣告領域持續推動著生成式AI技術的發展。WPP首席執行官馬克·里德表示，生成式AI技術正在以驚人的速度改變營銷世界，合作所提供的獨特競爭優勢將改變品牌為商業用途創建內容的方式，并鞏固WPP在為世界頂級品牌創造性應用AI方面的行業領導地位。

DGX GH200在

電子制造商中的應用

全球電子制造商正在使用一種全新的綜合參考工作流程，這種工作流程結合了英偉達的多種技術，包括生成式AI、3D協作、仿真和自主機器，旨在幫助制造商規劃、構建、運營和優化他們的工廠。這些技術包括英偉達的Omniverse，它連接了頂級計算機輔助設計和生成式AI的API和前沿框架；英偉達的Isaac Sim應用程序，用于模擬和測試機器人；英偉達的Metropolis視覺AI框架，用于自動光學檢測。

英偉達使電子制造商能夠輕松構建和運營虛擬工廠，將其制造和檢驗工作流程數字化，并大大提高質量和安全，減少代價高昂的最后一刻意外和延誤。黃仁勛在現場展示了一個完全數字化的智能工廠的演示。

富士康工業互聯網、宜鼎國際、和碩、廣達和緯創正在使用英偉達的參考工作流程，以優化他們的工作單元和裝配線運營，同時降低生產成本，具體用例包括電路板質保檢測點自動化、光學檢測自動化、建設虛擬工廠、模擬協作機器人、構建及運營數字孿生等。

英偉達正在與幾家領先的制造工具和服務提供商合作，構建一個全棧、單一的架構，每個架構都適用于每個工作流程級別。

在系統層面，英偉達IGX Orin提供了一個一體化的邊緣AI平臺，將工業級硬件與企業級軟件和支持相結合。IGX滿足邊緣計算獨特的耐用性和低功耗要求，同時提供開發和運行AI應用程序所需的高性能。其制造商合作伙伴們正在開發IGX驅動的系統，以服務于工業和醫療市場。

在平臺層面，Omniverse連接了世界領先的3D、模擬和生成式AI提供商，團隊可在他們最喜歡的應用程序之間構建互操作性，比如來自Adobe、Autodesk和Siemens的應用程序。

這些技術的整合使得制造商能夠在一個統一的平臺上進行設計、仿真、測試和生產，從而大大提高效率和質量。此外，英偉達還提供了一系列工具和服務，幫助制造商管理和優化他們的生產線，包括實時監控、數據分析和預測性維護。

英偉達的數字化工廠解決方案不僅適用于電子制造業，還可以應用于其他行業，如汽車制造、航空航天、醫療設備等。這些行業都需要高度自動化和數字化的生產線，以滿足不斷增長的市場需求和質量標準。

GH200產品參數

GH200是英偉達推出的最新超級計算機，最多可以放置256個GPU，適用于超大型AI模型的部署。相比之前的DGX服務器，GH200提供線性拓展方式和更高的GPU共享內存編程模型，可通過NVLink高速訪問144TB內存，是上一代DGX的500倍。其架構提供的NVLink帶寬是上一代的48倍，使得千億或萬億參數以上的大模型能夠在一臺DGX內放置，進一步提高模型效率和多模態模型的開發進程。

GPU的統一內存編程模型一直是復雜加速計算應用取得突破的基石。NVIDIA Grace Hopper Superchip與NVLink開關系統配對，在NVIDIA DGX GH200系統中整合了256個GPU，通過NVLink高速訪問144TB內存。與單個NVIDIA DGX A100 320 GB系統相比，NVIDIA DGX GH200為GPU共享內存編程模型提供了近500倍的內存，是突破GPU通過NVLink訪問內存的100TB障礙的第一臺超級計算機。NVIDIA Base Command的快速部署和簡化系統管理使用戶能夠更快地進行加速計算。

NVIDIA DGX GH200系統采用了NVIDIA Grace Hopper Superchip和NVLink Switch System作為其構建塊。NVIDIA Grace Hopper Superchip將CPU和GPU結合在一起，使用NVIDIA NVLink-C2C技術提供一致性內存模型，并提供高帶寬和無縫的多GPU系統。每個Grace Hopper超級芯片都擁有480GB的LPDDR5 CPU內存和96GB的快速HBM3，提供比PCIe Gen5多7倍的帶寬，與NVLink-C2C互連。

NVLink開關系統使用第四代NVLink技術，將NVLink連接擴展到超級芯片，以創建一個兩級、無阻塞、NVLink結構，可完全連接256個Grace Hopper超級芯片。這種結構提供900GBps的內存訪問速度，托管Grace Hopper Superchips的計算底板使用定制線束連接到第一層NVLink結構，并由LinkX電纜擴展第二層NVLink結構的連接性。

在DGX GH200系統中，GPU線程可以使用NVLink頁表來訪問來自其他Grace Hopper超級芯片的內存，并通過NVIDIA Magnum IO加速庫來優化GPU通信以提高效率。該系統擁有128 TBps的對分帶寬和230.4 TFLOPS的NVIDIA SHARP網內計算，可加速AI常用的集體運算，并將NVLink網絡系統的實際帶寬提高一倍。每個Grace Hopper Superchip都配備一個NVIDIA ConnectX-7網絡適配器和一個NVIDIA BlueField-3 NIC，以擴展到超過256個GPU，可以互連多個DGX GH200系統，并利用BlueField-3 DPU的功能將任何企業計算環境轉變為安全且加速的虛擬私有云。

對于受GPU內存大小瓶頸的AI和HPC應用程序，GPU內存的代際飛躍可以顯著提高性能。對于許多主流AI和HPC工作負載，單個NVIDIA DGX H100的聚合GPU內存可以完全支持。對于其他工作負載，例如具有TB級嵌入式表的深度學習推薦模型(DLRM)、TB級圖形神經網絡訓練模型或大型數據分析工作負載，使用DGX GH200可實現4至7倍的加速。這表明DGX GH200是更高級的AI和HPC模型的更好解決方案，這些模型需要海量內存來進行GPU共享內存編程。

DGX GH200是專為最嚴苛的工作負載而設計的系統，每個組件都經過精心挑選，以最大限度地減少瓶頸，同時最大限度地提高關鍵工作負載的網絡性能，并充分利用所有擴展硬件功能。這使得該系統具有高度的線性可擴展性和海量共享內存空間的高利用率。

為了充分利用這個先進的系統，NVIDIA還構建了一個極高速的存儲結構，以峰值容量運行并處理各種數據類型（文本、表格數據、音頻和視頻），并且表現穩定且并行。

DGX GH200附帶NVIDIA Base Command，其中包括針對AI工作負載優化的操作系統、集群管理器、加速計算的庫、存儲和網絡基礎設施，這些都針對DGX GH200系統架構進行了優化。此外，DGX GH200還包括NVIDIA AI Enterprise，提供一套經過優化的軟件和框架，可簡化AI開發和部署。這種全堆棧解決方案使客戶能夠專注于創新，而不必擔心管理其IT基礎架構。

審核編輯：湯梓紅