微軟 Azure AI 基礎設施是微軟擴展產品和服務的核心支柱，為開發人員提供在 Azure 平臺上構建下一代 AI 驅動的應用程序所需的系統、工具和資源。

微軟在硬件和 AI 基礎設施上的早期投資，正在幫助客戶將 AI 的高效和創新變現為業務價值。借力 AI，用戶可以創造更豐富的用戶體驗，推動創新，提高業務生產力。

微軟 Azure AI 基礎設施能夠支持全球可擴展，且未來微軟仍將對其進行持續投資與擴展。現在，微軟推出了 ND H100 v5 虛擬機系列，這款虛擬機配備了 NVIDIA H100 Tensor Core 圖形處理單元（GPU）和低延遲網絡，推動企業步入 AI 應用新時代。

前所未有的 AI 處理和規模

ND H100 v5 虛擬機系列發布

微軟全新發布Azure ND H100 v5 虛擬機（VM）系列，現已在美國東部和美國中南部 Azure 區域提供。該系列配備了最新的 NVIDIA H100 Tensor Core GPU 和 NVIDIA Quantum-2 InfiniBand 網絡。憑借在超級計算性能和規模方面的豐富經驗，微軟精心設計的 ND H100 v5 系列虛擬機，用于應對先進的 AI 工作負載帶來的日益增加的復雜性。作為微軟在 AI 領域深入和持續投資的一部分，微軟正在利用一個 AI 優化的 4K GPU 集群，并將在明年將其擴展到數十萬個全新的 GPU。

ND H100 v5 VM 虛擬機系列具有以下特性：

• AI 超級計算 GPU：配備了八個 NVIDIA H100 Tensor Core GPU。比起上一代虛擬機，該系列可讓 AI 模型顯著提速，為企業提供無與倫比的計算能力。

• 新一代計算機處理單元（CPU）：CPU 性能對于 AI 的訓練和推理至關重要，微軟選擇了第四代 Intel Xeon Scalable 處理器，確保虛擬機達到最佳的處理速度。

• 低延遲網絡：采用 NVIDIA Quantum-2 ConnectX-7 InfiniBand，每個 GPU 擁有 400Gb/s、每個 VM 擁有 3.2 Tb/s 的跨節點帶寬，確保 GPU 間的無縫性能，堪稱全球頂級的超級計算機。

• 優化主機到 GPU 的性能：通過PCIe Gen5提供每個GPU 64GB/s的帶寬，Azure在CPU和GPU之間具有顯著的性能優勢。

• 大規模的內存和內存帶寬：DDR5 內存是該系列虛擬機的核心，提供更高的數據傳輸速度和效率，使它們成為處理大規模數據集工作負載的理想選擇。

該系列虛擬機已經證明了它們的性能優勢，使用新的8位 FP8 浮點數據類型進行矩陣乘法操作時，速度提升了六倍，比前一代的 FP16 更快。ND H100 v5 VM 幫助大型語言模型（如 BLOOM 175B 端到端模型）實現了最高兩倍的推理速度提升，驗證了它們進一步優化 AI 應用的潛力。

由 Azure AI 基礎設施支持的人工智能，具有推動從制造到零售、從金融服務到醫療保健等各行各業發展的潛力。