全新 VMware Private AI Foundation With NVIDIA 幫助企業(yè)為生成式 AI 在業(yè)務(wù)中的應(yīng)用做好準(zhǔn)備；該平臺(tái)將在數(shù)據(jù)隱私性、安全性和可控性方面提供進(jìn)一步支持

拉斯維加斯 — VMware Explore — 太平洋時(shí)間 2023 年 8 月 22 日 — VMware（NYSE：VMW）和 NVIDIA（NASDAQ：NVDA）于今日宣布擴(kuò)展雙方的戰(zhàn)略合作伙伴關(guān)系，幫助數(shù)十萬家使用 VMware 云基礎(chǔ)架構(gòu)的企業(yè)做好準(zhǔn)備，迎接AI時(shí)代的到來。

VMware Private AI Foundation with NVIDIA 將使企業(yè)能夠自定義模型并運(yùn)行各種生成式 AI 應(yīng)用，如智能聊天機(jī)器人、助手、搜索和摘要等。該平臺(tái)將作為全集成式解決方案，采用 NVIDIA 提供的生成式 AI 軟件和加速計(jì)算，基于 VMware Cloud Foundation 構(gòu)建，并針對 AI 進(jìn)行了優(yōu)化。

VMware 首席執(zhí)行官 Raghu Raghuram 表示：“生成式 AI 與多云可謂珠聯(lián)璧合?？蛻舻臄?shù)據(jù)無處不在，遍布其數(shù)據(jù)中心、邊緣、云等多處。我們將與 NVIDIA 一同助力企業(yè)放心地在數(shù)據(jù)附近運(yùn)行生成式 AI 工作負(fù)載，并解決其在企業(yè)數(shù)據(jù)隱私、安全和控制方面的問題?！?/p>

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“世界各地的企業(yè)都在競相將生成式 AI 整合到自身業(yè)務(wù)中。通過與 VMware 擴(kuò)大合作，我們將能夠?yàn)榻鹑诜?wù)、醫(yī)療、制造等領(lǐng)域的數(shù)十萬家客戶提供其所需的全棧式軟件和計(jì)算，使其能夠使用基于自身數(shù)據(jù)定制的應(yīng)用，充分挖掘生成式 AI 的潛力?！?/p>

全棧式計(jì)算大幅提升生成式 AI 的性能

為更快實(shí)現(xiàn)業(yè)務(wù)效益，企業(yè)希望簡化并提高生成式 AI 應(yīng)用的開發(fā)、測試和部署效率。根據(jù)麥肯錫的預(yù)測，生成式 AI 每年可為全球經(jīng)濟(jì)帶來多達(dá) 4.4 萬億美元的增長。

VMware Private AI Foundation with NVIDIA 將助力企業(yè)充分利用這一能力，以定制大語言模型，創(chuàng)建供內(nèi)部使用的更加安全的私有模型，將生成式 AI 作為一項(xiàng)服務(wù)提供給用戶，并更加安全地大規(guī)模運(yùn)行推理工作負(fù)載。

該平臺(tái)計(jì)劃提供的各種集成式 AI 工具，將幫助企業(yè)經(jīng)濟(jì)高效地運(yùn)行使用其私有數(shù)據(jù)訓(xùn)練而成的成熟模型。這一建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 軟件上的平臺(tái)預(yù)計(jì)能夠提供以下方面的優(yōu)勢：

• 隱私：將通過能夠保護(hù)數(shù)據(jù)隱私并確保訪問安全的架構(gòu)，使客戶能夠在任何數(shù)據(jù)所在地輕松運(yùn)行 AI 服務(wù)。

• 選擇：從 NVIDIA NeMo 到 Llama 2 等，企業(yè)在構(gòu)建和運(yùn)行其模型的位置上，將擁有廣泛的選擇空間，包括領(lǐng)先的 OEM 硬件配置以及未來的公有云和服務(wù)提供商解決方案。

• 性能：近期的行業(yè)基準(zhǔn)測試表明，某些用例在 NVIDIA 加速基礎(chǔ)設(shè)施上運(yùn)行的性能與裸機(jī)性能相當(dāng)，甚至超過了裸機(jī)性能。

• 數(shù)據(jù)中心規(guī)模：虛擬化環(huán)境中的 GPU 擴(kuò)展優(yōu)化使 AI 工作負(fù)載能夠在單個(gè)虛擬機(jī)和多個(gè)節(jié)點(diǎn)上擴(kuò)展到最多 16 顆 vGPU/GPU，從而加快生成式 AI 模型的微調(diào)和部署速度。

• 更低的成本：將最大程度地利用 GPU、DPU 和 CPU 的所有計(jì)算資源以降低總體成本，并創(chuàng)建可在各個(gè)團(tuán)隊(duì)間高效共享的池化資源環(huán)境。

• 加速存儲(chǔ)：VMware vSAN Express Storage Architecture 提供性能經(jīng)過優(yōu)化的 NVMe 存儲(chǔ)，并支持通過 RDMA 實(shí)現(xiàn) GPUDirect 存儲(chǔ)，從而無需 CPU 即可實(shí)現(xiàn)從存儲(chǔ)到 GPU 的直接 I/O 傳輸。

• 加速網(wǎng)絡(luò)：vSphere 與 NVIDIA NVSwitch 技術(shù)之間的深度集成將進(jìn)一步確保多 GPU 模型的執(zhí)行不會(huì)出現(xiàn) GPU 間瓶頸問題。

• 快速部署和價(jià)值實(shí)現(xiàn)時(shí)間：vSphere Deep Learning VM 鏡像和鏡像庫將提供穩(wěn)定的統(tǒng)包解決方案鏡像，該鏡像預(yù)先安裝了各種框架和性能經(jīng)過優(yōu)化的庫，可實(shí)現(xiàn)快速原型開發(fā)。

該平臺(tái)將采用的 NVIDIA NeMo 是 NVIDIA AI Enterprise（NVIDIA AI 平臺(tái)的操作系統(tǒng)）中包含的端到端云原生框架，可助力企業(yè)在幾乎任何地點(diǎn)構(gòu)建、自定義和部署生成式 AI 模型。NeMo 集自定義框架、護(hù)欄工具包、數(shù)據(jù)整理工具和預(yù)訓(xùn)練模型于一身，使企業(yè)能夠以一種簡單、經(jīng)濟(jì)且快速的方式來采用生成式 AI。

為將生成式 AI 部署到生產(chǎn)中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速并優(yōu)化 NVIDIA GPU 上最新 LLM 的推理性能。通過 NeMo，VMware Private AI Foundation with NVIDIA 將使企業(yè)能夠?qū)胱约旱臄?shù)據(jù)，并在 VMware 混合云基礎(chǔ)架構(gòu)上構(gòu)建和運(yùn)行自定義生成式 AI 模型。

在 VMware Explore 2023 大會(huì)上，NVIDIA 與 VMware 重點(diǎn)介紹了企業(yè)內(nèi)部的開發(fā)人員如何使用全新 NVIDIA AI Workbench 提取社區(qū)模型（例如 Hugging Face 上提供的 Llama 2），對這些模型進(jìn)行遠(yuǎn)程自定義并在 VMware 環(huán)境中部署生產(chǎn)級生成式 AI。

生態(tài)圈對 VMware Private AI Foundation With NVIDIA 的廣泛支持

VMware Private AI Foundation with NVIDIA 將得到戴爾、慧與和聯(lián)想的支持。這三家企業(yè)將率先提供搭載 NVIDIA L40S GPU、NVIDIA BlueField-3 DPU 和 NVIDIA ConnectX-7 智能網(wǎng)卡的系統(tǒng)，這些系統(tǒng)將加速企業(yè) LLM 定制和推理工作負(fù)載。

相較于 NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU 可將生成式 AI 的推理性能和訓(xùn)練性能分別提高 1.2 倍和 1.7 倍。

NVIDIA BlueField-3 DPU 可加速、卸載和隔離 GPU 或 CPU 上的巨大計(jì)算工作負(fù)載，其中包含虛擬化、網(wǎng)絡(luò)、存儲(chǔ)、安全，以及其他云原生 AI 服務(wù)。

NVIDIA ConnectX-7 智能網(wǎng)卡可為數(shù)據(jù)中心基礎(chǔ)設(shè)施提供智能、加速網(wǎng)絡(luò)，以承載全球一些要求嚴(yán)苛的 AI 工作負(fù)載。

VMware Private AI Foundation with NVIDIA 建立在兩家公司長達(dá)十年的合作基礎(chǔ)之上。雙方的聯(lián)合研發(fā)成果優(yōu)化了 VMware 的云基礎(chǔ)架構(gòu)，使其能夠以媲美裸機(jī)的性能運(yùn)行 NVIDIA AI Enterprise。VMware Cloud Foundation 所提供的資源及基礎(chǔ)架構(gòu)管理與靈活性將進(jìn)一步惠及雙方共同的客戶。

供應(yīng)情況

VMware 計(jì)劃于 2024 年初發(fā)布 VMware Private AI Foundation with NVIDIA。