NVIDIA NeMo Megatron 框架; 可定制的大規模語言模型Megatron 530B；多GPU、多節點 Triton推理服務器助力基于語言的AI開發和部署，推動行業和科學發展

NVIDIA為全球企業開發和部署大型語言模型打開了一扇新的大門——使這些企業能夠建立他們自己的、特定領域的聊天機器人、個人助理和其他AI應用程序，并能夠以前所未有的水平理解語言中的微妙和細微差別。

NVIDIA推出了為訓練具有數萬億參數的語言模型而優化的NVIDIA NeMo Megatron框架、為新領域和語言進行訓練的可定制大型語言模型（LLM）Megatron 530B以及具有多GPU、多節點分布式推理功能的NVIDIA Triton推理服務器。

這些工具與NVIDIA DGX系統相結合，提供了一個可部署到實際生產環境的企業級解決方案，以簡化大型語言模型的開發和部署。

“大型語言模型已被證明是靈活且功能強大的，無需專門的培訓或監督，即可回答深層次領域問題，翻譯語言，理解和總結文件，編寫故事和計算程序?！?NVIDIA應用深度學習研究副總裁Bryan Catanzaro表示?！?為新的語言和領域建立大型語言模型可能仍然是最大的超級計算的應用，現在這些功能對全球的企業也變得觸手可及?！?/p>

NVIDIA NeMo Megatron和Megatron 530B

加速大型語言模型開發

NVIDIA NeMo Megatron是在Megatron的基礎上發展起來的開源項目，由NVIDIA研究人員主導，研究大型轉換語言模型的高效訓練。Megatron 530B是世界上最大的可定制語言模型。

NeMo Megatron框架使企業能夠克服訓練復雜自然語言處理模型的挑戰。經過優化，可以在NVIDIA DGX SuperPOD的大規模加速計算基礎設施上進行擴展。

NeMo Megatron通過數據處理庫自動處理LLM訓練的復雜性，這些數據處理庫可以攝入、策劃、組織和清理數據。利用先進的數據、張量和管道并行化技術，它能使大型語言模型的訓練有效地分布在成千上萬的GPU上。企業可以通過NeMo Megatron框架進一步訓練它以服務新的領域和語言。

NVIDIA Triton推理服務器

助力實時大型語言模型推理

此外，今日發布的最新NVIDIA Triton推理服務器中的多GPU、多節點特性，使大型語言模型推理工作負載能夠實時在多個GPU和節點上擴展。這些模型需要的內存比單個GPU甚至是包含多個GPU的大型服務器所能提供的還要多，并且，實際應用對其推理實時性有著極高的要求。

通過Triton推理服務器，Megatron530B能夠在兩個NVIDIA DGX系統上運行，將處理時間從CPU服務器上的1分鐘以上縮短到半秒，令實時應用部署大型語言模型成為可能。

全球范圍開發的大規模定制語言模型

使用NVIDIA DGX SuperPOD構建大型復雜語言模型的早期客戶包括SiDi、京東探索研究院和VinBrai。 SiDi是巴西的一家大型AI 研究和開發機構，已經采用三星虛擬助手，供全國 2 億巴西葡萄牙語者使用。 SiDi 首席執行官John Yi 表示：“SiDi 團隊在AI 虛擬助理和聊天機器人開發方面擁有豐富的經驗，此類開發既需要強大的 AI 性能，也需要經過訓練并適應人類語言不斷變化的細微差別的專用軟件。NVIDIA DGX SuperPOD 非常適合推動我們團隊的先進工作，幫助我們為巴西的葡萄牙語者提供領先的AI 服務?！?京東探索研究院，是以供應鏈為基礎的領先技術和服務提供商京東的研發部門，他們利用 NVIDIA DGX SuperPOD 開發NLP，應用于智能客戶服務、智能零售、智能物流、物聯網、醫療健康等領域。 VinBrain，越南的醫療健康 AI 公司，他們使用 DGX SuperPOD 為100 家醫院的放射科醫生和遠程醫療醫生開發和部署了一種臨床語言模型。在這些醫院，已有 600 多名醫療健康從業者使用該模型。

供應情況

企業可以利用今天同期發布的NVIDIA LaunchPad，免費體驗開發和部署大型語言模型。行業組織可以申請加入搶先體驗計劃，了解用于訓練大規模語言模型的 NVIDIA NeMo Megatron 加速框架。

NVIDIA Triton可從NVIDIA NGC目錄中獲得，該目錄是GPU優化的AI軟件中心，包括框架、工具包、預訓練模型和Jupyter Notebooks，并可從Triton GitHub repository中獲取開放源代碼。

Triton也包含在NVIDIA AI Enterprise軟件套件中，該套件由NVIDIA優化、認證和支持。企業可以使用該軟件套件，在內部數據中心和私有云的主流加速服務器上運行語言模型推理。

NVIDIA DGX SuperPOD 和NVIDIA DGX 系統通過NVIDIA 的全球經銷商提供，這些合作伙伴能夠根據要求為符合條件的客戶提供詢價服務。

責任編輯：haq