以下文章來(lái)源于谷歌云服務(wù)，作者 Google Cloud

Amin Vahdat

ML、系統(tǒng)與 Cloud AI 副總裁/總經(jīng)理

Mark Lohmeyer

計(jì)算與 ML 基礎(chǔ)設(shè)施副總裁/總經(jīng)理

生成式 AI 模型正在迅速發(fā)展，提供了前所未有的精密性和功能。這項(xiàng)技術(shù)進(jìn)展得以讓各行各業(yè)的企業(yè)和開(kāi)發(fā)人員能夠解決復(fù)雜的問(wèn)題，開(kāi)啟新的機(jī)遇之門(mén)。然而，生成式 AI 模型的增長(zhǎng)也導(dǎo)致訓(xùn)練、調(diào)整和推理方面的要求變得更加嚴(yán)苛。過(guò)去五年來(lái)，生成式 AI 模型的參數(shù)每年增長(zhǎng)十倍，如今的大模型具有數(shù)千億甚至上萬(wàn)億項(xiàng)參數(shù)，即使在最專(zhuān)業(yè)的系統(tǒng)上仍需要相當(dāng)長(zhǎng)的訓(xùn)練時(shí)間，有時(shí)需持續(xù)數(shù)月才能完成。此外，高效的 AI 工作負(fù)載管理需要一個(gè)具備一致性能、優(yōu)化的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、軟件和開(kāi)發(fā)框架所組成的集成 AI 堆棧。

為了應(yīng)對(duì)這些挑戰(zhàn)，我們很高興宣布推出 Cloud TPU v5p，這是 Google 迄今為止功能、可擴(kuò)展性、靈活性最為強(qiáng)大的 AI 加速器。長(zhǎng)期以來(lái)，TPU 一直是訓(xùn)練和服務(wù) AI 支持的產(chǎn)品的基礎(chǔ)，例如 YouTube、Gmail、Google 地圖、Google Play 和 Android。事實(shí)上，Google 剛剛發(fā)布的功能最強(qiáng)大的通用 AI 模型 Gemini 就是使用 TPU 進(jìn)行訓(xùn)練和服務(wù)的。

此外，我們也宣布推出 Google Cloud AI Hypercomputer，這是一種突破性的超級(jí)計(jì)算機(jī)架構(gòu)，采用集成系統(tǒng)，并結(jié)合了性能優(yōu)化的硬件、開(kāi)放軟件、領(lǐng)先的 ML 框架和靈活的消費(fèi)模式。傳統(tǒng)方法通常是以零碎的組件級(jí)增強(qiáng)來(lái)解決要求嚴(yán)苛的 AI 工作負(fù)載，這可能會(huì)導(dǎo)致效率不佳和性能瓶頸。相比之下，AI Hypercomputer 采用系統(tǒng)級(jí)協(xié)同設(shè)計(jì)來(lái)提高 AI 訓(xùn)練、調(diào)整和服務(wù)的效率和生產(chǎn)力。

01

探索 Cloud TPU v5p

Google Cloud 目前功能最強(qiáng)大

可擴(kuò)展能力最佳的 TPU 加速器

上個(gè)月，我們宣布全面推出 Cloud TPU v5e。相較于上一代 TPU v4¹，TPU v5e 的性?xún)r(jià)比提高了 2.3 倍，是我們目前最具成本效益的 TPU。而 Cloud TPU v5p 則是我們目前功能最強(qiáng)大的 TPU。每個(gè) TPU v5p pod 由 8,960 個(gè)芯片組成，采用了我們帶寬最高的芯片間互連 (Inter-chip Interconnect, ICI) 技術(shù)，以 3D 環(huán)形拓?fù)浣Y(jié)構(gòu)實(shí)現(xiàn)每芯片 4,800 Gbps 的速率。與 TPU v4 相比，TPU v5p 的每秒浮點(diǎn)運(yùn)算次數(shù) (FLOPS) 提高 2 倍以上，高帶寬內(nèi)存 (High-bandwidth Memory, HBM) 則增加 3 倍。

TPU v5p 專(zhuān)為性能、靈活性和可擴(kuò)展性設(shè)計(jì)，相較于上一代 TPU v4，TPU v5p 訓(xùn)練大型 LLM 的速度提升 2.8 倍。此外，若搭配第二代 SparseCores，TPU v5p 訓(xùn)練嵌入密集模型的速度比 TPU v4² 快 1.9 倍。

資料來(lái)源: Google 內(nèi)部數(shù)據(jù)。截至 2023 年 11 月，GPT-3 1750 億參數(shù)模型的所有數(shù)據(jù)均按每芯片 seq-len=2048 為單位完成標(biāo)準(zhǔn)化。

資料來(lái)源: TPU v5e 數(shù)據(jù)來(lái)自 MLPerf 3.1 Training Closed 的 v5e 結(jié)果；TPU v5p 和 v4 基于 Google 內(nèi)部訓(xùn)練運(yùn)行。截至 2023 年 11 月，GPT-3 1750 億參數(shù)模型的所有數(shù)據(jù)均按每芯片 seq-len=2048 為單位完成標(biāo)準(zhǔn)化。并以 TPU v4：3.22 美元/芯片/小時(shí)、TPU v5e：1.2 美元/芯片/小時(shí)和 TPU v5p：4.2 美元/芯片/小時(shí)的公開(kāi)定價(jià)顯示每美元相對(duì)性能。

TPU v5p 不僅性能更佳，就每 Pod 的總可用 FLOPS 而言，TPU v5p 的可擴(kuò)展能力比 TPU v4 高 4 倍，且 TPU v5p 的每秒浮點(diǎn)運(yùn)算次數(shù) (FLOPS) 是 TPU v4 的兩倍，并在單一 Pod 中提供兩倍的芯片，可大幅提升訓(xùn)練速度相關(guān)性能。

02

Google AI Hypercomputer

大規(guī)模提供頂尖性能和效率

實(shí)現(xiàn)規(guī)模和速度是必不可少的，但并不足以滿(mǎn)足現(xiàn)代 AI/ML 應(yīng)用程序和服務(wù)的需求。軟硬組件必須組合相輔相成，組成一個(gè)易于使用、安全可靠的集成計(jì)算系統(tǒng)。Google 已針對(duì)此問(wèn)題投入數(shù)十年的時(shí)間進(jìn)行研發(fā)，而 AI Hypercomputer 正是我們的心血結(jié)晶。此系統(tǒng)集結(jié)了多種能協(xié)調(diào)運(yùn)作的技術(shù)，能以最佳方式來(lái)執(zhí)行現(xiàn)代 AI 工作負(fù)載。

? ? ?

性能優(yōu)化硬件: AI Hypercomputer 以超大規(guī)模數(shù)據(jù)中心基礎(chǔ)設(shè)施為基礎(chǔ)構(gòu)建，采用高密度足跡、水冷技術(shù)和我們的 Jupiter 數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)，在計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)功能上均能提供最佳性能。所有這一切都基于以效率為核心的各項(xiàng)技術(shù)，利用清潔能源和對(duì)水資源管理的堅(jiān)定承諾，助力我們邁向無(wú)碳未來(lái)。

開(kāi)放軟件: AI Hypercomputer 使開(kāi)發(fā)人員能夠通過(guò)使用開(kāi)放軟件來(lái)訪問(wèn)我們性能優(yōu)化的硬件，利用這些硬件調(diào)整、管理和動(dòng)態(tài)編排 AI 訓(xùn)練和推理工作負(fù)載。

• 廣泛支持主流 ML 框架 (例如 JAX、TensorFlow 和 PyTorch) 且提供開(kāi)箱即用。如要構(gòu)建復(fù)雜的 LLM，JAX 和 PyTorch 均由 OpenXLA 編譯器提供支持。XLA 作為基礎(chǔ)設(shè)施，支持創(chuàng)建復(fù)雜的多層模型。XLA 優(yōu)化了各種硬件平臺(tái)上的分布式架構(gòu)，確保針對(duì)不同的 AI 場(chǎng)景高效開(kāi)發(fā)易于使用的模型。

• 提供開(kāi)放且獨(dú)特的 Multislice Training 及 Multihost Inferencing 軟件，分別使擴(kuò)展、訓(xùn)練和提供模型的工作負(fù)載變得流暢又簡(jiǎn)單。若要處理要求嚴(yán)苛的 AI 工作負(fù)載，開(kāi)發(fā)人員可將芯片數(shù)量擴(kuò)展至數(shù)萬(wàn)個(gè)。

• 與 Google Kubernetes Engine (GKE) 和 Google Compute Engine 深度集成，實(shí)現(xiàn)高效的資源管理、一致的操作環(huán)境、自動(dòng)擴(kuò)展、自動(dòng)配置節(jié)點(diǎn)池、自動(dòng)檢查點(diǎn)、自動(dòng)恢復(fù)和及時(shí)的故障恢復(fù)。

靈活的消費(fèi)模式: AI Hypercomputer 提供多種靈活動(dòng)態(tài)的消費(fèi)方案。除了承諾使用折扣 (Committed Used Discunts, CUD)、按需定價(jià)和現(xiàn)貨定價(jià)等經(jīng)典選項(xiàng)外，AI Hypercomputer 還通過(guò) Dynamic Workload Scheduler 提供針對(duì) AI 工作負(fù)載量身定制的消費(fèi)模式。Dynamic Workload Scheduler 包含兩種消費(fèi)模式: Flex Start 模式可實(shí)現(xiàn)更高的資源獲取能力和優(yōu)化的經(jīng)濟(jì)效益；Calendar 模式則針對(duì)作業(yè)啟動(dòng)時(shí)間可預(yù)測(cè)性更高的工作負(fù)載。

03

利用 Google 的豐富經(jīng)驗(yàn)

助力 AI 的未來(lái)發(fā)展

Salesforce 和 Lightricks 等客戶(hù)已在使用 Google Cloud 的 TPU v5p 以及 AI Hypercomputer 來(lái)訓(xùn)練和服務(wù)大型 AI 模型——并發(fā)現(xiàn)了其中的差異：

G

C

"我們一直在使用 Google Cloud 的 TPU v5p 對(duì) Salesforce 的基礎(chǔ)模型進(jìn)行預(yù)訓(xùn)練，這些模型將作為專(zhuān)業(yè)生產(chǎn)用例的核心引擎，我們看到訓(xùn)練速度獲得了顯著提升。事實(shí)上，Cloud TPU v5p 的計(jì)算性能比上一代 TPU v4 高出至少 2 倍。我們還非常喜歡使用 JAX 順暢地從 Cloud TPU v4 過(guò)渡到 v5p。我們期待能通過(guò) Accurate Quantized Training (AQT) 庫(kù)，運(yùn)用 INT8 精度格式的原生支持來(lái)優(yōu)化我們的模型，進(jìn)一步提升速度。"

——Salesforce 高級(jí)研究科學(xué)家

Erik Nijkamp

G

C

"憑借 Google Cloud TPU v5p 的卓越性能和充足內(nèi)存，我們成功地訓(xùn)練了文本到視頻的生成模型，而無(wú)需將其拆分成單獨(dú)進(jìn)程。這種出色的硬件利用率大大縮短了每個(gè)訓(xùn)練周期，使我們能夠迅速開(kāi)展一系列實(shí)驗(yàn)。能在每次實(shí)驗(yàn)中快速完成模型訓(xùn)練的能力加快了迭代速度，為我們的研究團(tuán)隊(duì)在生成式 AI 這個(gè)競(jìng)爭(zhēng)激烈的領(lǐng)域帶來(lái)寶貴優(yōu)勢(shì)。"

——Lightricks 核心生成式 AI 研究團(tuán)隊(duì)主管

Yoav HaCohen 博士

G

C

"在早期使用過(guò)程中，Google DeepMind 和 Google Research 團(tuán)隊(duì)發(fā)現(xiàn)，對(duì)于 LLM 訓(xùn)練工作負(fù)載，TPU v5p 芯片的性能比 TPU v4 代提高了 2 倍。此外，AI Hypercomputer 能為 ML 框架 (JAX、PyTorch、TensorFlow) 提供強(qiáng)大的支持和自動(dòng)編排工具，使我們能夠在 v5p 上更高效地?cái)U(kuò)展。搭配第二代 SparseCores，我們也發(fā)現(xiàn)嵌入密集型工作負(fù)載 (embeddings-heavy workloads) 的性能得到顯著提高。TPU 對(duì)于我們?cè)?Gemini 等前沿模型上開(kāi)展最大規(guī)模的研究和工程工作至關(guān)重要。"

—— Google DeepMind 和 Google Research

首席科學(xué)家 Jeff Dean

在 Google，我們一直堅(jiān)信 AI 能夠幫助解決棘手問(wèn)題。截至目前，大規(guī)模訓(xùn)練與提供大型基礎(chǔ)模型對(duì)于許多企業(yè)來(lái)說(shuō)都過(guò)于復(fù)雜且昂貴。現(xiàn)在，通過(guò) Cloud TPU v5p 和 AI Hypercomputer，我們很高興能將我們?cè)?AI 和系統(tǒng)設(shè)計(jì)領(lǐng)域數(shù)十年的研究成果與我們的用戶(hù)分享，以便他們能夠更快、更高效、更具成本效益地運(yùn)用 AI 加速創(chuàng)新。

?

1: MLPerf v3.1 Training Closed 的結(jié)果多個(gè)基準(zhǔn)如圖所示。資料日期：2023 年 11 月 8 日。資料來(lái)源：mlcommons.org。結(jié)果編號(hào)：3.1-2004。每美元性能并非 MLPerf 的評(píng)估標(biāo)準(zhǔn)。TPU v4 結(jié)果尚未經(jīng) MLCommons 協(xié)會(huì)驗(yàn)證。MLPerf 名稱(chēng)和標(biāo)志是 MLCommons 協(xié)會(huì)在美國(guó)和其他國(guó)家的商標(biāo)，并保留所有權(quán)利，嚴(yán)禁未經(jīng)授權(quán)的使用。更多信息，請(qǐng)參閱 www.mlcommons.org。

2: 截至 2023 年 11 月，Google TPU v5p 內(nèi)部資料：E2E 執(zhí)行時(shí)間 (steptime)、搜索廣告預(yù)估點(diǎn)擊率 (SearchAds pCTR)、每個(gè) TPU 核心批次大小為 16,384、125 個(gè) vp5 芯片。

---

?點(diǎn)擊屏末|閱讀原文|即刻查看詳細(xì)內(nèi)容