作者簡(jiǎn)介

本文是第二屆電力電子科普征文大賽的獲獎(jiǎng)作品，來(lái)自上海科技大學(xué)的諸葛英健投稿。

據(jù)《華爾街日?qǐng)?bào)》7月1日?qǐng)?bào)道，亞馬遜云服務(wù)正與美國(guó)最大的核電廠運(yùn)營(yíng)商Constellation Energy接近達(dá)成一項(xiàng)直接供電協(xié)議。而早在今年3月，亞馬遜以6.5億美元收購(gòu)了位于賓夕法尼亞州的Talen Energy旗下的Cumulus數(shù)據(jù)中心園區(qū)，其由相鄰的2.5GW Susquehanna核電站直接供電。

近年來(lái)生成式AI掀起熱潮，自ChatGPT橫空出世，國(guó)內(nèi)外的各種大模型和產(chǎn)品以令人眼花繚亂的速度更新迭代。在ChatGPT不斷發(fā)展的同時(shí)，微軟緊隨其后，將云服務(wù)全線鋪開(kāi)，并將Copilot深度集成到Windows生態(tài)中。Google也推出了Bard，并在之后推出了原生多模態(tài)大模型Gemini。國(guó)內(nèi)市場(chǎng)，2023年3月，百度正式發(fā)布預(yù)訓(xùn)練生成式大語(yǔ)言模型“文心一言”。此后，訊飛“星火”、阿里云“通義千問(wèn)”、騰訊“混元”、華為“盤(pán)古”等大模型陸續(xù)發(fā)布。用戶不僅可以與人工智能進(jìn)行實(shí)時(shí)對(duì)話，還可以讓AI協(xié)助自己進(jìn)行資料檢索、概括總結(jié)等工作，甚至幫自己寫(xiě)代碼以及修改論文。

很快地，大模型擴(kuò)展到了文本應(yīng)用以外的領(lǐng)域。以Stable Diffusion、Midjourney|、Adobe Firefly等為代表，文生圖領(lǐng)域同樣突飛猛進(jìn)。文本生成視頻領(lǐng)域同樣在快速進(jìn)化，Sora、Pika、Luma、快手可靈AI等競(jìng)爭(zhēng)激烈，近幾日全面開(kāi)放的Runway3，更是已經(jīng)可以生成10s的視頻。

隨著人工智能的飛速發(fā)展，其耗電量也在急劇上升，甚至大量科技公司都在與核電站所有者進(jìn)行洽談，那么能源會(huì)成為限制其發(fā)展的絆腳石嗎？

1

AI為什么耗電

思考是消耗熱量的，僅占人體2%重量的大腦卻消耗了人體約20%的能量。類(lèi)似地，人工智能也是很耗能的。根據(jù)國(guó)際能源署估計(jì)，在2022年，數(shù)據(jù)中心、加密貨幣、人工智能（AI）消耗了大約460 TWh的電力，幾乎占全球總電力需求的2%，而這一數(shù)據(jù)，預(yù)計(jì)到2026年將超過(guò)1000 TWh[1]。

早在2022年，Hugging Face的研究者們就量化了各個(gè)大模型的耗電量和碳排放數(shù)據(jù)。其自家的BLOOM，擁有1760億參數(shù)的大模型，前期訓(xùn)練時(shí)長(zhǎng)約118天，就花掉了43.3萬(wàn)度電。而參數(shù)量與之相當(dāng)?shù)腉PT-3，更是耗電128.7萬(wàn)度，與121個(gè)美國(guó)家庭一整年的平均耗電量相當(dāng)[2]。GPT-3訓(xùn)練用到了1024張A100芯片，被稱為“千卡千參”，而目前的GPT-4、GPT-5等大模型都達(dá)到了“萬(wàn)卡萬(wàn)參”的規(guī)模，同時(shí)所用芯片也從A100更新到了H100、B200，參數(shù)量的激增導(dǎo)致能耗顯著增加。有人估算，GPT-4的一次訓(xùn)練中僅GPU就耗電2.4億度。

圖2. Technology advancement | @ TSMC

圖3. GB200-Superchip | @ NVIDIA

另一方面，大模型的訓(xùn)練過(guò)程甚至?xí)?dǎo)致局部電網(wǎng)的崩潰。Kyle Corbitt在今年3月曾發(fā)表消息稱，訓(xùn)練GPT-6的微軟工程師們正在搭建Infiniband網(wǎng)絡(luò)，把不同地區(qū)的GPU連接起來(lái)，如果將這10萬(wàn)塊H100芯片部署在同一地區(qū)，電網(wǎng)則會(huì)崩潰。

圖4. tweets內(nèi)容 | @ X @corbtt

但人工智能的高能耗不僅僅體現(xiàn)在前期訓(xùn)練過(guò)程中，更是在后期使用過(guò)程中的累積。

前期的訓(xùn)練過(guò)程就是反復(fù)調(diào)整模型參數(shù)，直到模型的性能不再顯著提高為止，這一階段是有限度的。而推理階段則大大不同，我們每向大模型問(wèn)一次問(wèn)題，都是一次推理請(qǐng)求。

圖5. ChatGPT | @ OpenAI

我們每一次在搜索欄鍵入內(nèi)容。或者點(diǎn)開(kāi)新視頻等操作，終端設(shè)備都會(huì)與某個(gè)數(shù)據(jù)中心發(fā)生信息交換，而這一些操作都需要消耗能量。Alphabet董事長(zhǎng)John Hennessy在2023年2月指出，一次標(biāo)準(zhǔn)的Google搜索平均耗電0.3 Wh，而如果采用大模型的話，平均每次搜索的能耗將提高近10倍，即3 Wh每次。此外，根據(jù)SemiAnalysis機(jī)構(gòu)的預(yù)測(cè)，谷歌要實(shí)現(xiàn)搜索全面人工智能化，需要512821個(gè)英偉達(dá)A100 HGX服務(wù)器，共4102568塊GPU。以每個(gè)服務(wù)器6.5 kW的功率來(lái)計(jì)算，這些服務(wù)器每天的耗電量就將高達(dá)80 GWh，年耗電量29.2 TWh。根據(jù)谷歌報(bào)道，從2019年至2021年，其60%的AI相關(guān)能耗都來(lái)自推理[3]。

長(zhǎng)遠(yuǎn)來(lái)看，AI推理過(guò)程的耗能將越來(lái)越大；短期內(nèi)，AI訓(xùn)練的能耗是能耗的主要增量。

未完待續(xù)…

敬請(qǐng)期待下期精彩~

參考資料

[1] “Electricity 2024 – Analysis and forecast to 2026”. International Energy Agency, Jan. 2024.

[2] Luccioni, Alexandra Sasha, Sylvain Viguier, and Anne-Laure Ligozat. "Estimating the carbon footprint of bloom, a 176b parameter language model." Journal of Machine Learning Research 24.253 (2023): 1-15.

[3] de Vries, Alex. "The growing energy footprint of artificial intelligence." Joule 7.10 (2023): 2191-2194.

[4] “Google Environmental Report 2024”, Google, Jul. 2024.

[5] “The AI Index 2024 Annual Report,” AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, April 2024.