擴(kuò)展定律描述了 AI 系統(tǒng)性能如何隨訓(xùn)練數(shù)據(jù)、模型參數(shù)或計(jì)算資源規(guī)模的增加而提高。

如同許多眾所周知的自然經(jīng)驗(yàn)法則（例如，凡事有起必有落，或每一個(gè)作用力都有一個(gè)大小相等、方向相反的反作用力）一樣，在 AI 領(lǐng)域，大家一直認(rèn)為，計(jì)算、訓(xùn)練數(shù)據(jù)和參數(shù)越多，AI 模型就越好。

然而 AI 發(fā)展至今，已經(jīng)需要三條不同定律來(lái)描述不同計(jì)算資源配置如何影響模型性能。這三條 AI 擴(kuò)展定律分別是預(yù)訓(xùn)練擴(kuò)展、后訓(xùn)練擴(kuò)展和測(cè)試時(shí)擴(kuò)展（也稱(chēng)為長(zhǎng)思考），它們共同反映了這一領(lǐng)域隨著技術(shù)的發(fā)展而演變的過(guò)程，而這些技術(shù)能夠在各種日益復(fù)雜的 AI 用例中使用更多的計(jì)算資源。

特別是最近興起的測(cè)試時(shí)擴(kuò)展技術(shù)（在推理階段應(yīng)用更多計(jì)算資源以提高準(zhǔn)確性），使 AI 推理模型成為了可能。這種新的大語(yǔ)言模型 (LLM) 能通過(guò)執(zhí)行多次推理來(lái)解決復(fù)雜問(wèn)題，同時(shí)描述執(zhí)行任務(wù)所需的步驟。然而，測(cè)試時(shí)擴(kuò)展需要大量計(jì)算資源來(lái)支持 AI 推理，這將進(jìn)一步推動(dòng)對(duì)加速計(jì)算的需求。

什么是預(yù)訓(xùn)練擴(kuò)展？

預(yù)訓(xùn)練擴(kuò)展是最初的 AI 發(fā)展定律。該定律表明：通過(guò)提升訓(xùn)練數(shù)據(jù)集規(guī)模、模型參數(shù)數(shù)量，以及增加計(jì)算資源，開(kāi)發(fā)者能夠?qū)崿F(xiàn)模型智能水平和準(zhǔn)確率的可預(yù)測(cè)性提升。

數(shù)據(jù)、模型大小和計(jì)算這三個(gè)要素相互關(guān)聯(lián)。根據(jù)研究論文所述的預(yù)訓(xùn)練擴(kuò)展定律，大模型被輸入的數(shù)據(jù)越多，其整體性能越高。為此，開(kāi)發(fā)者必須擴(kuò)大計(jì)算規(guī)模，而這又進(jìn)一步推動(dòng)了對(duì)強(qiáng)大加速計(jì)算資源的需求，以運(yùn)行這些大規(guī)模訓(xùn)練的工作負(fù)載。

預(yù)訓(xùn)練擴(kuò)展定律帶來(lái)了具有突破性能力的大模型，同時(shí)也激發(fā)了模型架構(gòu)方面的重大創(chuàng)新，包括十億和萬(wàn)億參數(shù)級(jí) transformer 模型、混合專(zhuān)家模型和新分布式訓(xùn)練技術(shù)的興起，而這些都對(duì)計(jì)算資源提出了極高要求。

隨著人類(lèi)不斷產(chǎn)生大量的多模態(tài)數(shù)據(jù)，包括文本、圖像、音頻、視頻和傳感器信息，這些豐富的數(shù)據(jù)將被用于訓(xùn)練強(qiáng)大的未來(lái) AI 模型，因此預(yù)訓(xùn)練擴(kuò)展定律適用性還將持續(xù)。

預(yù)訓(xùn)練擴(kuò)展是 AI 發(fā)展的基本原則，它建立了模型、數(shù)據(jù)集和計(jì)算

與 AI 收益之間的聯(lián)系。混合專(zhuān)家是 AI 訓(xùn)練中的一種常用模型架構(gòu)。

什么是后訓(xùn)練擴(kuò)展？

預(yù)訓(xùn)練大型基礎(chǔ)模型并非易事，它需要大量的投入、專(zhuān)業(yè)的技術(shù)專(zhuān)家以及數(shù)據(jù)集。然而，一旦一家公司預(yù)訓(xùn)練并發(fā)布了一個(gè)模型，就進(jìn)而降低了使用 AI 的門(mén)檻，讓其他人能夠使用他們預(yù)訓(xùn)練的模型作為基礎(chǔ)，并根據(jù)自己的應(yīng)用進(jìn)行調(diào)整。

這種后訓(xùn)練的過(guò)程進(jìn)一步增加了企業(yè)和更廣泛開(kāi)發(fā)者社區(qū)對(duì)加速計(jì)算的持續(xù)需求。流行的開(kāi)源模型可以衍生出數(shù)百甚至數(shù)千個(gè)在眾多領(lǐng)域中訓(xùn)練過(guò)的變體模型。

為各種用例開(kāi)發(fā)這些衍生模型可能需要比預(yù)訓(xùn)練原始基礎(chǔ)模型多出約 30 倍的計(jì)算資源。

后訓(xùn)練技術(shù)可以進(jìn)一步提高模型針對(duì)企業(yè)所需用例的專(zhuān)業(yè)性和相關(guān)性。預(yù)訓(xùn)練就像是送 AI 模型去學(xué)校學(xué)習(xí)基礎(chǔ)技能，而后訓(xùn)練則是教會(huì)模型適用于其預(yù)期工作的技能。例如，大語(yǔ)言模型在經(jīng)過(guò)后訓(xùn)練后可以處理諸如觀點(diǎn)分析或翻譯等任務(wù)，或者理解醫(yī)療或法律等特定領(lǐng)域的術(shù)語(yǔ)。

后訓(xùn)練擴(kuò)展定律認(rèn)為，可以使用微調(diào)、剪枝、量化、蒸餾、強(qiáng)化學(xué)習(xí)和合成數(shù)據(jù)增強(qiáng)等技術(shù)，進(jìn)一步提高預(yù)訓(xùn)練模型的性能，包括計(jì)算效率、準(zhǔn)確性或領(lǐng)域?qū)I(yè)性。

微調(diào)是使用額外的訓(xùn)練數(shù)據(jù)為特定領(lǐng)域和應(yīng)用定制 AI 模型。可以使用的訓(xùn)練數(shù)據(jù)包括企業(yè)內(nèi)部數(shù)據(jù)集，或成對(duì)的樣本模型輸入和輸出。

蒸餾需要一對(duì) AI 模型，即一個(gè)大型、復(fù)雜的教師模型和一個(gè)輕量級(jí)的學(xué)生模型。在最常見(jiàn)的蒸餾技術(shù)（稱(chēng)為離線蒸餾）中，學(xué)生模型會(huì)學(xué)習(xí)模仿預(yù)訓(xùn)練教師模型的輸出。

強(qiáng)化學(xué)習(xí) (RL)是一種機(jī)器學(xué)習(xí)技術(shù)，它通過(guò)獎(jiǎng)勵(lì)模型來(lái)訓(xùn)練一個(gè)智能體，使其做出與特定用例相符的決策。智能體的目標(biāo)是在與環(huán)境交互的過(guò)程中，隨著時(shí)間推移最大化累積獎(jiǎng)勵(lì)。例如，一個(gè)聊天機(jī)器人 LLM 可以通過(guò)用戶(hù)的“點(diǎn)贊”反應(yīng)獲得正向強(qiáng)化。這種技術(shù)被稱(chēng)為基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí) (RLHF)。另一種更新的技術(shù)是基于 AI 反饋的強(qiáng)化學(xué)習(xí) (RLAIF)。它使用 AI 模型的反饋來(lái)指導(dǎo)學(xué)習(xí)過(guò)程，從而簡(jiǎn)化后訓(xùn)練的優(yōu)化工作。

Best-of-n 采樣會(huì)從語(yǔ)言模型中生成多個(gè)輸出，并根據(jù)獎(jiǎng)勵(lì)模型選擇其中獎(jiǎng)勵(lì)分?jǐn)?shù)最高的輸出。這種方法通常用于在不修改模型參數(shù)的情況下提升 AI 的輸出質(zhì)量，是強(qiáng)化學(xué)習(xí)微調(diào)的一種替代方案。

搜索方法會(huì)在選擇最終輸出之前探索一系列潛在的決策路徑。這種后訓(xùn)練的技術(shù)可以通過(guò)迭代的方式逐步改進(jìn)模型的響應(yīng)。

為了支持后訓(xùn)練，開(kāi)發(fā)者可以使用合成數(shù)據(jù)增強(qiáng)或補(bǔ)充他們的微調(diào)數(shù)據(jù)集。使用由 AI 生成的數(shù)據(jù)去補(bǔ)充現(xiàn)實(shí)世界的數(shù)據(jù)集，可以使模型更善于處理原始訓(xùn)練數(shù)據(jù)中罕見(jiàn)或缺失的邊緣案例。

后訓(xùn)練擴(kuò)展使用微調(diào)、剪枝和蒸餾等技術(shù)完善預(yù)訓(xùn)練模型，以提高效率和任務(wù)相關(guān)性。

什么是測(cè)試時(shí)擴(kuò)展？

LLM 可以對(duì)輸入的提示作出快速響應(yīng)。雖然該過(guò)程非常適合回答簡(jiǎn)單問(wèn)題，但在面對(duì)用戶(hù)提出的復(fù)雜問(wèn)題時(shí)可能就不那么奏效了。而回答復(fù)雜問(wèn)題是代理式 AI 工作負(fù)載的一項(xiàng)基本能力，這項(xiàng)工作要求 LLM 在得出答案之前先對(duì)問(wèn)題進(jìn)行推理。

這與大多數(shù)人類(lèi)的思維方式類(lèi)似——當(dāng)被問(wèn)到像 2 加 2 這樣的問(wèn)題時(shí)，我們可以立即給出答案，不需要涉及加法或整數(shù)的基本原理。但如果當(dāng)場(chǎng)被要求制定一個(gè)能讓公司利潤(rùn)增長(zhǎng) 10% 的商業(yè)計(jì)劃，那么我們就需要對(duì)各種選項(xiàng)進(jìn)行推理，并給出一個(gè)多步驟的答案。

測(cè)試時(shí)擴(kuò)展也被稱(chēng)為長(zhǎng)思考，發(fā)生在推理過(guò)程中。傳統(tǒng)的 AI 模型會(huì)根據(jù)用戶(hù)提示快速生成一個(gè)一次性的答案，而使用測(cè)試時(shí)擴(kuò)展技術(shù)的模型則會(huì)在推理過(guò)程中進(jìn)行額外的計(jì)算，以便在得出最佳答案之前對(duì)多個(gè)備選答案進(jìn)行推理。

在為開(kāi)發(fā)者生成復(fù)雜、定制化的代碼等任務(wù)中，這種 AI 推理過(guò)程可能需要花費(fèi)數(shù)分鐘甚至數(shù)小時(shí)——與傳統(tǒng) LLM 的單次推理相比，對(duì)于復(fù)雜的查詢(xún)，它可能需要超過(guò) 100 倍的計(jì)算資源，而傳統(tǒng) LLM 在第一次嘗試時(shí)幾乎不可能正確回答復(fù)雜問(wèn)題。

這種測(cè)試時(shí)計(jì)算的能力使 AI 模型能夠探索問(wèn)題的不同解決方案，并將復(fù)雜的請(qǐng)求分解為多個(gè)步驟。在許多情況下，它們?cè)谕评頃r(shí)會(huì)向用戶(hù)展示自己的工作。研究發(fā)現(xiàn)，在向 AI 模型提供需要多個(gè)推理和規(guī)劃步驟的開(kāi)放式提示時(shí)，測(cè)試時(shí)擴(kuò)展能夠提高回答的質(zhì)量。

測(cè)試時(shí)計(jì)算方法有很多，包括：

思維鏈提示：將復(fù)雜的問(wèn)題分解為一系列較簡(jiǎn)單的步驟。

多數(shù)表決抽樣：針對(duì)相同的提示生成多個(gè)回答，然后選擇出現(xiàn)頻率最高的答案作為最終輸出。

搜索：探索并評(píng)估響應(yīng)的樹(shù)狀結(jié)構(gòu)中存在的多條路徑。

像 Best-of-n 采樣這樣的后訓(xùn)練方法也可以在推理階段用于“長(zhǎng)思考”，以?xún)?yōu)化響應(yīng)，使其更符合人類(lèi)偏好或其他目標(biāo)。

測(cè)試時(shí)擴(kuò)展通過(guò)進(jìn)行額外的計(jì)算改進(jìn) AI 推理，從而增強(qiáng)模型的推理能力，使模型能夠有效解決復(fù)雜的多步驟問(wèn)題。

測(cè)試時(shí)擴(kuò)展如何實(shí)現(xiàn) AI 推理

測(cè)試時(shí)計(jì)算的興起使 AI 能夠?qū)?fù)雜的開(kāi)放式用戶(hù)查詢(xún)作出有理有據(jù)、實(shí)用且更加準(zhǔn)確的回答。這種能力對(duì)于自主代理式 AI 和物理 AI 應(yīng)用所期望的詳細(xì)、多步驟推理任務(wù)至關(guān)重要，為各個(gè)行業(yè)的用戶(hù)提供了能夠加快工作速度的超強(qiáng)助手，提高效率和生產(chǎn)力。

在醫(yī)療領(lǐng)域，模型可以使用測(cè)試時(shí)擴(kuò)展技術(shù)分析海量數(shù)據(jù)，推斷疾病的發(fā)展情況，并根據(jù)藥物分子的化學(xué)結(jié)構(gòu)預(yù)測(cè)新療法可能引發(fā)的潛在并發(fā)癥。它們還可以梳理臨床試驗(yàn)數(shù)據(jù)庫(kù)，以便推薦符合個(gè)人疾病特征的治療方案，同時(shí)分享其對(duì)不同研究利弊的推理過(guò)程。

在零售和供應(yīng)鏈物流領(lǐng)域，“長(zhǎng)思考”可以助力解決短期運(yùn)營(yíng)挑戰(zhàn)和長(zhǎng)期戰(zhàn)略目標(biāo)所需的復(fù)雜決策。通過(guò)推理技術(shù)，企業(yè)能夠同時(shí)預(yù)測(cè)和評(píng)估多種場(chǎng)景，從而降低風(fēng)險(xiǎn)并應(yīng)對(duì)可擴(kuò)展性挑戰(zhàn)。這有助于實(shí)現(xiàn)更準(zhǔn)確的需求預(yù)測(cè)、優(yōu)化供應(yīng)鏈路線以及做出與組織可持續(xù)發(fā)展目標(biāo)一致的采購(gòu)決策。

全球各地的企業(yè)都可以使用該技術(shù)起草詳細(xì)的商業(yè)計(jì)劃，生成復(fù)雜的代碼來(lái)調(diào)試軟件，或優(yōu)化送貨卡車(chē)、倉(cāng)庫(kù)機(jī)器人和自動(dòng)駕駛出租車(chē)的行駛路線。

AI 推理模型正在迅速發(fā)展。過(guò)去幾周內(nèi)，OpenAI o1-mini 和 o3-mini、DeepSeek R1 以及谷歌 DeepMind 的 Gemini 2.0 Flash Thinking 相繼推出，預(yù)計(jì)很快還會(huì)有更多的新模型推出。

這些模型需要大量的計(jì)算資源進(jìn)行推理以及正確回答復(fù)雜問(wèn)題，這意味著企業(yè)需要擴(kuò)展其加速計(jì)算資源來(lái)提供支持復(fù)雜問(wèn)題解答、編碼和多步驟規(guī)劃的下一代 AI 推理工具。