本文主要介紹神經(jīng)網(wǎng)絡(luò)理論研究的物理學(xué)思想

神經(jīng)網(wǎng)絡(luò)在當(dāng)今人工智能研究和應(yīng)用中發(fā)揮著不可替代的作用。它是人類在理解自我（大腦）的過(guò)程中產(chǎn)生的副產(chǎn)品，以此副產(chǎn)品，人類希望建造一個(gè)機(jī)器智能來(lái)實(shí)現(xiàn)機(jī)器文明。這個(gè)目標(biāo)在當(dāng)下如火如荼的人工智能研究中被無(wú)限倍凸顯，甚至被認(rèn)為是一場(chǎng)新的工業(yè)革命到來(lái)的標(biāo)志。

在人類社會(huì)前幾次工業(yè)革命浪潮中，物理學(xué)扮演了十分重要的角色，或者說(shuō)，這些革命的理論基石在于物理學(xué)原理的突破，如熱學(xué)、量子力學(xué)和相對(duì)論。但當(dāng)今的人工智能革命似乎是經(jīng)驗(yàn)科學(xué)（啟發(fā)式的訣竅，如Transformer）所驅(qū)動(dòng)的，在過(guò)去20 年間，尤其是谷歌等互聯(lián)網(wǎng)巨頭加入這場(chǎng)浪潮之后，人工神經(jīng)網(wǎng)絡(luò)的架構(gòu)出現(xiàn)了快速迭代。物理學(xué)對(duì)神經(jīng)網(wǎng)絡(luò)的研究歷史悠久，最早①可追溯到20 世紀(jì)80 年代初霍菲爾德（與辛頓一起獲得2024 年諾貝爾物理學(xué)獎(jiǎng)）聯(lián)想記憶網(wǎng)絡(luò)的提出；物理學(xué)思想在這之后對(duì)人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)動(dòng)力學(xué)的研究都產(chǎn)生了深遠(yuǎn)的影響。著名物理學(xué)家戴森有一個(gè)說(shuō)法：“嚴(yán)謹(jǐn)理論賦予一個(gè)課題以智力的深度和精確。在你能證明一個(gè)嚴(yán)格理論之前，你不可能全面了解你所關(guān)注的概念的意義。”②獲得玻爾茲曼獎(jiǎng)的物理學(xué)家霍菲爾德也曾在一次訪談中提到，“如果你不能用數(shù)學(xué)的語(yǔ)言去描述大腦，那你將永遠(yuǎn)不知道大腦是怎么工作的。”而鑒于他自身的習(xí)慣，“如果一個(gè)問(wèn)題和我熟知的物理毫無(wú)聯(lián)系，那我將無(wú)法取得任何的進(jìn)展”。所以，在人工智能正在重塑人類社會(huì)方方面面的同時(shí)，我們有必要去了解物理學(xué)的思想如何影響人們對(duì)神經(jīng)網(wǎng)絡(luò)乃至自我的認(rèn)知。

01 從伊辛模型談起

伊辛模型是統(tǒng)計(jì)物理的標(biāo)準(zhǔn)模型［1］。它雖然被用來(lái)描述格點(diǎn)上（比如二維表面）磁矩的集體行為，但是卻包含了非常豐富的物理圖像（比如相變、自發(fā)對(duì)稱性破缺、普適性等），更讓人震驚的是，這個(gè)模型的物理圖像可以向外擴(kuò)展到多個(gè)似乎毫不相關(guān)的學(xué)科，如經(jīng)濟(jì)學(xué)、神經(jīng)科學(xué)、機(jī)器學(xué)習(xí)等。我們先從物理學(xué)專業(yè)本科生所熟知的態(tài)方程講起：

m= tanh（Jm+ h）

這顯然是個(gè)迭代方程，因?yàn)樽兞縨出現(xiàn)在方程式等號(hào)的兩邊，其中J 描述了自旋之間的相互作用，m表示磁化強(qiáng)度矢量，h則表示外加磁場(chǎng)。注意到，該態(tài)方程在沒(méi)有外加磁場(chǎng)并且相互作用較弱情況下，有且只有一個(gè)平庸解，即所有磁化為零，用物理學(xué)語(yǔ)言講叫順磁態(tài)。然而，當(dāng)增大相互作用到一定程度時(shí)，順磁態(tài)將失去穩(wěn)定，該方程出現(xiàn)兩個(gè)非平庸解（物理上叫鐵磁解，即m=±M）。這個(gè)過(guò)程叫自發(fā)對(duì)稱性破缺或連續(xù)相變。

這個(gè)迭代蘊(yùn)含了神經(jīng)網(wǎng)絡(luò)的形式。神經(jīng)網(wǎng)絡(luò)的基本屬性可以總結(jié)為DNA，即數(shù)據(jù)（data）、網(wǎng)絡(luò)（network）和算法（algorithm），如圖1 所示。你把初始化m0看成輸入數(shù)據(jù)，每迭代一次將生成一個(gè)新的m，這個(gè)就是神經(jīng)網(wǎng)絡(luò)的中間隱層表示。然而，奇妙的是，神經(jīng)網(wǎng)絡(luò)把J 也變成可以變化的量，這就意味著這個(gè)模型是可以變聰明的（即能處理每一個(gè)輸入）。這在傳統(tǒng)物理學(xué)里很不可思議，因?yàn)槟Ｐ屯ǔＰ枰笪锢韺W(xué)家猜出來(lái)。而外場(chǎng)可以等價(jià)于神經(jīng)網(wǎng)絡(luò)的偏置（見(jiàn)圖1）。那么如何更新J 呢？你只需要寫(xiě)下一個(gè)目標(biāo)函數(shù)，即這個(gè)神經(jīng)網(wǎng)絡(luò)，或者學(xué)習(xí)中的模型要達(dá)到什么樣的目標(biāo)。比如，實(shí)現(xiàn)數(shù)據(jù)的二分類，你可以輕松地寫(xiě)下

這里的a 表示數(shù)據(jù)輸入-輸出對(duì)（x， y）（y 在機(jī)器學(xué)習(xí)叫標(biāo)簽），而fJ 就是這個(gè)被J 參數(shù)化的神經(jīng)網(wǎng)絡(luò)（其本質(zhì)顯然是一個(gè)非常復(fù)雜的嵌套函數(shù)，類似于上面態(tài)方程的多次迭代，只不過(guò)每次迭代的J都不一樣）。

圖1 神經(jīng)網(wǎng)絡(luò)的迭代示意圖

接下來(lái)你需要一個(gè)算法來(lái)驅(qū)動(dòng)這個(gè)網(wǎng)絡(luò)自我更新。這個(gè)算法其實(shí)就是梯度下降：dJ/dt= -?JE 。聰明的讀者一眼就認(rèn)出這是個(gè)過(guò)阻尼的朗之萬(wàn)動(dòng)力學(xué)，因?yàn)槿藗冊(cè)谟?xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)通常在上面的方程右邊加入微弱的白噪聲。所以，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程是在你為它定義的勢(shì)能函數(shù)下的隨機(jī)游走（或者布朗運(yùn)動(dòng)，見(jiàn)圖2），如果你稍微學(xué)過(guò)一點(diǎn)隨機(jī)動(dòng)力學(xué)的話，你立馬知道這個(gè)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程存在平衡態(tài)，其分布正好是玻爾茲曼分布P（J） = （1/Z））e-E/T ，其中Z 就是統(tǒng)計(jì)物理的地標(biāo)——配分函數(shù)，而溫度T 則控制學(xué)習(xí)過(guò)程隨機(jī)漲落的程度，類似一個(gè)粒子在相同溫度的溶液里運(yùn)動(dòng)。此刻，相信你已經(jīng)獲得足夠深刻的理解：神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一個(gè)從簡(jiǎn)單函數(shù)（如上述的tanh（），這個(gè)函數(shù)的形式源自物理上經(jīng)典自旋有兩個(gè)取值并且服從玻爾茲曼正則分布）反復(fù)迭代出來(lái)的超級(jí)復(fù)雜并且表達(dá)能力超強(qiáng)的函數(shù)。這個(gè)函數(shù)需要不斷更新它的參數(shù)，即J 和h，這些參數(shù)則構(gòu)成一個(gè)聰明的物理學(xué)模型（能自我更新，無(wú)需靠大物理學(xué)家來(lái)定義）；而這個(gè)模型的更新又是一個(gè)布朗運(yùn)動(dòng)的過(guò)程，服從朗之萬(wàn)動(dòng)力學(xué)。所以神經(jīng)網(wǎng)絡(luò)的DNA本質(zhì)在于物理學(xué)。

圖2 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程

02 感知機(jī)學(xué)習(xí)的幾何景觀

接下來(lái)首先介紹感知機(jī)模型。這個(gè)模型當(dāng)之無(wú)愧可稱為人工智能的伊辛模型。它研究的是一群神經(jīng)元如何實(shí)現(xiàn)對(duì)輸入數(shù)據(jù)的分類，這從數(shù)學(xué)上可以表達(dá)為一個(gè)不等式 wTx ≥κ ，這里向量w 是神經(jīng)連接，x 為神經(jīng)輸入（ 例如，機(jī)器學(xué)習(xí)常用的MNIST 數(shù)據(jù)集中每張手寫(xiě)體數(shù)字為784 維實(shí)向量），而κ通常稱為學(xué)習(xí)的穩(wěn)定性指標(biāo)（越大越穩(wěn)定）。當(dāng)κ=0，wi=±1 時(shí)，我們可以定義這樣的玻爾茲曼統(tǒng)計(jì)系綜：

其中，P代表分類圖片總數(shù)，N代表神經(jīng)連接數(shù)目，而Z 則為統(tǒng)計(jì)物理學(xué)中的配分函數(shù)。如果上面的不等式針對(duì)每個(gè)輸入模式都能滿足的話，則該Z顯然具有構(gòu)型數(shù)（解的數(shù)目）的特征，從而可定義自由熵：S=lnZ。這個(gè)統(tǒng)計(jì)系綜的設(shè)計(jì)歸功于20 世紀(jì)80年代一位杰出的年輕物理學(xué)家伊麗莎白·加德納［2］，她考慮權(quán)重的分布而不是構(gòu)型從而超越了霍費(fèi)爾德模型的框架。因?yàn)閿?shù)據(jù)的隨機(jī)性，求解該熵并非易事，我們這里省去細(xì)節(jié)（感興趣者可參閱教科書(shū)［3］）。1989 年，法國(guó)物理學(xué)家馬克·梅扎爾和他的博士生沃納·克勞斯利用復(fù)本方法進(jìn)行了計(jì)算，得出當(dāng)α = P/N~0.833 時(shí)，自由熵消失（意味著該學(xué)習(xí)問(wèn)題無(wú)解）。這是凝聚態(tài)物理理論（自旋玻璃）在計(jì)算機(jī)和統(tǒng)計(jì)學(xué)交叉學(xué)科的早期典型應(yīng)用。非常奇妙的是，該結(jié)果于今年初被數(shù)學(xué)家完全嚴(yán)格證明［4］，而當(dāng)今高維隨機(jī)統(tǒng)計(jì)預(yù)測(cè)在數(shù)學(xué)里是相當(dāng)有生命力的一個(gè)分支。

該模型自從被提出以來(lái)伴隨著不可協(xié)調(diào)的矛盾，因?yàn)殚L(zhǎng)期以來(lái)在α《0.833區(qū)間，解是存在的，但很多算法找不到它們，或者隨維度升高，算法所能求解的最大α變小。這顯示這個(gè)統(tǒng)計(jì)推斷問(wèn)題雖然定義上簡(jiǎn)單但從算法復(fù)雜度看高度非平庸！這個(gè)問(wèn)題的解釋要等到2013~2014 年間兩篇論文的問(wèn)世［5］。論文作者的出發(fā)點(diǎn)是解空間的幾何結(jié)構(gòu)，類似物理上構(gòu)型空間的形態(tài)或者熵景觀。解決一個(gè)難問(wèn)題通常需要新思路！為了描繪熵景觀，論文作者先從構(gòu)型空間選取一個(gè)典型構(gòu)型（物理上服從上述玻爾茲曼分布），然后在該構(gòu)型周圍計(jì)數(shù)與選定參考構(gòu)型存在一定漢明距離的構(gòu)型（或者學(xué)習(xí)問(wèn)題的解）。這在物理上等價(jià)于自旋玻璃理論的弗蘭之-帕里西勢(shì)能。通過(guò)復(fù)雜推導(dǎo)，作者驚奇地發(fā)現(xiàn)，在漢明距離很小的區(qū)間，自由熵為負(fù)數(shù)，哪怕是α非常靠近零。這從物理上意味著，該熵景觀存在大量孤島形態(tài)（猶如高爾夫球洞），這也解釋了以往局域算法（如蒙特卡洛）求解的困難性。在松弛不等式的單向性的情況下，數(shù)學(xué)家近期已經(jīng)給出了嚴(yán)格證明［6，7］。他們?cè)谡邪堰@個(gè)物理結(jié)論稱為Huang-Wong-Kabashima猜想。

一個(gè)重要問(wèn)題的解決通常伴隨新的重要問(wèn)題的出現(xiàn)，這是科學(xué)研究最為迷人的地方。論文［5］在展望中指出了有些特別設(shè)計(jì)的算法依然可在孤島間找到解，這是跟孤島熵景觀格格不入的。這個(gè)新的重要問(wèn)題看似非常難，但很快就被意大利物理學(xué)家理查德·澤奇納及其合作者解決了［8］。這個(gè)解決思路也十分巧妙，當(dāng)然需要很深厚的數(shù)學(xué)和物理功力。既然自由熵為負(fù)，那么可以認(rèn)為這可能是傳統(tǒng)玻爾茲曼測(cè)度的結(jié)果，因此把自由熵當(dāng)成隨機(jī)變量，考慮其統(tǒng)計(jì)分布并且服從大偏差原理（即P（S）~e-Nr（S） ，其中r（S）稱為率函數(shù)）。這么定義之后，理查德·澤奇納等人發(fā)現(xiàn)，這個(gè)感知器的學(xué)習(xí)空間居然存在稀有的稠密解團(tuán)簇！而且，那些高效的經(jīng)驗(yàn)算法就是被這些解所吸引的，而完全避開(kāi)了高爾夫球洞（實(shí)際上它們是無(wú)法被找到的，掩藏于自由能深谷中）。而這一絕美的物理圖像，同樣于近期被數(shù)學(xué)家嚴(yán)格證明［9］。至此，我們可以總結(jié)，雖然感知學(xué)習(xí)從數(shù)學(xué)形式上看非常簡(jiǎn)潔，但是從物理上可以獲得直觀且非常深刻的見(jiàn)解，并大部分結(jié)論能從數(shù)學(xué)上嚴(yán)格證明。從科學(xué)上去完全理解一個(gè)非平庸的命題應(yīng)該也必須成為科學(xué)文化的一部分，而非一味盲從避開(kāi)了模型只依賴于數(shù)據(jù)的現(xiàn)代機(jī)器學(xué)習(xí)方法。

這些研究始于一群喜歡跨學(xué)科的物理學(xué)家的好奇心，最后卻激起數(shù)學(xué)家嚴(yán)格證明的欲望，讓人們看到高維空間統(tǒng)計(jì)推斷的優(yōu)美。雖然大多物理學(xué)家考慮的問(wèn)題帶有隨機(jī)性的成分（比如上述高斯隨機(jī)輸入數(shù)據(jù)），但是，在統(tǒng)計(jì)物理學(xué)的世界里，存在普適性這個(gè)重要的概念，或者說(shuō)，在某些情況下可以被放心舍棄的細(xì)節(jié)依然不影響事物的本質(zhì)。這或許是物理學(xué)思想的魅力，也是其他學(xué)科的科學(xué)家或多或少難以理解之處。這些研究目前已經(jīng)發(fā)展成一個(gè)更大的猜想，是否在深度學(xué)習(xí)乃至大語(yǔ)言模型的解空間里存在大偏差的稀有團(tuán)簇？這些團(tuán)簇或許能夠?qū)崿F(xiàn)舉一反三的邏輯推理能力。

03 無(wú)師自通與對(duì)稱性破缺

上一個(gè)例子講述的是統(tǒng)計(jì)物理在理解監(jiān)督學(xué)習(xí)的重要作用。接下來(lái)我們研究一下無(wú)監(jiān)督學(xué)習(xí)，即無(wú)師自通。無(wú)監(jiān)督學(xué)習(xí)是讓機(jī)器從原始數(shù)據(jù)中自發(fā)地發(fā)現(xiàn)隱藏規(guī)律，類似人類在嬰兒時(shí)期的觀察和學(xué)習(xí)過(guò)程，所以是一種更為重要的認(rèn)知方式。這個(gè)自然界最不可思議的是它的可理解性（愛(ài)因斯坦語(yǔ)錄），所以人類可通過(guò)模型（幾條合理性的假設(shè)）依靠邏輯演繹導(dǎo)出簡(jiǎn)潔的物理方程（如牛頓力學(xué)、廣義相對(duì)論等），從而達(dá)到對(duì)成千上萬(wàn)種經(jīng)驗(yàn)觀察的高度壓縮。這個(gè)與當(dāng)前大語(yǔ)言模型所做的壓縮即智能有很大的不同③。那么，對(duì)于無(wú)監(jiān)督學(xué)習(xí)，我們?nèi)绾谓Ｒ灾睋羝浔举|(zhì)？

如圖3所示，σ代表輸入原始數(shù)據(jù)（沒(méi)有標(biāo)簽），ξ1，2代表兩層神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)規(guī)律的表示，x，y 分別為輸出神經(jīng)元。無(wú)監(jiān)督學(xué)習(xí)從數(shù)學(xué)上可以表達(dá)為已知數(shù)據(jù)推斷連接ξ1，2的過(guò)程。為了建立理論模型，我們首先假定存在一個(gè)老師網(wǎng)絡(luò)，它的連接是完全可知的，因此我們可以通過(guò)該老師網(wǎng)絡(luò)來(lái)生成訓(xùn)練數(shù)據(jù)，這個(gè)規(guī)則叫受限玻爾茲曼機(jī)④，圖3 中的i，j，k，l 標(biāo)示顯層神經(jīng)元，x， y 是隱層神經(jīng)元，因此如圖的連接是個(gè)伊辛模型，顯層與隱層神經(jīng)元互為條件獨(dú)立，因此便于蒙特卡洛模擬來(lái)生成數(shù)據(jù)。這樣一來(lái)，那么具有相同結(jié)構(gòu)的學(xué)生網(wǎng)絡(luò)能否單從數(shù)據(jù)悟得老師的連接矩陣呢？這就是一個(gè)統(tǒng)計(jì)物理可研究的課題。

圖3 受限玻爾茲曼機(jī)的學(xué)習(xí)過(guò)程示意圖

接下來(lái)，我們?nèi)菀淄ㄟ^(guò)貝葉斯定理寫(xiě)出如下的學(xué)生網(wǎng)絡(luò)的概率分布：

該分布在圖3的具體表示為［10］：

其中，Z 為網(wǎng)絡(luò)結(jié)構(gòu)的配合函數(shù)，N為每個(gè)隱層神經(jīng)元的神經(jīng)連接數(shù)，β為溫度倒數(shù)，P0 為先驗(yàn)分布，Ω則為無(wú)監(jiān)督學(xué)習(xí)的配分函數(shù)。在這里，我們做了兩個(gè)重要假設(shè)：每個(gè)數(shù)據(jù)是獨(dú)立生成的，并且先驗(yàn)分布對(duì)神經(jīng)元標(biāo)號(hào)是獨(dú)立的。我們稍微觀察以上的系綜分布就可以發(fā)現(xiàn)，ξ1，2 → -ξ1，2 和12，該分布是不變的，顯示了和對(duì)稱性，因?yàn)槲覀兊倪B接權(quán)重取為Ising 自旋值。那么，一個(gè)有趣的物理問(wèn)題就產(chǎn)生了：學(xué)習(xí)的過(guò)程是對(duì)稱性破缺的過(guò)程嗎？

經(jīng)過(guò)復(fù)雜的計(jì)算（細(xì)節(jié)參看文獻(xiàn)［3］），我們發(fā)現(xiàn)：隨著數(shù)據(jù)量的增長(zhǎng)達(dá)到第一個(gè)閾值，與對(duì)稱性相關(guān)的第一個(gè)連續(xù)性相變發(fā)生，學(xué)生開(kāi)始推斷老師連接權(quán)重相同的那部分（即ξ 1i = ξ 2i），這種類型的轉(zhuǎn)變被稱為自發(fā)對(duì)稱破缺，就像在標(biāo)準(zhǔn)伊辛模型中遇到的鐵磁相變那樣。隨著數(shù)據(jù)量進(jìn)一步增加，學(xué)生開(kāi)始推斷老師連接權(quán)重不同的那部分（ 即ξ1i= -ξ 2i），這被稱為第一種置換（）對(duì)稱破缺，即學(xué)生開(kāi)始意識(shí)到它的兩個(gè)感受野（ ξ1，ξ 2 ）也是不同的。不妨總結(jié)為“先求同，后存異”。隨著數(shù)據(jù)量進(jìn)一步增加，學(xué)生開(kāi)始能夠區(qū)分老師（或基本規(guī)律）體系結(jié)構(gòu)中兩個(gè)隱藏節(jié)點(diǎn)的內(nèi)在順序。我們將這個(gè)轉(zhuǎn)變稱為對(duì)稱性破缺的第二個(gè)亞型。僅在此轉(zhuǎn)變之后，自由能才有兩個(gè)同等重要的谷底。但學(xué)生只推斷其中一種可能性，并取決于初始條件。這兩個(gè)谷底對(duì)應(yīng)于基本規(guī)律的兩種可能順序（x， y）或（y，x），這也是原始無(wú)監(jiān)督學(xué)習(xí)概率分布的內(nèi)在置換對(duì)稱性。因此，通過(guò)統(tǒng)計(jì)物理分析，我們得出：數(shù)據(jù)可以自發(fā)驅(qū)動(dòng)層級(jí)式的連續(xù)相變直至數(shù)據(jù)中的客觀規(guī)律被機(jī)器所捕獲，并且也揭示了先驗(yàn)的作用：極大減少自發(fā)對(duì)稱破缺的最小數(shù)據(jù)量，并且融合了兩個(gè)亞型，即在先驗(yàn)的幫助下，學(xué)生認(rèn)識(shí)自我和客觀是同時(shí)發(fā)生的；然而在沒(méi)有先驗(yàn)情況下，認(rèn)識(shí)自我則先于客觀。

從一個(gè)簡(jiǎn)單模型出發(fā)，我們可以揭示無(wú)監(jiān)督學(xué)習(xí)豐富的物理圖像，即對(duì)稱性破缺是支配學(xué)習(xí)過(guò)程的重要力量。這種概念在今年又在非平衡的生成擴(kuò)散過(guò)程中被完整詮釋［11］，讓人不得不感嘆物理思維的巧妙與精確，再次印證了著名物理學(xué)家戴森那句名言。

04 非平衡穩(wěn)態(tài)動(dòng)力學(xué)的偽勢(shì)表示法

前面兩個(gè)例子并未涉及動(dòng)力學(xué)，然而動(dòng)力學(xué)是理解大腦認(rèn)知的關(guān)鍵過(guò)程。我們注意到，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，前面提到其本質(zhì)為梯度力作用下的朗之萬(wàn)方程。事實(shí)上，在認(rèn)知?jiǎng)恿W(xué)層面上，幾乎所有的動(dòng)力學(xué)并不存在梯度力，即下面方程

dx/dt= f （x） + ζ，

其中f 為不顯含時(shí)間，但并不能寫(xiě)為某個(gè)標(biāo)量勢(shì)的梯度，即不存在李雅普諾夫函數(shù)。ζ表示神經(jīng)回路的背景噪聲（在這里暫且將其忽略）。在高維空間里，如上的動(dòng)力學(xué)方程可以涌現(xiàn)出混沌行為，成為眾多理論神經(jīng)科學(xué)家（實(shí)際上多數(shù)為理論物理出身）展示數(shù)學(xué)物理功力的首選研究對(duì)象。在過(guò)去三十多年來(lái)，經(jīng)典工作不斷涌現(xiàn)，每次都加深了人們對(duì)于高維混沌動(dòng)力學(xué)的理解。

圖4 給出了一個(gè)3 維的例子：只有三個(gè)神經(jīng)元的系統(tǒng)，在它們連接矩陣屬性改變時(shí)，系統(tǒng)的相空間由一個(gè)全局穩(wěn)定點(diǎn)破缺為對(duì)稱的兩個(gè)焦點(diǎn)。雖然原系統(tǒng)無(wú)法通過(guò)梯度力來(lái)研究（不存在李雅普諾夫函數(shù)），但是如果變換研究的興趣為非平衡穩(wěn)態(tài)（即零速率極限，即f=0），那么我們就可以非常直觀地寫(xiě)下一個(gè)動(dòng)能函數(shù)E（x） = （1/2）f 2 （單位質(zhì)量）來(lái)作為非平衡穩(wěn)態(tài)的偽勢(shì)［12］，這個(gè)偽勢(shì)將讓我們能夠定義正則系綜來(lái)研究非平衡神經(jīng)動(dòng)力學(xué)穩(wěn)態(tài)問(wèn)題；這在此前的所有研究中是無(wú)法想象的。原則上，人們應(yīng)該通過(guò)復(fù)雜的動(dòng)力學(xué)平均場(chǎng)或路徑積分來(lái)推導(dǎo)穩(wěn)態(tài)方程，這對(duì)于更復(fù)雜的神經(jīng)動(dòng)力學(xué)（比如f 的形式較復(fù)雜）來(lái)說(shuō)甚至是十分艱巨的一個(gè)計(jì)算任務(wù)。

圖4 非線性動(dòng)力學(xué)的偽勢(shì)法

有了這個(gè)新思路，當(dāng)三個(gè)神經(jīng)元系統(tǒng)被推廣至無(wú)窮（N→∞）神經(jīng)元系統(tǒng)（比如大腦具有大概860 億級(jí)的神經(jīng)細(xì)胞），并且假設(shè)相互作用矩陣是非厄米的隨機(jī)矩陣［矩陣元Jij ~N（0，g2 /N） ］，我們可以發(fā)現(xiàn)當(dāng)g 增加到1 時(shí)將觸發(fā)一個(gè)連續(xù)的動(dòng)力學(xué)相變（從有序走向混沌），其序參量為網(wǎng)絡(luò)神經(jīng)活動(dòng)水平的漲落。注意這些序參量并不是人為設(shè)定的，而是來(lái)源于上面正則系綜計(jì)算的邏輯演繹。讓人驚訝的是，該計(jì)算還會(huì)導(dǎo)出另一個(gè)序參量，恰是統(tǒng)計(jì)力學(xué)中的響應(yīng)函數(shù)，它刻畫(huà)了動(dòng)力系統(tǒng)在面對(duì)微弱擾動(dòng)時(shí)的響應(yīng)能力。我們發(fā)現(xiàn)在相變點(diǎn)附近，該響應(yīng)函數(shù)出現(xiàn)峰值，從物理上證實(shí)了混沌邊緣的優(yōu)越性。無(wú)獨(dú)有偶，2022 年的一項(xiàng)實(shí)驗(yàn)研究表明人類大腦的腦電動(dòng)力學(xué)在清醒時(shí)在混沌邊緣具有最大的信息豐度［13］，從而暗示了統(tǒng)計(jì)力學(xué)推導(dǎo)的響應(yīng)函數(shù)峰值可能從數(shù)學(xué)上講是意識(shí)的必要條件。

這個(gè)例子告訴我們，即便是十分復(fù)雜的非梯度動(dòng)力學(xué)，我們依然可以另辟蹊徑從統(tǒng)計(jì)力學(xué)角度提出模型，并且通過(guò)嚴(yán)謹(jǐn)計(jì)算獲得深刻認(rèn)識(shí)。因此，年輕學(xué)生應(yīng)該掌握必要的數(shù)學(xué)工具，并且勇于挑戰(zhàn)既有思想框架，通過(guò)提供新的見(jiàn)解來(lái)發(fā)展古老的學(xué)科。

05 大語(yǔ)言模型示例泛化的奧妙

大語(yǔ)言模型是2023 年初火遍全球的Chat GPT的原動(dòng)力，它憑借海量數(shù)據(jù)文本和計(jì)算力通過(guò)預(yù)測(cè)下一個(gè)單詞贏得了世人的贊嘆和興趣［14］。經(jīng)過(guò)預(yù)訓(xùn)練的聊天工具尤其展示了一種示例泛化的能力，這在以往所有機(jī)器模型中均未出現(xiàn)過(guò)。簡(jiǎn)單來(lái)說(shuō)，就是給少數(shù)幾個(gè)例子（不管是數(shù)學(xué)的，還是語(yǔ)言的），然后基礎(chǔ)模型也不用再訓(xùn)練，它就能夠?qū)π聠?wèn)題給出準(zhǔn)確答案了。這困惑了大家好一陣子，直到下面的事情發(fā)生。

我們說(shuō)過(guò)，任何一種復(fù)雜現(xiàn)象都需要模型驅(qū)動(dòng)的研究，才能找到潛藏的簡(jiǎn)單規(guī)律（如果存在）。為了找到答案，我們先考慮一個(gè)線性回歸函數(shù)類，如 y = wTx 。我們首先固定一個(gè)隨機(jī)的任務(wù)向量w，然后生成多個(gè)隨機(jī)的x 計(jì)算其標(biāo)簽y，就有了針對(duì)示例泛化的預(yù)訓(xùn)練數(shù)據(jù)：

注意最后一列為讓基礎(chǔ)模型推斷的數(shù)據(jù)，故遮掉了真實(shí)的標(biāo)簽。這個(gè)矩陣相當(dāng)于給了有答案的n道數(shù)學(xué)題，然后問(wèn)一道（最后一列），看機(jī)器能否準(zhǔn)確推斷。這顯然是一個(gè)難的問(wèn)題！但是，神奇的是，聰明的機(jī)器做到了，不禁讓人看到通用人工智能微弱的曙光。

其實(shí)通過(guò)簡(jiǎn)單變換，比如假設(shè)單層線性自注意力機(jī)制（細(xì)節(jié)見(jiàn)文獻(xiàn)［15］），我們喜出望外地發(fā)現(xiàn)預(yù)訓(xùn)練的機(jī)器參數(shù)服從如下的哈密頓量：

最后一項(xiàng)為機(jī)器參數(shù)的高斯先驗(yàn)。這顯然是一個(gè)兩體相互作用的實(shí)自旋模型，它的基態(tài)就是基礎(chǔ)模型示例泛化能力的根源。我們可以通過(guò)高斯分布假設(shè)來(lái)求解這個(gè)模型的基態(tài)，最后發(fā)現(xiàn)哪怕在有限尺寸的網(wǎng)絡(luò)，依然可以得到如下最優(yōu)解：

其中為神經(jīng)網(wǎng)絡(luò)給出的答案，上述物理模型的基態(tài)意味著 和W21=0，D 是數(shù)據(jù)的維度。分塊矩陣W與自旋耦合J 一一對(duì)應(yīng)。因此我們就明白了，只要找到該基態(tài)，示例泛化即可達(dá)成，并無(wú)需再微調(diào)參數(shù)！這個(gè)模型還揭示了任務(wù)向量的多樣性對(duì)預(yù)訓(xùn)練效果起到至關(guān)重要的作用。因此，也就不難理解大語(yǔ)言模型需要海量多模態(tài)的文本庫(kù)了。我們可以大膽地想象，只要窮盡承載人類文明的所有知識(shí)，也許有一天我們真能制造出無(wú)所不能的智慧機(jī)器，至少在人類已掌握技能的疆域內(nèi)是沒(méi)有問(wèn)題的。

06 總結(jié)和展望

本文從物理學(xué)的概念出發(fā)介紹了神經(jīng)網(wǎng)絡(luò)的DNA，數(shù)據(jù)相當(dāng)于一種初始化，可以驅(qū)動(dòng)網(wǎng)絡(luò)連接權(quán)重的連續(xù)更新以獲得一個(gè)聰明的自適應(yīng)的物理模型，而這個(gè)更新過(guò)程是端對(duì)端地優(yōu)化一個(gè)目標(biāo)函數(shù)，優(yōu)化的過(guò)程即執(zhí)行在高維空間的朗之萬(wàn)動(dòng)力學(xué)。神經(jīng)網(wǎng)絡(luò)的奧秘正是在于高維的權(quán)重空間，它本質(zhì)上服從正則系綜分布。半嚴(yán)格的物理分析給出了權(quán)重空間的分布和數(shù)據(jù)驅(qū)動(dòng)的權(quán)重的對(duì)稱性破缺。從物理直觀出發(fā)，人們可以獲取非平衡神經(jīng)動(dòng)力學(xué)的穩(wěn)態(tài)全貌以及隱藏的動(dòng)力學(xué)相變；甚至，人們可以將大語(yǔ)言模型的示例泛化歸結(jié)為兩體自旋模型，依此可以洞察智能的本質(zhì)。數(shù)學(xué)的具象化為物理，而物理的盡頭則為數(shù)學(xué)，數(shù)學(xué)與物理相輔相成，成為理解神經(jīng)網(wǎng)絡(luò)乃至智能本質(zhì)不可或缺的手段。本文借助少數(shù)幾個(gè)例子，希望啟發(fā)青年學(xué)生欣賞數(shù)學(xué)的魅力，習(xí)得物理的洞察力，為揭開(kāi)大腦智能神秘的面紗貢獻(xiàn)自己的智慧。

參考文獻(xiàn)：

參考文獻(xiàn)（一）

① 神經(jīng)網(wǎng)絡(luò)的源頭可追溯至麥可洛和皮茨在1943年發(fā)表的關(guān)于邏輯演算的研究。

② 戴森應(yīng)邀為美國(guó)數(shù)學(xué)會(huì)的愛(ài)因斯坦講座所準(zhǔn)備，題目為鳥(niǎo)與青蛙。

③ 大模型的壓縮并不意味著“理解”。

④ 對(duì)受限玻爾茲曼機(jī)訓(xùn)練算法的研究是2024年諾貝爾物理學(xué)獎(jiǎng)得主辛頓的重要貢獻(xiàn)之一。

參考文獻(xiàn)（二）

［1］Ising，E.Beitrag zur Theorie des Ferromagnetismus. Z. Physik， 1925， 31： 253-258 。

［2］ 黃海平， 統(tǒng)計(jì)物理、無(wú)序系統(tǒng)與神經(jīng)網(wǎng)絡(luò)， 科學(xué)，2022，74：40-44

［3］ 黃海平，神經(jīng)網(wǎng)絡(luò)的統(tǒng)計(jì)力學(xué)（英文版），高等教育出版社，2021.

［4］ Brice Huang， Capacity threshold for the Ising perceptron， arXiv：2404.18902.

［5］ H. Huang， K. M. Wong and Y. Kabashima， Entropy landscape of solutions in the binary perceptron problem， Journal of Physics A： Mathematical and Theoretical， 2013， 46（37）：375002; H.Huang andY. Kabashima， Origin of the computational hardness for learning with binary synapses， Physical Review E， 2014， 90（5）：052813.

［6］ W. Perkins and C. Xu， Frozen 1-rsb structure of the symmetric ising perceptron， Random Structures & Algorithms， 2024， 64（4）：856.

［7］ E. Abbe， S. Li and A. Sly， Proof of the contiguity conjecture and lognormal limit for the symmetric perceptron， In 2021 IEEE 62nd Annual Symposium on Foundations of Computer Science （FOCS）， pp. 327-338.

［8］ C. Baldassi， A. Ingrosso， C. Lucibello， L. Saglietti and R. Zecchina， Subdominant dense clusters allow for simple learning and high computational performance in neural networks with discrete synapses， Physical review letters， 2015， 115（12）：128101.

［9］ E. Abbe， S. Li and A. Sly， Binary perceptron： efficient algorithms can find solutions in a rare well- connected cluster， In 2022 Proceedings of the 54th Annual ACM SIGACT Symposium on Theory of Computing， pp. 860-873.

［10］ Tianqi Hou and Haiping Huang. Statistical physics of unsupervised learning with prior knowledge in neural networks. Phys. Rev. Lett.， 2020， 124:248302

［11］ Gabriel Raya and Lca Ambrogioni. Spontaneous symmetry breaking in generative diffusion models. In A. Oh， T. Neumann， A. Globerson， K. Saenko， M. Hardt， and S. Levine， editors， Advances in Neural Information Processing Systems， volume 36， pages 66377-66389. Curran Associates， Inc.， 2023; Z. Y and H. Huang， Nonequilbrium physics of generative diffusion models， arXiv： 2405.11932.

［12］ Junbin Qiu and Haiping Huang. An optimization-based equilibrium measure describes non- equilibrium steady state dynamics： application to edge of chaos. arXiv:2401.10009.

［13］ Daniel Toker， Ioannis Pappas， Janna D Lendner， Joel Frohlich， Diego M Mateos， Suresh Muthukumaraswamy， Robin Carhart-Harris， Michelle Paff， Paul M Vespa， Martin M Monti， et al. Consciousness is supported by near- critical slow cortical electrodynamics. Proceedings of the National Academy of Sciences， 2022， 119（7）：e2024455119.

［14］ Sebastien Bubeck， Varun Chandrasekaran， Ronen Eldan， John A. Gehrke， Eric Horvitz， Ece Kamar， Peter Lee， Yin Tat Lee， YuanFang Li， Scott M. Lundberg， Harsha Nori， Hamid Palangi， Marco Tulio Ribeiro， and Yi Zhang. Sparks ofartificial general intelligence： Early experiments with gpt-4. arXiv:2303.12712.

［15］ Yuhao Li， Ruoran Bai， and Haiping Huang， Spin glass model of in-context learning， arXiv： 2408.02288.