玄幻小说排行榜完本,小说排行榜完结版,盗墓笔记小说

除了模仿人類說話、寫作、寫代碼，大模型還能用來發(fā)現(xiàn)新知識。

作為今年 AI 圈的頂流，大型語言模型（LLM）擅長的是組合概念，并且可以通過閱讀、理解、寫作和編碼來幫助人們解決問題。但它們能發(fā)現(xiàn)全新的知識嗎？

由于 LLM 已被證明存在「幻覺」問題，即生成與事實不符的信息，因此利用 LLM 來做可驗證的正確發(fā)現(xiàn)是一項挑戰(zhàn)。

現(xiàn)在，來自 Google DeepMind 的研究團隊提出了一種為數(shù)學和計算機科學問題搜索解決方案的新方法 ——FunSearch。FunSearch 的工作原理是將預訓練的 LLM（以計算機代碼的形式提供創(chuàng)造性解決方案）與自動「評估器」配對，以防止產(chǎn)生幻覺和錯誤思路。通過在這兩個組件之間來回迭代，最初的解決方案演變成了「新的知識」。相關論文發(fā)表在《自然》雜志上。

論文地址：https://www.nature.com/articles/s41586-023-06924-6

這項工作是首次利用 LLM 在科學或數(shù)學的挑戰(zhàn)性開放問題方面取得新發(fā)現(xiàn)。

FunSearch 發(fā)現(xiàn)了 cap set 問題的全新解決方案，這是數(shù)學中一個長期存在的開放問題。此外，為了展示 FunSearch 的實際用途，DeepMind 還用它來發(fā)現(xiàn)更有效的算法來解決「裝箱」問題，該問題應用廣泛，比如可以用于提高數(shù)據(jù)中心的效率。

研究團隊認為 FunSearch 將成為一個特別強大的科學工具，因為它輸出的程序揭示了其解決方案是如何構建的，而不僅僅是解決方案是什么。這將會激發(fā)科學家的進一步見解，從而形成科學改進與發(fā)現(xiàn)的良性循環(huán)。

通過語言模型的進化推動發(fā)現(xiàn)

FunSearch 采用由 LLM 支持的進化方法，鼓勵并推動得分最高的思路想法。這些想法被表達成計算機程序，以便它們可以自動運行和評估。

首先，用戶需要以代碼的形式編寫問題的描述。該描述包括評估程序的過程和用于初始化程序池的種子程序。

FunSearch 是一個迭代過程，在每次迭代中，系統(tǒng)都會從當前的程序池中選擇一些程序，并將其饋送到 LLM。LLM 創(chuàng)造性地在此基礎上進行構建，生成新的程序，并自動進行評估。最好的程序?qū)⒈惶砑踊噩F(xiàn)有程序庫中，從而創(chuàng)建一個自我改進的循環(huán)。FunSearch 使用 Google 的 PaLM 2，但對其他接受過代碼訓練的方法兼容。

LLM 會從程序數(shù)據(jù)庫中檢索出生成的最佳程序，并被要求生成一個更好的程序。

眾所周知，在不同領域發(fā)現(xiàn)新的數(shù)學知識和算法是一項艱巨的任務，很大程度上超出了當前最先進人工智能系統(tǒng)的能力。為了讓 FunSearch 做到這一點，該研究引入了多個關鍵組件。FunSearch 不是從頭開始，而是從關于問題的常識開始一個進化過程，讓 FunSearch 專注于尋找最關鍵的想法以獲得新的發(fā)現(xiàn)。

此外，F(xiàn)unSearch 的進化過程使用一種策略來提高想法的多樣性，以避免出現(xiàn)停滯情況。最后，為了提高系統(tǒng)效率，進化過程是并行運行的。

在數(shù)學領域開辟新天地

DeepMind 表示，他們首先要解決的是 Cap set 問題，這是一個開放性難題，幾十年來一直困擾著多個研究領域的數(shù)學家。知名數(shù)學家陶哲軒曾把它描述為自己最喜歡的開放性問題。DeepMind 選擇與威斯康星大學麥迪遜分校的數(shù)學教授 Jordan Ellenberg 合作，他是 Cap set 問題的重要突破者。

這個問題包括在一個高維網(wǎng)格中找到最大的點集（稱為 cap set），其中沒有三個點位于一條直線上。這個問題之所以重要，是因為它可以作為極值組合學中其他問題的模型。極值組合學研究的是數(shù)字、圖或其他對象的集合可能有多大或多小。暴力破解方法無法解決這個問題 —— 要考慮的可能性數(shù)量很快就會超過宇宙中原子的數(shù)量。

FunSearch 以程序形式生成的解決方案在某些情況下發(fā)現(xiàn)了有史以來最大的 cap set。這代表了過去 20 年中 cap set 規(guī)模的最大增長。此外，F(xiàn)unSearch 的性能超過了最先進的計算求解器，因為這個問題的規(guī)模遠遠超出了它們目前的能力。

交互式圖表顯示了從種子程序（上）到新的高分函數(shù)（下）的演變。每個圓圈都代表一個程序，其大小與分配給它的分數(shù)成正比。圖中僅顯示底部程序的上級。FunSearch 為每個節(jié)點生成的相應函數(shù)如右側所示。

這些結果表明，F(xiàn)unSearch 技術可以讓人類超越困難組合問題的既定結果，而在這些問題上很難建立直覺。DeepMind 期望這種方法能夠在組合學中類似理論問題的新發(fā)現(xiàn)中發(fā)揮作用，并在未來為通信理論等領域帶來新的可能性。

FunSearch 偏好簡潔、可由人類理解的程序

盡管發(fā)現(xiàn)新的數(shù)學知識本身意義重大，但與傳統(tǒng)的計算機搜索技術相比，F(xiàn)unSearch 方法還展現(xiàn)出了其他的優(yōu)勢。這是因為，F(xiàn)unSearch 并不是一個只會生成問題解決方案的黑箱。相反，它生成的程序會描述出這些解決方案是如何得出的。這種「show-your-working」通常是科學家的工作方式，他們通過闡述產(chǎn)生新發(fā)現(xiàn)或新現(xiàn)象的過程來解釋這些發(fā)現(xiàn)或現(xiàn)象。

FunSearch 更傾向于尋找高度緊湊的程序所代表的解決方案，即具有較低 Kolmogorov 復雜度的解決方案（Kolmogorov 復雜度是輸出解的最短計算機程序的長度）。簡短的程序可以描述非常大的對象，從而使 FunSearch 能夠擴展到非常復雜的問題。此外，這也讓研究人員更容易理解 FunSearch 的程序輸出。Ellenberg 說：「FunSearch 為制定攻擊策略提供了一種全新的機制。FunSearch 生成的解決方案在概念上要比單純的數(shù)字列表豐富得多。當我研究它們時，我學到了一些東西。」

更重要的是，F(xiàn)unSearch 程序的這種可解釋性可以為研究人員提供可操作的見解。例如，DeepMind 在使用 FunSearch 的過程中注意到，它的一些高分輸出的代碼中存在耐人尋味的對稱性。這讓 DeepMind 對問題有了新的認識，他們利用這種認識改進了引入 FunSearch 的問題，從而找到了更好的解決方案。DeepMind 認為，這是人類與 FunSearch 在數(shù)學領域的許多問題上進行合作的典范。

左圖：通過檢查 FunSearch 生成的代碼，DeepMind 獲得了更多可操作的見解（高亮部分）。右圖：使用（更短的）左圖程序構造的原始「可接受」集合。

解決一個眾所周知的計算難題

在理論 cap set 問題取得成功的鼓舞下，DeepMind 決定將 FunSearch 應用于計算機科學中一個重要的實際挑戰(zhàn) —— 裝箱問題（bin packing），以探索它的靈活性。裝箱問題關注的是如何將不同尺寸的物品打包到最少數(shù)量的箱子中。它是許多現(xiàn)實世界問題的核心，從裝載物品的集裝箱到數(shù)據(jù)中心的計算工作分配，這些場景都需要最大限度地降低成本。

在線裝箱問題通常使用基于人類經(jīng)驗的算法規(guī)則（啟發(fā)式）來解決。但是，要為每種特定情況（大小、時間或容量各不相同）找到一套規(guī)則是非常具有挑戰(zhàn)性的。盡管與 cap set 問題非常不同，但為這個問題設置 FunSearch 很容易。FunSearch 提供了一個自動定制的程序（適應數(shù)據(jù)的具體情況），優(yōu)于現(xiàn)有的啟發(fā)式方法 —— 可以使用更少的箱子來打包相同數(shù)量的物品。

使用現(xiàn)有啟發(fā)式 ——Best-fit 啟發(fā)式（左）和 FunSearch 發(fā)現(xiàn)的啟發(fā)式（右）進行裝箱的示例。

像在線裝箱這樣的復雜組合問題可以使用其他人工智能方法來解決，比如神經(jīng)網(wǎng)絡和強化學習。這些方法也被證明是有效的，但也可能需要大量的資源來部署。另一方面，F(xiàn)unSearch 輸出的代碼易于檢查和部署，這意味著它的解決方案有可能被應用到各種現(xiàn)實工業(yè)系統(tǒng)中，從而迅速帶來效益。

DeepMind：用大模型應對科學挑戰(zhàn)將成普遍做法

FunSearch 證明，如果能防止 LLM 產(chǎn)生幻覺，那么這些模型的力量不僅可以用來產(chǎn)生新的數(shù)學發(fā)現(xiàn)，還可以用來揭示重要現(xiàn)實問題的潛在解決方案。

DeepMind 認為，對于科學和工業(yè)領域的許多問題 —— 無論是長期存在的問題還是新問題 —— 使用 LLM 驅(qū)動的方法生成有效和量身定制的算法將成為普遍做法。

其實，這僅僅是一個開始。隨著 LLM 不斷取得進展，F(xiàn)unSearch 也將不斷完善。DeepMind 表示，他們還將努力擴展其功能，以應對社會上各種緊迫的科學和工程挑戰(zhàn)。

參考鏈接：https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/

原文標題：DeepMind論文登上Nature：困擾數(shù)學家?guī)资甑碾y題，大模型發(fā)現(xiàn)全新解

文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術研究所】歡迎添加關注！文章轉載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴