來自幾個物理和地質(zhì)實驗室的研究人員已經(jīng)開發(fā)了深度仿真器網(wǎng)絡(luò)搜索（DENSE），這是一種使用深度學(xué)習(xí)在從高能物理到氣候科學(xué)等各個領(lǐng)域進行科學(xué)模擬的技術(shù)。與以前的模擬器相比，DENSE的結(jié)果使速度提高了1000萬到20億倍。

科學(xué)家在arXiv上發(fā)表的一篇論文中描述了他們的技術(shù)和一些實驗。由于需要有效地生成神經(jīng)網(wǎng)絡(luò)仿真器 來代替較慢的仿真，該團隊開發(fā)了一種神經(jīng)搜索方法和一種新穎的可生成卷積神經(jīng)網(wǎng)絡(luò)（CNN）的超體系結(jié)構(gòu)。選擇CNN的原因是，它們在大量“自然”信號上表現(xiàn)良好，而這些信號是許多科學(xué)模型的領(lǐng)域。使用標(biāo)準(zhǔn)的模擬器程序來為CNN生成訓(xùn)練和測試數(shù)據(jù)，并且根據(jù)該團隊。

科學(xué)家經(jīng)常使用模擬 -數(shù)學(xué)模型的計算機實現(xiàn)-來檢驗新思想并探索自然系統(tǒng)的潛在行為。由于這些仿真是理論模型的實現(xiàn)，因此即使在現(xiàn)代計算機硬件上，它們也可能運行非常緩慢。例如， 全球氣候模型可能要花費數(shù)千個CPU小時。加速模擬器可以使研究人員嘗試許多想法，并已顯示出有望作為改進藥物發(fā)現(xiàn)或改進和優(yōu)化昂貴的血漿和融合實驗的一種方法。

對于科學(xué)家僅對模型輸出感興趣而不對內(nèi)部模型狀態(tài)感興趣的情況，仿真器可以提供答案。仿真器是一種程序，可以模擬給定輸入的仿真器輸出，但無需準(zhǔn)確地對系統(tǒng)的內(nèi)部狀態(tài)建模。

通過使用速度較慢的模擬器生成許多輸入/輸出示例，科學(xué)家可以訓(xùn)練出比模擬器運行速度快得多的神經(jīng)網(wǎng)絡(luò)模擬器。面臨的挑戰(zhàn)是為模擬器找到最適合訓(xùn)練數(shù)據(jù)的適當(dāng)神經(jīng)網(wǎng)絡(luò)架構(gòu)。

為了解決這個問題，研究團隊開發(fā)了一種神經(jīng)架構(gòu)搜索（NAS），稱為深度仿真器網(wǎng)絡(luò)搜索（DENSE）。首先，團隊定義了一個網(wǎng)絡(luò)超級架構(gòu) 這限制了算法的搜索空間。

超級架構(gòu)是節(jié)點圖;第一個節(jié)點代表輸入，最后一個節(jié)點代表輸出;之間的兩個以上的節(jié)點代表隱藏網(wǎng)絡(luò)層的激活輸出。

節(jié)點通過操作組進行連接，這些操作組包括各種內(nèi)核大小的CNN層，標(biāo)識層（或“跳過連接”）以及將其輸入乘以零的零層。從該超級架構(gòu)空間中采樣候選網(wǎng)絡(luò)并對其進行訓(xùn)練。然后，通過在未驗證的數(shù)據(jù)集上運行候選人來對候選人進行排名，以找到表現(xiàn)最佳的網(wǎng)絡(luò)。