一只漂浮在平流層的巨型氣球，在人工智能的幫助下，穩(wěn)穩(wěn)地待在原地數(shù)周。

12月3日，學(xué)術(shù)期刊《自然》發(fā)表了一項來自谷歌團隊的研究，顯示人工智能控制器能讓平流層的氣球一連數(shù)周待在原地。這項研究結(jié)果意味著，深度強化學(xué)習(xí)向現(xiàn)實世界應(yīng)用邁進了難得的一步，提高了全自動環(huán)境監(jiān)測成為現(xiàn)實的可能性。

平流層中的無人氣球。谷歌Project Loon正在利用這種氣球建立空中無線通訊網(wǎng)絡(luò)。

填充氦氣的“超壓”氣球常被用來在高層大氣開展實驗，比如氣象監(jiān)測。對于谷歌Project Loon項目而言，這類氣球被用來向指定地區(qū)提供互聯(lián)網(wǎng)服務(wù)。

“超壓”氣球在空中作業(yè)時，被要求停留在固定的位置，以便更好地獲取數(shù)據(jù)或傳輸信息。如果被風(fēng)吹偏了航道，它們需要返回駐點。根據(jù)《自然》的這項最新研究，深度強化學(xué)習(xí)可以訓(xùn)練人工智能系統(tǒng)進行決策，這些決策包括采取哪些行動來保持氣球的位置不變。

這項研究題為“Autonomous navigation of stratospheric balloons using reinforcement learning”（《基于強化學(xué)習(xí)的平流層氣球自主導(dǎo)航》），由谷歌大腦團隊和谷歌母公司Alphabet旗下子公司Loon共同完成。

論文第一作者、來自谷歌大腦團隊的Marc Bellemare和同事訓(xùn)練了的人工智能控制器能根據(jù)風(fēng)的歷史記錄、預(yù)報、局地風(fēng)觀測和其他因素（如氦氣損失和電池疲勞），決定是否要移動氣球。

平流層氣球的定位。定位是指將氣球的位置保持在地面某特定位置的一定范圍之內(nèi)。

深度強化學(xué)習(xí)的應(yīng)用已在受控環(huán)境如電腦游戲中得到了演示。受控環(huán)境擁有完整的數(shù)據(jù)集和明確定義的參數(shù)，與之相比，現(xiàn)實世界的可預(yù)測性較差。比如在平流層氣球定位問題中，環(huán)境中風(fēng)的數(shù)據(jù)不完整，很難采取最優(yōu)調(diào)整，讓氣球保持在原位。

為解決這個問題，研究人員利用一種數(shù)據(jù)增強算法來解釋數(shù)據(jù)中的空白。他們將這種名為StationSeeker的技術(shù)應(yīng)用到全球各地的Loon氣球上，并在太平洋赤道附近進行了為期39天的空中受控實驗。

作者發(fā)現(xiàn)，受到StationSeeker控制的氣球能成功實現(xiàn)自主導(dǎo)航，一旦被吹偏航道，它們能比傳統(tǒng)控制器控制的氣球更快地回到駐點。

Project Loon最初是谷歌X實驗室的一個項目，2018年該項目被分拆出來，成為了Alphabet的獨立子公司。至今，Loon氣球已經(jīng)累計了超過100萬小時的飛行時間，2020年7月起，Loon正式開始在肯尼亞運營其商業(yè)互聯(lián)網(wǎng)服務(wù)。

英國國家大氣科學(xué)中心、牛津大學(xué)大氣海洋和行星物理學(xué)系的科學(xué)家Scott M. Osprey在為該論文寫的“新聞與觀點”文章中評價稱，這項研究代表了增強學(xué)習(xí)在現(xiàn)實世界應(yīng)用的一次巨大進步。“在不完全了解周邊風(fēng)的情況下，一個人工智能控制器讓氣球在平流層停留了數(shù)周，這為無監(jiān)督環(huán)境監(jiān)測開辟了前景”。

Scott M. Osprey認為，有效且自主“超壓”氣球?qū)樘綔y地球和其他行星的大氣提供一系列商業(yè)和科學(xué)應(yīng)用。如果能做到讓一個氣球在特定位置停留數(shù)月，就可以進行長期的環(huán)境監(jiān)測，例如檢測城市上空的空氣質(zhì)量、受高溫影響的森林和凍土融化地區(qū)的碳通量等。其他應(yīng)用甚至包括監(jiān)測動物遷徙路線和非法越境的貨物與偷渡人員。

責(zé)任編輯：PSY