無人潛航器（UUV）是一種水下機(jī)器人，在沒有人的情況下運(yùn)行。這些運(yùn)載工具的早期使用案例包括深海勘探和水下水雷的禁用等工作。然而，由于水的扭曲效應(yīng)，無人潛水器的通信和導(dǎo)航控制較差。因此，研究人員已經(jīng)開始開發(fā)機(jī)器學(xué)習(xí)技術(shù)，幫助無人潛航器更好地自主導(dǎo)航。

也許研究人員正在努力解決的最大挑戰(zhàn)是缺乏GPS信號，因?yàn)镚PS信號無法穿透水面。其他類型的依賴相機(jī)的導(dǎo)航技術(shù)也無效，因?yàn)樗孪鄼C(jī)的能見度很低。

研究人員表示，他們的目的之一是最終幫助解決清除累積在船體上的生物的危險(xiǎn)工作。這些堆積物，也被稱為生物膜，通過引入入侵物種對環(huán)境構(gòu)成威脅，并通過增加的船舶阻力提高了運(yùn)輸成本。

在上個(gè)月發(fā)表在IEEE Access（https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=6287639）雜志上的這項(xiàng)研究（ieeexplore.ieee.org/document/10304148）中，來自澳大利亞和法國的研究人員使用了一種稱為深度強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)方法，幫助無人潛航器在困難條件下更準(zhǔn)確地導(dǎo)航。

在強(qiáng)化學(xué)習(xí)（spectrum.ieee.org/tag/reinforcement-learning）中，UUV模型從執(zhí)行隨機(jī)動(dòng)作開始，然后觀察這些動(dòng)作的結(jié)果，并將其與目標(biāo)進(jìn)行比較——在這種情況下，盡可能接近目標(biāo)目的地；加強(qiáng)積極結(jié)果的行動(dòng)，避免導(dǎo)致不良結(jié)果的行動(dòng)。

海洋給無人潛航器的導(dǎo)航挑戰(zhàn)增加了另一層復(fù)雜性，強(qiáng)化模型必須學(xué)會(huì)克服這些挑戰(zhàn)。洋流很強(qiáng)，可以將潛航器帶到遠(yuǎn)離預(yù)定路徑的不可預(yù)測的方向。因此，無人潛水器需要導(dǎo)航，同時(shí)還要補(bǔ)償來自電流的干擾。

為了達(dá)到最佳效果，研究人員調(diào)整了強(qiáng)化學(xué)習(xí)的長期慣例。這項(xiàng)研究的主要作者、澳大利亞阿德萊德弗林德斯大學(xué)科學(xué)與工程學(xué)院的副研究員Thomas Chaffre表示，他的團(tuán)隊(duì)的出發(fā)點(diǎn)是該領(lǐng)域研究大規(guī)模遷移的一部分。今天，包括谷歌DeepMind在內(nèi)的機(jī)器學(xué)習(xí)研究人員Chaffre表示，質(zhì)疑關(guān)于強(qiáng)化學(xué)習(xí)訓(xùn)練過程的長期假設(shè)正變得越來越普遍，他們正在尋找可以顯著提高訓(xùn)練成績的微小變化。

在這種情況下，研究人員專注于改變強(qiáng)化學(xué)習(xí)的記憶緩沖系統(tǒng)，該系統(tǒng)用于存儲(chǔ)過去動(dòng)作的結(jié)果。存儲(chǔ)在存儲(chǔ)緩沖器中的動(dòng)作和結(jié)果在整個(gè)訓(xùn)練過程中被隨機(jī)采樣，以更新模型的參數(shù)。Chaffre說，通常這種采樣是以“獨(dú)立且相同分布”的方式進(jìn)行的，這意味著它用來更新的操作完全是隨機(jī)的。

T CHAFFRE/FLINDERS UNIVERSITY

研究人員對訓(xùn)練過程進(jìn)行了改變，使其從記憶緩沖區(qū)中采樣，其方式更類似于人類大腦的學(xué)習(xí)方式。與其有平等的機(jī)會(huì)從過去的所有經(jīng)歷中學(xué)習(xí)，不如更多地重視那些帶來巨大積極成果的行動(dòng)，以及最近發(fā)生的行動(dòng)。Chaffre說：“當(dāng)你學(xué)習(xí)打網(wǎng)球時(shí)，你會(huì)更多地關(guān)注最近的經(jīng)歷。隨著你看到進(jìn)步，你將不在乎開始訓(xùn)練時(shí)的表現(xiàn)，因?yàn)樗辉倌荏w現(xiàn)出任何關(guān)于你當(dāng)前水平的信息。”

Chaffre說，同樣，當(dāng)強(qiáng)化算法從過去的經(jīng)驗(yàn)中學(xué)習(xí)時(shí)，它應(yīng)該主要集中在最近的行動(dòng)上，這些行動(dòng)帶來了巨大的積極收益。

研究人員發(fā)現(xiàn)，當(dāng)使用這種自適應(yīng)內(nèi)存緩沖技術(shù)時(shí)，UUV模型可以更快地訓(xùn)練，同時(shí)消耗更少的功率。Chaffre說，這兩種改進(jìn)在部署無人潛航器時(shí)都提供了顯著的優(yōu)勢，因?yàn)楸M管經(jīng)過訓(xùn)練的模型可以隨時(shí)使用，但仍需要對其進(jìn)行微調(diào)。

Chaffre說：“因?yàn)槲覀冋谘芯克聶C(jī)器人，使用它們的成本非常高，而且用它們訓(xùn)練強(qiáng)化學(xué)習(xí)算法非常危險(xiǎn)。” 因此，他補(bǔ)充道，減少模型微調(diào)的時(shí)間可以防止?jié)摵狡鲹p壞，并節(jié)省維修費(fèi)用。他說，該團(tuán)隊(duì)未來的計(jì)劃包括在海洋中的物理無人潛航器上測試新的訓(xùn)練算法。