RL算法由于獎(jiǎng)勵(lì)不明確，智能體可能會(huì)收到“利用環(huán)境中的虛假模式”的正反饋，這就有可能導(dǎo)致獎(jiǎng)勵(lì)黑客攻擊。谷歌提出了使用開(kāi)發(fā)元獎(jiǎng)勵(lì)學(xué)習(xí)（MeRL）來(lái)解決未指定獎(jiǎng)勵(lì)的問(wèn)題，通過(guò)優(yōu)化輔助獎(jiǎng)勵(lì)函數(shù)向智能體提供更精確的反饋。

強(qiáng)化學(xué)習(xí)（RL）為優(yōu)化面向目標(biāo)的行為,提供了統(tǒng)一且靈活的框架。

并且在解決諸如：玩視頻游戲、連續(xù)控制和機(jī)器人學(xué)習(xí)等具有挑戰(zhàn)性的任務(wù)方面，取得了顯著成功。

RL算法在這些應(yīng)用領(lǐng)域的成功，往往取決于高質(zhì)量和密集獎(jiǎng)勵(lì)反饋的可用性。

然而，將RL算法的適用性，擴(kuò)展到具有稀疏和未指定獎(jiǎng)勵(lì)的環(huán)境，是一個(gè)持續(xù)的挑戰(zhàn)。

需要學(xué)習(xí)智能體從有限的反饋中，概括例如如何學(xué)習(xí)正確行為的問(wèn)題。

在這種問(wèn)題設(shè)置中研究RL算法性能的一種自然方法，是通過(guò)自然語(yǔ)言理解任務(wù)。

為智能體提供自然語(yǔ)言輸入，并且需要生成復(fù)雜的響應(yīng)，以實(shí)現(xiàn)輸入過(guò)程中指定的目標(biāo)，同時(shí)僅接收“成功-失敗”的反饋。

例如一個(gè)“盲”智能體，任務(wù)是通過(guò)遵循一系列自然語(yǔ)言命令（例如，“右，上，上，右”）到達(dá)迷宮中的目標(biāo)位置。

給定輸入文本，智能體（綠色圓圈）需要解釋命令，并基于這種解釋采取動(dòng)作以生成動(dòng)作序列（a）。

如果智能體人達(dá)到目標(biāo)（紅色星級(jí)），則獲得1的獎(jiǎng)勵(lì)，否則返回0。

由于智能體無(wú)法訪問(wèn)任何可視信息，因此智能體解決此任務(wù)，并概括為新指令的唯一方法，是正確解釋指令。

在這些任務(wù)中，RL智能體需要學(xué)習(xí)從稀疏（只有少數(shù)軌跡導(dǎo)致非零獎(jiǎng)勵(lì)）和未指定（無(wú)目的和意外成功之間的區(qū)別）獎(jiǎng)勵(lì)。

重要的是，由于獎(jiǎng)勵(lì)不明確，智能體可能會(huì)收到“利用環(huán)境中的虛假模式”的正反饋，這就有可能導(dǎo)致獎(jiǎng)勵(lì)黑客攻擊，在實(shí)際系統(tǒng)中部署時(shí)會(huì)導(dǎo)致意外和有害的行為。

在“學(xué)習(xí)從稀疏和未指定的獎(jiǎng)勵(lì)中進(jìn)行概括”中，使用開(kāi)發(fā)元獎(jiǎng)勵(lì)學(xué)習(xí)（MeRL）來(lái)解決未指定獎(jiǎng)勵(lì)的問(wèn)題，通過(guò)優(yōu)化輔助獎(jiǎng)勵(lì)函數(shù)向智能體提供更精確的反饋。

《Learning to Generalize from Sparse and Underspecified Rewards》論文地址：

https://arxiv.org/abs/1902.07198

MeRL與使用“新探索策略收集到成功軌跡”的記憶緩沖區(qū)相結(jié)合，從而通過(guò)稀疏獎(jiǎng)勵(lì)學(xué)習(xí)。

這個(gè)方法的有效性在語(yǔ)義分析中得到證明，其目標(biāo)是學(xué)習(xí)從自然語(yǔ)言到邏輯形式的映射（例如，將問(wèn)題映射到SQL程序）。

本文研究了弱監(jiān)督問(wèn)題設(shè)置，其目標(biāo)是從問(wèn)答配對(duì)中自動(dòng)發(fā)現(xiàn)邏輯程序，而不需要任何形式的程序監(jiān)督。

例如下圖中找出“哪個(gè)國(guó)家贏得最多銀牌？”，智能體需要生成類(lèi)似SQL的程序，以產(chǎn)生正確的答案（即“尼日利亞”）。

所提出的方法在WikiTableQuestions和WikiSQL基準(zhǔn)測(cè)試中實(shí)現(xiàn)了最先進(jìn)的結(jié)果，分別將先前的工作提升了1.2％和2.4％。

MeRL自動(dòng)學(xué)習(xí)輔助獎(jiǎng)勵(lì)函數(shù)，而無(wú)需使用任何專(zhuān)家演示（例如，ground-truth計(jì)劃），使其更廣泛適用并且與先前的獎(jiǎng)勵(lì)學(xué)習(xí)方法不同。

高級(jí)概述：

元獎(jiǎng)勵(lì)學(xué)習(xí)（MeRL）

MeRL在處理不明確獎(jiǎng)勵(lì)方面發(fā)現(xiàn)，虛假軌跡和實(shí)現(xiàn)意外成功的程序，對(duì)智能體的泛化性能不利。

例如，智能體可能解決上述迷宮問(wèn)題的特定實(shí)例。但是，如果它在訓(xùn)練期間學(xué)會(huì)執(zhí)行虛假動(dòng)作，提供看不見(jiàn)的指令則可能導(dǎo)致其失敗。

為了緩解這個(gè)問(wèn)題，MeRL優(yōu)化了更精確的輔助獎(jiǎng)勵(lì)函數(shù)，可以根據(jù)行動(dòng)軌跡的特征區(qū)分意外、或非意外的成功。

通過(guò)元學(xué)習(xí)最大化訓(xùn)練的智能體在保持驗(yàn)證集上的表現(xiàn)，來(lái)優(yōu)化輔助獎(jiǎng)勵(lì)。

從稀疏獎(jiǎng)勵(lì)中學(xué)習(xí)

要從稀疏的獎(jiǎng)勵(lì)中學(xué)習(xí)，有效的探索如何找到一組成功軌跡，至關(guān)重要。

論文通過(guò)利用Kullback-Leibler（KL）發(fā)散的兩個(gè)方向來(lái)解決這一挑戰(zhàn)，這是一種衡量?jī)煞N不容概率分布的方法。

在下面的示例中，使用KL散度來(lái)最小化固定雙峰（陰影紫色）和學(xué)習(xí)高斯（陰影綠色）分布之間的差異，這可以分別代表智能體的最優(yōu)策略分布，和學(xué)習(xí)的策略的分布。

KL對(duì)象的一個(gè)學(xué)習(xí)方向，試圖覆蓋兩種模式的分布，而其他目標(biāo)學(xué)習(xí)的分布，則在尋求特定模式（即，它更喜歡A模式而不是B模式）。

我們的方法利用模式覆蓋了KL關(guān)注多個(gè)峰值以收集多樣化的成功軌跡和模式的傾向，尋求KL在軌跡之間的隱含偏好，以學(xué)習(xí)強(qiáng)有力的策略。

結(jié)論

設(shè)計(jì)區(qū)分最佳和次優(yōu)行為的獎(jiǎng)勵(lì)函數(shù)對(duì)于將RL應(yīng)用于實(shí)際應(yīng)用程序至關(guān)重要。

這項(xiàng)研究在沒(méi)有任何人為監(jiān)督的情況下向獎(jiǎng)勵(lì)函數(shù)建模方向邁出了一小步。

在未來(lái)的工作中，我們希望從自動(dòng)學(xué)習(xí)密集獎(jiǎng)勵(lì)函數(shù)的角度解決RL中的信用分配問(wèn)題。

致謝

這項(xiàng)研究是與Chen Liang和Dale Schuurmans合作完成的。 我們感謝Chelsea Finn和Kelvin Guu對(duì)該論文的評(píng)論。