強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識(shí)和概念簡(jiǎn)介（無(wú)模型、在線學(xué)習(xí)、離線強(qiáng)化學(xué)習(xí)等）

機(jī)器學(xué)習(xí)(ML)分為三個(gè)分支:監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。

• 監(jiān)督學(xué)習(xí)(SL)：關(guān)注在給定標(biāo)記訓(xùn)練數(shù)據(jù)的情況下獲得正確的輸出
• 無(wú)監(jiān)督學(xué)習(xí)(UL)：關(guān)注在沒(méi)有預(yù)先存在的標(biāo)簽的情況下發(fā)現(xiàn)數(shù)據(jù)中的模式
• 強(qiáng)化學(xué)習(xí)(RL)：關(guān)注智能體在環(huán)境中如何采取行動(dòng)以最大化累積獎(jiǎng)勵(lì)

本文的公式基于Stuart J. Russell和Peter Norvig的教科書(shū)《Artificial Intelligence: A Modern Approach》(第四版)，為了保持?jǐn)?shù)學(xué)方程格式的一致性所以略有改動(dòng)。

強(qiáng)化學(xué)習(xí)

• Agent:從環(huán)境中接收感知并執(zhí)行操作的程序，被翻譯成為智能體，但是我個(gè)人感覺(jué)代理更加恰當(dāng)，因?yàn)樗褪亲鳛槲覀內(nèi)嗽趶?qiáng)化學(xué)習(xí)環(huán)境下的操作者，所以稱為代理或者代理人更恰當(dāng)
• Environment:代理所在的真實(shí)或虛擬環(huán)境
• State (S):代理當(dāng)前在環(huán)境中所處的狀態(tài)
• Action (A):代理在給定狀態(tài)下可以采取的動(dòng)作
• Reward (R):采取行動(dòng)的獎(jiǎng)勵(lì)(依賴于行動(dòng))，處于狀態(tài)的獎(jiǎng)勵(lì)(依賴于狀態(tài))，或在給定狀態(tài)下采取行動(dòng)的獎(jiǎng)勵(lì)(依賴于行動(dòng)和狀態(tài))

強(qiáng)化學(xué)習(xí)的目標(biāo)是通過(guò)優(yōu)化所采取的行動(dòng)來(lái)最大化總累積獎(jiǎng)勵(lì)。和嬰兒一樣，我們不都想從生活中獲得最大的累積利益嗎?

馬爾可夫決策過(guò)程(MDP)

• 轉(zhuǎn)移概率不可能是1，因?yàn)樾枰谛袆?dòng)中考慮不確定性因素，例如采取某些行動(dòng)可能并不總是保證成功地向右或向下移動(dòng)。因此，我們需要在這個(gè)不確定性上取一個(gè)期望值
• 最優(yōu)動(dòng)作可能還不知道，因此一般的表示方式是將動(dòng)作表示為來(lái)自狀態(tài)的策略，用π(S)表示。
• 獎(jiǎng)勵(lì)可能不是基于黃色/紅色/紫色狀態(tài)，而是基于前一個(gè)狀態(tài)、行動(dòng)和下一個(gè)狀態(tài)的組合，用R(S1， π(S1)， S2)表示。
• 問(wèn)題可能不需要4步就能解決，它可能需要無(wú)限多的步驟才能達(dá)到目標(biāo)狀態(tài)

MDP一般用(S, A, T, R)表示，它們分別表示一組狀態(tài)，動(dòng)作，轉(zhuǎn)移函數(shù)和獎(jiǎng)勵(lì)函數(shù)。MDP假設(shè)環(huán)境是完全可觀察的，如果代理不知道它當(dāng)前處于什么狀態(tài)，我們將使用部分可觀察的MDP (POMDP) 圖5中的Bellman方程，可以使用值迭代或策略迭代來(lái)求解最優(yōu)策略，這是一種將效用值從未來(lái)狀態(tài)傳遞到當(dāng)前狀態(tài)的迭代方法。

強(qiáng)化學(xué)習(xí)類似于求解MDP，但現(xiàn)在轉(zhuǎn)移概率和獎(jiǎng)勵(lì)函數(shù)是未知的，代理必須在訓(xùn)練期間執(zhí)行動(dòng)作來(lái)學(xué)習(xí)

無(wú)模型與基于模型的強(qiáng)化學(xué)習(xí)

無(wú)模型方法對(duì)于解決現(xiàn)實(shí)問(wèn)題很有用。無(wú)模型強(qiáng)化學(xué)習(xí)的例子包括Q-learning 和策略搜索，因?yàn)樗苯訉W(xué)習(xí)策略。

離線學(xué)習(xí)vs.在線學(xué)習(xí)

在理解了不同類型的強(qiáng)化學(xué)習(xí)之后，讓我們深入研究一下算法！

1、直接效用估計(jì) Direct Utility Estimation

缺點(diǎn)：預(yù)期的獎(jiǎng)勵(lì)在每次試驗(yàn)結(jié)束時(shí)更新，這意味著代理在試驗(yàn)結(jié)束前什么都沒(méi)有學(xué)到，導(dǎo)致直接效用估計(jì)收斂非常慢。

2、自適應(yīng)動(dòng)態(tài)規(guī)劃 (ADP)

缺點(diǎn)：性能受到代理學(xué)習(xí)轉(zhuǎn)換模型的能力的限制。這將導(dǎo)致這個(gè)問(wèn)題對(duì)于大狀態(tài)空間來(lái)說(shuō)是很麻煩的，因?yàn)閷W(xué)習(xí)轉(zhuǎn)換模型需要太多的試驗(yàn)，并且在 MDP 中有太多的方程和未知數(shù)需要求解。

3、時(shí)間差分學(xué)習(xí)（TD Learning）

4、Exploration

缺點(diǎn):效用估計(jì)的收斂速度不如策略估計(jì)的快，因?yàn)榇聿粫?huì)頻繁地出現(xiàn)低效用狀態(tài)，因此不知道這些狀態(tài)的確切效用。

5、Q-Learning

缺點(diǎn)：它不看到未來(lái)的情況，所以當(dāng)獎(jiǎng)勵(lì)稀少時(shí)可能會(huì)遇到困難。與 ADP 相比，它學(xué)習(xí)策略的速度較慢，因?yàn)楸镜馗虏荒艽_保 Q 值的一致性。

6、SARSA

缺點(diǎn)：SARSA不如Q-Learning靈活，因?yàn)樗粫?huì)脫離策略來(lái)進(jìn)行探索。與 ADP 相比，它學(xué)習(xí)策略的速度較慢，因?yàn)楸镜馗聼o(wú)法確保與 Q 值的一致性。

總結(jié)

我一直覺(jué)得強(qiáng)化學(xué)習(xí)很有趣，因?yàn)樗U明了人類如何學(xué)習(xí)以及我們?nèi)绾螌⑦@些知識(shí)傳授給機(jī)器人(當(dāng)然也包括其他應(yīng)用，如自動(dòng)駕駛汽車、國(guó)際象棋和Alpha Go等)。希望本文能夠讓你對(duì)強(qiáng)化學(xué)習(xí)有了更多的了解，并且知道了強(qiáng)化學(xué)習(xí)的不同類型，以及說(shuō)明每種類型的強(qiáng)化學(xué)習(xí)的算法。

END

（添加請(qǐng)備注公司名和職稱）

ICCAD 2022，Imagination邀您共聚廈門！