為了讓機(jī)器人研究走向大眾，加州大學(xué)伯克利分校(UC Berkeley)和谷歌大腦的研究人員提出了一個(gè)開(kāi)源的低成本機(jī)器人學(xué)習(xí)平臺(tái)ROBEL(RoboticsBenchmarks for Learning with Low-Cost Robots)。

ROBEL可以作為快速實(shí)驗(yàn)平臺(tái)，支持各種實(shí)驗(yàn)需求，以及新的強(qiáng)化學(xué)習(xí)和控制方法的開(kāi)發(fā)，同時(shí)提供主要用于促進(jìn)現(xiàn)實(shí)世界物理硬件研究和開(kāi)發(fā)的基準(zhǔn)任務(wù)。其由D’Claw和D'Kitty組成，D'Claw是一個(gè)有三只手臂的機(jī)械臂型機(jī)器人，可以幫助學(xué)習(xí)靈巧的操作任務(wù)；D'Kitty是一個(gè)有四條腿的機(jī)器人，可以幫助學(xué)習(xí)靈活的腿部運(yùn)動(dòng)任務(wù)。該機(jī)器人平臺(tái)具有低成本、模塊化、可靠性高、易于維護(hù)等特點(diǎn)，并且功能強(qiáng)大，可支持基于硬件的強(qiáng)化學(xué)習(xí)。

圖中左：十二自由度D'Kitty；中：9 自由度D'Claw；右：功能齊全的D'Claw 裝置D’Lantern。

為了使機(jī)器人成本便宜和易于構(gòu)建，研究人員基于現(xiàn)成的組件和常見(jiàn)的原型工具(3D打印或激光切割)設(shè)計(jì)了ROBEL。該設(shè)計(jì)很容易組裝，只需要幾個(gè)小時(shí)即可構(gòu)建。

為了使機(jī)器人成本低且易于構(gòu)建，研究人員基于現(xiàn)成的組件和常用的原型制作工具（3D打印或激光切割）設(shè)計(jì)出ROBEL，并提供詳細(xì)的零件清單、組裝說(shuō)明和入門(mén)軟件說(shuō)明。ROBEL設(shè)計(jì)易于組裝，僅需幾個(gè)小時(shí)即可構(gòu)建。

谷歌設(shè)計(jì)了一套對(duì) D’Claw和D’Kitty兩個(gè)平臺(tái)都適用的任務(wù)，可用于對(duì)現(xiàn)實(shí)世界的機(jī)器人學(xué)習(xí)進(jìn)行基準(zhǔn)測(cè)試。ROBEL的任務(wù)定義包括密集和稀疏任務(wù)目標(biāo)，并在任務(wù)定義中引入硬件安全指標(biāo)，例如，指示關(guān)節(jié)是否超過(guò)“安全”操作界限或作用力閾值。此外，ROBEL還為所有任務(wù)提供模擬器，以促進(jìn)算法開(kāi)發(fā)和快速原型設(shè)計(jì)。D’Claw 任務(wù)主要圍繞三種常見(jiàn)的操作行為展開(kāi)：擺形(Pose)、旋轉(zhuǎn)(Turn)和擰(Screw)；D’Kitty任務(wù)主要圍繞三種常見(jiàn)的移動(dòng)行為——站立、定向和行走展開(kāi)。針對(duì)這些基準(zhǔn)任務(wù)，研究人員評(píng)估了幾種深度強(qiáng)化學(xué)習(xí)方法，評(píng)估結(jié)果和最終策略被作為baseline包含在軟件包中以供比較。

ROBEL平臺(tái)支持直接的硬件訓(xùn)練，迄今已積累了超過(guò)1.4萬(wàn)h的實(shí)際經(jīng)驗(yàn)。為了確保平臺(tái)和基準(zhǔn)方法的可重復(fù)性，研究人員通過(guò)兩個(gè)不同的實(shí)驗(yàn)室分別對(duì)ROBEL進(jìn)行了研究，本研究?jī)H使用軟件分發(fā)和文檔、不允許親自訪(fǎng)問(wèn)，利用ROBEL的設(shè)計(jì)文檔和組裝說(shuō)明，兩者都可以復(fù)制兩個(gè)硬件平臺(tái)。基準(zhǔn)任務(wù)訓(xùn)練在兩個(gè)實(shí)驗(yàn)室分別構(gòu)建的機(jī)器人上進(jìn)行，實(shí)驗(yàn)表明，在兩個(gè)不同地點(diǎn)打造的兩個(gè)D'Claw機(jī)器人，它們不僅訓(xùn)練進(jìn)度相似，而且最終收斂到了相同的性能，這說(shuō)明ROBEL基準(zhǔn)具備良好的可重復(fù)性。

ROBEL在各種強(qiáng)化學(xué)習(xí)研究中都非常有用。D’Claw平臺(tái)是完全自主的，可以在很長(zhǎng)一段時(shí)間內(nèi)維持實(shí)驗(yàn)的可靠性，而且可以使用剛性和柔性對(duì)象的各種強(qiáng)化學(xué)習(xí)范例和任務(wù)改進(jìn)實(shí)驗(yàn)。重要的是，D'Claw平臺(tái)是高度模塊化的，而且具備高度可重復(fù)性，便于進(jìn)行擴(kuò)展實(shí)驗(yàn)。通過(guò)擴(kuò)展設(shè)置，研究人員發(fā)現(xiàn)多個(gè)D'Claws可以通過(guò)共享經(jīng)驗(yàn)更快地對(duì)任務(wù)進(jìn)行集體學(xué)習(xí)，通過(guò)共享SAC的分布式版本的硬件訓(xùn)練流程，其可以面向多個(gè)目標(biāo)任務(wù)實(shí)現(xiàn)任意角度的結(jié)合。在多任務(wù)定制中，完成五個(gè)任務(wù)只需要單個(gè)任務(wù)經(jīng)驗(yàn)的2倍時(shí)間即可。

同時(shí)，研究人員成功地在D’Kitty平臺(tái)上部署了強(qiáng)大的移動(dòng)策略，比如，D'Kitty可以在“盲眼”條件下在室內(nèi)和室外地形上穩(wěn)定行走，展現(xiàn)了步態(tài)的穩(wěn)健性。

具體而言，在雜亂的室內(nèi)環(huán)境行走時(shí)，通過(guò)MuJoCo模擬通過(guò)自然策略梯度訓(xùn)練的Sim2Real策略，機(jī)器人可以在隨機(jī)擾動(dòng)的條件下實(shí)現(xiàn)行走，并跨過(guò)障礙物；在布滿(mǎn)碎石和樹(shù)枝的室外環(huán)境行走時(shí)，通過(guò)自然策略梯度在MuJoCo模擬中訓(xùn)練的Sim2Real策略具有隨機(jī)的高度場(chǎng)，機(jī)器人可以學(xué)習(xí)在分布著碎石和樹(shù)枝的戶(hù)外環(huán)境中行走；在室外斜坡和草叢環(huán)境中，通過(guò)自然策略梯度在MuJoCo模擬中訓(xùn)練的Sim2Real策略具有隨機(jī)高度場(chǎng)，機(jī)器人可以學(xué)習(xí)在緩坡上行走。

當(dāng)D’Kitty收到有關(guān)其軀干和場(chǎng)景中目標(biāo)的信息時(shí)，其可以學(xué)會(huì)與表現(xiàn)出復(fù)雜行為的目標(biāo)進(jìn)行交互。比如，通過(guò)HierarchicalSim2Real訓(xùn)練的策略可以學(xué)習(xí)躲避移動(dòng)障礙物，到達(dá)目標(biāo)位置；通過(guò)Hierarchical Sim2Real訓(xùn)練的策略學(xué)習(xí)將目標(biāo)推向移動(dòng)目標(biāo)（由手中的控制器標(biāo)記）；雙機(jī)器人協(xié)同-通過(guò)Hi-Herarchical Sim2Real訓(xùn)練的策略，可以學(xué)習(xí)協(xié)調(diào)兩個(gè)D'Kitty機(jī)器人，將沉重的障礙物推向目標(biāo)位置。

總之，ROBEL可以滿(mǎn)足新興的基于學(xué)習(xí)范式的需求，這些范式需要高度的可擴(kuò)展性和彈性。