穿衣服是我們每天都會做的動作，對人類來說非常容易，比如在穿襯衫時，我們一手打開襯衫，另一只手會穿到袖子中，連同整個手臂穿入袖子，再換另一只手穿好另一邊的袖子。整個過程中，我們都會依靠觸覺，保證動作不會破壞衣服。但是目前還沒有能讓智能體自己穿衣的機器學(xué)習(xí)案例，想將人物和衣服之間這樣復(fù)雜的交互動作制作成動畫，依然是很大的挑戰(zhàn)。

最近，佐治亞理工學(xué)院的研究人員們提出了一種模型，可以讓強化學(xué)習(xí)智能體像人類一樣穿短袖、襯衫等衣服。以下是論智對原論文做的大致介紹：

為了用動畫模擬人們穿衣的動作，我們用到了物理模擬和機器學(xué)習(xí)，我們使用了一個物理引擎模擬人物和衣服的動作。為了生成任務(wù)動作，我們用強化學(xué)習(xí)訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)，執(zhí)行人物控制衣服的策略。

由于每個人在穿衣服時的控制策略不同，每個策略的動作都是由任務(wù)和環(huán)境的狀態(tài)決定的。和其他運動或控制動作不同，穿衣服的動作并不遵循特定的運動軌跡，同時環(huán)境狀態(tài)也在高度變換，難以表示。所以我們用無模型的深度強化學(xué)習(xí)方法，用深度網(wǎng)絡(luò)自動探索穿衣控制策略。

深度強化學(xué)習(xí)最近受到很大關(guān)注，因為它可以大大減少降維需求，也無需選擇狀態(tài)空間和動作空間的特征。但是，直接在高維空間中學(xué)習(xí)、輸入狀態(tài)空間，對穿衣問題來說比較棘手，因為在這種場景下的計算成本非常大。所以，直接生成“穿衣策略”會嚴(yán)重影響?yīng)剟詈瘮?shù)、狀態(tài)和動作的設(shè)計，使得端到端學(xué)習(xí)方法變得不切實際。在這篇論文中，我們首次證明了，利用合適的輸入狀態(tài)空間和獎勵函數(shù)，是可以將模擬衣物嵌入到強化學(xué)習(xí)框架中的，從而學(xué)習(xí)一種穩(wěn)定的穿衣控制策略的。

觸覺感知

雖然穿衣的過程類似“移動”和“抓取”任務(wù)，但是與常見的操控任務(wù)不同的是，穿衣過程是依靠觸覺判斷任務(wù)的進(jìn)行的。智能體需要學(xué)習(xí)用觸覺完成兩個相反的任務(wù)：施加力量將身體套在衣服上，同時還要避免力量過大損壞衣服。

在這一過程中，我們提出了一種可以表示觸覺信息的方法，用來指引穿衣過程。輸入到控制策略中的一部分環(huán)境狀態(tài)是一張觸覺地圖（haptic map），它可以測量智能體和模擬衣物之間接觸部分的力度。我們在智能體身上安置了一系列觸覺感應(yīng)器，然后收集身體和衣服之間的接觸力量。感應(yīng)器分布如下所示：

分辨正反

人們在穿衣時，會讓身體和衣服的內(nèi)側(cè)接觸，也就是說人類能很容易地分辨衣服的正反面，這對不具備視覺感應(yīng)器的機器人來說也是個難題。為此，我們對每個觸覺感應(yīng)器提供了相應(yīng)的策略，可以區(qū)分衣物的內(nèi)側(cè)和外側(cè)。

如果感應(yīng)器上的接觸力與該位置上面向外的頂點法線相反，那么就是-1，反之則為1.如果最后感應(yīng)器收集的值為正數(shù)，那么我們就認(rèn)為與感應(yīng)器接觸的是衣服的內(nèi)里，反之則是外側(cè)。

除此之外，訓(xùn)練期間的獎勵函數(shù)會根據(jù)觸覺狀態(tài)和采取的動作提供學(xué)習(xí)信號。例如，如果模型檢測到衣服發(fā)生變形，就會用獎勵函數(shù)進(jìn)行懲罰。

策略程序算法

另一個遇到的挑戰(zhàn)就是，智能體在穿衣服時需要做一系列動作，例如先抓起襯衫，將手對準(zhǔn)袖口，再將手穿過去。想讓單一的控制策略學(xué)習(xí)每一個步驟，并且一氣呵成是不可能的，原因仍然與計算成本有關(guān)。于是，我們將一整套穿衣流程分解成不同的子任務(wù)，對每個任務(wù)學(xué)習(xí)控制策略。每個穿衣動作的子任務(wù)都被設(shè)計成部分可觀測的馬爾可夫決策過程（POMDP），每個POMDP的解決方法都是隨機控制策略：π：O × A →[0, 1]。一個馬爾可夫決策過程是（S, A, r, ρ, Psas’, γ）的組合，其中S表示狀態(tài)空間，A表示動作空間，r是獎勵函數(shù)，ρ表示初始狀態(tài)s0的分布，Psas’是過渡概率，γ是折扣因子。我們的目標(biāo)是優(yōu)化表示神經(jīng)網(wǎng)絡(luò)的策略π，讓積累的獎勵達(dá)到最大。

為了保證任務(wù)效果不會因為策略的改變而改變，我們提出了一種策略程序（Policy sequencing）算法，它可以將一種子任務(wù)中的輸出狀態(tài)分布與下一個子任務(wù)的輸入分布按順序相匹配。

要為一個子任務(wù)生成成功策略需要數(shù)小時的模擬和優(yōu)化。高計算成本也有好處，這樣一來，最終結(jié)果就不是單一的動畫，而是智能體的控制策略，可以處理多種情況，比如不同的衣服位置和人物動作，如果過程中有干擾，會利用控制策略進(jìn)行修正。

結(jié)果

模擬小人穿t-shirt

模擬小人穿對開式衣服

模擬小人在輔助工具下穿衣