針對四足動(dòng)物的動(dòng)畫生成問題，愛丁堡大學(xué)的研究人員開發(fā)了一個(gè)被稱為“模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)”的新神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以從實(shí)際的運(yùn)動(dòng)數(shù)據(jù)學(xué)習(xí)，生成非常自然的動(dòng)畫。團(tuán)隊(duì)在今天開源了所有代碼、數(shù)據(jù)和編譯的demo。

創(chuàng)作四足動(dòng)物動(dòng)畫是計(jì)算機(jī)動(dòng)畫行業(yè)一個(gè)特別困難的問題。四足動(dòng)物動(dòng)畫在電腦游戲和電影中的應(yīng)用很重要，同時(shí)也是機(jī)器人領(lǐng)域的一個(gè)具有挑戰(zhàn)性的話題。傳統(tǒng)方法制作四足動(dòng)物動(dòng)畫時(shí)，動(dòng)畫師必須經(jīng)過特殊培訓(xùn)，設(shè)計(jì)出各種復(fù)雜的動(dòng)作，然后利用各種DCC軟件進(jìn)行動(dòng)作捕捉。

針對四足動(dòng)物的動(dòng)畫生成問題，來自愛丁堡大學(xué)HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的團(tuán)隊(duì)開發(fā)了一個(gè)被稱為“模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)”的新神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以從實(shí)際的運(yùn)動(dòng)數(shù)據(jù)學(xué)習(xí)，生成自然的動(dòng)畫。系統(tǒng)不需要對相位或運(yùn)動(dòng)步態(tài)進(jìn)行標(biāo)記，而是從非結(jié)構(gòu)化的運(yùn)動(dòng)捕獲數(shù)據(jù)，以端到端的方式學(xué)習(xí)。

整個(gè)研究使用 Unity3D / Tensorflow 完成，并且團(tuán)隊(duì)在今天開源了所有代碼、數(shù)據(jù)和編譯的demo。

模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)

四足動(dòng)物運(yùn)動(dòng)的多模態(tài)造成了動(dòng)畫制作的復(fù)雜性。四足動(dòng)物有多種移動(dòng)模式，例如步行、踱步、快走、慢跑、疾跑等，運(yùn)動(dòng)時(shí)其軀干和四肢的相位變化非常復(fù)雜。

圖：不同的四足運(yùn)動(dòng)模式。橫條表示每條腿的站立相位。右側(cè)的圖像表示步態(tài)周期中腳接觸的順序。

目前還沒有以數(shù)據(jù)驅(qū)動(dòng)的方式系統(tǒng)地構(gòu)建四足動(dòng)物運(yùn)動(dòng)控制器的工作。除了上面提到的運(yùn)動(dòng)復(fù)雜性外，困難還來源于四足動(dòng)物與人類不同，無法進(jìn)行受控的數(shù)據(jù)采集。因此，捕獲的數(shù)據(jù)往往不是結(jié)構(gòu)化的。使用這些數(shù)據(jù)設(shè)計(jì)角色控制器時(shí)，工程師需要手動(dòng)/半自動(dòng)地提取步態(tài)周期和轉(zhuǎn)換，再將它們拼接在一起，調(diào)整motion trees和有限狀態(tài)機(jī)的參數(shù)。因此，傳統(tǒng)的方法要么效率低，要么不精確。

上圖展示了基于動(dòng)作捕捉實(shí)現(xiàn)的動(dòng)畫制作，但捕捉的動(dòng)畫是非結(jié)構(gòu)化的，而且隨機(jī)動(dòng)作太過廣泛。捕捉的數(shù)據(jù)不是很精準(zhǔn)，動(dòng)作存在很多噪波，細(xì)節(jié)的地方還需要后期修正。

上圖是通過標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)生成的動(dòng)畫，但會(huì)產(chǎn)生失真和明顯的滑步。

上圖的動(dòng)畫由相位函數(shù)神經(jīng)網(wǎng)絡(luò)（Phase-Functioned Neural Networks）的方式生成，優(yōu)點(diǎn)是動(dòng)作精準(zhǔn)，但是當(dāng)兩個(gè)動(dòng)作進(jìn)行融合時(shí)動(dòng)作顯得僵硬，而且操控不是那么靈敏。

這個(gè)新研究提出了一種新的網(wǎng)絡(luò)架構(gòu)——模式自適應(yīng)神經(jīng)網(wǎng)絡(luò)（Mode-Adaptive Neural Networks ，MANN），它可以從大量的非結(jié)構(gòu)化四足動(dòng)物運(yùn)動(dòng)捕獲數(shù)據(jù)中學(xué)習(xí)運(yùn)動(dòng)控制器。

MANN架構(gòu)圖示，由門控網(wǎng)絡(luò)和運(yùn)動(dòng)預(yù)測網(wǎng)絡(luò)組成。

這個(gè)系統(tǒng)由運(yùn)動(dòng)預(yù)測網(wǎng)絡(luò)和門控網(wǎng)絡(luò)組成。在每一幀處，運(yùn)動(dòng)預(yù)測網(wǎng)絡(luò)在給定的前一幀的狀態(tài)和用戶提供控制信號(hào)的情況下計(jì)算當(dāng)前幀的角色狀態(tài)。門控網(wǎng)絡(luò)通過選擇和混合所謂的專家權(quán)重（expert weights），動(dòng)態(tài)地更新運(yùn)動(dòng)預(yù)測網(wǎng)絡(luò)的權(quán)重，每個(gè)expert weight都專門針對特定的運(yùn)動(dòng)。

MANN與以前方法的對比

這種架構(gòu)提供了靈活性，使得系統(tǒng)能夠在廣泛的非周期動(dòng)作和周期性的無標(biāo)記步態(tài)類型中學(xué)習(xí)一致的特征。這個(gè)框架可以將開發(fā)人員從冗長而困難的相位標(biāo)記工作中解放出來。特別是，我們的模型不需要單獨(dú)的標(biāo)簽來區(qū)分不同的步態(tài)，這種區(qū)分即使對人類來說也很難，因此，可以在數(shù)據(jù)預(yù)處理過程避免步態(tài)錯(cuò)誤。

該研究的貢獻(xiàn)可概括如下：

提出第一個(gè)構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的四足角色控制器的系統(tǒng)方法，它可以合成具有各種運(yùn)動(dòng)模式和動(dòng)作轉(zhuǎn)換的高質(zhì)量動(dòng)畫。

提出一種新穎的端到端神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以從非結(jié)構(gòu)化的四足動(dòng)物運(yùn)動(dòng)捕捉數(shù)據(jù)中學(xué)習(xí)，而無需提供相位和運(yùn)動(dòng)步態(tài)標(biāo)簽。

通過與現(xiàn)有方法進(jìn)行比較，對所提出的架構(gòu)進(jìn)行了全面評(píng)估。

數(shù)據(jù)準(zhǔn)備和結(jié)果

研究人員使用狗的動(dòng)作捕捉（Dog Motion Capture）作為訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)包含各種運(yùn)動(dòng)模式，例如步行、踱步、小跑、跑步等，以及其他類型的動(dòng)作，例如坐、站、閑散，躺著和跳躍。通過鏡像將數(shù)據(jù)規(guī)模加倍。

實(shí)驗(yàn)中使用的狗模型的骨架結(jié)構(gòu)。由27塊骨頭組成，總共有81個(gè)自由度。

表1：狗運(yùn)動(dòng)數(shù)據(jù)集和運(yùn)動(dòng)類型

四足動(dòng)物在不平坦地形上行走

沿預(yù)定的地面軌跡的行走。可以觀察到，即使在突然轉(zhuǎn)彎的情況下，它也能很好地沿著曲線運(yùn)動(dòng)。

值得一提的是，這個(gè)研究延續(xù)自去年該團(tuán)隊(duì)所做的“用于角色控制的 Phase-Functioned 神經(jīng)網(wǎng)絡(luò)”（PFNN）工作，當(dāng)時(shí)在SIGGRAPH 2017大會(huì)演示，同樣令人印象深刻。