伯克利的研究人員提出了一種簡(jiǎn)單的“動(dòng)作遷移法”,可以將源視頻中一個(gè)人的動(dòng)作和姿態(tài),遷移到新的視頻對(duì)象上,讓后者也具有同樣流暢優(yōu)美的動(dòng)作,整個(gè)過(guò)程只需要幾分鐘就成完成。
說(shuō)起去年讓“馬變斑馬”的CycleGAN,大家應(yīng)該還記憶猶新。
CycleGAN利用pixel2pixel技術(shù),能自動(dòng)將某一類圖片轉(zhuǎn)換成另外一類圖片,過(guò)度真實(shí)自然,可以說(shuō)是2017年最受關(guān)注的模型之一。CycleGAN論文的第一作者、加州大學(xué)伯克利分校的朱俊彥(現(xiàn)已在MIT CSAIL擔(dān)任博士后),也由此獲得了SIGGRAPH 2018的杰出博士論文獎(jiǎng)。
現(xiàn)在,同樣是伯克利的Caroline Chan、ShiryH Ginosar、Tinghui Zhou、Alexel A. Efros提出了或許更有意思的一篇論文,不僅是圖像,而是實(shí)現(xiàn)不同視頻之間的人物動(dòng)作姿態(tài)轉(zhuǎn)換,而且面部也能逼真合成效果,整個(gè)過(guò)程只需要幾分鐘就能完成。
將專業(yè)舞者的動(dòng)作遷移到其他人身上,讓每個(gè)人都能成為頂級(jí)舞者
作者在論文摘要中這樣介紹:
本文提出一種簡(jiǎn)單的 “跟我做”(do as I do)的動(dòng)作遷移方法:給定一個(gè)人跳舞的源視頻,我們可以在目標(biāo)人物表演標(biāo)準(zhǔn)動(dòng)作幾分鐘后將該表演遷移到一個(gè)新的目標(biāo)身上(業(yè)余舞者)。
我們將這個(gè)問(wèn)題視為一個(gè)具有時(shí)空平滑的每幀 image-to-image 轉(zhuǎn)換問(wèn)題。利用姿勢(shì)檢測(cè)作為原和目標(biāo)之間的中間表示,我們學(xué)習(xí)了從姿勢(shì)圖像到目標(biāo)對(duì)象外觀的映射。
我們利用這樣的設(shè)置實(shí)現(xiàn)了連貫時(shí)間的視頻生成,并且包括逼真的面部合成。
基于人體姿態(tài)關(guān)鍵點(diǎn),實(shí)現(xiàn)視頻間不同主體的復(fù)雜動(dòng)作
伯克利研究者提出了一種在不同視頻中轉(zhuǎn)移人體動(dòng)作的方法。
他們要實(shí)現(xiàn)的目的很簡(jiǎn)單——給定兩個(gè)視頻:一個(gè)是目標(biāo)人物,我們想合成他的表演;另一個(gè)是源視頻,我們想將他的動(dòng)作轉(zhuǎn)移到目標(biāo)人物身上。
這與過(guò)去使用最近鄰搜索或 3D 重定向運(yùn)動(dòng)的方法不同。在伯克利研究人員提出的框架下,他們制作了各種各樣的視頻,讓業(yè)余舞蹈愛好者能夠像芭蕾舞演員一樣旋轉(zhuǎn)、跳躍,表演武術(shù),跳舞。
最初,為了逐幀地在兩個(gè)視頻的主體之間遷移運(yùn)動(dòng),研究人員認(rèn)為他們必須學(xué)習(xí)兩個(gè)人的圖像之間的映射。因此,目標(biāo)是在源集和目標(biāo)集之間發(fā)現(xiàn)圖像到圖像的翻譯(image-to-image translation)。
但是,他們并沒有用兩個(gè)實(shí)驗(yàn)對(duì)象對(duì)應(yīng)的相同動(dòng)作來(lái)直接監(jiān)督學(xué)習(xí)這種翻譯。即使兩個(gè)實(shí)驗(yàn)對(duì)象都做同樣的動(dòng)作,由于每個(gè)實(shí)驗(yàn)對(duì)象的體型和風(fēng)格差異,仍然不太可能有幀到幀的 body-pose 對(duì)應(yīng)的精確框架。
于是,他們觀察了基于人體姿態(tài)關(guān)鍵點(diǎn)(keypoint),關(guān)鍵點(diǎn)本質(zhì)上是編碼身體的位置而不是外觀,可以作為任何兩個(gè)主體之間的中間表示。而姿勢(shì)可以隨著時(shí)間的推移保持動(dòng)作特征,同時(shí)盡可能地抽象出對(duì)象身份標(biāo)識(shí)。因此,我們將中間的表示設(shè)計(jì)為火柴人自試圖,如下圖所示。
將源視頻中人物(左上)動(dòng)態(tài)的姿態(tài)關(guān)鍵點(diǎn)(左下)作為轉(zhuǎn)化,遷移到目標(biāo)視頻人物(右)。
從目標(biāo)視頻中,我們得到每一幀的姿勢(shì)檢測(cè),得到一組(姿勢(shì)火柴人,目標(biāo)人物形象)的對(duì)應(yīng)數(shù)據(jù)。有了這些對(duì)齊的數(shù)據(jù),我們就可以在有監(jiān)督的情況下,學(xué)習(xí)一種在火柴人和目標(biāo)人物圖像之間的 image-to-image 的轉(zhuǎn)換模型。
因此,的模型經(jīng)過(guò)訓(xùn)練,可以生成特定目標(biāo)對(duì)象的個(gè)性化視頻。然后,將動(dòng)作從源遷移到目標(biāo),將姿勢(shì)火柴人圖形輸入到訓(xùn)練模型中,得到與源姿勢(shì)相同的目標(biāo)對(duì)象的圖像。
為了提高結(jié)果的質(zhì)量,研究人員還添加了兩個(gè)組件:
為了提高生成的視頻的時(shí)間平滑度,我們?cè)诿恳粠紝㈩A(yù)測(cè)設(shè)置在前一幀的時(shí)間步長(zhǎng)上。
為了在結(jié)果中增加人臉的真實(shí)感,我們加入了一個(gè)專門訓(xùn)練來(lái)生成目標(biāo)人物面部的 GAN。
這種方法生成的視頻,可以在各種視頻主體之間遷移運(yùn)動(dòng),而無(wú)需昂貴的 3D 或動(dòng)作捕捉數(shù)據(jù)。
作者在論文中寫道:“我們的主要貢獻(xiàn)是一個(gè)基于學(xué)習(xí)的視頻之間人體運(yùn)動(dòng)遷移的 pineline,所得結(jié)果的質(zhì)量展示了現(xiàn)實(shí)的詳細(xì)視頻中的復(fù)雜運(yùn)動(dòng)遷移。”
選一個(gè)你喜歡的舞蹈視頻,以及你自己動(dòng)幾下的視頻,一鍵轉(zhuǎn)換!
首先,我們需要準(zhǔn)備兩種視頻素材:
一個(gè)是你理想舞者表演的視頻:
一個(gè)是你自己隨性 “凹” 出的動(dòng)作視頻:
最終的目標(biāo),就是讓你能夠跳出夢(mèng)寐以求的曼妙舞姿:
為了實(shí)現(xiàn)這一目標(biāo),可以將 pipeline 分為三個(gè)階段:
1、姿勢(shì)檢測(cè):根據(jù)源視頻中給定的幀,使用預(yù)訓(xùn)練好的姿勢(shì)檢測(cè)器來(lái)制作姿勢(shì)線條圖;
2、全局姿勢(shì)歸一化:該階段考慮了源視頻與目標(biāo)視頻中人物身形的不同,以及在各自視頻中位置的差異;
3、將歸一化的姿勢(shì)線條圖與目標(biāo)人物進(jìn)行映射:該階段通過(guò)對(duì)抗性學(xué)習(xí)設(shè)計(jì)了一個(gè)系統(tǒng),來(lái)將歸一化的姿勢(shì)線條圖與目標(biāo)人物進(jìn)行映射。
完整的訓(xùn)練過(guò)程
模型根據(jù)源視頻中給定的幀,使用預(yù)訓(xùn)練好的姿勢(shì)檢測(cè)器 P 來(lái)制作姿勢(shì)線條圖。在訓(xùn)練期間,學(xué)習(xí)了一種映射 G 和一個(gè)對(duì)抗性鑒別器 D,來(lái)試圖區(qū)分哪些匹配是真,哪些是假。
完整的轉(zhuǎn)換過(guò)程
模型使用一個(gè)姿勢(shì)檢測(cè)器 P : Y′ → X′來(lái)獲取源視頻中人物的姿勢(shì)關(guān)節(jié),這些關(guān)節(jié)通過(guò)歸一化,轉(zhuǎn)換為姿勢(shì)條形圖中目標(biāo)人物的關(guān)節(jié)。而后,我們使用訓(xùn)練好的映射 G。
增加人臉真實(shí)感:圖像到圖像轉(zhuǎn)換的對(duì)抗訓(xùn)練
好了,現(xiàn)在“炫酷舞姿”的問(wèn)題解決了,剩下的就是將目標(biāo)視頻中因?yàn)閯?dòng)作改變而隨之模糊的臉部變得更加逼真而清晰。
為了實(shí)現(xiàn)這一點(diǎn),研究人員將 pix2pixHD 的對(duì)抗性訓(xùn)練設(shè)置修改為:
(1) 產(chǎn)生時(shí)間相干視頻幀;
(2) 合成逼真的人臉圖像。
接下來(lái)將詳細(xì)描述原始目標(biāo)和對(duì)它的修改。
pix2pixHD 框架
方法是基于 pix2pixHD 中的目標(biāo)提出來(lái)的。在初始條件 GAN 設(shè)置中,生成器網(wǎng)絡(luò) G 對(duì)多尺度鑒別器 D = (D1,D2,D3) 進(jìn)行極大極小博弈。
其中,是對(duì)抗性損失:
讓動(dòng)作更加連貫
時(shí)間平滑(Temporal Smoothing)設(shè)置
Face GAN
我們添加了一個(gè)專門的 GAN 設(shè)置,用于為面部區(qū)域添加更多細(xì)節(jié)和真實(shí)感,如下圖所示。
Face GAN 設(shè)置
在 Face GAN 中,通過(guò)生成器預(yù)測(cè)殘差,并將其添加到來(lái)自主生成器的原始面部預(yù)測(cè)中。
更進(jìn)一步:從pix2pix到pix2pixHD
我們探討了對(duì) pix2pixHD baseline 的修改效果,并根據(jù)收集的數(shù)據(jù)集評(píng)估結(jié)果的質(zhì)量。
遷移的結(jié)果。每個(gè)部分顯示 5 個(gè)連續(xù)的幀。上面一行顯示 source subject,中間一行顯示規(guī)范化的 pose stick figures,下面一行顯示目標(biāo)人物的模型輸出。
不同模型合成結(jié)果的比較
人人都能在幾分鐘之內(nèi),成為世界頂級(jí)舞者
總的來(lái)說(shuō),新的這個(gè)動(dòng)作遷移模型能夠創(chuàng)建合理的、將任意長(zhǎng)度的目標(biāo)人物跳舞的視頻,其中他們的舞姿跟隨另一個(gè)跳舞者的輸入視頻。雖然我們的設(shè)置在很多情況下都可以產(chǎn)生可信的結(jié)果,但偶爾會(huì)遇到幾個(gè)問(wèn)題。
從根本上說(shuō),作為輸入的 pose stick figures 依賴于噪聲姿態(tài)估計(jì),這些估計(jì)不會(huì)逐幀攜帶時(shí)間信息。在姿勢(shì)檢測(cè)中丟失關(guān)鍵點(diǎn),關(guān)鍵點(diǎn)位置不正確,會(huì)將錯(cuò)誤引入到輸入中,并且這些失敗通常會(huì)延續(xù)到結(jié)果中,雖然我們嘗試了通過(guò)時(shí)間平滑設(shè)置來(lái)減輕這些限制。但即使我們?cè)噲D在設(shè)置中注入時(shí)間連貫性(temporal coherence),以及預(yù)平滑關(guān)鍵點(diǎn),結(jié)果經(jīng)常仍然會(huì)受到抖動(dòng)的影響。
雖然我們的全局姿勢(shì)歸一化方法合理地調(diào)整了任何源對(duì)象的運(yùn)動(dòng),使其與訓(xùn)練中看到的目標(biāo)人物的體型和位置相匹配,但這種簡(jiǎn)單縮放和平移解決方案并未考慮不同的肢長(zhǎng)和攝像機(jī)位置或角度。這些差異也會(huì)導(dǎo)致在訓(xùn)練和測(cè)試時(shí)看到的運(yùn)動(dòng)之間存在更大的差距。
另外,2D 坐標(biāo)和缺失檢測(cè)限制了在對(duì)象之間重新定位運(yùn)動(dòng)的方式,這些方法通常在 3D 中工作,需要有完美的關(guān)節(jié)位置和時(shí)間連貫運(yùn)動(dòng)。
為了解決這些問(wèn)題,需要在時(shí)間上連貫的視頻生成和人體運(yùn)動(dòng)表示方面做更多的工作。雖然整體上 pose stick figures 產(chǎn)生了令人信服的結(jié)果,但我們希望在未來(lái)的工作中,通過(guò)使用為運(yùn)動(dòng)遷移特別優(yōu)化的時(shí)間連貫輸入和表示來(lái)避免它所帶來(lái)的限制。
盡管存在這些挑戰(zhàn),但我們的方法能夠在給出各種輸入的情況下制作吸引人的視頻。
難度被譽(yù)為最高的芭蕾舞黑天鵝48圈轉(zhuǎn),可以換上自己的臉,想想還是有些小激動(dòng)呢。
-
圖像
+關(guān)注
關(guān)注
2文章
1094瀏覽量
41048 -
遷移
+關(guān)注
關(guān)注
0文章
34瀏覽量
8039
原文標(biāo)題:【超越CycleGAN】這個(gè)人體動(dòng)態(tài)遷移技術(shù)讓白癡變舞王(視頻)
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
載流子遷移率提高技術(shù)詳解

一種在線式熒光法溶解氧傳感器原理
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-應(yīng)用接續(xù)動(dòng)態(tài)配置遷移保持遷移連續(xù)性
一種使用LDO簡(jiǎn)單電源電路解決方案

一種簡(jiǎn)單高效配置FPGA的方法

一種分立電荷泵的設(shè)計(jì)

評(píng)論