在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一種簡單的“動作遷移法”

DPVg_AI_era ? 來源:未知 ? 作者:李倩 ? 2018-08-27 08:56 ? 次閱讀

伯克利的研究人員提出了一種簡單的“動作遷移法”,可以將源視頻中一個人的動作和姿態(tài),遷移到新的視頻對象上,讓后者也具有同樣流暢優(yōu)美的動作,整個過程只需要幾分鐘就成完成。

說起去年讓“馬變斑馬”的CycleGAN,大家應該還記憶猶新。

CycleGAN利用pixel2pixel技術(shù),能自動將某一類圖片轉(zhuǎn)換成另外一類圖片,過度真實自然,可以說是2017年最受關(guān)注的模型之一。CycleGAN論文的第一作者、加州大學伯克利分校的朱俊彥(現(xiàn)已在MIT CSAIL擔任博士后),也由此獲得了SIGGRAPH 2018的杰出博士論文獎。

現(xiàn)在,同樣是伯克利的Caroline Chan、ShiryH Ginosar、Tinghui Zhou、Alexel A. Efros提出了或許更有意思的一篇論文,不僅是圖像,而是實現(xiàn)不同視頻之間的人物動作姿態(tài)轉(zhuǎn)換,而且面部也能逼真合成效果,整個過程只需要幾分鐘就能完成。

將專業(yè)舞者的動作遷移到其他人身上,讓每個人都能成為頂級舞者

作者在論文摘要中這樣介紹:

本文提出一種簡單的 “跟我做”(do as I do)的動作遷移方法:給定一個人跳舞的源視頻,我們可以在目標人物表演標準動作幾分鐘后將該表演遷移到一個新的目標身上(業(yè)余舞者)。

我們將這個問題視為一個具有時空平滑的每幀 image-to-image 轉(zhuǎn)換問題。利用姿勢檢測作為原和目標之間的中間表示,我們學習了從姿勢圖像到目標對象外觀的映射。

我們利用這樣的設(shè)置實現(xiàn)了連貫時間的視頻生成,并且包括逼真的面部合成。

基于人體姿態(tài)關(guān)鍵點,實現(xiàn)視頻間不同主體的復雜動作

伯克利研究者提出了一種在不同視頻中轉(zhuǎn)移人體動作的方法。

他們要實現(xiàn)的目的很簡單——給定兩個視頻:一個是目標人物,我們想合成他的表演;另一個是源視頻,我們想將他的動作轉(zhuǎn)移到目標人物身上。

這與過去使用最近鄰搜索或 3D 重定向運動的方法不同。在伯克利研究人員提出的框架下,他們制作了各種各樣的視頻,讓業(yè)余舞蹈愛好者能夠像芭蕾舞演員一樣旋轉(zhuǎn)、跳躍,表演武術(shù),跳舞。

最初,為了逐幀地在兩個視頻的主體之間遷移運動,研究人員認為他們必須學習兩個人的圖像之間的映射。因此,目標是在源集和目標集之間發(fā)現(xiàn)圖像到圖像的翻譯(image-to-image translation)。

但是,他們并沒有用兩個實驗對象對應的相同動作來直接監(jiān)督學習這種翻譯。即使兩個實驗對象都做同樣的動作,由于每個實驗對象的體型和風格差異,仍然不太可能有幀到幀的 body-pose 對應的精確框架。

于是,他們觀察了基于人體姿態(tài)關(guān)鍵點(keypoint),關(guān)鍵點本質(zhì)上是編碼身體的位置而不是外觀,可以作為任何兩個主體之間的中間表示。而姿勢可以隨著時間的推移保持動作特征,同時盡可能地抽象出對象身份標識。因此,我們將中間的表示設(shè)計為火柴人自試圖,如下圖所示。

將源視頻中人物(左上)動態(tài)的姿態(tài)關(guān)鍵點(左下)作為轉(zhuǎn)化,遷移到目標視頻人物(右)。

從目標視頻中,我們得到每一幀的姿勢檢測,得到一組(姿勢火柴人,目標人物形象)的對應數(shù)據(jù)。有了這些對齊的數(shù)據(jù),我們就可以在有監(jiān)督的情況下,學習一種在火柴人和目標人物圖像之間的 image-to-image 的轉(zhuǎn)換模型。

因此,的模型經(jīng)過訓練,可以生成特定目標對象的個性化視頻。然后,將動作從源遷移到目標,將姿勢火柴人圖形輸入到訓練模型中,得到與源姿勢相同的目標對象的圖像。

為了提高結(jié)果的質(zhì)量,研究人員還添加了兩個組件:

為了提高生成的視頻的時間平滑度,我們在每一幀都將預測設(shè)置在前一幀的時間步長上。

為了在結(jié)果中增加人臉的真實感,我們加入了一個專門訓練來生成目標人物面部的 GAN。

這種方法生成的視頻,可以在各種視頻主體之間遷移運動,而無需昂貴的 3D 或動作捕捉數(shù)據(jù)。

作者在論文中寫道:“我們的主要貢獻是一個基于學習的視頻之間人體運動遷移的 pineline,所得結(jié)果的質(zhì)量展示了現(xiàn)實的詳細視頻中的復雜運動遷移?!?/p>

選一個你喜歡的舞蹈視頻,以及你自己動幾下的視頻,一鍵轉(zhuǎn)換!

首先,我們需要準備兩種視頻素材:

一個是你理想舞者表演的視頻:

一個是你自己隨性 “凹” 出的動作視頻:

最終的目標,就是讓你能夠跳出夢寐以求的曼妙舞姿:

為了實現(xiàn)這一目標,可以將 pipeline 分為三個階段:

1、姿勢檢測:根據(jù)源視頻中給定的幀,使用預訓練好的姿勢檢測器來制作姿勢線條圖;

2、全局姿勢歸一化:該階段考慮了源視頻與目標視頻中人物身形的不同,以及在各自視頻中位置的差異;

3、將歸一化的姿勢線條圖與目標人物進行映射:該階段通過對抗性學習設(shè)計了一個系統(tǒng),來將歸一化的姿勢線條圖與目標人物進行映射。

完整的訓練過程

模型根據(jù)源視頻中給定的幀,使用預訓練好的姿勢檢測器 P 來制作姿勢線條圖。在訓練期間,學習了一種映射 G 和一個對抗性鑒別器 D,來試圖區(qū)分哪些匹配是真,哪些是假。

完整的轉(zhuǎn)換過程

模型使用一個姿勢檢測器 P : Y′ → X′來獲取源視頻中人物的姿勢關(guān)節(jié),這些關(guān)節(jié)通過歸一化,轉(zhuǎn)換為姿勢條形圖中目標人物的關(guān)節(jié)。而后,我們使用訓練好的映射 G。

增加人臉真實感:圖像到圖像轉(zhuǎn)換的對抗訓練

好了,現(xiàn)在“炫酷舞姿”的問題解決了,剩下的就是將目標視頻中因為動作改變而隨之模糊的臉部變得更加逼真而清晰。

為了實現(xiàn)這一點,研究人員將 pix2pixHD 的對抗性訓練設(shè)置修改為:

(1) 產(chǎn)生時間相干視頻幀;

(2) 合成逼真的人臉圖像。

接下來將詳細描述原始目標和對它的修改。

pix2pixHD 框架

方法是基于 pix2pixHD 中的目標提出來的。在初始條件 GAN 設(shè)置中,生成器網(wǎng)絡(luò) G 對多尺度鑒別器 D = (D1,D2,D3) 進行極大極小博弈。

其中,是對抗性損失:

讓動作更加連貫

時間平滑(Temporal Smoothing)設(shè)置

Face GAN

我們添加了一個專門的 GAN 設(shè)置,用于為面部區(qū)域添加更多細節(jié)和真實感,如下圖所示。

Face GAN 設(shè)置

在 Face GAN 中,通過生成器預測殘差,并將其添加到來自主生成器的原始面部預測中。

更進一步:從pix2pix到pix2pixHD

我們探討了對 pix2pixHD baseline 的修改效果,并根據(jù)收集的數(shù)據(jù)集評估結(jié)果的質(zhì)量。

遷移的結(jié)果。每個部分顯示 5 個連續(xù)的幀。上面一行顯示 source subject,中間一行顯示規(guī)范化的 pose stick figures,下面一行顯示目標人物的模型輸出。

不同模型合成結(jié)果的比較

人人都能在幾分鐘之內(nèi),成為世界頂級舞者

總的來說,新的這個動作遷移模型能夠創(chuàng)建合理的、將任意長度的目標人物跳舞的視頻,其中他們的舞姿跟隨另一個跳舞者的輸入視頻。雖然我們的設(shè)置在很多情況下都可以產(chǎn)生可信的結(jié)果,但偶爾會遇到幾個問題。

從根本上說,作為輸入的 pose stick figures 依賴于噪聲姿態(tài)估計,這些估計不會逐幀攜帶時間信息。在姿勢檢測中丟失關(guān)鍵點,關(guān)鍵點位置不正確,會將錯誤引入到輸入中,并且這些失敗通常會延續(xù)到結(jié)果中,雖然我們嘗試了通過時間平滑設(shè)置來減輕這些限制。但即使我們試圖在設(shè)置中注入時間連貫性(temporal coherence),以及預平滑關(guān)鍵點,結(jié)果經(jīng)常仍然會受到抖動的影響。

雖然我們的全局姿勢歸一化方法合理地調(diào)整了任何源對象的運動,使其與訓練中看到的目標人物的體型和位置相匹配,但這種簡單縮放和平移解決方案并未考慮不同的肢長和攝像機位置或角度。這些差異也會導致在訓練和測試時看到的運動之間存在更大的差距。

另外,2D 坐標和缺失檢測限制了在對象之間重新定位運動的方式,這些方法通常在 3D 中工作,需要有完美的關(guān)節(jié)位置和時間連貫運動。

為了解決這些問題,需要在時間上連貫的視頻生成和人體運動表示方面做更多的工作。雖然整體上 pose stick figures 產(chǎn)生了令人信服的結(jié)果,但我們希望在未來的工作中,通過使用為運動遷移特別優(yōu)化的時間連貫輸入和表示來避免它所帶來的限制。

盡管存在這些挑戰(zhàn),但我們的方法能夠在給出各種輸入的情況下制作吸引人的視頻。

難度被譽為最高的芭蕾舞黑天鵝48圈轉(zhuǎn),可以換上自己的臉,想想還是有些小激動呢。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 圖像
    +關(guān)注

    關(guān)注

    2

    文章

    1094

    瀏覽量

    41056
  • 遷移
    +關(guān)注

    關(guān)注

    0

    文章

    34

    瀏覽量

    8039

原文標題:【超越CycleGAN】這個人體動態(tài)遷移技術(shù)讓白癡變舞王(視頻)

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    載流子遷移率提高技術(shù)詳解

    在高k金屬柵之外,另一種等效擴充的方法是增加通過器件溝道的電子或空穴的遷移率。表2.5列舉了些提高器件載流子遷移率的手段及其對 PMOS或者 NMOS的作用。
    的頭像 發(fā)表于 05-30 15:19 ?160次閱讀
    載流子<b class='flag-5'>遷移</b>率提高技術(shù)詳解

    一種在線式熒光溶解氧傳感器原理

    制備的溶解氧傳感器由于其具有響應時間快、不耗氧、無參比電極、不受磁場干擾等優(yōu)點引起了越來越多人的興趣和關(guān)注。我們基于熒光分析法制備了一種能應用于實際檢測中的熒光溶解氧傳感器,并對其結(jié)構(gòu)及性能等進行了
    發(fā)表于 04-21 15:01

    HarmonyOS Next 應用元服務開發(fā)-應用接續(xù)動態(tài)配置遷移保持遷移連續(xù)性

    保證遷移連續(xù)性,由于遷移加載時,目標端拉起的應用可能執(zhí)行過自己的遷移狀態(tài)設(shè)置命令(如:冷啟動時目標端在onCreate中設(shè)置了INACTIVE;熱啟動時對端已打開了不可遷移的頁面,
    發(fā)表于 12-30 10:30

    一種使用LDO簡單電源電路解決方案

    本期我們介紹一種使用LDO簡單電源電路解決方案,該方案可以處理12V/24V、多節(jié)鋰離子電池和4節(jié)干電池等相對較高的輸入電壓。
    的頭像 發(fā)表于 12-04 16:05 ?743次閱讀
    <b class='flag-5'>一種</b>使用LDO<b class='flag-5'>簡單</b>電源電路解決方案

    一種簡單高效配置FPGA的方法

    本文描述了一種簡單高效配置FPGA的方法,該方法利用微處理器從串行外圍接口(SPI)閃存配置FPGA設(shè)備。這種方法減少了硬件組件、板空間和成本。
    的頭像 發(fā)表于 10-24 14:57 ?1448次閱讀
    <b class='flag-5'>一種</b><b class='flag-5'>簡單</b>高效配置FPGA的方法

    一種分立電荷泵的設(shè)計

    電子發(fā)燒友網(wǎng)站提供《一種分立電荷泵的設(shè)計.pdf》資料免費下載
    發(fā)表于 10-11 10:53 ?0次下載
    <b class='flag-5'>一種</b>分立電荷泵的設(shè)計

    華納云:企業(yè)遷移到云端的主要原因是什么?

    企業(yè)遷移到云端的主要原因是什么?原因不止個。削減成本通常被認為是主要原因——但盡管通過云遷移降低成本無疑是一種誘人的可能性,但創(chuàng)新潛力才是更大的獎勵。云計算通過支持企業(yè)創(chuàng)新而產(chǎn)生的價
    的頭像 發(fā)表于 09-14 17:38 ?494次閱讀

    數(shù)學建模(2)--TOPSIS

    和K.Yoon于1981年首次提出,TOPSIS根據(jù)有限個評價對象與理想化目標的接近程度進行排序的方法,是在現(xiàn)有的對象中進行相對優(yōu)劣的評價。TOPSIS一種逼近于理想解的排序
    發(fā)表于 09-06 16:38

    電磁線圈雙線繞簡單三個步驟

    電磁線圈雙線繞一種常見的電磁線圈繞制方法,它具有結(jié)構(gòu)簡單、繞制方便、性能穩(wěn)定等優(yōu)點。 、電磁線圈雙線繞概述 1.1 電磁線圈的定義和
    的頭像 發(fā)表于 08-21 10:19 ?5198次閱讀

    回路電流和支路電流的實質(zhì)是什么

    電流和支路電流。這兩種方法各有特點和適用范圍,掌握它們的原理和應用對于電子工程師和技術(shù)人員來說至關(guān)重要。 二、回路電流 回路電流的實質(zhì) 回路電流
    的頭像 發(fā)表于 08-09 17:13 ?1651次閱讀

    支路電流和網(wǎng)孔電流的區(qū)別是什么

    支路電流和網(wǎng)孔電流是電路分析中常用的兩基本方法,它們在解決復雜電路問題時各有優(yōu)勢和特點。 定義和原理 支路電流(Node Voltage Method)是
    的頭像 發(fā)表于 08-08 16:26 ?2482次閱讀

    開路電壓和短路電流的優(yōu)缺點

    開路電壓和短路電流是兩常用的電路分析方法,它們在電路設(shè)計和分析中有著廣泛的應用。 、開路電壓 開路電壓
    的頭像 發(fā)表于 08-07 14:33 ?6242次閱讀

    電源紋波平行線與靠測的區(qū)別

    電源紋波是電源輸出電壓中的高頻波動,它會影響電子設(shè)備的正常工作。為了測量電源紋波,通常采用兩種方法:平行線和靠測。 平行線 平行線一種
    的頭像 發(fā)表于 08-02 09:43 ?1392次閱讀

    rup是一種什么模型

    RUP(Rational Unified Process,統(tǒng)建模語言)是一種軟件開發(fā)過程模型,它是一種迭代和增量的軟件開發(fā)方法。RUP是由Rational Software公司(現(xiàn)為IBM的
    的頭像 發(fā)表于 07-09 10:13 ?2395次閱讀

    自然語言列舉描述各自的特點

    自然語言文本。在自然語言處理中,列舉和描述是兩常見的方法。 列舉 列舉一種基于規(guī)則的
    的頭像 發(fā)表于 07-03 14:13 ?1633次閱讀
    主站蜘蛛池模板: 精品久久久久久久免费加勒比 | a站在线观看 | 在线免费成人 | 国产成 人 综合 亚洲网 | 欧美第一网站 | 91大神在线精品视频一区 | 香蕉久久久久久狠狠色 | 精品欧美一区二区三区 | 五月天丁香婷婷开心激情五月 | 一级特黄aaa大片在线观看 | 无毒不卡在线播放 | 特级毛片免费视频播放 | 天堂电影在线观看免费入口 | 美女下面小内内的沟 | 性午夜影院 | www.五月天婷婷 | 中文4480yy私人免费影院 | 欧美在线视频免费播放 | 天天操夜夜操天天操 | 亚洲高清一区二区三区四区 | 国产精品欧美一区二区 | 综合网天天操天天射 | 韩国三级无遮挡床戏视频 | 男女爱爱免费视频 | 天天躁夜夜躁狠狠躁2018a | 一级特级女人18毛片免费视频 | 三级毛片在线免费观看 | 伊人网综合视频 | 狠狠色婷婷丁香综合久久韩国 | 免费精品美女久久久久久久久 | 色婷婷视频 | 亚色成人| 亚洲激情视频网站 | 日欧毛片| 日本污视频在线观看 | 精品免费视在线观看 | 国产亚洲欧美日本一二三本道 | 五月婷综合网 | 成人黄色免费观看 | 欧洲妇女成人淫片aaa视频 | 四虎永久精品视频在线 |