在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

英偉達(dá)團(tuán)隊(duì)使用深度學(xué)習(xí),能將任意視頻變?yōu)椤案咔迓俨シ拧蹦J?/h1>

英偉達(dá)團(tuán)隊(duì)CVPR-18論文Super SloMo使用深度學(xué)習(xí),能將任意視頻變?yōu)椤案咔迓俨シ拧蹦J?,從此不再錯(cuò)過任何細(xì)節(jié)。今天有人開源了PyTorch實(shí)現(xiàn),趕緊來試試吧!

總有那么一些細(xì)節(jié),你瞪大雙眼拼了命想看清卻依然奈不了何,比如下面這個(gè):

跟得上球嗎?要看清男子羽毛球比賽的細(xì)節(jié)實(shí)在不容易

有時(shí)候想盯住飛來飛去的羽毛球,非常吃力,這就是人類肉眼的極限。

你或許會(huì)說,好解決啊,用慢速回放功能就行了。

確實(shí)可以回放,但慢速回放的前提,是攝像機(jī)一開始就捕捉到了這些細(xì)節(jié)。如今,一些大型體育賽事已經(jīng)用上了工業(yè)高速攝像頭,為的就是在裁判的裁決引發(fā)爭(zhēng)議時(shí),可以用慢鏡頭回放來判定結(jié)果。

但是,沒有專業(yè)的高速攝像頭怎么辦?

像我們用智能手機(jī)拍的視頻,記錄下生活中很多美好,隨風(fēng)飄逝的晚霞,又或者池塘濺起的漣漪,還有孩子們?cè)谟境乩餄娝覒颍绻寄軌蚍怕擞^看,必將帶來全新的感受。

正因如此,當(dāng)今年計(jì)算機(jī)視覺頂會(huì)CVPR舉行時(shí),英偉達(dá)團(tuán)隊(duì)的一篇能讓手機(jī)拍攝的視頻也“高清慢速播放”的論文,在業(yè)界引發(fā)了很大的反響。

這項(xiàng)被稱為Super SloMo的工作,使用深度神經(jīng)網(wǎng)絡(luò),對(duì)視頻中缺失的幀進(jìn)行預(yù)測(cè)并補(bǔ)全,從而生成連續(xù)慢速回放的效果。

更贊的是,他們提出的方法,能夠排除原視頻幀當(dāng)中被遮擋的像素,從而避免在生成的內(nèi)插中間幀里產(chǎn)生模糊的偽像(artifact)。

值得一提,這篇論文的第一作者,是本碩畢業(yè)于西安交通大學(xué)、現(xiàn)在馬薩諸塞大學(xué)阿默斯特分校讀博四的Huaizu Jiang。第二作者Deqing Sun是英偉達(dá)學(xué)習(xí)與感知研究小組的高級(jí)研究員,本科畢業(yè)于哈工大,碩士讀的港中文,在布朗大學(xué)取得博士學(xué)位后,在哈佛Hanspeter Pfister教授的視覺研究小組做過博士后。

感受一下Super-SloMo生成的“慢速回放”效果:

注意,左右兩邊都是Super SloMo生成的視頻。左邊是原始慢速視頻,右邊是將這個(gè)結(jié)果再放慢4倍的效果,如果不告訴你中間的細(xì)節(jié)(幀)是神經(jīng)網(wǎng)絡(luò)生成的,你會(huì)不會(huì)把它們當(dāng)做真的慢速回放?來源:Huaizu Jiang個(gè)人主頁(yè)

實(shí)際用手機(jī)拍攝的畫面是這樣的,對(duì)比后,意識(shí)到Super SloMo補(bǔ)充多少細(xì)節(jié)了嗎?

論文作者稱,他們能將30FPS(畫面每秒幀數(shù))的視頻變?yōu)?80FPS,也即每秒幀數(shù)增加了16倍。

根據(jù)Super SloMo項(xiàng)目主頁(yè),作者表示,使用他們未經(jīng)優(yōu)化的PyTorch代碼,在單個(gè)NVIDIA GTX 1080Ti 和 Tesla V100 GPU上,生成7個(gè)分辨率為1280*720的中間幀,分別只需要0.97秒和0.79秒。(補(bǔ)充說明:從標(biāo)準(zhǔn)序列30-fps生成240-fps視頻,一般需要在兩個(gè)連續(xù)幀內(nèi)插入7個(gè)中間幀。)

效果當(dāng)然稱得上驚艷。然而,令很多人失望的是,論文發(fā)布時(shí)并沒有將代碼和數(shù)據(jù)集公開,盡管作者表示可以聯(lián)系 Huaizu Jiang 獲取部分原始資料。

僅在論文中提到的數(shù)據(jù)和示例。來源:Super SloMo論文

今天,有人在 Github 上開源了他對(duì) Super-SloMo 的 PyTorch 實(shí)現(xiàn)。這位ID為atplwl的Reddit用戶,在作者提供的adobe24fps數(shù)據(jù)集上預(yù)訓(xùn)練的模型(下圖中pretrained mine),實(shí)現(xiàn)了與論文描述相差無幾的結(jié)果。

o4YBAFwmzh-AGS4vAABiFvhcsog188.png

現(xiàn)在,這個(gè)預(yù)訓(xùn)練模型,還有相關(guān)的代碼、數(shù)據(jù)集,以及實(shí)現(xiàn)條件,都能在GitHub上查到。

自稱新手的atplwl表示,他目前在努力完善這個(gè)GitHub庫(kù),接下來預(yù)計(jì)添加一個(gè)PyThon腳本,將視頻轉(zhuǎn)換為更高的fps視頻,歡迎大家提供建議。

Super SloMo PyTorch實(shí)現(xiàn)地址(點(diǎn)擊閱讀原文訪問):https://github.com/avinashpaliwal/Super-SloMo

Super SloMo:將任意視頻變?yōu)椤案咔迓俨シ拧?/p>

代碼在手,再看論文——前文已經(jīng)說過,從已有視頻中生成高清慢速視頻是一件非常有意義的事情。

除了專業(yè)的高速攝像機(jī)尚未普及到每個(gè)人手里,人們用手機(jī)拍攝的視頻 (一般為240FPS) 想要放慢的時(shí)刻是不可預(yù)測(cè)的,要實(shí)現(xiàn)這一點(diǎn)就不得不用標(biāo)準(zhǔn)幀速率來記錄所有視頻,但這樣做需要的內(nèi)存過大,對(duì)移動(dòng)設(shè)備來說耗電量也花不起。

現(xiàn)在,計(jì)算機(jī)視覺領(lǐng)域,除了將標(biāo)準(zhǔn)視頻轉(zhuǎn)換為更高的幀速率之外,還可以使用視頻插值來生成平滑的視圖轉(zhuǎn)換。在自監(jiān)督學(xué)習(xí)中,這也可以作為監(jiān)控信號(hào)來學(xué)習(xí)未標(biāo)記視頻的光流。

不過,生成多個(gè)中間視頻幀 (intermediate video frame) 是具有挑戰(zhàn)性的,因?yàn)閹仨氃诳臻g和時(shí)間上是連貫的。例如,從30-fps標(biāo)準(zhǔn)序列生成240-fps視頻,需要在兩個(gè)連續(xù)幀內(nèi)插入7個(gè)中間幀。

成功的解決方案不僅要正確解釋兩個(gè)輸入圖像之間的運(yùn)動(dòng)(隱式或顯式),還要理解遮擋 (occlusion)。 否則,就可能導(dǎo)致插值幀中產(chǎn)生嚴(yán)重的偽像,尤其是在運(yùn)動(dòng)邊界附近。

現(xiàn)有方法主要集中于單幀視頻插值,而且已經(jīng)取得了不錯(cuò)的進(jìn)展。然而,這些方法不能直接用于生成任意高幀率視頻。

雖然遞歸地應(yīng)用單幀視頻插值方法生成多個(gè)中間幀是一個(gè)很不錯(cuò)的想法,但這種方法至少有兩個(gè)限制:

首先,遞歸單幀插值不能完全并行化,速度較慢,因?yàn)橛行窃谄渌麕瓿珊蟛胚M(jìn)行計(jì)算的(例如,在七幀插值中,幀2取決于0和4,而幀4取決于0和8)。

其次,它只能生成2i-1個(gè)中間幀。因此,不能使用這種方法有效生地生成1008 - fps 24幀的視頻,這需要生成41中間幀。

論文Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation提出了一種高質(zhì)量的變長(zhǎng)多幀插值方法,該方法可以在兩幀之間的任意時(shí)間步長(zhǎng)進(jìn)行插值。

其主要思想是,將輸入的兩幅圖像扭曲到特定的時(shí)間步長(zhǎng),然后自適應(yīng)地融合這兩幅扭曲圖像,生成中間圖像,其中的運(yùn)動(dòng)解釋和遮擋推理在單個(gè)端到端可訓(xùn)練網(wǎng)絡(luò)中建模。

Super SloMo效果展示:注意在放慢過渡區(qū)域?qū)蜗竦奶幚怼?/p>

具體來說,首先使用流量計(jì)算CNN來估計(jì)兩幅輸入圖像之間的雙向光流,然后線性融合來近似所需的中間光流,從而使輸入圖像發(fā)生扭曲。這種近似方法適用于光滑區(qū)域,但不適用于運(yùn)動(dòng)邊界。

因此,Super SloMo 論文作者使用另一個(gè)流量插值CNN來細(xì)化流近似并預(yù)測(cè)軟可見性圖。

通過在融合之前將可見性圖應(yīng)用于變形圖像,排除了被遮擋像素對(duì)內(nèi)插中間幀的貢獻(xiàn),從而減少了偽像。

Super SloMo網(wǎng)絡(luò)架構(gòu)

“我們的流計(jì)算和插值網(wǎng)絡(luò)的參數(shù)都獨(dú)立于被插值的具體時(shí)間步長(zhǎng),是流插值網(wǎng)絡(luò)的輸入。因此,我們的方法可以并行生成任意多的中間幀。”作者在論文中寫道。

為了訓(xùn)練該網(wǎng)絡(luò),團(tuán)隊(duì)從YouTube和手持?jǐn)z像機(jī)收集了240-fps的視頻??偭坑?.1K視頻剪輯,由300K個(gè)獨(dú)立視頻幀組成,典型分辨率為1080×720。

然后,團(tuán)隊(duì)在其他幾個(gè)需要不同插值數(shù)量的獨(dú)立數(shù)據(jù)集上評(píng)估了訓(xùn)練模型,包括Middlebury 、 UCF101 、慢流(slowflow)數(shù)據(jù)集和高幀率(high-frame-rate) MPI Sintel。

實(shí)驗(yàn)結(jié)果表明,該方法明顯優(yōu)于所有數(shù)據(jù)集上的現(xiàn)有方法。 團(tuán)隊(duì)還在KITTI 2012光流基準(zhǔn)上評(píng)估了無監(jiān)督(自監(jiān)督)光流結(jié)果,并獲得了比現(xiàn)有最近方法更好的結(jié)果。

Super SloMo項(xiàng)目主頁(yè):https://people.cs.umass.edu/~hzjiang/projects/superslomo/

Super SloMo PyTorch實(shí)現(xiàn)Github地址:

https://github.com/avinashpaliwal/Super-SloMo

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4810

    瀏覽量

    102904
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5555

    瀏覽量

    122527
  • pytorch
    +關(guān)注

    關(guān)注

    2

    文章

    809

    瀏覽量

    13783

原文標(biāo)題:干掉高速攝像頭!神經(jīng)網(wǎng)絡(luò)生成極慢視頻,突破人類肉眼極限(PyTorch實(shí)現(xiàn))

文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    英偉達(dá)市值一夜蒸發(fā)近2萬億 英偉達(dá)股價(jià)下跌超8%

    在美東時(shí)間周一,美股三大指數(shù)集體收跌,截至收盤,英偉達(dá)股價(jià)下跌超8%,英偉達(dá)市值一夜蒸發(fā)2650億美元(換算下來約合人民幣19345億元);目前英偉
    的頭像 發(fā)表于 03-04 10:19 ?535次閱讀

    黃仁勛:英偉達(dá)CoWoS產(chǎn)能將大幅增加

    ,今年英偉達(dá)CoWoS的整體產(chǎn)能將大幅增加,這無疑將為公司的未來發(fā)展注入強(qiáng)勁動(dòng)力。 此外,針對(duì)市場(chǎng)上關(guān)于GB200服務(wù)器散熱問題的雜音,黃仁勛也進(jìn)行了回應(yīng)。他指出,Blackwell平臺(tái)的散熱技術(shù)相對(duì)復(fù)雜,但這也是因?yàn)槠湎到y(tǒng)本身
    的頭像 發(fā)表于 01-17 10:33 ?490次閱讀

    英偉達(dá)組建ASIC團(tuán)隊(duì),挖掘臺(tái)灣設(shè)計(jì)服務(wù)人才

    英偉達(dá)自2024年中旬起,便開始了從臺(tái)灣地區(qū)半導(dǎo)體公司挖掘設(shè)計(jì)服務(wù)人才的行動(dòng)。這一系列舉措旨在組建自家的ASIC(專用集成電路)團(tuán)隊(duì),以在現(xiàn)有的Tensor Core GPU之外,開辟一條全新的AI
    的頭像 發(fā)表于 01-03 14:39 ?592次閱讀

    英偉達(dá)被中國(guó)立案調(diào)查!涉嫌違反反壟斷法,最新回應(yīng)!

    英偉達(dá)在出口管制合規(guī)與競(jìng)爭(zhēng)合規(guī)的雙重要求,以及高額罰款面前,可能將被迫進(jìn)行市場(chǎng)選擇。英偉達(dá)被立案調(diào)查!01
    的頭像 發(fā)表于 12-11 01:07 ?682次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達(dá)</b>被中國(guó)立案調(diào)查!涉嫌違反反壟斷法,最新回應(yīng)!

    英偉達(dá)與谷歌攜手加速量子計(jì)算設(shè)備設(shè)計(jì)

    英偉達(dá)近日宣布,將與谷歌量子AI團(tuán)隊(duì)展開合作,共同推進(jìn)量子計(jì)算軟硬件工具的研發(fā)。雙方將利用英偉達(dá)CUDA-Q平臺(tái)提供的模擬支持,加快設(shè)計(jì)谷歌
    的頭像 發(fā)表于 11-19 16:21 ?474次閱讀

    英偉達(dá)與軟銀攜手共建日本AI基礎(chǔ)設(shè)施

    近日,英偉達(dá)創(chuàng)始人兼CEO黃仁勛宣布,英偉達(dá)將與軟銀集團(tuán)合作,在日本共同建設(shè)AI基礎(chǔ)設(shè)施,其中包括日本最大的AI工廠。這一合作標(biāo)志著英偉
    的頭像 發(fā)表于 11-13 14:41 ?688次閱讀

    英偉達(dá)超越蘋果成為市值最高 英偉達(dá)取代英特爾加入道指

    在AI浪潮下英偉達(dá)被各路資本競(jìng)相追逐,2024年英偉達(dá)公司的股價(jià)累計(jì)上漲高達(dá)180%。在11月4日,英偉
    的頭像 發(fā)表于 11-05 15:22 ?724次閱讀

    不同高清視頻線接頭類型解析

    高清視頻線是連接顯示器和視頻源(如電腦、游戲機(jī)、DVD播放器等)的線纜,它們負(fù)責(zé)傳輸高質(zhì)量的視頻信號(hào)。隨著技術(shù)的發(fā)展,市場(chǎng)上出現(xiàn)了多種不同類
    的頭像 發(fā)表于 10-30 15:30 ?1549次閱讀

    英偉達(dá)市值飆升,逼近蘋果

    近日,隨著人工智能技術(shù)的持續(xù)繁榮,英偉達(dá)公司作為AI芯片生產(chǎn)的領(lǐng)軍者,其市值實(shí)現(xiàn)了驚人的飛躍。截至美國(guó)當(dāng)?shù)貢r(shí)間21日,英偉達(dá)的市值再創(chuàng)歷史新高,達(dá)到了3.525萬億美元,首次突破3.5
    的頭像 發(fā)表于 10-23 09:31 ?575次閱讀

    英偉達(dá)Blackwell架構(gòu)揭秘:下一個(gè)AI計(jì)算里程碑?# 英偉達(dá)# 英偉達(dá)Blackwell

    英偉達(dá)行業(yè)資訊
    jf_02331860
    發(fā)布于 :2024年08月26日 10:58:09

    英偉達(dá)發(fā)布新版NVIDIAApp

    英偉達(dá)推出了 NVIDIA App 測(cè)試版?10.0.2 版本,?NVIDIA App新版本新增功能包括顯示設(shè)置、RTX 視頻增強(qiáng)控制、應(yīng)用排序,以及面向其他國(guó)家 / 地區(qū)用戶的應(yīng)用翻譯功能等。
    的頭像 發(fā)表于 08-07 16:16 ?1095次閱讀

    阿爾特?cái)y手英偉達(dá),將Omniverse融入機(jī)器人研發(fā)

     近日,阿爾特公司在其機(jī)構(gòu)調(diào)研活動(dòng)中透露,公司正攜手英偉達(dá)技術(shù)團(tuán)隊(duì),將Omniverse平臺(tái)深度融入機(jī)器人研發(fā)領(lǐng)域,旨在打通英偉
    的頭像 發(fā)表于 07-25 12:40 ?1067次閱讀

    英偉達(dá)TITAN AI顯卡曝光,性能狂超RTX 4090達(dá)63%!# 英偉達(dá)# 顯卡

    顯卡英偉達(dá)
    jf_02331860
    發(fā)布于 :2024年07月24日 17:18:28

    基于RK3588的8K視頻解碼顯示案例分享!引領(lǐng)超高清工業(yè)視頻時(shí)代

    需求:適合于大多數(shù)家庭寬帶和移動(dòng)網(wǎng)絡(luò),一般需要10 Mbps左右的帶寬即可流暢播放。4K視頻典型碼率范圍:20Mbps - 50Mbps帶寬需求:需要更高的帶寬來支持高清的4K視頻
    發(fā)表于 07-17 11:15

    主站蜘蛛池模板: 午夜色福利| 国产精品无码永久免费888 | 巨乳色网址 | 国产特黄一级毛片特黄 | 亚洲欧美视频一区二区 | aa1在线天堂 | 丁香色婷婷 | 国产重口老太和小伙乱视频 | 看日本黄大片在线观看 | a站在线观看 | 1024免费永久福利视频 | 日本免费黄色小视频 | 亚洲成a人片在线观看88 | 成人午夜大片免费看爽爽爽 | 天天操网站 | 久久久久久久免费 | 国产999星空传媒在线观看 | 色综合激情丁香七月色综合 | 日韩插插| 69国产成人综合久久精品 | 一级毛片免费毛片一级毛片免费 | 加勒比一木道|视频在线看 加勒比在线免费视频 | 18岁女人毛片 | 久久免费观看国产精品 | 成年视频在线观看 | 成人性生活免费视频 | 久久精品男人影院 | 日韩a级毛片免费观看 | 色婷婷亚洲精品综合影院 | 亚州1区2区3区4区产品乱码2021 | 毛片网站免费在线观看 | 免费观看欧美一级高清 | 性欧美xxxx视频 | 色多多高清在线观看视频www | 福利视频网址 | 最近2018年中文字幕大全一 | 精品久久久久久午夜 | 视频在线观看一区 | 欧美一级特黄视频 | 亚洲啊v| 777奇米影视一区二区三区 |