在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Facebook的研究人員提出了Mesh R-CNN模型

nlfO_thejiangme ? 來源:lq ? 2019-08-02 15:51 ? 次閱讀

隨著計算機視覺的發展,2D目標檢測在精度和速度方面已經得到了巨大的提升,并在各個領域取得了令人矚目的成績。但2D檢測卻忽視了物體的三維信息。目前的3D形狀預測研究主要基于合成數據集和當個目標的預測。

為了解決這一問題,來自Facebook的研究人員提出了Mesh R-CNN模型,可以從單張輸入圖像中檢測不同物體,并預測出每個物體對應的三角網格,將二維目標檢測的能力成功地拓展到了三維目標檢測和形狀預測。

三維目標檢測與形狀預測

近年來深度學習在三維形狀理解領域有了很大的提升,研究人員們利用神經網絡對體素、點云、網格等三維表示進行學習,推進了三維世界表示和理解的發展。但這些技術主要基于合成數據集進行開發和研究,缺乏復雜的形狀和條件,相比二維圖像的大型數據集還遠遠不夠。研究人員認為三維研究領域需要開發新的識別與理解系統,可以在非限制環境、復雜形狀、多物體以及光照條件變化的情境下穩定運行。

為了實現這一目標,研究人員開發了2D感知和3D形狀預測的方法,可以在單張RGB輸入的情況下實現目標檢測、實例分割以及目標3D三角網格預測的功能。這一方法基于Mask R-CNN改進而來,增加了網格預測分支來輸出高分辨的目標三角網格。這種方法預測出的網格不僅能夠捕捉不同的3D結構中,同時可以適用于不同的幾何復雜度。Mesh R-CNN克服了先前固定網格模板的形態預測方法,利用多種三維表示方法完成預測。

Mesh R-CNN首先預測出目標粗糙的體素、隨后轉換為網格并利用精確的網格預測分支進行優化,最后實現了對于任意幾何結構的精細預測。

Mesh R-CNN

這一研究的目標是通過單張圖像輸入,對圖像中的物體進行檢測、獲取不同物體的類別、掩膜和對應的三維網格,并對真實世界中的復雜模型進行有效處理。在2D深度網絡的基礎上,研究人員改進并提出了新的架構。

這一模型主要分為三個部分,包括了預測box和mask的檢測分支、預測體素的分支和mesh優化分支。受到RoIAlign的啟發,研究人員在網格預測中加入了VertAlign將輸入圖像與特征進行對應。

體素預測分支與box/mask預測分支的輸入相同,都使用了與圖像對齊的特征。模型最后將目標檢測、語義分割損失與網格預測損失結合起一同對網絡進行端到端的訓練和優化。Mesh R-CNN的核心是網格預測器,它將對齊的圖像特征進行輸入,并輸出目標的三維網格。與二維圖像的處理相似,研究人員同時也維護了特征在不同階段的對齊,包括區域和體素對應的對齊操作(RoIAlign和VertAlign),并捕捉圖像中所有實例的3D形狀。

這意味著每一個預測出的網格都具有自己的拓撲結構(包括網格種類、一定數量的頂點、邊和面)以及幾何形狀。這一模型可以預測不同形狀和拓撲結構的網格。

模型的體素分支將針對每一個檢測到的物體預測柵格在空間中的占據概率,并得到三維模型最終的形狀結果。可以將其視為3D版的Mask R-CNN,利用GxGxG的柵格在三維空間中預測出目標的外形。

同樣和Mask R-CNN類似的是,對于體素的預測同樣適用了來自RoIAlign的特征,并得到G個通道特征,其中的體素表示了輸入位置的占據分數,在實驗中研究人員使用了24x24x24大小的體素表示。

隨后立方體化方法(Cubify)將3D體素的占據概率轉換為三角網格模型。它將輸入的占據概率二進制輸出,每一個體素占據點被一個立方體的三角網格代替,包含了8個頂點、18條邊和12個面。相鄰立方體共享邊,緊鄰的面被消除,最終得到與體素形態學相同的網格表示。

最后需要將得到的網格進一步優化以獲取更為精確的結果。與很多體素/網格的優化方法相同,首先需要將頂點與圖像特征對齊,隨后利用圖網絡卷積的方法在每一條mesh邊上對信息進行傳播,最后將得到的結果用于更新每一個頂點的位置。

上面三個步驟在優化過程中不斷進行。最后為了給mesh優化分支建立損失,研究人員在網格表面進行稠密的采樣得到點云來計算網格優化分支的損失。

結果

最終研究人員在ShapeNet 數據集和Pix3D數據集上驗證了這種方法的有效性。可以看到新提出的方法可以有效地預測帶有孔洞的物體。

同時對于復雜環境中的三維物體也有良好的預測效果:

文章附錄里給出了包括立方體化、網格采樣、消融性分析以及與各種方法的比較,如果想要了解更多的實現細節,請參看:

https://arxiv.org/pdf/1906.02739.pdf

ref:

paper:https://arxiv.org/pdf/1906.02739.pdf

logopicture:https://dribbble.com/shots/1143435-Pikachu-Polymon

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 圖像
    +關注

    關注

    2

    文章

    1089

    瀏覽量

    40573
  • Facebook
    +關注

    關注

    3

    文章

    1429

    瀏覽量

    54998
  • 數據集
    +關注

    關注

    4

    文章

    1209

    瀏覽量

    24834

原文標題:Facebook研究員提出Mesh R-CNN,向三維進擊的目標檢測!

文章出處:【微信號:thejiangmen,微信公眾號:將門創投】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    手把手教你使用LabVIEW實現Mask R-CNN圖像實例分割(含源碼)

    使用LabVIEW實現Mask R-CNN圖像實例分割
    的頭像 發表于 03-21 13:39 ?2448次閱讀
    手把手教你使用LabVIEW實現Mask <b class='flag-5'>R-CNN</b>圖像實例分割(含源碼)

    介紹目標檢測工具Faster R-CNN,包括它的構造及實現原理

    在本篇文章中,公司的研究人員介紹了他們在研究過程中所使用的先進目標檢測工具Faster R-CNN,包括它的構造及實現原理。
    的頭像 發表于 01-27 11:49 ?1.9w次閱讀
    介紹目標檢測工具Faster <b class='flag-5'>R-CNN</b>,包括它的構造及實現原理

    Mask R-CNN:自動從視頻中制作目標物體的GIF動圖

    用深度學習模型——Mask R-CNN,自動從視頻中制作目標物體的GIF動圖。
    的頭像 發表于 02-03 14:19 ?1.1w次閱讀

    什么是Mask R-CNN?Mask R-CNN的工作原理

    它的概念很簡單:對于每個目標對象,Faster R-CNN都有兩個輸出,一是分類標簽,二是候選窗口;為了分割目標像素,我們可以在前兩個輸出的基礎上增加第三個輸出——指示對象在窗口中像素位置的二進制
    的頭像 發表于 07-20 08:53 ?6.8w次閱讀

    手把手教你操作Faster R-CNN和Mask R-CNN

    Pooling的基礎之上提出了ROI Align。所以要想理解Mask R-CNN,就要先熟悉Faster R-CNN。同樣的,Faster R-CNN是承繼于Fast
    的頭像 發表于 04-04 16:32 ?1.3w次閱讀

    研究人員提出了一系列新的點云處理模塊

    為了探索這些問題的解決辦法、來自倫敦大學學院的研究人員提出了一系列新的點云處理模塊,從效率、信息共享和點云卷積操作等方面進行了研究,得到了更寬、更深、更快效率更高的點云處理網絡,讓更深的點云深度學習
    的頭像 發表于 08-02 14:44 ?3096次閱讀
    <b class='flag-5'>研究人員</b>們<b class='flag-5'>提出了</b>一系列新的點云處理模塊

    JD和OPPO的研究人員提出了一種姿勢引導的時尚圖像生成模型

    研究人員的主要目的在于訓練一個生成模型,將模特在當前姿勢上的圖像遷移到其他的目標姿勢上去,實現對于衣著等商品的全面展示。
    的頭像 發表于 08-02 14:50 ?2592次閱讀

    研究人員提出了一個名為CommPlan的框架

    使用CommPlan,開發人員首先使用數據,領域專業知識和學習算法指定五個模塊-任務模型,通信功能,通信成本模型人員響應模型
    的頭像 發表于 04-09 14:30 ?2208次閱讀

    Facebook研究人員發布友誼數據

    Facebook在一篇博文中表示,卡耐基梅隆大學的研究人員“不會與Facebook分享個人調查反饋,Facebook也不會與研究人員分享關于
    的頭像 發表于 04-22 10:58 ?3356次閱讀

    基于改進Faster R-CNN的目標檢測方法

    為提高小尺度行人檢測的準確性,提出一種基于改進 Faster r-CNN的目標檢測方法。通過引入基于雙線性插值的對齊池化層,避免感興趣區域池化過程中兩次量化操作導致的位置偏差,同時設計基于級聯的多層
    發表于 03-23 14:52 ?3次下載
    基于改進Faster <b class='flag-5'>R-CNN</b>的目標檢測方法

    華裔女博士提出Facebook提出用于超參數調整的自我監督學習框架

    【導讀】Facebook研究人員近日提出了一種用于超參數調整的自我監督學習框架。
    的頭像 發表于 04-26 09:45 ?1803次閱讀
    華裔女博士<b class='flag-5'>提出</b>:<b class='flag-5'>Facebook</b><b class='flag-5'>提出</b>用于超參數調整的自我監督學習框架

    基于Mask R-CNN的遙感圖像處理技術綜述

    較為密集,且容易與港口混合。當前對艦船檢測的輸岀結果主要是檢測框,缺少對艦船掩碼的輸岀,使得無法全面分析岀模型存在的不足;冋時,由于遙感圖像中的艦船停靠密集,容易產生漏檢問題。為解決上述問題,利用 Mask r-cnn對艦
    發表于 05-08 16:39 ?3次下載

    用于實例分割的Mask R-CNN框架

    我們的方法稱為 Mask R-CNN,擴展了 Faster RCNN ,方法是在每個感興趣區域 (RoI) 上添加一個用于預測分割掩碼的分支,與用于分類和邊界框回歸的現有分支并行(圖 1)。掩碼分支
    的頭像 發表于 04-13 10:40 ?2722次閱讀

    PyTorch教程14.8之基于區域的CNN(R-CNN)

    電子發燒友網站提供《PyTorch教程14.8之基于區域的CNN(R-CNN).pdf》資料免費下載
    發表于 06-05 11:09 ?0次下載
    PyTorch教程14.8之基于區域的<b class='flag-5'>CNN</b>(<b class='flag-5'>R-CNN</b>)

    PyTorch教程-14.8。基于區域的 CNN (R-CNN)

    )、faster R-CNN ( Ren et al. , 2015 )和掩模 R-CNN ( He等,2017)。由于篇幅有限,我們將只關注這些模型的設計。 14.8.1。R
    的頭像 發表于 06-05 15:44 ?698次閱讀
    PyTorch教程-14.8。基于區域的 <b class='flag-5'>CNN</b> (<b class='flag-5'>R-CNN</b>)
    主站蜘蛛池模板: 天堂tv亚洲tv日本tv欧美人tv | 国产精品综合色区在线观看 | 欧美日韩一区二区三区视频在线观看 | 六月婷婷综合网 | 九色在线播放 | 色视频2| 天天射天天干天天舔 | 日韩精品卡4卡5卡6卡7卡 | 欧美另类videos | aa黄色毛片| 亚洲精品成人a | 久久婷婷综合中文字幕 | 四虎www成人影院免费观看 | 国产一区二区三区毛片 | 手机看片国产免费 | 最新在线网址 | 一级特级女人18毛片免费视频 | 三级网站免费看 | 一级特黄aaa大片29 | 色播图片 | 激情五月五月婷婷 | 在线观看视频你懂的 | 白嫩少妇激情无码 | 国产精品午夜高清在线观看 | 日本xxwwxxww视频免费丝袜 | 欧美伊久线香蕉线新在线 | 色多多www视频在线观看免费 | ak福利午夜在线观看 | 日韩毛片免费视频一级特黄 | 又黄又粗暴的120秒免费gif视频 | 国产午夜在线观看 | 国产性较精品视频免费 | sss在线play| 欧美卡一卡二卡新区网站 | 日韩h视频| 美女福利在线观看 | 中文在线免费看影视 | 日本亚洲精品成人 | 成人宗合网 | 五月综合色啪 | 五月天天|