實(shí)例分割和語義分割長期以來都是運(yùn)用不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)來完成的，雖然最近出現(xiàn)了將語義和實(shí)例分割進(jìn)行結(jié)合的“全景分割”，但經(jīng)典方法仍將兩者視為獨(dú)立的任務(wù)。近日，F(xiàn)acebook AI 使用單一神經(jīng)網(wǎng)絡(luò)架構(gòu)來同時(shí)完成實(shí)例分割（識別出圖片前景中的人或者動(dòng)物）和語義分割（對圖片背景中的像素進(jìn)行分類）。他們的研究則通過統(tǒng)一的神經(jīng)網(wǎng)絡(luò)架構(gòu)來同時(shí)實(shí)現(xiàn)實(shí)例和語義分割，這一新架構(gòu)實(shí)現(xiàn)了對內(nèi)存和計(jì)算資源的高效利用，也可以作為全景分割任務(wù)的基準(zhǔn)。
原理：這一新架構(gòu)“全景 FPN ”在 Facebook 2017 年發(fā)布的 Mask R-CNN 的基礎(chǔ)上添加了一個(gè)用于語義分割的分支。這一新架構(gòu)可以同時(shí)對圖像進(jìn)行實(shí)例和語義分割，而且精確度與只進(jìn)行實(shí)例或語義分割的神經(jīng)網(wǎng)絡(luò)相當(dāng)，這相當(dāng)于能將傳統(tǒng)方法所需要的計(jì)算資源減半。在 COCO 和 Cityscapes 數(shù)據(jù)集上的測試顯示在計(jì)算資源相同的條件下全景 FPN 的表現(xiàn)遠(yuǎn)優(yōu)于使用兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)分別進(jìn)行實(shí)例和語義分割。
重要性：全景 FPN 架構(gòu)統(tǒng)一，方便實(shí)現(xiàn)而且資源利用率高，為之后的全景分割研究設(shè)立了基準(zhǔn)。對計(jì)算資源要求的降低以及對圖像理解的深入也會(huì)對需要進(jìn)行復(fù)雜圖像實(shí)時(shí)處理的識別系統(tǒng)產(chǎn)生深遠(yuǎn)的影響。將圖片前景中物體的分割與背景分割作為一個(gè)統(tǒng)一的任務(wù)對我們理解圖片中場景并據(jù)此完成進(jìn)一步的操作至關(guān)重要。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
神經(jīng)網(wǎng)絡(luò)
-
圖像
-
Facebook
原文標(biāo)題：Facebook AI新架構(gòu)：全景FPN，同時(shí)完成圖像實(shí)例與語義分割 | 極客頭條
文章出處：【微信號：rgznai100，微信公眾號：rgznai100】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
相關(guān)推薦
在上一篇文章中，我們介紹了傳統(tǒng)機(jī)器學(xué)習(xí)的基礎(chǔ)知識和多種算法。在本文中，我們會(huì)介紹人工神經(jīng)網(wǎng)絡(luò)的原理和多種神經(jīng)網(wǎng)絡(luò)架構(gòu)方法，供各位老師選擇。 01 人工
![的頭像]()
發(fā)表于 01-09 10:24
?360次閱讀
本綜述提供了對25種用于圖像分割的損失函數(shù)的全面且統(tǒng)一的回顧。我們提供了一種新穎的分類法，并詳細(xì)審查了這些損失函數(shù)如何在圖像分割中被定制和利用，強(qiáng)調(diào)了它們的重要特征和應(yīng)用，并進(jìn)行了系統(tǒng)
![的頭像]()
發(fā)表于 10-22 08:04
?795次閱讀
U-Net模型屬于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）的一種特殊形式 。它最初由德國弗萊堡大學(xué)計(jì)算機(jī)科學(xué)系的研究人員在2015年提出，專為生物醫(yī)學(xué)圖像
![的頭像]()
發(fā)表于 07-24 10:59
?3251次閱讀
圖像語義分割是一種重要的計(jì)算機(jī)視覺任務(wù)，它旨在將圖像中的每個(gè)像素分配到相應(yīng)的語義類別中。這項(xiàng)技術(shù)在許多領(lǐng)域都有廣泛的應(yīng)用，如自動(dòng)駕駛、醫(yī)學(xué)圖像分析、機(jī)器人導(dǎo)航等。
![的頭像]()
發(fā)表于 07-17 09:56
?536次閱讀
圖像分割和語義分割是計(jì)算機(jī)視覺領(lǐng)域中兩個(gè)重要的概念，它們在圖像處理和分析中發(fā)揮著關(guān)鍵作用。 1. 圖像分割簡介 圖像分割是將圖像劃分為多個(gè)區(qū)
![的頭像]()
發(fā)表于 07-17 09:55
?1170次閱讀
全卷積神經(jīng)網(wǎng)絡(luò)（FCN）是深度學(xué)習(xí)領(lǐng)域中的一種特殊類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，尤其在計(jì)算機(jī)視覺領(lǐng)域表現(xiàn)出色。它通過全局平均池化或轉(zhuǎn)置卷積處理任意尺寸的輸入，特別適用于像素級別的任務(wù)，如圖像分割
![的頭像]()
發(fā)表于 07-11 11:50
?1288次閱讀
圖像分割與語義分割是計(jì)算機(jī)視覺領(lǐng)域的重要任務(wù)，旨在將圖像劃分為多個(gè)具有特定語義含義的區(qū)域或?qū)ο?。卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為深度學(xué)習(xí)的
![的頭像]()
發(fā)表于 07-09 11:51
?1158次閱讀
反向傳播神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network，簡稱BP神經(jīng)網(wǎng)絡(luò)）是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它通過反向傳播算法來
![的頭像]()
發(fā)表于 07-03 11:00
?868次閱讀
結(jié)構(gòu)、原理、應(yīng)用場景等方面都存在一定的差異。以下是對這兩種神經(jīng)網(wǎng)絡(luò)的比較： 基本結(jié)構(gòu) BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和
![的頭像]()
發(fā)表于 07-03 10:12
?1359次閱讀
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種深度學(xué)習(xí)模型，廣泛應(yīng)用于圖像分類、目標(biāo)檢測、語義分割等計(jì)算機(jī)視覺任務(wù)。本文將詳細(xì)介紹卷積
![的頭像]()
發(fā)表于 07-03 09:40
?554次閱讀
卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種深度學(xué)習(xí)模型，廣泛應(yīng)用于圖像分類、目標(biāo)檢測、語義分割等領(lǐng)域。本文將詳細(xì)介紹CNN在分類任務(wù)中的應(yīng)用，包括基本結(jié)構(gòu)、關(guān)鍵技術(shù)、常見
![的頭像]()
發(fā)表于 07-03 09:28
?744次閱讀
。 引言 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，它通過模擬人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能，實(shí)現(xiàn)對數(shù)據(jù)的自動(dòng)學(xué)習(xí)和特征提取。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中的一種重要模型，它通過卷積操作和池化操作，有效地提取
![的頭像]()
發(fā)表于 07-02 14:45
?2563次閱讀
神經(jīng)網(wǎng)絡(luò)模型，作為深度學(xué)習(xí)領(lǐng)域的核心組成部分，近年來在圖像識別、自然語言處理、語音識別等多個(gè)領(lǐng)域取得了顯著進(jìn)展。本文旨在深入解讀神經(jīng)網(wǎng)絡(luò)的基本原理、結(jié)構(gòu)類型、訓(xùn)練過程以及應(yīng)用實(shí)例，為初學(xué)者提供
![的頭像]()
發(fā)表于 07-02 11:33
?553次閱讀
神經(jīng)網(wǎng)絡(luò)架構(gòu)是機(jī)器學(xué)習(xí)領(lǐng)域中的核心組成部分，它們模仿了生物神經(jīng)網(wǎng)絡(luò)的運(yùn)作方式，通過復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)信息的處理、存儲和傳遞。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，各種
![的頭像]()
發(fā)表于 07-01 14:16
?868次閱讀
二元序列到序列的分類問題。為了解決由此產(chǎn)生的序列到序列分類問題，將一維卷積神經(jīng)網(wǎng)絡(luò)（CNNs）和遞歸神經(jīng)網(wǎng)絡(luò)（RNNs）相結(jié)合，開發(fā)了一種算法。然后，與收縮壓和舒張壓相關(guān)的節(jié)段（SBP
發(fā)表于 05-23 20:33
Facebook AI使用單一神經(jīng)網(wǎng)絡(luò)架構(gòu)來同時(shí)完成實(shí)例分割和語義分割
工商網(wǎng)監(jiān)
評論