生態(tài)問(wèn)題刻不容緩的今天，有效的生態(tài)系統(tǒng)監(jiān)測(cè)能夠幫助研究人員更好地提出環(huán)境保護(hù)措施。靜態(tài)捕捉相機(jī)就是放置在野外環(huán)境中的最具代表性的一種監(jiān)測(cè)傳感器。然而，對(duì)于廣泛應(yīng)用的靜態(tài)相機(jī)來(lái)說(shuō)，自動(dòng)地分析處理還面臨著一系列的挑戰(zhàn)。

由于靜態(tài)相機(jī)的拍攝場(chǎng)景固定，拍攝圖像中的背景異常重復(fù)，因此沒(méi)有足夠充分的數(shù)據(jù)多樣性，機(jī)器學(xué)習(xí)模型將傾向于學(xué)習(xí)背景，使其在新場(chǎng)景下缺乏足夠的泛化性。為了解決這一問(wèn)題，來(lái)自谷歌的研究人員提出了一種基于時(shí)域上下文的互補(bǔ)方法Context R－CNN，提升了目標(biāo)檢測(cè)模型在全新相機(jī)設(shè)置場(chǎng)景下的泛化性。

有效的生態(tài)系統(tǒng)監(jiān)測(cè)將幫助研究人員更好的理解全球生態(tài)系統(tǒng)的動(dòng)力學(xué)行為、物種多樣性、量化人類活動(dòng)和氣候變化的影響，并提出有效的保護(hù)措施。為了獲取高質(zhì)量的數(shù)據(jù)提高監(jiān)測(cè)效率，生態(tài)學(xué)家耗費(fèi)了大量的努力在野外環(huán)境中放置檢測(cè)傳感器，而靜態(tài)捕捉相機(jī)就是其中最具代表性的一種。

隨著傳感器監(jiān)測(cè)網(wǎng)絡(luò)的逐漸發(fā)展壯大，對(duì)于全球范圍內(nèi)生物多樣性數(shù)據(jù)的手工分析變成了全球?qū)崟r(shí)生態(tài)精確監(jiān)測(cè)的瓶頸所在。雖然有多種基于機(jī)器學(xué)習(xí)的自動(dòng)化分析方法，但對(duì)于廣泛應(yīng)用的靜態(tài)相機(jī)來(lái)說(shuō)，自動(dòng)地分析處理還面臨著一系列的挑戰(zhàn)，包括功耗和存儲(chǔ)限制、采樣率較低、運(yùn)動(dòng)觸發(fā)造成的非規(guī)則拍攝結(jié)果等。

為了有效處理野外靜態(tài)相機(jī)的拍攝結(jié)果，計(jì)算機(jī)視覺(jué)模型必須對(duì)各種情形下的目標(biāo)具有足夠的魯棒性，包括偏離中心、離焦、低光照、尺度變化劇烈等等。此外靜態(tài)相機(jī)最大的不同在于它的拍攝場(chǎng)景固定，這會(huì)使拍攝圖像中的背景異常重復(fù)。沒(méi)有足夠充分的數(shù)據(jù)多樣性，機(jī)器學(xué)習(xí)模型將傾向于學(xué)習(xí)背景，使其在新場(chǎng)景下缺乏足夠的泛化性。

機(jī)器學(xué)習(xí)和生態(tài)學(xué)界的研究人員已經(jīng)攜手完成了像LILA BC 和 Wildlife Insights 等大規(guī)模的專家標(biāo)注數(shù)據(jù)集，這些數(shù)據(jù)來(lái)自于多個(gè)研究團(tuán)隊(duì)在不同場(chǎng)景下的相機(jī)拍攝結(jié)果以提升數(shù)據(jù)的多樣性。但數(shù)據(jù)的積攢需要大量人力物力并且進(jìn)展緩慢，同時(shí)在顧及多樣性、世界范圍內(nèi)代表性數(shù)據(jù)和物種分類的要求下變得異常繁雜。

為了解決這一問(wèn)題，來(lái)自谷歌的研究人員提出了一種基于時(shí)域上下文的互補(bǔ)方法Context R－CNN，提升了目標(biāo)檢測(cè)模型在全新相機(jī)設(shè)置場(chǎng)景下的泛化性。新型的目標(biāo)檢測(cè)架構(gòu)通過(guò)提取每個(gè)相機(jī)在時(shí)間維度上的上下文線索來(lái)改善新場(chǎng)景下的目標(biāo)識(shí)別效果，而無(wú)需額外的來(lái)自多個(gè)相機(jī)的訓(xùn)練數(shù)據(jù)。在面對(duì)復(fù)雜圖像時(shí)，上下文R－CNN方法可以從同一相機(jī)從長(zhǎng)達(dá)一個(gè)月的上下文信息中回溯出最為相關(guān)的目標(biāo)并幫助算法進(jìn)行識(shí)別。

這種方法超過(guò)了僅僅使用單幀圖像的FasterR－CNN方法，在多個(gè)生態(tài)環(huán)境圖像檢測(cè)領(lǐng)域內(nèi)都具有明顯的優(yōu)勢(shì)。研究人員已將模型整合到TF Object Detection API中，為相關(guān)研究人員提供更為簡(jiǎn)化的訓(xùn)練和部署。

上下文信息（長(zhǎng)達(dá)一個(gè)月）是如何幫助專家確定模糊場(chǎng)景中的動(dòng)物的。上下文中目標(biāo)形狀、尺寸、每天固定的食草時(shí)間幫助算法確定這是角馬。

上下文R－CNN模型

上下文R－CNN主要利用靜態(tài)相機(jī)拍攝圖像序列間的高度相關(guān)性，在無(wú)需額外人工標(biāo)注數(shù)據(jù)的情況下提升算法在復(fù)雜情況下的性能，同時(shí)改善在新的相機(jī)設(shè)置下的泛化性。與Faster R－CNN類似，它也采用了兩階段目標(biāo)檢測(cè)架構(gòu)。

顯示了上下文R－CNN的頂層架構(gòu)，顯示了檢測(cè)模型與長(zhǎng)期上下文信息如何有效系統(tǒng)提升性能。

為了抽取某一相機(jī)的上下文信息，研究人員首先利用參數(shù)固定的特征抽取器從較大的時(shí)間跨度中構(gòu)建出上下文存儲(chǔ)空間（下圖中M）；隨后每幅圖像在對(duì)應(yīng)上下文信息聚合的幫助下，上下文R－CNN將會(huì)更好地在復(fù)雜情況下對(duì)目標(biāo)進(jìn)行檢測(cè)（包括低光、濃霧、模糊等場(chǎng)景）。這種聚合利用attention方式實(shí)現(xiàn)，它對(duì)靜態(tài)相機(jī)中出現(xiàn)的稀疏和非規(guī)則采樣具有較好的魯棒性。

第一階段的Faster R－CNN將提出潛在目標(biāo)，而第二階段將對(duì)每個(gè)候選目標(biāo)進(jìn)行分類。在Context R－CNN中針對(duì)第一階段的候選目標(biāo)，使用基于相似性的注意力機(jī)制來(lái)確定當(dāng)前目標(biāo)與記憶池中特征的相關(guān)性。隨后利用相關(guān)性權(quán)重加權(quán)記憶池中的特征來(lái)構(gòu)建針對(duì)這一目標(biāo)的上下文特征，并將其添加到原始的目標(biāo)特征后，送入第二階段的Faster R－CNN中進(jìn)行最終的分類。

Context R－CNN將近一個(gè)月的上下文信息用于幫助分類當(dāng)前目標(biāo)。綠色數(shù)字顯示了每個(gè)記憶特征與當(dāng)前目標(biāo)的注意力相關(guān)性權(quán)重。

實(shí)驗(yàn)結(jié)果

研究人員在多樣性區(qū)域的動(dòng)物捕獲相機(jī)數(shù)據(jù)集Snapshot Serengeti （SS） 和 Caltech Camera Traps （CCT）上測(cè)試了Context R－CNN的性能。

與左側(cè) Faster R－CNN 相比， Context R－CNN 可以在更為困難環(huán)境中捕捉到被樹(shù)枝遮擋的大象、低光照下的羚羊和位于圖像邊緣的猴子。

下表顯示了模型的提升，在SS和CCT上mAP分別實(shí)現(xiàn)了47．5％和34．3％的相對(duì)提升。同時(shí)研究人員發(fā)現(xiàn)隨著時(shí)間上下文信息跨度的增加，模型的性能有著正相關(guān)的提升。

與單幀F(xiàn)aster R－CNN相比 本文方法的mAP和AR值都有了明顯地提升。

目前研究人員正在努力將Context R－CNN應(yīng)用到Wildlife Insights監(jiān)測(cè)平臺(tái)中去，基于野外相機(jī)網(wǎng)絡(luò)實(shí)現(xiàn)便捷的大規(guī)模、全球生態(tài)系統(tǒng)監(jiān)測(cè)。z
? ? ? ?責(zé)任編輯:pj