前言 在本文中，作者提出了一種基于高斯感受野的標(biāo)簽分配（RFLA）策略用于微小目標(biāo)檢測。并提出了一種新的感受野距離（RFD）來直接測量高斯感受野和地面真值之間的相似性，而不是使用IoU或中心采樣策略分配樣本。

考慮到基于IoU閾值和中心采樣策略對大對象的傾斜，作者進(jìn)一步設(shè)計了基于RFD的分層標(biāo)簽分配（HLA）模塊，以實(shí)現(xiàn)小對象的平衡學(xué)習(xí)。在四個數(shù)據(jù)集上的大量實(shí)驗(yàn)證明了所提方法的有效性。作者的方法在AI-TOD數(shù)據(jù)集上的AP點(diǎn)數(shù)為4.0，優(yōu)于SOTA。

創(chuàng)新思路

微小物體的像素數(shù)量極為有限（小于AI-TOD［49］中定義的16×16像素），一直是計算機(jī)視覺領(lǐng)域的一個難題。微小目標(biāo)檢測（TOD）是最具挑戰(zhàn)性的方法之一，一般的物體檢測器通常無法在TOD任務(wù)中提供令人滿意的結(jié)果，這是由于微小物體缺乏鑒別特征。

考慮到微小物體的特殊性，提出了幾種定制的TOD基準(zhǔn)（如AI-TOD、TinyPerson和AI-TOT-v2），以促進(jìn)一系列下游任務(wù)，包括駕駛輔助、交通管理和海上救援。最近，TOD逐漸成為一個受歡迎但具有挑戰(zhàn)性的方向，獨(dú)立于一般對象檢測。

在本文中，作者認(rèn)為當(dāng)前的先驗(yàn)盒和點(diǎn)及其相應(yīng)的測量策略對于微小物體是次優(yōu)的，這將進(jìn)一步阻礙標(biāo)簽分配過程。具體來說，作者以單個先驗(yàn)盒和點(diǎn)為例，從分布的角度重新思考它們。

不同先驗(yàn)的示意圖如圖1的第二行所示，現(xiàn)有先驗(yàn)信息與其相應(yīng)的測量策略相結(jié)合，對于微小物體存在以下問題。

圖1.不同標(biāo)簽分配方案的檢測結(jié)果之間的比較

第一：當(dāng)特定ground truth與特定先驗(yàn)不重疊時，它們的位置關(guān)系無法通過IoU或中心度解決。對于微小對象，通常情況下，真實(shí)框與幾乎所有的錨框都沒有重疊（即IoU=0）或不包含任何錨定點(diǎn)，導(dǎo)致微小對象缺少正樣本。

為此，采用啟發(fā)式方法來保證微小對象的更多正樣本。然而，賦值器通常無法基于零值IoU或中心度補(bǔ)償微小對象的正樣本。因此，網(wǎng)絡(luò)將減少對微小對象學(xué)習(xí)的關(guān)注。

第二，當(dāng)前先驗(yàn)區(qū)域主要遵循均勻分布，并同等對待先驗(yàn)區(qū)域內(nèi)的每個位置。然而，基本上利用先驗(yàn)信息來輔助標(biāo)簽分配或特征點(diǎn)分配過程。

當(dāng)將特征點(diǎn)的感受野重新映射回輸入圖像時，有效感受野實(shí)際上是高斯分布的。均勻分布先驗(yàn)和高斯分布感受野之間的間隙將導(dǎo)致ground truth和分配給它的特征點(diǎn)的感受野之間不匹配。

為了緩解上述問題，作者引入了一種新的基于高斯分布的先驗(yàn)知識，并建立了一種基于高斯感受野的標(biāo)簽分配（RFLA）策略，該策略更有利于微小對象。

本文的主要貢獻(xiàn)

（1）實(shí)驗(yàn)表明，當(dāng)前基于錨和無錨的檢測器在微小目標(biāo)標(biāo)簽分配中存在尺度樣本不平衡問題。

（2） 為了緩解上述問題，引入了一種簡單但有效的基于感受野的標(biāo)簽分配（RFLA）策略。RFLA很容易取代主流檢測器中的標(biāo)準(zhǔn)盒和基于點(diǎn)的標(biāo)簽分配策略，提高了它們在TOD上的性能。

（3） 在四個數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了提出的方法的性能優(yōu)越性。在具有挑戰(zhàn)性的AI-TOD數(shù)據(jù)集上，引入的方法在推理階段沒有額外成本的情況下顯著優(yōu)于最先進(jìn)的競爭對手。

方法

感受野建模

基于錨的檢測器在FPN的不同層上平鋪不同尺度的先驗(yàn)框，以輔助標(biāo)簽分配，因此在FPN不同層上檢測不同尺度的對象。對于無錨探測器，它們將不同比例范圍內(nèi)的對象分組到不同水平的FPN上進(jìn)行檢測。盡管標(biāo)簽分配策略各不相同，但基于錨和無錨檢測器的一個共同點(diǎn)是將適當(dāng)感受野的特征點(diǎn)分配給不同尺度的對象。

因此，在不設(shè)計啟發(fā)式錨框預(yù)設(shè)或規(guī)模分組的情況下，感受野可以直接用作標(biāo)簽分配的有根據(jù)和有說服力的先驗(yàn)。

圖2.RFLA的過程

在本文中，作者直接測量有效感受野（ERF）和ground truth區(qū)域之間的匹配度，以進(jìn)行標(biāo)記分配，從而消除使TOD惡化的盒或點(diǎn)先驗(yàn)。在這項(xiàng)工作中，將每個特征點(diǎn)的ERF建模為高斯分布，先通過以下公式推導(dǎo)出標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)上第n層的理論感受野（TRF），即trn：

感受野距離

獲得高斯ERF，關(guān)鍵步驟是測量特征點(diǎn)的ERF與某個ground truth之間的匹配度。階躍變化的均勻分布不利于ground truth體，還需要將真實(shí)值建模為另一個分布。

觀察到物體的主體聚集在邊界框的中心，作者還將ground truth框（xg、yg、wg、hg）建模為標(biāo)準(zhǔn)的二維高斯分布Ng（μg，∑g），其中每個帶注釋框的中心點(diǎn)用作高斯的平均向量，半邊長的平方用作協(xié)方差矩陣，即，

在本文中，作者研究了高斯分布之間的三種典型距離作為感受野距離候選（RFDC）。這些距離測量包括Wasserstein距離、K-L散度和J-S散度。高斯分布之間的J-S散度沒有閉式解，在近似其解時將引入大量計算，因此，不使用J-S散度。

Wasserstein距離

Wasserstein距離來自最優(yōu)運(yùn)輸理論。Wasserstein距離的主要優(yōu)點(diǎn)是它可以測量兩個非重疊分布。通常情況下，ground truth框與大多數(shù)在先框和點(diǎn)沒有重疊，并且賦值器無法將這些候選ground truth級排序到某個真實(shí)值。

因此，可以很容易地說，Wasserstein距離的特性有利于TOD，TOD可以一致地反映所有特征點(diǎn)與某個ground truth盒之間的匹配程度，使賦值器能夠根據(jù)合理的優(yōu)先級對微小對象補(bǔ)償更多的正樣本。然而，Wasserstein距離不是尺度不變的，當(dāng)數(shù)據(jù)集包含大尺度方差的對象時，它可能是次優(yōu)的。

Kullback-Leibler散度

Kullback-Leibler散度（KLD）是一種經(jīng)典的統(tǒng)計距離，用于衡量一種概率分布與另一種概率的差異。KLD在兩個二維高斯分布之間具有尺度不變性，并且尺度不變性對檢測至關(guān)重要。而KLD的主要缺點(diǎn)是，當(dāng)兩個分布的重疊可以忽略時，它不能一致地反映兩個分布之間的距離。

因此，本文選擇ERF和ground truth之間的KLD作為另一個RFDC。

然后，作者將非線性變換應(yīng)用于RFDC，并得到歸一化值范圍在（0，1）之間的RFD，如下所示：

分層標(biāo)簽分配

作者通過分?jǐn)?shù)排序?qū)?biāo)簽分層分配給微小對象。為了保證任何特征點(diǎn)和任何ground truth之間的位置關(guān)系都可以求解，所提出的分層標(biāo)簽分配（HLA）策略建立在所提出的RFD之上。在分配之前，基于ground truth計算特征點(diǎn)和真實(shí)值之間的RFD ground truth。

在第一階段，作者使用特定的真實(shí)值對每個特征點(diǎn)的RFD得分進(jìn)行排序。然后，將ground truth配給具有最高k個RFD分?jǐn)?shù)的特征點(diǎn)，并具有一定的ground truth。最后，得到分配結(jié)果r1和已分配特征的對應(yīng)掩碼m。

在第二階段，為了提高整體召回率并緩解異常值，通過乘以階段因子β來略微衰減有效半徑ern，然后重復(fù)上述排序策略，并向每個ground truth補(bǔ)充一個正樣本，得到分配結(jié)果r2。通過以下規(guī)則獲得最終分配結(jié)果r：

探測器的應(yīng)用

所提出的RFLA策略可以應(yīng)用于基于錨和無錨的框架。為了更快的R-CNN，RFLA可以用來代替標(biāo)準(zhǔn)的錨平鋪和MaxIoU錨分配過程。對于FCOS，消除了限制ground truth框內(nèi)特征點(diǎn)的限制，因?yàn)樾】蛑桓采w非常有限的區(qū)域，通常比大對象包含的特征點(diǎn)少得多。

用RFLA代替基于點(diǎn)的分配，實(shí)現(xiàn)平衡學(xué)習(xí)。

作者將中心度損失修改為以下公式，以避免梯度爆炸：

實(shí)驗(yàn)

如表1所示，可以看出，GIoU不如RFD，因?yàn)樗鼰o法區(qū)分相互包容的盒子的位置，而WD和KLD的性能相當(dāng)。

表1.不同感受野距離測量方法的比較

作者逐步將RFD和HLA應(yīng)用到更快的RCNN中。結(jié)果列于表2，AP逐步改善，從而驗(yàn)證了個體有效性。

表2.不同設(shè)計的影響

在HLA中，作者為ERF設(shè)計了階段因子β，以緩解異常值效應(yīng)。在表3中，作者保持所有其他參數(shù)不變，實(shí)驗(yàn)表明0.9是最佳選擇。將β設(shè)置為較低的值將引入太多的低質(zhì)量樣本。

表3.分級標(biāo)記賦值器（HLA）中階段因子β的影響

作者將錨直接建模為高斯分布，計算ground truth之間的RFD得分，然后使用HLA分配標(biāo)簽。結(jié)果如表4所示。結(jié)果表明高斯先驗(yàn)及其與HLA的結(jié)合具有很大的優(yōu)勢。

表4.高斯錨和接受錨

作者將作者的方法與AI-TOD基準(zhǔn)上的其他最先進(jìn)檢測器進(jìn)行了比較。如表5所示，帶RFLA的探測器達(dá)到24.8 AP，比最先進(jìn)的競爭對手高出4.0 AP。

表5.AI-TOD的主要結(jié)果

圖3.快速R-CNN w/HLA中的top k與快速R-CNN基線中的錨定微調(diào)之間的比較

作者將標(biāo)度范圍劃分為16個區(qū)間，如圖4所示，并計算分配給不同標(biāo)度范圍中每個ground truth的正樣本的平均數(shù)量。圖4中的觀察結(jié)果表明現(xiàn)有檢測器存在嚴(yán)重的標(biāo)度樣本不平衡問題。

圖4.不同檢測器的比例樣本不平衡問題

AI-TOD數(shù)據(jù)集的可視化結(jié)果如圖5所示。當(dāng)將RFLA應(yīng)用于更快的R-CNN時，可以大大消除FN預(yù)測。

圖5.AI-TOD的可視化結(jié)果

結(jié)論

在本文中，作者指出框和點(diǎn)先驗(yàn)對于TOD不起作用，導(dǎo)致在分配標(biāo)簽時出現(xiàn)比例樣本不平衡問題。為此，作者引入了一種新的高斯感受野先驗(yàn)。

然后，作者進(jìn)一步設(shè)計了一種新的感受野距離（RFD），它度量了ERF和ground truth之間的相似性，以克服TOD上IoU和中心性的不足。RFD與HLA策略一起工作，為微小對象獲得平衡學(xué)習(xí)。

在四個數(shù)據(jù)集上的實(shí)驗(yàn)表明了RFLA的優(yōu)越性和魯棒性。