SE注意力模塊
SE注意力模塊的全稱是Squeeze-and-Excitation block、其中Squeeze實現全局信息嵌入、Excitation實現自適應權重矯正,合起來就是SE注意力模塊。
把SE注意力模塊添加到Inception Module中與ResNet的殘差Module中,實現SE注意力版本的Inception與ResNet模型
SE注意力模塊集成殘差的四種不同結構設計
CA注意力模塊
圖中最右側是CA注意力模塊、左側是SE注意力模塊、中間是CBAM注意力模塊、CA注意力通過坐標信息嵌入和坐標注意力生成兩個步驟把通道關系和長程依賴關系精確編碼。
CBAM注意力模塊
該圖顯示了如何把一個CBAM模塊集成到到一個殘差模塊中,實現殘差CBAM模塊,CBAM是集成了通道注意力與空間注意力、通道和空間注意力模塊生成首先是通過平均池化和最大池化分別生成通道與空間注意力的輸入,然后通過MLP與7x7卷積輸出通道子模塊和空間子模塊。
ECA注意力模塊
通過全局均值池化(GAP)獲得的聚合通道特征,然后通過大小為k濾波器的快速1D卷積,然后重新構建一個維的卷積輸出結果,乘以輸入的每個通通道數據作為輸出實現注意力機制為ECA。
GAM注意力模塊
全局注意力模塊基于CBAM注意力模塊集成上重新設計通道與空間兩個子模塊實現,其中通道注意力直接使用MLP實現、空間注意力通過兩個7乘7的卷積實現,最終GAM注意力添加到ResNet網絡的效果相比SE注意力、CBAM注意力有明顯提升。
YOLOv57.0 注意力加持版本
審核編輯:劉清
-
濾波器
+關注
關注
162文章
7966瀏覽量
180224 -
ECA
+關注
關注
0文章
7瀏覽量
7703 -
Module
+關注
關注
0文章
71瀏覽量
13100 -
MLP
+關注
關注
0文章
57瀏覽量
4421
原文標題:五種即插即用的視覺注意力模塊
文章出處:【微信號:CVSCHOOL,微信公眾號:OpenCV學堂】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
基于SLH89F5162的左額電壓信號的注意力比拼
基于labview的注意力分配實驗設計
PCI與即插即用
Helieon(TM)LED照明模塊即插即用
DeepMind為視覺問題回答提出了一種新的硬注意力機制
北大研究者創建了一種注意力生成對抗網絡
一種通過引入硬注意力機制來引導學習視覺回答任務的研究
深度分析NLP中的注意力機制
華南理工開源VISTA:雙跨視角空間注意力機制實現3D目標檢測SOTA
基于超大感受野注意力的超分辨率模型
計算機視覺中的注意力機制

評論