本文介紹一篇實時性好準確率高的論文：CornerNet-Lite。該論文由普林斯頓大學幾位學者提出。目前CornerNet-Lite被認為是目標檢測（Object Detection）中 FPS和mAP trade-off的最佳算法。

之所以說：“吊打YOLOv3”，因為CornerNet-Lite在FPS和mAP上都超過了YOLOv3，具體詳見下文介紹。

《CornerNet-Lite: Efficient Keypoint Based Object Detection》

摘要

基于關鍵點的方法是目標檢測中相對較新的范例，消除了對anchor boxes的需求并提供了簡化的檢測框架。基于Keypoint的CornerNet在單級（single-stage）檢測器中實現了最先進的精度。然而，這種準確性來自高處理代價。在這項工作中，團隊解決了基于關鍵點的高效目標檢測問題，并引入了CornerNet-Lite。

CornerNet-Lite是CornerNet的兩種有效變體的組合：CornerNet-Saccade，它使用注意機制消除了對圖像的所有像素進行徹底處理的需要，以及引入新的緊湊骨干架構的CornerNet-Squeeze。

這兩種變體共同解決了有效目標檢測中的兩個關鍵用例：在不犧牲精度的情況下提高效率，以及提高實時效率的準確性。CornerNet-Saccade適用于離線處理，將CornerNet的效率提高6.0倍，將COCO的效率提高1.0％。

CornerNet-Squeeze適用于實時檢測，提高了流行的實時檢測器YOLOv3的效率和準確性（CornerNet-Squeeze為34ms|34.4mAP；COCO上YOLOv3為39ms|33mAP）。

這些貢獻首次共同揭示了基于關鍵點的檢測對于需要處理效率的應用的潛力。

背景

CornetNet 在 ECCV 2018 （oral）上橫空出世，引領一波基于關鍵點的目標檢測狂潮（最近anchor-free盛行），但這類算法（很多one-stage）也有缺點。雖然mAP有很大提升，但速度上都遠不能達到實時（有些論文就避而不談FPS了）。這其實可以看成學術階段的成果，但距離落地應用還有一點距離。

而 本文CornetNet-Lite 是對CornetNet進行優化，提出了兩種算法：

CornerNet-Saccade

CornerNet-Squeeze

CVer作者Amusi認為：

CornerNet-Saccade是在追求高準確率(mAP)的同時，盡可能提高速度(FPS)。即準確率優先，對標CornerNet等算法。創新點：引入Saccade思想

CornerNet-Squeeze是追求高實時性(FPS)的同時，盡可能提高準確率(mAP)，即速度優先，其對標于YOLOv3等算法。創新點：引入SqueezeNet優化思想

正文

CornerNet-Saccade

人類視覺中的 Saccades（掃視運動）是指用于固定不同圖像區域的一系列快速眼動。在目標檢測算法中，我們廣義地使用該術語來表示在推理期間選擇性地裁剪（crop）和處理圖像區域（順序地或并行地，像素或特征）。

CornerNet-Saccade中的saccades是single type and multi-object。CornerNet-Saccade檢測圖像中可能的目標位置周圍的小區域內的目標。它使用縮小后的完整圖像來預測注意力圖和粗邊界框；兩者都提出可能的對象位置，然后，CornerNet-Saccade通過檢查以高分辨率為中心的區域來檢測目標。它還可以通過控制每個圖像處理的最大目標位置數來提高效率。具體流程如下圖所示。

CornerNet-Saccade設計了一種新的backbone：Hourglass-54（含3個hourglass模塊，深度為54）。原CornerNet中使用的是Hourglass-104（含2個hourglass模塊，深度為54）。

注：crop在CornerNet-Saccade中作用非常大

CornerNet-Squeeze

與專注于subset of the pixels以減少處理量的CornerNet-Saccade相比，而CornerNet-Squeeze探索了一種減少每像素處理量的替代方法。在CornerNet中，大部分計算資源都花在了Hourglass-104上。

Hourglass-104由殘差塊構成，其由兩個3×3卷積層和跳連接（skip connection）組成。盡管Hourglass-104實現了很強的性能，但在參數數量和推理時間方面卻很耗時。為了降低Hourglass-104的復雜性，本文將來自SqueezeNet和MobileNets 的想法融入到 lightweight hourglass 架構中。

主要操作是：

受SqueezeNet啟發，CornerNet-Squeeze將residual block 替換為SqueezeNet中的Fire module

受MobileNet啟發，CornerNet-Squeeze將第二層的3x3標準卷積替換為 3x3 深度可分離卷積（depth-wise separable convolution）

具體如下表所示：

實驗結果

開源代碼是基于PyToch1.0.0，在COCO數據集上進行測試。測試硬件環境為：1080ti GPU + Intel Core i7-7700k CPU。

One-stage算法性能比較

CornerNet-Saccade算法性能比較

可見Hourglass-54要強于Hourglass-104，另外gt attention對漲點幫助很大

CornerNet-Squeeze算法性能比較

見證奇跡的時候來了！CornerNet-Squeeze吊打YOLOv3，因為即使是C語言版本的YOLOv3，都已被全方位（mAP+FPS）超過。

注：日常期待一下YOLOv4，畢竟YOLOv3已經是去年3月的"老人"了。