近日，香港中文大學(xué)-商湯聯(lián)合實驗室開源了基于 PyTorch 的檢測庫——mmdetection。上個月，商湯和港中大組成的團隊在 COCO 比賽的物體檢測（Detection）項目中奪得冠軍，而 mmdetection 正是基于 COCO 比賽時的 codebase 重構(gòu)。

商湯稱，這個開源庫提供了已公開發(fā)表的多種視覺檢測核心模塊。通過這些模塊的組合，可以迅速搭建出各種著名的檢測框架，比如 Faster RCNN，Mask RCNN，和 R-FCN 等，以及各種新型框架，從而大大加快檢測技術(shù)研究的效率。

目前，mmdetection 的第一個版本已經(jīng)實現(xiàn)了 RPN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN，Mask R-CNN，近期還計劃放出 RetinaNet 和 Cascade R-CNN。

項目地址：

https://github.com/open-mmlab/mmdetection

此次項目的參與者，香港中文大學(xué)陳愷博士稱，相比 FAIR 此前開源的 Detectron，mmdetection 有以下幾大優(yōu)勢：

編者注：Detectron 是 FAIR 用于實現(xiàn)最先進的目標(biāo)檢測算法（包括 Mask R-CNN）的軟件系統(tǒng)。該系統(tǒng)基于深度學(xué)習(xí)框架 Caffe 2 ，由 Python 編寫而成。（《Mask R-CNN 源代碼終上線，F(xiàn)acebook 開源目標(biāo)檢測平臺—Detectron》）

Performance 稍高：由于 PyTorch 官方 model zoo 里面的 ResNet 結(jié)構(gòu)和 Detectron 所用的 ResNet 有細(xì)微差別（mmdetection 中可以通過 backbone 的 style 參數(shù)指定），導(dǎo)致模型收斂速度不一樣，所以我們用兩種結(jié)構(gòu)都跑了實驗，一般來說在 1x 的 lr schedule 下 Detectron的會高，但 2x 的結(jié)果 PyTorch 的結(jié)構(gòu)會比較高。

訓(xùn)練速度稍快：Mask R-CNN 差距比較大，其余的很小。采用相同的 setting，Detectron 每個 iteration 需要 0.89s，而 mmdetection 只需要 0.69s。Fast R-CNN 比較例外，比 Detectron 的速度稍慢。另外在我們的服務(wù)器上跑 Detectron 會比官方 report 的速度慢 20% 左右，猜測是 FB 的 Big Basin 服務(wù)器性能比我們好？

所需顯存稍小：顯存方面優(yōu)勢比較明顯，會小 30% 左右。但這個和框架有關(guān)，不完全是 codebase 優(yōu)化的功勞。一個讓我們比較意外的結(jié)果是現(xiàn)在的 codebase 版本跑 ResNet-50 的 Mask R-CNN，每張卡（12 G）可以放 4 張圖，比我們比賽時候小了不少。

易用性更好：基于 PyTorch 和基于 Caffe2 的 code 相比，易用性是有代差的。成功安裝 Detectron 的時間，大概可以裝好一打的 mmdetection 吧。

當(dāng)然，陳愷博士也承認(rèn) Detectron 也有一些明顯優(yōu)勢，“作為第一個全面的 detection codebase，加上 FAIR 的金字招牌，關(guān)注人數(shù)和用戶很多（雖然吐槽也比較多），release 的模型也比較全面。我們也在努力擴充 model zoo，奈何人力和算力還是有很大差距，所以還需要時間。”

與 mmdetection 一起開源的還有一個基礎(chǔ)庫——mmcv。據(jù)陳愷博士介紹， mmcv 基礎(chǔ)庫主要分為兩個部分：一部分是和 deep learning framework 無關(guān)的一些工具函數(shù)，比如 IO/Image/Video 相關(guān)的一些操作；另一部分是為 PyTorch 寫的一套訓(xùn)練工具，可以大大減少用戶需要寫的代碼量，同時讓整個流程的定制變得容易。

項目地址：

https://github.com/open-mmlab/mmcv

實際上，mmdetection 和 mmcv 都同屬于香港中文大學(xué)多媒體實驗室的 Open-MMLab 計劃。港中大助理教授林達華稱，啟動 Open-MMLab 計劃，是希望在一個統(tǒng)一的代碼架構(gòu)上，逐步開放實驗室積累的算法和模型，為計算機視覺的研究社區(qū)貢獻自己的一分力量。以下是簡單說明：

1. 這是一個純粹的學(xué)術(shù)開源計劃，所開放的都是已經(jīng)公開發(fā)表的算法和模型（包括我們自己和其它研究組提出的代表性算法），不涉及任何的商業(yè)化技術(shù)。

2. 我們希望這個計劃能夠降低算法復(fù)現(xiàn)的難度，和不必要的重復(fù)實驗與訓(xùn)練，從而讓使用者能夠?qū)Ｗ⒂谛聠栴}的提出、新思路的探索，而不需要花費主要精力用于已有算法組件的細(xì)節(jié)調(diào)試。

3. 我們在開放的 codebase 中會對現(xiàn)有的主流算法框架進行重構(gòu)，把它們分解為可復(fù)用的組件。希望未來的研究者可以基于這些組件，能迅速建立新的算法框架原型，加快探索的進度。

4. 我們希望 Open-MMLab 成為一個學(xué)術(shù)交流和探討的渠道。