【導讀】9 月 8 日-14 日，每兩年舉辦一次的 2018 歐洲計算機視覺大會（ECCV 2018）在德國慕尼黑召開，本次會議總共收到了 2439 篇有效的論文，相比上一屆 2016年會議增加了 65% ，其中有 776 篇被接受（ 31.8 % ）。可以說，今年是國內各高校、企業研究機構收獲豐富的一年，無論是過去的 CVPR、ICCV 大會，都是華人的成果占據半壁江山，可見國內計算機視覺這兩年來的迅猛的發展。

聚焦ECCV 2018

今年 ECCV 2018 大會共有 11 個 Tutorial，討論的議題涵蓋目前熱門的方向：對抗性機器學習；對人、物體和環境的超快三維感知、重建與理解；面部追蹤及其應用、行人重識別的表征學習、視覺定位、視覺識別的前沿課題等。更過具體信息可訪問 workshops_tutorials 進行了解。

https://eccv2018.org/program/workshops_tutorials/

在 ECCV 還沒有召開之前，大家對優秀論文的關注度就非常高，可以看到很多關于有突破、有意義研究成果的分享。例如：

《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》

由騰訊 AI Lab 與復旦大學、普林斯頓大學、Intel Labs 合作提出一種端對端的深度學習框架，可從單張彩色圖片直接生成三維網格（3d mesh)。

《Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining》

北大已經開源的深度單圖去雨算法。圖像中雨水條紋會嚴重降低能見度，導致許多當前的計算機視覺算法無法工作，比如在自動駕駛場景下圖像去雨就變得非常重要。該文提出了一種基于深度卷積和遞歸神經網絡的新型深度網絡體系結構，用于單圖像去雨。

華中科技大學白翔老師團隊在自然場景文本檢測與識別領域成果頗豐。

《Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes》是其最新力作。引入 Mask R-CNN 思想通過語義分割進行任意形狀文本檢測與識別。

MVSNet：非結構化多視點三維重建網絡被 ECCV 2018 選為 Oral 的論文，來自香港科技大學和Altizure公司的研究團隊提出了一種既高精度又高效率的三維重建網絡。

巴西阿雷格里港大學的學者發表于 ECCV 2018 的論文《License Plate Detection and Recognition in Unconstrained Scenarios》

給出了一整套完整的車牌識別系統設計，著眼于解決在非限定場景有挑戰的車牌識別應用，其性能優于目前主流的商業系統，代碼已經開源，非常值得參考。

今年，商湯科技及聯合實驗室共有 37 篇論文入選，甚至超過了微軟、Google、Facebook 等國外科技巨頭公司。在大規模人臉與人體識別、物體檢測與跟蹤、自動駕駛場景理解與分析、視頻分析、3D 視覺、底層視覺算法、視覺與自然語言的綜合理解等領域均有重大突破。這些新穎的計算機視覺算法不僅有著豐富的應用場景，使得更多的智能視覺算法能應用于日常生活之中，還為后續研究提供了可貴的經驗和方向。我們精選了部分論文進行了解讀，感興趣的同學們可以進一步研究。

大規模人臉與人體識別

▌1.人臉識別的瓶頸在于數據集噪聲（The Devil of Face Recognition is in the Noise）

隨著人臉數據集規模的逐漸擴大，研究者們設計出了各種更快更強的人臉識別網絡。但是對于現有人臉數據集中的標簽噪聲問題，學界的理解依然有限。為了解決這個問題，本文對于人臉識別領域作出以下貢獻：

（1）清理出了現有大規模人臉數據集（包括 MegaFace 和 MS-Celeb-1M）的干凈子集，并提出了一個新的無噪聲人臉數據集 IMDb_Face；

（2）利用原始數據集以及清理后的干凈子集，對 MegaFace 和 MS-Celeb-1M 數據集中的噪聲特性和來源做了全面的分析，發現干凈子集對于提高人臉識別精度效果顯著；

（3）本文提出了一種用于數據清理的標注流程，大量的用戶調研顯示該流程是高效且可控的。

IMDb-Face 數據集開源地址：

https://github.com/fwang91/IMDb-Face

▌2.基于模型共識的大規模無標注數據標簽傳播方法（Consensus-Driven Propagation in Massive Unlabeled D ata for Face Recognition）

人臉識別中，隨著深度學習模型參數量的增大，所需要訓練數據的人工標注量也越來越多。然而人工標注的錯誤難以避免，當人工標注的可靠性不如模型本身的時候，數據標注所帶來的增益會遠遠低于標注本身耗費的勞動量。此時，需要使用一種合理的方式來利用無標注數據。該問題與“半監督學習”任務相似，但在人臉識別這類數據量和類別數量都很大的任務中，則存在顯著的不同之處：

首先，真實情況下，無標注數據的來源通常沒有限制，因此光照、姿態、遮擋等會有很大的差異，這種情況下基于單模型的半監督方法會產生較大偏差。其次，傳統的半監督學習通常假設無標注數據的標簽集合和已標注數據的標簽集合是完全重合的，從而標簽可以在無標注數據上進行傳播。然而，在人臉識別任務中，由于無標注數據來源無限制，因此無法保證獲取的無標注數據的標簽在已標注數據中出現過。這些差異使得傳統的半監督學習無法直接運用在這個問題上。

本文工作不僅突破了這些限制，還證明了無標注數據可以達到和有標注數據相接近的效果。作者用 9% 的有標注數據和 91% 的無標注數據，在 MegaFace 上達到了 78.18% 的準確性，接近使用了 100% 的有標注數據的結果 78.52%。

論文地址：

http://cn.arxiv.org/abs/1807.11649

http://cn.arxiv.org/abs/1809.01407

物體檢測與跟蹤

▌1.量化模仿-訓練面向物體檢測的極小CNN模型（Quantization Mimic: Towards Very Tiny CNN for Object Detection）

由于極小 CNN 模型有限的模型表達能力，訓練針對復雜視覺任務（如物體檢測）的極小 CNN 通常充滿挑戰。本文致力于提出一種簡單而通用的框架—量化模仿，來訓練面向物體檢測任務的極小 CNN 模型。在本文框架中，作者提出聯合模仿與量化的方法來減小物體檢測 CNN 模型的參數量實現加速。模仿方法通過轉移教師網絡（teacher network）所學習到的物體檢測知識，來增強學生網絡（student network）的物體檢測性能；量化方法在不降低模型檢測性能的條件下，將全精度網絡的參數進行量化，實現網絡加速。如果大型教師網絡通過量化實現加速，那么小型學生網絡的搜索空間會大大降低。本文基于該性質，提出了先量化大型教師網絡，然后使用學生網絡模仿量化后大型教師網絡的方法，實現面向物體檢測的極小型 CNN 模型的訓練。本文使用了不同的主干網絡（VGG和ResNet）和不同的檢測框架（Faster R-CNN和R-FCN）充分檢驗了該訓練框架的性能和泛化能力。在有限計算量的限制下，該框架在 Pascal VOC 和 WIDER Face 數據集的物體檢測性能超越了當前物體檢測的先進水平。

▌2.可分解網絡--基于子圖表示的高效場景圖生成算法（Factorizable Net: An Efficient Subgraph-based Framework for Scene Graph Generation）

隨著計算機視覺的發展，場景圖生成得到越來越多業內研究人員的關注。場景圖生成不僅需要檢測出來圖像中的物體，還需要識別物體之間的關系。與一般的物體檢測任務相比，場景圖因為引入了物體之間的兩兩關系，極大的擴充了輸出結果的語義空間，因而可以蘊含更多圖像的語義信息。但是，由于物體之間可能存在的關系數目和圖像中物體數目的平方成正比，而目前已有的場景圖生成算法往往對每一個可能存在的關系都用一個特征向量表示，因此大量的關系特征向量使模型過于龐大且緩慢，極大限制了物體候選框的數目。本文針對已有場景圖生成算法的缺點，通過共享語義相近的關系特征（稱為子圖特征），極大簡化了網絡在中間階段的特征表示，并且提高了模型的檢測速度。此外，本文還提出了“空間加權信息傳遞”模塊和“空間感知關系檢測”模塊，使模型在信息傳遞和最終的物體關系檢測時，能夠更加充分的利用物體之間的空間聯系，得到更好的物體檢測和關系識別結果。在目前主流的 VRD 和 Visual Genome 上的實驗結果表明，本文提出的基于子圖特征的高效場景圖生成算法在識別精度和測試速度上均超過目前業內最好結果。

算法的 PyTorch 版本開原地址：

https://github.com/yikang-li/FactorizableNet

▌3.基于干擾對象感知的長時單目標跟蹤算法（Distractor-aware Siamese Networks for Visual Object Tracking）

近年來，孿生網絡結構因為性能和速度的平衡性在跟蹤領域受到了極大的關注。但是大多數的孿生網絡跟蹤器使用的特征都只能區分前景和非語義背景。而跟蹤過程中，也有語義的背景帶來的干擾，其通常是限制跟蹤性能的重要因素。在本文中，作者首先分析了訓練過程中樣本對跟蹤過程的影響，發現正負樣本不均衡是導致跟蹤性能瓶頸的主要原因。本文從兩個角度解決這個問題，訓練過程中，通過控制采樣方式來控制正負訓練樣本的分布，并且引入含有語義的負樣本；測試過程中提出干擾物感知模塊來調整跟蹤器，使其適應當前的視頻。除此之外，作者還設計了一種局部到全局的搜索區域增長方法，將算法擴展到長期跟蹤。在 UAV20L、UAV123、VOT2016、VOT2017 數據集上，本文提出的方法均可取得目前最好的結果，同時速度可達到160FPS。

本文提出的方法在 ECCV 2018 召開的 VOT Challenge Workshop上獲得了實時目標跟蹤比賽的冠軍。

VOT Challenge 是視覺目標跟蹤領域一年一度的國際權威比賽，其為跟蹤領域提供了精細的數據標注和評測方式，并在 2017 年引入了實時比賽：被評測算法在跟蹤物體的同時必須保持至少 60fps 跟蹤速率，來模擬現實場景中的跟蹤情況。今年的 VOT 2018 在 ECCV 2018 期間舉辦，共有 72 只隊伍參賽，包括微軟亞洲研究院、牛津大學等知名企業與高校。商湯科技的參賽算法能夠在 60FPS 的速率下獲得精確的跟蹤結果，并且在其他兩項項目（普通跟蹤和長時跟蹤）也獲得了驕人的成績。

論文地址：

http://cn.arxiv.org/abs/1805.02152

http://cn.arxiv.org/abs/1806.11538

http://cn.arxiv.org/abs/1808.06048?context=cs.CV

視頻分析

▌1.基于視覺特征鏈接和時序鏈接的視頻人物檢索

（Person Search in Videos with One Portrait Through Visual and Temporal Links）

雖然人臉識別和行人再識別已經在學術界取得了非常多的研究成果，但是在復雜龐大的視頻數據庫中（如監控視頻或電影數據庫），很多時候并不能看到人物清晰的正臉，這時人臉識別就無法發揮作用。而行人再識別關注的通常是一小段時間內一個比較小的區域的行人匹配，也就是說在行人再識別的問題中，人物的服飾裝扮以及周圍的環境都不會有太大的變化。該假設大大限制了行人再識別技術在實際場景中的應用。針對這些缺陷，本文提出了一個更加貼近實際應用的研究問題--人物檢索，即給定一張人物正面照，在一個非常大的圖像(視頻)庫中檢索出該人物的所有實例。例如，給定一個犯人的畫像，在一個城市的監控視頻中找出所有他/她出現過的視頻片段，或者給定一個演員的自拍，找出他/她在所有電影和電視劇中的鏡頭。為了研究這個問題，本文首先建立了一個大規模的數據集--Cast Search in Movies (CSM)，包含了 1218 位演員以及他們來自的 192 部電影的超過 12 萬個短視頻。人物檢索問題的主要難點在于，給定的圖像和該人物在數據庫中的實例在視覺觀感上有時有較大差別。為了應對這個難點，本文提出了一種基于基于特征和時序鏈接的標簽傳播算法。并且提出了一種競爭共識機制，來解決標簽傳播中容易受噪聲影響的問題。同時通過漸進式迭代的方式，大大提高標簽傳播的效率。實驗證明，這種傳播算法在人物檢索中大大優于單純應用人臉識別和行人再識別技術。

論文地址：

http://cn.arxiv.org/abs/1807.10510

自動駕駛場景理解與分析

▌1.基于逐點空間注意力機制的場景解析網絡（PSANet: Point-wise Spatial Attention Network for Scene Parsing）

場景解析（scene parsing）是基于自動駕駛任務中的一個重要問題，能夠廣泛應用于機器人導航、自動駕駛等領域。場景圖像中的上下文信息（contextual information），尤其是大范圍的上下文信息，對于場景解析有著非常重要的作用。傳統的卷積神經網絡因為其結構，信息流動局限在當前像素周圍的局部區域中，對于大范圍的上下文信息獲取和表達能力有限。在本篇論文中，作者提出了一種逐點的空間注意力機制神經網絡模塊（point-wise spatial attention network），來有效獲取圖片中大范圍的上下文信息，顯著改善神經網絡的場景解析性能。針對視覺特征圖（feature map）中的每一點對，該模塊會預測兩個點之間的上下文依賴，且該預測會同時考慮到兩個點原本的語義信息以及兩個點之間的位置關系。最終預測出的點與點之間的上下文依賴關系，可以用逐點的注意力機制進行表示。為了充分實現特征圖中大范圍的信息流通，作者設計了一種雙向信息流動機制，來實現上下文信息的充分融合，提升模型的場景解析性能。實驗表明，本文提出的逐點空間注意力模型能夠顯著改善基準模型的場景解析性能，在多個場景解析與語義分割數據集上，本文算法都達到了當前的最優性能。

▌2.基于局部相似性的半監督單目深度估計（Monocular Depth Estimation with Affinity, Vertical Pooling, and Label Enhancement）

單目深度估計在基于視覺傳感器的自動駕駛和輔助駕駛任務中有著重要的作用。雖然邊緣、紋理等絕對特征可以被卷積神經網絡（CNNs）有效地提取出來，但基于卷積神經網絡的方法大多忽略了圖像中相鄰像素之間存在的約束關系，即相對特征。為了克服這個缺陷，本文提出了一種結合相對特征和絕對特征的端到端網絡，對不同圖像位置的關系進行了顯式的建模。另外，作者利用了深度圖中一個顯著的先驗知識，即深度圖中距離變化主要處于豎直方向上，認為對豎直方向上的特征進行建模將有利于深度圖的精細化估計。本文的算法中使用了豎直方向的池化操作來對圖像在豎直方向上的特征進行了顯式建模。此外，由于從激光雷達獲得的真實深度圖中的有效數值非常稀疏，作者采用了已有的立體匹配的算法生成高質量的深度圖，并用生成的密集深度圖作為輔助數據用于訓練。本文實驗證明了提出的算法在 KITTI 數據集上取得了優異的效果。

3D 視覺

▌1.基于參數化卷積的點云深度學習

（SpiderCNN: Deep Learning on Point Sets with Parameterized Convolutional Filters）

盡管深度學習在大量計算機視覺問題上取得了成功，如何將深度學習應用于非規則數據上依然是一個極富挑戰性的問題。在這篇文章中，作者提出一種新型的卷積結構 SpiderCNN，來有效提取點云中的幾何特征。具體來說，SpiderCNN 利用參數化卷積技術，將傳統的卷積操作從規則網格拓展到非規則網格。我們利用階躍函數之積來表征點云的局部幾何特征，然后利用泰勒多項式來保證該結構的表達能力。SpiderCNN 同時繼承了傳統CNN 的多尺度特性，從而能夠有效地提取層級化的深度語義信息。SpiderCNN 在 ModelNet40 這個標準測試集上取得 92.4% 的優異結果。

論文地址：

http://cn.arxiv.org/abs/1803.11527

底層視覺算法

▌1.基于生成對抗網絡的增強超分辨率方法

（ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks）

基于生成對抗網絡的圖像超分辨率模型SRGAN能夠生成更多的紋理細節。然而，它恢復出來的紋理往往不夠自然，也常伴隨著一些噪聲。為了進一步增強圖像超分辨率的視覺效果，本文深入研究并改進了 SRGAN 的三個關鍵部分——網絡結構、對抗損失函數和感知損失函數，提出了一個增強的ESRGAN 模型。具體地，本文引入了一個新網絡結構單元 RRDB （Residual-in-Resudal Dense Block）；借鑒了相對生成對抗網絡（relativistic GAN）讓判別器預測相對的真實度而不是絕對的值；還使用了激活前的具有更強監督信息的特征表達來約束感知損失函數。得益于以上的改進，本文提出的 ESRGAN 模型能夠恢復更加真實自然的紋理，取得比之前的 SRGAN 模型更好的視覺效果。ESRGAN 模型同時在 ECCV 2018 的 PIRM-SR 比賽中獲得了最好的感知評分，取得了第一名。

論文地址：

http://cn.arxiv.org/abs/1809.00219

GitHub地址：

https://github.com/xinntao/ESRGAN

視覺與自然語言的綜合理解

▌1.重新研究圖像語言描述中隱變量的表達（Rethinking the Form of Latent States in Image Captioning）

本文重新審視了圖像描述模型中隱變量的表示方式。循環神經網絡如 LSTM 作為解碼器在圖像語言描述中有大量的應用，現有的圖像描述模型通常固定得將解碼器的隱變量表示成一維向量。這樣帶來兩個問題：

（1）為了和隱變量保持一致，圖像也被壓縮成了一維向量，丟失了重要的空間信息，導致描述生成時的條件減弱，模型更多得依賴于多元詞組的統計信息，更容易產生出現頻率更高的詞組；

（2）一維向量的表示，使得對隱變量在解碼過程中的變化，即解碼過程的內部動態，難以進行可視化和分析。

基于以上幾點考慮，本文提出將隱變量表示為多通道二維特征是更好的選擇。其利用二維特征的空間性提出一種簡單有效的方式成功的可視化和分析了解碼過程中神經網絡的內部動態，以及中間介質的隱變量、作為輸入的圖片、作為輸出的單詞三者之間的聯系。同時，由于二維特征保留了更多的圖片信息，對應的描述模型能產生與圖片更匹配的描述。在擁有同樣的參數數量的情況下，采用二維特征來表示隱變量的描述模型僅使用最簡單的 cell，即 RNN，也超過了采用一維向量來表示隱變量的描述模型使用LSTM 的效果。

▌2.面向視覺問答的問題引導混合卷積（Question-Guided Hybrid Convolution for Visual Question Answering）

本文提出了一種面向視覺問答任務的問題引導混合卷積操作，能夠有效的融合輸入問題和輸入圖像的高層語義信息，實現高準確率的視覺問答。現有的視覺問答系統在融合輸入問題和圖像時，拋棄了圖像中的空間信息。為了解決該問題，本文提出由輸入問題預測卷積核，對圖像特征圖進行問題引導的卷積操作，得到語言和圖像的融合特征圖。雖然這種由問題引導卷積生成的融合特征圖能夠充分的融合語言和視覺的多模態信息，但是往往也會帶來更多的學習參數。為了降低參數量，作者提出在視覺特征卷積時使用組卷積（group convolution），僅用問題來引導生成一部分卷積核，而另一部分卷積核與問題解耦，該方案能夠有效的降低模型參數量并且防止模型過擬合。本文提出的問題引導卷積方法，能夠作為現有多模態特征整合方法的有效補充，實現高準確率的視覺問答，在多個視覺問答的數據集中的實驗結果證明了該方法的有效性。

論文地址：

http://cn.arxiv.org/abs/1807.09958

http://cn.arxiv.org/abs/1808.02632

商湯原創技術的不斷進步在重要的比賽中也得到了驗證，不僅在 VOT 2018 上奪冠，在 2018 年的 COCO 比賽中，商湯科技研究員和香港中文大學-商湯聯合實驗室同學組成的團隊，在最核心的物體檢測（Detection）項目中奪得冠軍。在此次競賽中，商湯團隊創造性地開發了三項全新的技術，獲得了大幅度的性能提升：

（1）新的多任務混合級聯架構（hybrid cascade）。通過把不同子任務進行逐級混合，這種新架構有效地改善了整個檢測過程中的信息流動。

（2）通過特征導引產生稀疏錨點，而不是使用傳統的規則分布的密集錨點。這種特征導引的方案使得錨點的投放更為精準，平均召回率提升了超過10個百分點。

（3）采用一種新型的FishNet網絡結構，它有效地保留和修正多個尺度的信息，能更有效地用于圖像級，區域級，以及像素級預測任務。

在 test-dev 上，商湯團隊對上述框架進行了全面測試，其中單模型和多模型（最終提交的結果來自于五個模型混合的框架）的 mask AP 分別達到了47.4% 和 49.0%，比去年冠軍（也是商湯團隊獲得）的結果，44.0% 和 46.3%，有約 3 個百分點的明顯提高。 在傳統的基于檢測框的指標 bbox AP上，這個新的框架也分別達到了單模型 54.1% 和多模型的 56.0% 的性能，比去年冠軍的結果，50.5% 和 52.6%，也有較大的提升。

此外，在 ECCV 期間，香港中文大學-商湯聯合實驗室還開源了檢測庫 mm-detection。這個開源庫提供了已公開發表的多種視覺檢測核心模塊。通過這些模塊的組合，可以迅速搭建出各種著名的檢測框架，比如 Faster RCNN，Mask RCNN，和 R-FCN 等，以及各種新型框架，從而大大加快檢測技術研究的效率。