近日，視頻行為理解領域的ImageNet競賽——ActivityNet Challenge 2018在CVPR 會議上落下了帷幕。來自上海交通大學計算機視覺實驗室的團隊（自動化系研究生林天威、蘇海昇，導師趙旭副教授），獲得了未修剪視頻中的時序動作定位任務的冠軍，以及時序動作提名任務的亞軍。本文將分享該團隊在兩項競賽任務中所采用的算法思路和方案。

引言

理解視頻中人的動作和行為，是計算機視覺領域的挑戰性問題，也是視頻內容理解的關鍵，極具應用前景。ActivityNet挑戰賽旨在催生視頻行為理解的新算法和新技術，是目前視頻行為理解領域數據規模最大、最具影響力的技術競賽，與每年的頂級學術會議CVPR一起召開，已成功舉辦三屆。今年ActivityNet挑戰賽共舉辦6項比賽，吸引了全球計算機視覺領域來自學術界和工業界的諸多團隊積極參賽。

近日，ActivityNet Challenge在CVPR會議上公布了2018年的競賽成績。來自上海交通大學計算機視覺實驗室的團隊（自動化系研究生林天威、蘇海昇，導師趙旭副教授），獲得了未修剪視頻中的時序動作定位任務的冠軍，以及時序動作提名生成任務的亞軍。

本文將分享上海交通大學團隊在兩項競賽任務中的算法思路和方案。在此次競賽中，上交團隊主要采用了近期投稿在ECCV 2018會議上的時序動作提名生成新方法-Boundary Sensitive Network (BSN) 。

ActivityNet挑戰賽

ActivityNet 挑戰賽是目前視頻動作理解領域規模最大的競賽，涵蓋了視頻動作分類、時序動作定位、視頻文本生成等多個方向。今年的ActivityNet挑戰賽在規模、多樣性和自然度上較往年均有顯著提升，共舉辦6項競賽任務，其中任務1-3基于ActivityNet數據集，任務A,B,C則為其他視頻理解領域內重要的數據集。目前ActivityNet數據集的版本為1.3，包括20000個Youtube 視頻，共計約700小時，平均每個視頻上有1.5個動作片段，涵蓋了共200個動作類別。這些比賽項目具體包括：

任務1: 時序動作提名生成；

任務2: 時序動作定位；

任務3: 視頻密集描述生成；

任務A: 視頻動作分類（Kinetics數據集）；

任務B: 時空動作定位（AVA數據集）；

任務C: 視頻事件分類（Moments-in-time 數據集）

圍繞上述6項競賽任務，今年的挑戰賽吸引了來自上海交通大學、清華大學、中科大等國內高校，CMU、UMD、UCSB、華盛頓大學等國外高校，以及DeepMind、百度、曠視科技、七牛云、愛奇藝等企業團隊參賽。比賽由阿卜杜拉國王科技大學視覺計算中心在CVPR 2018會議上舉辦，得到谷歌、DeepMind、Facebook等公司的贊助。

競賽任務及測評方式

本次競賽中，上交團隊參加了任務1：時序動作提名生成，以及任務2：時序動作定位的比賽。其中，任務2要求在視頻序列中確定動作發生的時間區間（包括開始時間與結束時間）以及動作的類別。這個問題與二維圖像中的目標檢測問題有很多相似之處。相關算法一般可以分為兩個部分：(1) 時序動作提名生成，產生候選視頻時序片段，類似于Faster-RCNN中的RPN網絡的作用；(2) 動作分類: 即判斷候選視頻時序片段的動作類別。兩個部分結合在一起，即實現了視頻中的時序動作檢測。從去年起，時序動作提名作為單項競賽任務被單獨列出（任務1）。

在時序動作定位問題中，mean Average Precision(mAP) 是最常用的評估指標。此次競賽計算0.5到0.95, 以0.05為步長的多個IoU閾值下的mAP，稱為 Average mAP，作為最終的測評以及排名指標。相較于使用mAP@0.5 作為測評指標，Average mAP 更看重在較嚴格IoU閾值下的檢測精度。時序動作提名任務由于無需對時序片段進行分類，所以通常使用average recall (AR) 來進行評估。在此次競賽中，Average Recall vs. Average Number of Proposals per Video (AR-AN) 曲線下的面積被作為最終的評測指標。舉個例子，AN=50 時的AR分數可以理解為對于每個視頻，使用proposal set中分數最高的前50個proposal時，所能達到的召回率。

競賽方案介紹

此次競賽，我們主要對我們投稿在ECCV 2018會議上的時序動作提名生成算法-BSN模型 [1]（Boundary-Sensitive Network) 進行了優化與改進。下面首先對BSN方法進行介紹，之后再介紹此次競賽中所進行的一些改進。

BSN-用于時序動作提名生成的邊界敏感網絡

時序動作檢測一般包含兩個環節-提名和分類。目前行為分類的精度其實已經比較高了，而時序動作檢測的精度仍然比較低，所以我們認為其瓶頸在于時序動作提名生成階段。高質量的時序動作提名應該具備（1）靈活的時序長度；（2）精確的時序邊界；（3）可靠的置信度分數。現有的基于滑窗或anchor的方法或是基于聚類的方法都不能同時在這幾個方面做好。因此，我們在[1]中提出了一種新的時序提名生成算法-Boundary Sensitive Network(BSN)。在BSN中，我們首先去定位時序動作片段的邊界（開始節點和結束節點），再將邊界節點直接結合成時序提名，最后基于所設計的proposal-level的feature來對每個proposal的置信度進行評估。算法的整體框架圖如下圖所示，之后會逐步介紹各個步驟。

1. 特征提取

在特征提取階段，我們主要將視頻切分成16幀不重疊的單元，然后采用 two-stream network 提取特征。對于spatial network, 我們使用每個單元的中心幀提取特征；對于temporal network，我們則使用每個單元的中心6幀圖像計算得到的光流圖像提取特征。最終將視頻圖像序列轉化為特征序列。

2. BSN - 時序評估模塊

基于提取的圖像特征序列，BSN中的時序評估模塊采用3層時序卷積層來對視頻序列中每個位置上動作開始的概率、動作結束的概率和動作類別概率同時進行建模，從而生成動作開始概率序列，動作結束概率序列和動作類別概率序列。

3. BSN - 提名生成模塊

接下來，基于上述的幾種概率序列，提名生成模塊要生成候選時序動作提名，并對每個動作提名生成對應的特征描述。

要生成候選時序動作提名，首先我們選擇動作開始和動作結束概率序列中滿足以下兩個條件之一的時間節點作為候選時序邊界節點：（1）概率高于一個閾值 或（2）該時間節點的概率高于前一時刻以及后一時刻的概率。然后我們將候選開始時間節點和候選結束時間節點兩兩結合，保留時長符合要求的開始節點-結束節點組合作為候選時序動作提名。算法示意圖如下圖所示。

接下來要為每個候選時序動作提名生成對應的特征描述，我們稱其為Boundary-Sensitive Proposal (BSP) feature。對于每個提名，我們取其本身的時序區間作為center region，再取開始節點和結束節點附近的一段區間作為starting region 以及 ending region。對于每個區域，我們都在動作概率序列上的對應位置采樣N個點，拼接后則得到一個非常簡短的提名特征。BSP特征的構成示意圖如下圖所示。

4. BSN - 提名評估模塊

生成候選時序動作提名以及對應的提名特征后，我們采用提名評估模塊-一個簡單的MLP（多層感知機）模型去對每個提名的置信度分數進行估計。置信度分數越高，則說明該時序提名與真值的重疊IoU應當越高。

5. 結果后處理

最后，我們需要對結果進行非極大化抑制，從而去除重疊的結果。具體而言，我們采用了soft-nms算法來通過降低分數的方式來抑制重疊的結果。處理后的結果即為BSN算法最終生成的時序動作提名。

6. 時序動作檢測

基于BSN所生成的時序動作提名，要得到時序動作檢測結果，我們還需要對提名進行分類。我們此處采用了一種比較簡單的方式，即直接采用動作分類網絡所生成的video-level的動作類別作為提名的動作類別。

BSN模型改進

為了在競賽中獲得更好的效果，我們針對BSN算法嘗試了多種改進技巧。對于時序動作提名任務，主要的改進方式主要包括五點，包括：

改進A：將提名生成模塊中的概率閾值從0.9改為0.5*max_score, 其中max_score為該視頻中的最大概率。

改進B：除了采用在ActivityNet數據集上預訓練的TSN網絡提取特征，在競賽中，我們還額外采用了在Kinetics數據集上預訓練的TSN和P3D網絡提取視頻特征。

改進C：為了獲得更好的置信度分數，我們還與我們之前提出的SSAD[2]算法所生成的結果進行了融合。

改進D：在ActivityNet數據集上，為了方便，在初始的BSN中，我們會將所有視頻的特征序列縮放到一個給定長度。在競賽中，我們發現使用原始長度預測結果會得到更好的效果。

改進E：在進一步的分析中，我們發現按照原始長度預測結果主要是提高了對較短的時序片段的預測結果，但損害了較長的時序片段的預測效果。因此，我們將按原始長度預測的結果和按給定長度預測的結果進行了融合，獲得了更好的效果。

對于時序動作檢測任務，我們同樣也采用了上述的改進，但有兩點不同：

在時序動作檢測中，我們采用定長的特征序列預測結果

采用較為嚴格的Soft-NMS閾值

之所以對時序動作提名和時序動作定位采用略為不同的策略，主要是因為時序動作檢測的結果主要依賴于靠前的幾個proposals，而現有的時序動作提名的評估方式則更看重較多proposals時所能達到的recall。這也反映了現有的時序動作提名評估方式還存在不合理之處。

實驗結果

此處主要介紹我們在此次競賽中所做的實驗，更多關于BSN算法的實驗見[1].

時序動作提名生成任務

時序動作提名生成任務的實驗結果如下表所示。可以看出，BSN方法比起之前的state-of-the-art方法有明顯的效果提升，此次競賽中所實施的各項改進又帶來了顯著的效果提升。最終，在該項目上我們獲得了亞軍。

時序動作定位任務

時序動作定位任務中的實驗結果如下表所示。可以看出，BSN方法獲得了非常好的效果，競賽中實施的改進也非常有效。最終，在該項目上我們以較大的優勢獲得了冠軍。

其他實驗

為了驗證BSN算法的有效性，在[1]中我們還做了很多對比實驗，證明了BSN算法的優越效果來自于模型結構本身。此外，我們還通過實驗表明了BSN算法有著良好的泛化能力，能夠為訓練時沒有見過的動作類別生成高質量的時序動作提名。具體的實驗結果和內容詳見論文[1]。

總結

通過我們對時序動作提名生成和時序動作定位任務的研究，我們主要有以下幾點收獲：

1. 動作提名的質量對后續動作定位的效果有很大的影響, 目前改進動作定位的重點在于提高提名集的質量；

2. 提名集中最靠前的一小部分提名片段貢獻大部分的定位mAP；

3. 高質量的時序動作提名應當具備（1）靈活的時長（2）準確的邊界（3）可靠的置信度分數。

在后續的工作中，我們計劃開源BSN模型，供研究者使用。相關進展會更新在 wzmsltw.github.io 上，希望大家繼續關注我們的工作。