對于動物行為研究，特別是運動模式的分析很大程度上依賴于研究人員的人工觀察和分析。但研究人員近日開發(fā)的新工具有望能夠為研究人員們提供省時省力的新方法來對動物的行為進行持續(xù)的自動觀測。

來自哈佛大學的科學家與合作伙伴研發(fā)出了基于深度學習的無信標自動追蹤工具，可以在視頻中持續(xù)追蹤動物及其身上特征點的運動，并達到了人類的精度水平。近日研究發(fā)表在了自然神經(jīng)科學的雜志上。

在神經(jīng)科學中，定量的行為觀察對于很多方面都是至關重要的。雖然攝像機為人們提供了一種便捷的手段來對動物進行觀察，提取特定行為并進行進一步分析常常是耗時耗力的工作。為了定量的監(jiān)控，研究對象通常會被打上一定的信標來實現(xiàn)自動追蹤，但很多情況下信標具有侵入性和缺乏靈活性等缺點。為了解決這些問題，研究人員們利用深度網(wǎng)絡從視頻中實現(xiàn)了動物行為的無信標追蹤，并達到了人類的精度水平。

通過構建深度網(wǎng)絡和數(shù)據(jù)集，研究人員們成功訓練出了一個可以從視頻中抽取身體特定部分位置的模型。研究人員門分別標注了圖像中的ROI區(qū)域和每個區(qū)域中的關節(jié)作為輸入特征。神經(jīng)網(wǎng)絡使用預訓練的ResNet-50最為主體抽取特征，最后通過訓練解卷積網(wǎng)絡來對于身體位置的預測。

研究人員表示，這一方法甚至只需要標注約200張對應的圖像就可以達到很好的精度，并且可以將精度控制在幾個像素的范圍內(nèi)。

利用1080TiGPU，這一工具可以再682*540的圖像上實現(xiàn)30Hz的速度，并在分辨率更低的204*162像素上達到了85Hz的速度。

這種方法還可以廣泛用于多種動物和場景下。研究人員利用四個實驗探索了網(wǎng)絡功能的有效性。

首先在彩色圖像中對馬兒的身體關鍵點進行了檢測和追蹤。研究顯示網(wǎng)絡對于不同顏色、不同視角和速度下的馬都有著較強的追蹤性能。

除此之外，研究人員還將這一方法應用于老鼠的步態(tài)研究上，下圖顯示了老鼠在跑輪上運動的場景。模型被用于從側面和地面同時檢測和跟蹤運動。右圖顯示了模型對于電動魚身體關鍵點的追蹤。可以看到無論是對不同場景視角還是不同的物種，都可以得到良好的效果。

除了動物之外，這一網(wǎng)絡還可以用于追蹤人類行為及其三維位置。研究人員訓練了三個視角下的追蹤網(wǎng)絡，并將得到的數(shù)據(jù)通過投影矩陣重構目標對象的3D運動坐標，實現(xiàn)了三維目標檢測與跟蹤。

值得一提的是，這一研究團隊來自哈佛大學Rowland Institute, Adaptive motor control實驗室，長期致力于深入理解神經(jīng)系統(tǒng)的自適應運動控制。

或許這種方法除了用于動物行為追蹤外，還可以用于機器人及其執(zhí)行器的末端追蹤，為抓取、放置的任務提供額外的信息。如果你想詳細了解這項研究，請參閱Nature的研究內(nèi)容：

https://www.nature.com/articles/s41593-018-0209-y

作者也發(fā)布了DeepLabCut的代碼，有興趣的小伙伴似乎可以為自家的狗子/貓寫一個行為追蹤程序，研究它們每天的活動規(guī)律呢~代碼地址：

https://github.com/AlexEMG/DeepLabCut

作者在這里給出了詳細的安裝、配置、使用和標注教程：

https://alexemg.github.io/DeepLabCut/docs/demo-guide.html

（代碼主要基于TensorFlow構建，包含了分析、測評工具和對應的文檔。構建網(wǎng)絡的核心代碼位于DeepLabCut/pose-tensorflow/pose_net.py的PoseNet類中。）

實驗室主頁：

https://www.mousemotorlab.org/deeplabcut/