MIT計(jì)算機(jī)與人工智能實(shí)驗(yàn)室的研究人員開(kāi)發(fā)了一種基于Wi-Fi的人體姿態(tài)估計(jì)系統(tǒng)，用AI教會(huì)Wi-Fi“穿墻透視”，隔著墻也能進(jìn)行精確的人體姿態(tài)估計(jì)。

人體姿態(tài)估計(jì)是計(jì)算機(jī)視覺(jué)研究中的一個(gè)重要課題，在生活中也有著廣泛的應(yīng)用場(chǎng)景，比如安防、自動(dòng)駕駛、智能家居等等。不過(guò)，在實(shí)際應(yīng)用中，基于視覺(jué)或者說(shuō)基于可見(jiàn)光的人體姿態(tài)估計(jì)有一個(gè)重大的局限，那就是障礙物遮擋——光線無(wú)法穿透書(shū)柜、墻壁等不透明的物體，如果身體被遮擋就無(wú)法去估計(jì)。

在一項(xiàng)最新的研究中，MIT人工智能實(shí)驗(yàn)室（MIT CSAIL）團(tuán)隊(duì)，設(shè)計(jì)了一個(gè)基于Wi-Fi的人體姿態(tài)估計(jì)系統(tǒng)，能夠穿透墻壁進(jìn)行精確的人體姿態(tài)估計(jì)，取得了Wi-Fi人體姿態(tài)識(shí)別的歷史最高精度。這項(xiàng)工作大大拓寬了人體姿態(tài)估計(jì)系統(tǒng)的適用范圍，有很強(qiáng)的應(yīng)用價(jià)值。

相關(guān)的研究論文已經(jīng)被CVPR 2018接收，作者是Dina Katabi教授和她的博士生趙明民(論文第一作者)、MIT教授Antonio Torralba、博士后Mohammad Abu Alsheikh、博士生黎天鴻、田永龍和趙行。他們將CVPR 2018上展示這項(xiàng)工作。

MIT CSAIL最新研發(fā)的Wi-Fi人體姿態(tài)估計(jì)系統(tǒng)，能夠穿墻透視。來(lái)源：MIT CSAIL

穿墻透視，用Wi-Fi識(shí)別人體姿態(tài)

人體姿態(tài)估計(jì)，就是將一幅圖像或一段視頻中，人的頭、手、軀干和腿部關(guān)節(jié)點(diǎn)位置恢復(fù)出來(lái)，做出一個(gè)由關(guān)節(jié)點(diǎn)構(gòu)成的骨架（見(jiàn)下圖）。

MIT的WiFi人體姿態(tài)估計(jì)系統(tǒng)，在人走到墻后時(shí)也能提取關(guān)鍵點(diǎn)，生成人體姿態(tài)關(guān)節(jié)點(diǎn)骨架。最上面一行是RGB圖，中間是置信點(diǎn)圖，最下面一行就是關(guān)節(jié)點(diǎn)骨架。來(lái)源：MIT CSAIL

當(dāng)有遮擋物存在時(shí)，過(guò)去常用的方法是推斷，也即設(shè)計(jì)算法根據(jù)看得見(jiàn)的部分去推測(cè)被遮擋的身體部分的情況。但是，由于人體是在不斷在運(yùn)動(dòng)的，推斷很容易出錯(cuò)。此外，當(dāng)一個(gè)人完全被遮擋，比如說(shuō)走到一堵墻的后邊時(shí)，這種方法就行不通了。

MIT CSAIL的團(tuán)隊(duì)提出了一種完全不同的解決方案。他們的出發(fā)點(diǎn)很簡(jiǎn)單：如果可見(jiàn)光會(huì)被這些障礙物阻擋，那么就改用其他信號(hào)。無(wú)線信號(hào)，比如Wi-Fi，就能穿透墻壁，而且Wi-Fi還有一個(gè)好處是會(huì)被人體反射，非常適合用來(lái)進(jìn)行“穿墻”人體追蹤。

但是，過(guò)去的Wi-Fi系統(tǒng)雖然能穿墻找到人的位置，或者生成一個(gè)大致的輪廓，結(jié)果還是比較粗糙的，遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到視覺(jué)人體姿態(tài)估計(jì)系統(tǒng)的精細(xì)程度，沒(méi)有對(duì)人體關(guān)節(jié)部位進(jìn)行準(zhǔn)確定位。

為了解決無(wú)線信號(hào)精度低的問(wèn)題，這一次研究人員使用了“AI教學(xué)”的方法。他們訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，讓這個(gè)神經(jīng)網(wǎng)絡(luò)從無(wú)線信號(hào)中學(xué)習(xí)并估計(jì)人體姿態(tài)。

AI教學(xué)，青出于藍(lán)而勝于藍(lán)

不過(guò)，這里又遇到了一個(gè)難點(diǎn)，就是如何為這個(gè)神經(jīng)網(wǎng)絡(luò)提供訓(xùn)練樣本?；趫D片或視頻的人體姿態(tài)識(shí)別系統(tǒng)，訓(xùn)練樣本可以由人手工來(lái)標(biāo)注。但在訓(xùn)練基于無(wú)線信號(hào)的神經(jīng)網(wǎng)絡(luò)時(shí)，這個(gè)方法就行不通了，因?yàn)槿丝床灰?jiàn)Wi-Fi信號(hào)，也無(wú)法從無(wú)線信號(hào)中看出人的姿態(tài)，更無(wú)從教會(huì)神經(jīng)網(wǎng)絡(luò)了。

“我們的解決方法是跨形態(tài)的監(jiān)督學(xué)習(xí)?！毖芯空撐牡牡谝蛔髡?、MIT博士生趙明民告訴新智元：“這里面的想法也很簡(jiǎn)單，就是同時(shí)采集圖片和無(wú)線信號(hào)，并使用基于圖片的神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練基于無(wú)線信號(hào)的神經(jīng)網(wǎng)絡(luò)?！?/p>

研究人員使用一個(gè)基于圖片的神經(jīng)網(wǎng)絡(luò)來(lái)做“老師”，另一個(gè)基于無(wú)線信號(hào)的神經(jīng)網(wǎng)絡(luò)來(lái)當(dāng)“學(xué)生”。老師看圖片知道里面的人體姿態(tài)然后告訴學(xué)生，學(xué)生則需要學(xué)會(huì)從無(wú)線信號(hào)中也找到同樣的結(jié)果。通過(guò)這樣的方法訓(xùn)練出來(lái)的“學(xué)生”神經(jīng)網(wǎng)絡(luò)，就具備了利用無(wú)線信號(hào)識(shí)別人體姿態(tài)的能力。

很有趣一點(diǎn)，“學(xué)生”神經(jīng)網(wǎng)絡(luò)不僅學(xué)會(huì)“老師”教他的內(nèi)容，還學(xué)到了“老師”都無(wú)法做到的事情，可謂青出于藍(lán)而勝于藍(lán)：雖然“老師”示范的都是沒(méi)有障礙物的情況，基于無(wú)線信號(hào)的“學(xué)生”也學(xué)會(huì)了在有障礙物的情況下估計(jì)人體姿態(tài)，甚至是穿墻透視。

他們新提出的這個(gè)系統(tǒng)，名叫RF-Pose，可以解析無(wú)線信號(hào)并從中提取出精確的2D人體姿勢(shì)，即使有墻壁遮擋也一樣。下面的視頻展示了RF-Pose人體姿態(tài)估計(jì)跟蹤實(shí)例。

RF-Pose人體姿態(tài)估計(jì)演示。

創(chuàng)下Wi-Fi人體姿態(tài)識(shí)別史上最高精度

RF-Pose展現(xiàn)出了十分優(yōu)秀的性能：能夠穿墻透視，用于光線昏暗的場(chǎng)景，即使在沒(méi)有遮擋物的情況下，它的精度也與當(dāng)前性能最優(yōu)的基于視覺(jué)的系統(tǒng)相當(dāng)。

RF-Pose超越了當(dāng)前最好的基于視覺(jué)的人體姿態(tài)估計(jì)系統(tǒng)：第一行是RGB圖像；第二行是RF-Pose的結(jié)果，這是僅從無(wú)線信號(hào)中學(xué)習(xí)到的人體骨架；第三行是OpenPose的結(jié)果，這是當(dāng)前性能最好的基于視覺(jué)的人體姿態(tài)估計(jì)系統(tǒng)。在有遮擋、光線昏暗等場(chǎng)景中，RF-Pose性能明顯更優(yōu)。來(lái)源：研究論文

RF-Pose的結(jié)構(gòu)示意：由學(xué)生和老師兩個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成。上面是“老師”神經(jīng)網(wǎng)絡(luò)，提供訓(xùn)練監(jiān)督，下面是“學(xué)生”神經(jīng)網(wǎng)絡(luò)，僅使用RF熱圖提取人體姿勢(shì)。在訓(xùn)練過(guò)程中，系統(tǒng)使用同步的無(wú)線信號(hào)和視覺(jué)輸入，從視覺(jué)流中提取姿態(tài)信息，并使用這些信息來(lái)指導(dǎo)訓(xùn)練過(guò)程。訓(xùn)練完畢后，網(wǎng)絡(luò)只需使用無(wú)線信號(hào)進(jìn)行姿態(tài)估計(jì)。其結(jié)果是，該系統(tǒng)只需利用無(wú)線信號(hào)來(lái)估計(jì)人體姿勢(shì)，而不需要人類標(biāo)注作為監(jiān)督。來(lái)源：研究論文

除了跨形態(tài)監(jiān)督之外，RF-Pose的設(shè)計(jì)還考慮了RF信號(hào)的內(nèi)在特性，包括低空間分辨率、人體在穿過(guò)墻壁時(shí)對(duì)RF頻率的鏡面反射，以及RF信號(hào)與監(jiān)控視頻流在表示和透視上的差異。

研究人員利用在校園周圍公共環(huán)境中收集的數(shù)據(jù)來(lái)訓(xùn)練和測(cè)試RF-Pose。這個(gè)數(shù)據(jù)集包含數(shù)百個(gè)不同的人進(jìn)行不同的室內(nèi)活動(dòng)：走路、坐、走樓梯、等電梯、開(kāi)門、和朋友聊天等。他們?cè)诓煌沫h(huán)境下進(jìn)行測(cè)試和訓(xùn)練，以確保網(wǎng)絡(luò)能夠推廣到新的場(chǎng)景。

此外，實(shí)驗(yàn)結(jié)果還表明，從RF信號(hào)中學(xué)習(xí)到的人體骨架，能夠準(zhǔn)確地反映一個(gè)人在移動(dòng)時(shí)的特征。研究人員進(jìn)行了一個(gè)實(shí)驗(yàn)，他們訓(xùn)練了一個(gè)CNN分類器，讓這個(gè)分類器基于RF骨架識(shí)別人群中的某個(gè)人，發(fā)現(xiàn)準(zhǔn)確率可以達(dá)到83%以上。

趙明民表示，這項(xiàng)研究有很多應(yīng)用前景。很多疾病，例如帕金森、老年癡呆，都會(huì)反映在日常動(dòng)作中，基于無(wú)線信號(hào)的人體姿態(tài)估計(jì)可以在家里，通過(guò)觀察分析我們的動(dòng)作來(lái)幫助這些疾病的診斷治療。

在安防領(lǐng)域，受障礙物的影響，很多時(shí)候需要在各個(gè)角度安裝很多設(shè)備，這時(shí)候無(wú)線設(shè)備的穿墻能力就能發(fā)揮用處。

無(wú)人駕駛也可以考慮結(jié)合視覺(jué)和無(wú)線信號(hào)來(lái)做感知。無(wú)線信號(hào)能更好的穿透霧等障礙，能在極端天氣和光照條件下提供魯棒性。無(wú)線信號(hào)也可以提前幫助汽車判斷障礙物后面是否有行人。

研究人員表示，未來(lái)他們計(jì)劃進(jìn)一步拓展這個(gè)系統(tǒng)，從2D到3D，將無(wú)線感知與視覺(jué)相結(jié)合，提供更豐富的信息。