研究人員正在通過研究人類的步態(tài)，身體對稱性和腳部位置，來指導(dǎo)自動駕駛汽車如何更準(zhǔn)確地識別和預(yù)測行人運(yùn)動。

在自動駕駛應(yīng)用中，理解、推斷和預(yù)測行人的意圖和未來行為非常重要。這種能力使車輛避免碰撞，提高行駛安全和質(zhì)量。預(yù)行為理解即對對方可能產(chǎn)生的行為進(jìn)行準(zhǔn)確的預(yù)估和判斷，隨著深度學(xué)習(xí)網(wǎng)絡(luò)、長短期記憶、選擇性注意機(jī)制以及提取知覺物體等技術(shù)的發(fā)展，人體姿態(tài)估計得到了廣泛的研究。

姿態(tài)估計的目標(biāo)是在RGB圖像或視頻中描繪出人體的形狀，這是一種多方面任務(wù)，其中包含了目標(biāo)檢測、姿態(tài)估計、分割等等。有些需要在非水平表面進(jìn)行定位的應(yīng)用可能也會用到姿態(tài)估計，例如圖形、增強(qiáng)現(xiàn)實或者人機(jī)交互。姿態(tài)估計同樣包含許多基于3D物體的辨認(rèn)。

目前比較流行的工作主要集中在，從當(dāng)前幀中的單個靜態(tài)RGB圖像估計人體骨骼模型的關(guān)節(jié)位置，而沒有解決未來幀的位置預(yù)測問題。當(dāng)然也有研究人員開始研究給定視頻序列的人體姿勢預(yù)測(預(yù)測和預(yù)測)，不過大部分工作都集中在基于骨架的關(guān)節(jié)位置表示上。

比如：Google的人體姿態(tài)估計，論文采用top-down的結(jié)構(gòu)，分為兩個階段: 第一階段使用faster rcnn做detection，檢測出圖片中的多個人，并對bounding box進(jìn)行image crop； 第二階段采用fully convolutional resnet對每一個bonding box中的人物預(yù)測dense heatmap和offset; 最后通過heatmap和offset的融合得到關(guān)鍵點(diǎn)的精確定位。

而密歇根大學(xué)的研究者提出了一種基于生物力學(xué)的循環(huán)神經(jīng)網(wǎng)絡(luò)(biolstm)，該網(wǎng)絡(luò)可以在全局坐標(biāo)系下，預(yù)測行人的位置和三維關(guān)節(jié)體位姿，但在已有坐標(biāo)系下估計的三維位姿和位姿是不準(zhǔn)確的。該網(wǎng)絡(luò)能夠同時預(yù)測多個行人的姿態(tài)和位置，距離攝像機(jī)45米以內(nèi)的行人都可以預(yù)測到。據(jù)了解，該方法是基于一種新的目標(biāo)函數(shù)，該目標(biāo)函數(shù)包含了人體步行周期(步態(tài))、人體鏡像對稱性和人體步態(tài)周期中地面反作用力的變化。

“這方面的先前工作通常只看靜止圖像，并沒有真正關(guān)注人們?nèi)绾卧谌齻€方向上移動，“密歇根大學(xué)機(jī)械工程助理教授 Ram Vasudevan說，“但如果這些車輛要在現(xiàn)實世界中運(yùn)行和互動，我們需要確保對行人所在位置的預(yù)測與車輛下一步的位置是否有存在沖突。”

過去一臺計算機(jī)顯示了數(shù)百萬張停車標(biāo)志的照片，通過機(jī)器學(xué)習(xí)的方法，最終會在現(xiàn)實世界中實時識別停車標(biāo)志。但是通過利用運(yùn)行幾秒鐘的視頻片段，系統(tǒng)可以利用研究片段的前半部分進(jìn)行預(yù)測，然后通過后半部分驗證準(zhǔn)確性。

為了解釋神經(jīng)網(wǎng)絡(luò)做出的推斷，Vasudevan 描述了一個常見的景象?！叭绻粋€行人正在玩手機(jī)，你知道他們會分心，”Vasudevan說。“他們的姿勢和他們正在尋找的地方會告訴你他們的注意力分布，也會告訴了你很多關(guān)于他們下一步能做什么的事情?！?/p>

該模型在PedX 數(shù)據(jù)集進(jìn)行了測試，PedX數(shù)據(jù)集是在真實的城市人行橫道交叉口采集的大規(guī)模野外數(shù)據(jù)集，于2017年在美國密歇根州安娜堡市中心的真實城市交叉口收集。該數(shù)據(jù)集包含三個四路交叉口的行人流量大的集合,包含10000多個行人姿勢和1800多個不同長度的連續(xù)序列(平均序列長度為6幀)。

PedX數(shù)據(jù)集由兩個立體聲RGB相機(jī)對和四個Velodyne激光雷達(dá)傳感器的數(shù)據(jù)組成。攝像機(jī)視頻以大約每秒6幀的速度采集。通過優(yōu)化人工標(biāo)注的二維行人姿態(tài)和三維激光雷達(dá)點(diǎn)云，最終得到每幀的三維行人姿態(tài)。結(jié)果表明，該網(wǎng)絡(luò)能夠成功地學(xué)習(xí)行人步態(tài)特征，并能產(chǎn)生準(zhǔn)確一致的三維姿態(tài)預(yù)測。

目前，該工作主要針對城市交叉口的行人姿態(tài)預(yù)測，僅僅分析了行人的行走和站立活動，但有可能通過這項工作來預(yù)測其他活動，比如跑步。新的目標(biāo)函數(shù)在對行人步態(tài)預(yù)測方面，向生物力學(xué)約束邁出了第一步。然而，對于人類許多方面的步態(tài)特征仍需進(jìn)一步研究。

未來，或許這種結(jié)合了姿態(tài)估計和端到端姿態(tài)預(yù)測分析系統(tǒng)可以整合到無人駕駛計算平臺上，用于無人車更準(zhǔn)確的理解行人預(yù)行為。