混合模型(Mixture Models)是一種強大的工具,能夠有效表征多模態分布(Multimodality)。根據正組分(Positive Mixture Component)匹配方式,主流的混合模型方法主要分為兩類:基于錨點(Anchor-Based)匹配和基于預測(Prediction-Based)匹配。然而,Prediction-Based方法存在預測聚類現象,難以選擇具有代表性的預測結果;而Anchor-Based方法則回歸精度受限。
本文提出了一種全新的混合模型正組分匹配范式:可更新且具區分度錨點(EDA,Evolvingand Distinct Anchors),巧妙結合上述兩類方法的優勢,實現更高效的多峰分布學習。我們在多模態運動預測(Multimodal Motion Prediction)任務上進行了廣泛實驗。實驗結果表明,EDA方法(單模型)在Waymo Motion Prediction Challenge中展現了優秀的性能。
? 原文鏈接:
https://ojs.aaai.org/index.php/AAAI/article/view/28130
?代碼鏈接:
https://github.com/Longzhong-Lin/EDA
多模態運動預測
在自動駕駛領域,運動預測 (Motion Prediction) 是一個重要任務,它有助于場景理解和安全決策。該任務利用歷史狀態和道路地圖來預測目標智能體的未來軌跡。其主要挑戰來自未來行為的多模態性 (Multimodality) ,即智能體在相同環境和狀態下可能展現出多種不同的行為模式。
圖表1 智能體在相同環境和狀態下可能展現出多種不同的行為模式
混合模型與正樣本匹配
近年來,混合模型 (Mixture Model)例如高斯混合模型 (GMM) 已成為表征多峰未來行為分布的主流方法。混合模型通常采用“贏家通吃”的回歸損失和分類損失,這需要明確混合組分 (Mixture Component) 中的正負樣本,來作為分類損失的標簽,以及計算正組分對應預測軌跡的回歸損失。那么根據正樣本匹配的方式,當前主流的混合模型方法可以分為兩類:基于預測 (Prediction-Based)匹配和基于錨點 (Anchor-Based)匹配。
Prediction-Based / Anchor-Free:選擇與真實軌跡 (Ground Truth) 最接近的預測軌跡,將其所對應的混合組分作為正樣本。這類方法生成的預測結果能夠真實反映未來行為的高度不確定性,但生成的軌跡往往會聚集在最有可能的區域,且具有相似的得分。這種現象導致模型難以選擇具有代表性的軌跡,不利于下游任務。
Anchor-Based:將各個混合組分與預定義的錨點 (Anchor) 相關聯,并選擇與Ground Truth最接近的錨點所對應組分作為正樣本。錨點的引入顯著降低了分類(即給混合組分評分)的優化難度,同時預測軌跡將傾向于生成在對應的錨點附近。為了降低計算成本并保證評分性能,錨點的分布通常會比Prediction-Based方法生成的軌跡更稀疏,這種稀疏性則限制了模型的軌跡回歸能力。
圖表2 不同正樣本匹配范式的結果
可更新且具區分度錨點 (EDA)
在本文中,我們提出了一種全新的混合模型正樣本匹配范式:可更新且具區分度錨點 (EDA, Evolving and Distinct Anchors)。
圖表3 EDA:全新的混合模型正樣本匹配范式
可更新錨點 (Evolving Anchors)
對于Evolving Anchors,我們引入錨點并通過中間預測結果對其進行動態更新,使錨點能夠根據具體場景上下文信息進行自適應調整,從而在保留空間先驗的同時提升了模型的靈活性。
圖4 Evolving Anchors的作用
具區分度錨點 (Distinct Anchors)
隨著錨點的動態更新,我們觀察到了類似Prediction-Based方法的預測結果聚集現象。
圖表5 Evolving Anchors中的預測軌跡聚集現象
為了緩解預測聚集引發的分類標簽歧義性問題(即對于相近的2個組分,有可能一個被標記為正樣本,而另一個被標記為負樣本),我們借鑒目標檢測領域中的DDQ方法,提出先從錨點中篩選出Distinct Anchors,再將這些錨點與Ground Truth進行匹配。
圖表6 可更新且具區分度錨點 (EDA, Evolving and Distinct Anchors)
實驗結果
消融實驗
隨著錨點更新頻率的增加,模型的回歸能力在逐步增長,并且錨點的每次更新都會帶來顯著的回歸精度提升。
圖表7 隨著錨點更新頻率的增加,模型的回歸能力在逐步提升
軌跡聚集問題確實影響了Evolving Anchors的軌跡評分能力,導致模型的Top-6軌跡預測指標尤其是mAP (mean Average Precision) 出現衰減;而Distinct Anchors的引入則如預期一樣,全面且顯著地提升了模型的Top-6軌跡預測指標。
圖表8 消融模型的Top-6指標
對比實驗
在Waymo Open Motion Dataset上,EDA的單模型表現超越了之前的Ensemble-Free方法,在所有指標上均優于基線模型MTR,特別是在Miss Rate上實現了13.5%的相對降低。此外,EDA還超越了MTR++,后者為改進網絡結構的MTR升級方法。
圖標9 Benchmark結果
總結與展望
本文針對軌跡預測中Mixture Model存在模態坍縮和精度不足的問題進行了研究,提出了一種新的正負樣本匹配策略——Evolving and Distinct Anchors來解決該問題,保證了軌跡預測模型在具備較高模態豐富度的同時擁有很高的歸回精度。我們的方法在Waymo Open Motion Dataset上達到了SOTA的水平。我們認為正負樣本匹配策略具有很高的研究價值,不僅僅是在軌跡預測任務上,在端到端軌跡規劃、智能體行為仿真等任務上也具備廣泛的應用潛力和重要的研究意義。
-
模型
+關注
關注
1文章
3444瀏覽量
49685 -
混合模型
+關注
關注
0文章
6瀏覽量
6487 -
自動駕駛
+關注
關注
788文章
14075瀏覽量
168424
原文標題:開發者說 | EDA:采用可更新且具區分度錨點的多模態運動預測
文章出處:【微信號:horizonrobotics,微信公眾號:地平線HorizonRobotics】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
基于多模態語義SLAM框架
HT for Web (Hightopo) 使用心得(3)- 吸附與錨點

【「具身智能機器人系統」閱讀體驗】2.具身智能機器人大模型

錨桿與圍巖加載過程紅外特征研究
5G傳輸錨點創新方案分析及研究
動態可更新分布式監測系統設計

預應力錨具之錨具連接器的知識
研發全新多模態感知AI框架 AI能同時模擬人眼和手預測物體運動

基于類間區分度的屬性約簡方法及其研究
如何利用LLM做多模態任務?

更強更通用:智源「悟道3.0」Emu多模態大模型開源,在多模態序列中「補全一切」

基于多模態學習的虛假新聞檢測研究

評論