隨著GPT大語言模型的成功，越來越多的工作嘗試使用類GPT架構的離散模型來表征駕駛場景中的交通參與者行為，從而生成多智能體仿真。這些方法展現出明顯的性能優勢，成為Waymo OpenSim Agents Challenge(WOSAC)中主流的領先方法。

在本文中，我們將GPT-Like離散模型視為采取了特定配置的混合模型(MixtureModel)，嘗試探究目前主流的GPT-Like方法性能優勢的來源。在統一的混合模型框架(Unified Mixture Model，UniMM)下，我們從模型和數據兩個方面的配置展開研究發現：GPT-Like離散模型實際上采用了由Tokenization自然引l入的閉環樣本，這是其性能優勢的關鍵。

基于上述發現，我們嘗試將閉環樣本應用于更廣泛的混合模型，進一步觀察到并解決了相關的ShortcutLearning和Of-PolicyLearning問題。最終，UniMM框架下的各種變體均在WaymoOpenSim AgentsChallenge(WOSAC)展現了SOTA性能。

? 原文鏈接：

https://arxiv.org/abs/2501.17015

? 項目主頁：

https://longzhong-lin.github.io/unimm-webpage

?代碼倉庫：

https://github.com/Longzhong-Lin/UniMM

多智能體仿真

仿真 (Simulation)是評估自動駕駛系統的重要途徑，生成真實的多智能體 (Multi-Agent) 行為是其中的關鍵。近年來，許多工作采用數據驅動的方法，從真實世界駕駛數據集中學習行為模型 (Behavior Model) 來模仿人類交通參與者。要實現真實的多智能體仿真，主要挑戰在于捕捉智能體行為的多模態性 (Multimodality)和解決模型閉環運行的分布偏移 (Distributional Shifts)問題。

圖表1 多智能體仿真

智能體行為的多模態性在運動預測 (Motion Prediction) 領域得到廣泛研究，其中主流方法采用的是混合模型 (Mixture Model)。由于任務的相似性，不少仿真領域的工作也采用類似的連續混合模型 (Continuous Mixture Model) 來表征智能體行為。最近，受大語言模型的啟發，越來越多的研究開始嘗試GPT架構的離散模型 (GPT-Like Discrete Model) ，將智能體的軌跡離散化為運動Token并進行NTP (Next-Token Prediction) 訓練，在仿真領域展現出了超越連續混合模型的性能優勢。

為了緩解模型閉環運行的分布偏移，時間序列建模領域的DaD方法繼承在線學習算法DAgger的理論保證，將訓練樣本中的真值輸入替換為自回歸模型預測，不過該方法只討論了單模態 (Unimodal) 模型。TrafficSim將類似方法應用在CVAE行為模型，迭代地將真值軌跡替換為后驗 (Posterior) 預測，從而生成閉環樣本 (Closed-Loop Sample)。

圖表2 UniMM研究概述

統一混合模型框架

我們注意到，GPT-Like離散模型本質上是一種混合模型，其中每個混合組分 (Mixture Component) 代表一個離散類別，而運動Token則是各組分對應的錨點 (Anchor) 。因此，本文建立統一的混合模型框架 (Unified Mixture Model, UniMM)，并從模型和數據兩個方面展開研究，探索GPT-Like方法優勢的根源，并嘗試推廣到更一般的混合模型中。

圖表3 WOSAC領先方法（可視為混合模型）的配置和指標

模型配置

模型方面，我們關注的配置包括：

正組分匹配 (Positive Component Matching) ：主流范式為無錨點 (Anchor-Free) 和基于錨點 (Anchor-Based) 匹配。

連續回歸 (Continuous Regression) ：若Anchor-Based模型將錨點直接作為對應混合組分的預測軌跡，則無需連續回歸。

預測時長 (Prediction Horizon) ：模型預測軌跡的長度。

混合組分數量 (Number of Components) ：混合模型中混合組分的數量。

其中，GPT-Like離散模型采用Anchor-Based正組分匹配且不具備連續回歸，通常使用大量混合組分且預測時長較短。后面的實驗表明：模型配置的差別并不能完全解釋連續混合模型和GPT-Like離散模型之間的性能差距。采用與GPT-Like方法完全不同的模型配置，也可以達到同樣優秀的仿真性能。

圖表4 主流的正組分匹配范式

數據配置

數據方面，我們借鑒DaD和TrafficSim的設計理念，提出了適用于一般混合模型的閉環樣本生成方法。具體地，我們基于原始開環樣本自回歸地運行模型，將樣本中的真值輸入狀態替換為與之匹配的后驗模型預測（我們稱之為后驗規劃）。生成的閉環樣本在盡量接近真值的同時，將模型預測引入到樣本輸入中，使訓練期間模型見到的狀態更接近在閉環仿真中遇到的狀態，從而緩解分布偏移。

圖表5 閉環樣本生成

對于GPT-Like離散模型，我們證明：上述閉環樣本生成方法等價于采用滾動匹配 (Rolling Matching) 的智能體運動Tokenization。后面的實驗表明：使用閉環樣本進行訓練是生成逼真多智能體行為的關鍵。進一步地，為了讓閉環樣本能夠惠及更廣泛的混合模型，我們識別并解決了Shortcut Learning和Off-Policy Learning問題。

實驗

網絡架構

實驗中使用的網絡架構包含場景編碼器 (Context Encoder) 和運動解碼器 (Motion Decoder) 。場景編碼器能夠并行處理多智能體在多個時間上的信息；運動解碼器生成特定智能體從指定時間開始的多模態未來軌跡。特別地，對于帶連續回歸的Anchor-Based模型，我們的解碼器先對錨點打分、再生成所選取組分對應的軌跡，使得其能夠像離散模型一樣高效地增加混合組分的數量。

圖表6 混合模型網絡結構

采用開環樣本訓練

我們首先探索不同預測時長和混合組分數量下的Anchor-Free和Anchor-Based模型。在這里，我們采用開環樣本訓練來保證數據的一致性，從而更好地體現上述模型配置的影響。

圖表7 采用開環樣本訓練

預測時長：

更大的預測時長 (Prediction Horizon) 帶來的額外監督信號是有效的。

過大的預測時長使模型更關注于遠期預測的優化，由于仿真僅會利用模型預測的前面一小段，所以這并不利于提升仿真的效果。

圖表8 不同預測時長的WOSAC指標

混合組分數量：

增加混合組分的數量確實能夠提升模型對復雜分布的表征能力。

較多數量的混合組分可能會阻礙Anchor-Free模型挑選出合理軌跡，從而影響其在仿真中的表現。

Anchor-Based模型持續受益于混合組分數量的增長。

圖表9 不同混合組分數量下的最優WOSAC指標

采用閉環樣本訓練

接下來展開對數據配置的研究，我們從開環樣本實驗中表現最佳的模型配置出發，從而凸顯閉環樣本的作用。

圖表10 采用閉環樣本訓練

Shortcut Learning問題：

生成閉環樣本時，若后驗策略的規劃時長 (Posterior Planning Horizon) 超過其重規劃間隔，模型會學習到捷徑，損害時空交互推理能力。

Off-Policy Learning問題：

若訓練策略的正組分匹配時長 (Positive Matching Horizon) 和樣本生成策略的后驗規劃時長 (Posterior Planning Horizon) 不一致，則其導致的Off-Policy Learning問題會阻礙閉環樣本發揮作用。

對于Anchor-Free模型，Off-Policy Learning問題的影響沒那么嚴重，這可能是因為它們的性能更依賴于各混合組分的靈活預測，而不是對混合組分的挑選。

對齊訓練策略和樣本生成策略的組分選擇Horizon可以有效緩解Off-Policy Learning問題，特別是對于十分依賴其混合組分選擇的Anchor-Based模型。

圖表11 近似后驗策略（左）和連續回歸（右）

近似后驗策略：

我們為Anchor-Based模型設計了近似后驗策略，將后驗組分對應的錨點直接作為執行規劃，可以在顯著減少訓練時間的同時，達到相當的仿真性能。

連續回歸：

主流離散模型成功的關鍵在于閉環樣本的使用。

連續回歸 (Continuous Regression) 帶來的靈活性對于模型性能是有增益的，同時其并不需要顯著增加計算開銷。

Benchmark結果

基于上述探索，我們提交了UniMM框架下的各種變體（包括離散和連續、Anchor-Free和Anchor-Based），均在Waymo Open Sim Agents Challenge (WOSAC)中展現了SOTA性能。由此證明了：

模型配置的差別并不能完全解釋之前的連續混合模型和GPT-Like離散模型之間的性能差距。

仿真性能的關鍵在于閉環樣本的使用，采用與主流離散方法不同的模型配置也能生成逼真的行為。

通過解決Shortcut Learning和Off-Policy Learning問題，閉環樣本能夠使廣泛的混合模型受益，尤其是具有更大預測時長的模型。

總結與展望

本研究首先建立了多智能體仿真的統一混合模型框架，并針對該框架下的模型配置（正組分匹配、連續回歸、預測時長、混合組分數量）和數據配置（閉環樣本生成方法）進行深入的分析與實驗。我們通過最優的網絡結構設計、參數配置和訓練方式得到的模型僅需4M參數量的情況下，在Waymo Open Sim Agents Challenge達到了SOTA的性能。基于以上多智能體仿真的模型優化分析和實驗結論，我們今后會進一步去探索自動駕駛的運動規劃問題。