傳感器仿真模型的可信度評估方案

一、引言

由于仿真是對真實世界進行抽象建模并通過編程實現，仿真得到的計算結果與真實仿真對象的表現存在差異，因此模擬仿真測試的可信度成為當前亟需解決的關鍵問題，需要提出有效的評估方法。傳感器建模是仿真測試的關鍵環節之一，其建模質量決定了仿真測試中智能網聯汽車感知環境目標對象的保真度。延續《自動駕駛傳感器仿真模型的可信度研究》的思路，本篇文章對傳感器模型的可信度評估方法進行深入研究，并且提出基于“典型場景-感知目標集-評價指標”的方法論，為企業開展傳感器模型可信度評估工作提供參考。

二、可信度評估框架及方法

本章節的思路主要可分為兩部分：一方面，根據不同建模層級的傳感器模型，采用不同的評估方法；另一方面，根據不同的評估方法，基于ADS功能確定典型場景、觀測量并選取相應的評價指標。

2.1評估框架：三個層級

根據對真實世界感知結果的保真度以及傳感器建模的復雜程度，傳感器模型可分為理想傳感器、混合傳感器、物理傳感器三個層級?；趥鞲衅鞯牟煌蛹壏诸愐约皞鞲衅鞣抡娼Ｔu價研究，可信度評估框架如圖1所示。

圖1傳感器模型可信度評估框架

理想傳感器：理想傳感器的工作方式為直接從仿真軟件的環境數據中提取探測范圍內的環境真值（Ground Truth，GT），并將其作為傳感器感知目標的檢測結果。若將理想傳感器的感知結果與真實傳感器的檢測結果作為真值進行對比，理想傳感器感知結果存在過精度（精度過高的情況）；若將理想傳感器的輸出結果直接與環境真值進行對比，由于其結果即為環境真值，則無需進行可信度評估。

混合傳感器：在理想傳感器的基礎上，考慮噪聲和目標物屬性等因素，在理想待輸出對象的數據信息中增加誤差信號。由于疊加的誤差參數可能不夠準確且不夠全面，混合傳感器在輸出目標列表時可能存在與真實傳感器輸出目標列表不一致的問題。因此，需通過對比修正后的目標列表，開展傳感器模型的可信度評估。

物理傳感器：對傳感器工作鏈路進行物理級建模，建模過程中考慮傳感器與目標物特性對信號產生的干擾與影響，以此間接獲得傳感器感知結果的偏差。由于該層級建模過程存在中間建模環節和中間量采集，因此，為更全面評估可信度，除在目標列表層級展開評估外，還應盡可能通過對比圖像、點云等原始數據，或各模塊輸出的中間量，來對傳感器模型的可信度進行評估。

2.2評估方法

基于“典型場景-感知目標集-評價指標”的評估方法，主要通過典型場景設計，確定感知目標及其觀測量并選取評價指標，進行傳感器模型與真實傳感器輸出結果的比對。

圖2 傳感器模型可信度評估流程

2.2.1典型場景

基于自動駕駛感知功能及其設計運行域，確定場景元素，構建典型場景?？紤]到不同測試場景中，場景元素的復雜程度會對感知結果產生影響，進而影響傳感器模型可信度的評估結果，賽目科技提出“簡單場景→復雜場景”的典型場景設計框架，如圖3所示。

圖3 典型場景設計框架

參考GB/T《智能網聯汽車 自動駕駛系統設計運行條件》[1]，基于ODD基礎元素集合，通過組合疊加不同類型的場景元素（包括道路、道路設施、目標物和天氣環境），構建典型測試場景。典型場景中的感知目標應全面覆蓋自動駕駛功能ODD范圍內的各類要素。感知測試場景元素部分示例如圖4所示。

圖4 場景基礎元素-示例

2.2.2感知目標集

基于測試場景中常見的感知目標種類，可進一步區分其對應的目標ID、顏色、位置、速度、加速度等屬性，梳理出場景中涉及的感知目標集（如圖5所示），其中①為目標類型，②~⑦為觀測量。更多感知測試項內容還可參考T/CSAE 266.1—2022《智能網聯汽車 輔助駕駛前向視覺感知性能要求及測評方法 第1部分：通用方法及指標定義》[2]。

圖5 感知目標類型及觀測量

基于典型場景的特點并結合不同類型的傳感器，確定場景中需識別的目標對象，并選取對應的目標列表/原始數據觀測量。以相機模型為例，在目標列表層面，將真實相機與仿真模型輸出的車道線三次方程進行對比；在原始數據層面，利用真實鏡頭效果的圖片和仿真鏡頭效果的圖片進行對比，統計每個像素點的對應的RGB數值，以此來實現對圖像質量的驗證。

圖6 “傳感器類型-目標列表/原始數據”觀測量

特別地，若針對相機傳感器進行物理級建模，還可通過對比模型輸出的中間量開展評估。

圖7相機傳感器物理級建?？蚣?/p>

2.2.3評價指標

根據感知系統觀測量在整個測試過程的試驗結果計算各評價指標，主要可分為以下兩種類型。① 目標識別正確與否的判斷：通過準確率、精確率、召回率、Jaccard系數等指標來進行評價，并利用這些指標計算出綜合的誤差進行比較，②觀測量為連續型數據：通過數值精度、擬合優度等指標進行評價。感知目標集中觀測量類別對應的評價指標[3]如表1所示。

表1 觀測量類別-評價指標

（1）準確率-Accuracy

指預測正確的結果占總樣本的百分比，用于判斷總的正確率，準確率的計算方法如公式（1）所示。

（2）精確率-Precision

所有被預測為正的樣本中實際為正的樣本的概率。精確率和準確率看上去有些類似，但是完全不同的兩個概念。精確率代表對正樣本結果中的預測準確程度，而準確率則代表整體的預測準確程度，既包括正樣本，也包括負樣本。精確率的計算方法如公式（2）所示。

（3）召回率-Recall

實際為正的樣本中被預測為正樣本的概率，又稱查全率。召回率的計算方法如公式（3）所示。

（4）F1分數-F1 score

精確率和召回率的調和平均數。F1分數的最大值是1，最小值是0，值越大意味著模型的性能越好。F1分數可以看作是模型精確率和召回率的一種調和平均，它的計算考慮了精確率和召回率的重要性。F1分數的計算方法如公式（4）所示。

（5）Jaccard系數

用于度量兩個集合的相似度，僅關心個體間共同具有的特征是否一致。Jaccard系數的取值范圍在0到1之間，值越大表示兩個集合越相似，值為0表示兩個集合沒有任何交集，值為1表示兩個集合完全相同。Jaccard系數的計算方法如公式（5）所示。

其中：

——集合A與B的交集中元素的個數；

——集合A與B的并集中元素的個數。

（6）多目標識別準確度（MOTA）

用于統計在識別過程中的誤差積累情況，包括誤檢數FP、漏檢數FN、誤配數IDSW以及真實結果GT。多目標識別準確率的計算方法如公式（6）所示。

其中：

FN ——在第i幀中該目標沒有假設位置與其匹配；

FP ——在第i幀中給出的假設位置沒有跟蹤目標與其匹配；

IDSW——在第i幀中跟蹤目標發生ID切換的次數（多發生在遮擋情況下）。

（7）多目標識別精確度（MOTP）

用于衡量目標位置確定的精確程度，包括正檢數TP、預測結果DUT和真實結果GT。多目標識別精確度的計算方法如公式（7）所示。

其中：TP——在第i幀中該目標有假設位置與其匹配，即第i幀目標與假設的匹配個數。

（8）數值精度（Meanaccuracy）

用于表示觀測值與真值的接近程度，是預測結果與被測真值之間的百分比誤差，包括預測結果DUT和真實結果GT。數值精度的計算方法如公式（8）所示。

（9）擬合優度（）

回歸分析中用來檢驗樣本數據點聚集在回歸線周圍的密集程度，用于評價回歸方程對樣本觀測值的擬合程度。的值越接近1，說明模型對觀測值的擬合程度越好。擬合優度計算方法如公式（9）所示。

其中：

——樣本目標變量的真實值；

——使用回歸模型預測的目標變量值；

?——樣本目標變量的平均值。

（10）歐幾里得度量（Euclidean Metric）

基于真實點云中每個點到模擬點云每個點的最小歐幾里得距離進行計算，真實的點云用GT＝（）表示，模擬的點云用DUT＝（）表示，最小歐幾里得距離的計算方法如公式（10）所示。

其中：

——點云距離度量；

——真實或模擬點云的最大點數。

3.可信評估方案應用

本章節主要針對目標列表層面對應典型場景的可信度評估方案進行應用示例。根據自動駕駛系統感知功能設計典型場景，確定關鍵參數取值（如道路類型、車道線顏色、測試車輛初始速度等），并明確場景中的感知目標。以自適應巡航控制系統（ACC）功能為例，基于2.3.1中的“簡單場景→復雜場景”設計理論，列舉典型場景示例如表2所示。

表2典型測試場景-示例

（1）場景構建

為驗證傳感器模型可信度，初步構建一個“前方存在靜止目標車”的簡單場景開展對比試驗。

場景描述：一條雙向四車道長直道路，車道寬度為3 m。試驗車輛同車道前方79.86 m處存在靜止的目標車輛，試驗車輛以初始速度36 km/h從初始位置出發，按照預設軌跡路線行駛3 s后，以1.1 m/s2的減速度減速至停止。

圖8 仿真場景搭建

（2）感知目標-觀測量

基于上述測試場景，確定場景中需識別的目標對象為車道線和目標車輛，基于不同傳感器種類，選取對應的觀測量分別為三次多項式常數項和目標車輛相對距離。

（3）評價指標

本文初步采用數值精度的評價指標，通過公式（8）進行混合傳感器模型的可信度評估。

基于Sim Pro中混合相機傳感器模型開展驗證，輸出的車道線三次多項式的常數項（左正右負）與路采數據的對比結果如圖9所示。

圖9混合相機-仿真與路采結果對比（車道線）

基于Sim Pro中混合相機傳感器模型、混合毫米波雷達傳感器模型、混合激光雷達傳感器模型開展驗證，輸出的目標車輛相對距離與路采數據的對比結果如圖10所示。

圖10混合傳感器-仿真與路采結果對比（目標車輛相對距離）

小結

本篇文章基于三種傳感器建模層級的評估框架進行分析，對傳感器模型的可信度評估提出“典型場景-感知目標集-評價指標”的方法論，分別論述典型場景構建、感知目標集確定以及對應評價指標選取的思路。最后，基于傳感器模型可信度評估方案，以混合傳感器模型為例進行應用對比驗證。未來，賽目科技還將從智能網聯汽車“三支柱”測試方法論知識體系持續開展研究，敬請期待！