基于場(chǎng)景的自動(dòng)駕駛驗(yàn)證策略

引言

自動(dòng)駕駛功能的出現(xiàn)可以很大地降低由人為因素造成的交通事故,隨之如何檢驗(yàn)和驗(yàn)證自動(dòng)駕駛系統(tǒng)及車輛的可靠性變得至關(guān)重要。但常見(jiàn)的測(cè)試驗(yàn)證手段通常伴隨著高昂的投入成本，因此使得驗(yàn)證過(guò)程變得十分困難。一個(gè)可選方案是將實(shí)際交通狀況做出總結(jié)生成具有高度代表性的交通場(chǎng)景，通過(guò)仿真分析自動(dòng)駕駛系統(tǒng)在這些場(chǎng)景上的安全性。然而交通場(chǎng)景中元素的復(fù)雜性與失敗事件的罕見(jiàn)性導(dǎo)致難于準(zhǔn)確分析系統(tǒng)失敗的概率和造成系統(tǒng)失敗的原因。本文將針對(duì)此難題，介紹一種將場(chǎng)景降維并極大提高分析系統(tǒng)失敗概率準(zhǔn)確性的方法。

二模型定義

1.基本流程

基于 ISO 21448預(yù)期功能安全分析方法論，確定自動(dòng)駕駛算法的ODD/ODC，對(duì)自動(dòng)駕駛算法進(jìn)行危害事件分析，將已知危害場(chǎng)景作為抓手，對(duì)其進(jìn)行充分泛化仿真，并且挖掘未知危害場(chǎng)景，將未知危害場(chǎng)景變?yōu)橐阎：?chǎng)景。

本文將場(chǎng)景按照抽象程度分為功能場(chǎng)景、邏輯場(chǎng)景和具體場(chǎng)景。將真實(shí)世界中駕駛場(chǎng)景和ODD/ODC描述為邏輯場(chǎng)景的集合，通過(guò)分析每個(gè)邏輯場(chǎng)景的發(fā)生頻率與自動(dòng)駕駛系統(tǒng)在其中的失敗概率估計(jì)自動(dòng)駕駛系統(tǒng)在真實(shí)世界中的失敗概率。

2.失敗概率估算方法

為了更好地分析自動(dòng)駕駛系統(tǒng)的失敗概率，用概率空間來(lái)表示一個(gè)邏輯場(chǎng)景，其中伴隨概率密度函數(shù)。而此邏輯場(chǎng)景下的一個(gè)具體場(chǎng)景可以表示為此空間中的一個(gè)點(diǎn)

用表示自動(dòng)駕駛系統(tǒng)在具體場(chǎng)景中的某項(xiàng)評(píng)價(jià)指標(biāo)，并不失一般性地定義該系統(tǒng)失敗定義為。故該系統(tǒng)在一個(gè)邏輯場(chǎng)景中的失敗概率可以表達(dá)為

若第個(gè)邏輯場(chǎng)景在公里的平均出現(xiàn)頻率為，則根據(jù)貝葉斯定理此被測(cè)試車輛或算法在公里上的平均失敗率為

3.難題

由于自動(dòng)駕駛算法本身的未知性，往往無(wú)法直接計(jì)算，而空間的復(fù)雜性與失敗的罕見(jiàn)性引起的維度災(zāi)難和罕見(jiàn)性災(zāi)難又導(dǎo)致無(wú)法通過(guò)蒙特卡羅方法簡(jiǎn)單估計(jì)。故如何構(gòu)建統(tǒng)計(jì)量來(lái)高效估計(jì)各個(gè)場(chǎng)景中的失敗概率成為核心問(wèn)題。

三敏感性分析

1.敏感性分析的目標(biāo)

大量經(jīng)驗(yàn)表明系統(tǒng)表現(xiàn)并非依賴于場(chǎng)景中的全部元素，往往場(chǎng)景中部分元素取值即可以確定系統(tǒng)的表現(xiàn)是否會(huì)導(dǎo)致系統(tǒng)失效或出錯(cuò)。這為基于場(chǎng)景的自動(dòng)駕駛系統(tǒng)驗(yàn)證提供了一種降維策略，即通過(guò)敏感性分析從眾多參數(shù)中挑選真正對(duì)自動(dòng)駕駛系統(tǒng)表現(xiàn)產(chǎn)生影響的關(guān)鍵參數(shù)。敏感性分析過(guò)程在概率空間中采集具有代表性的樣本并通過(guò)并行仿真獲取自動(dòng)駕駛系統(tǒng)在這些樣本上的表現(xiàn)。通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，計(jì)算各個(gè)參數(shù)對(duì)車輛表現(xiàn)的重要性，即各個(gè)參數(shù)對(duì)的敏感性。

2.樣本策略

樣本采集策略大體分為固定策略和隨機(jī)/擬隨機(jī)策略。其中固定樣本策略又可以分為全因子法和部分因子法；隨機(jī)樣本策略分為單純蒙特卡羅方法以及按照不同目標(biāo)優(yōu)化的拉丁超立方采樣；擬隨機(jī)策略主要指各種低差異性序列采樣。固定樣本策略可以在維度相對(duì)較低時(shí)有效分析自變量和因變量間的線性或二次線性關(guān)系，而當(dāng)維度上面或因果關(guān)系復(fù)雜時(shí)此方法會(huì)導(dǎo)致計(jì)算困難。隨機(jī)/擬隨機(jī)樣本策略則可以適應(yīng)更復(fù)雜的因果關(guān)系和更高的空間維度。例如下圖分別使用拉丁超立方采樣（右圖）和三水平下的全因子法（左圖）分析函數(shù)

中的與因果關(guān)系。

可以明顯看出隨機(jī)/擬隨機(jī)策略使用的拉丁超立方采樣可以更好的體現(xiàn)因變量關(guān)于自變量的變化，同時(shí)在5因子3水平采樣中，全因子法需要的樣本數(shù)為3^5=243也遠(yuǎn)大于拉丁超立方采樣用的100個(gè)。

3.分析指標(biāo)

自變量對(duì)因變量重要性可以通過(guò)因變量關(guān)于自變量的變化率即偏導(dǎo)數(shù)、因變量和自變量間的不同相關(guān)性系數(shù)（皮爾斯、斯皮爾曼、坎德?tīng)柕龋⒁蜃兞扛怕拭芏群瘮?shù)關(guān)于自變量變化的敏感程度即基于條件概率的敏感性、因變量方差關(guān)于自變量變化的敏感程度即基于方差的敏感性、模擬擬合的及模型擬合的預(yù)測(cè)能力等幾個(gè)方面評(píng)價(jià)。其中偏導(dǎo)數(shù)不適應(yīng)全局敏感性分析，各種相關(guān)性系數(shù)僅能適應(yīng)單調(diào)變化，模擬擬合的只能反應(yīng)訓(xùn)練集容易過(guò)擬合。故我們推薦使用基于條件概率/條件方差的敏感性指標(biāo)+模型擬合預(yù)測(cè)能力指標(biāo)COP結(jié)合的策略，先確定各個(gè)參數(shù)重要性的順序再根據(jù)COP最終選取對(duì)結(jié)果有影響的參數(shù)組合。

四失敗概率估計(jì)

成熟的自動(dòng)駕駛系統(tǒng)對(duì)安全的要求十分嚴(yán)格，需要精準(zhǔn)估計(jì)系統(tǒng)的失敗概率。而造成完善系統(tǒng)失敗的場(chǎng)景屬于罕見(jiàn)事件，使用蒙特卡羅方法難以尋找并精準(zhǔn)估計(jì)其發(fā)生概率。我們推薦使用方向采樣和重要性采樣算法來(lái)來(lái)尋找失敗場(chǎng)景并估計(jì)失敗概率。

五數(shù)值實(shí)驗(yàn)

我們使用一個(gè)顯示函數(shù)來(lái)舉例說(shuō)明。選取空間中Katsuki函數(shù)作為KPI函數(shù)，即

KPI

并以作為失敗閾值，下面將通過(guò)敏感性分析和可靠性分析尋找影響系統(tǒng)表現(xiàn)的變量并估計(jì)系統(tǒng)失敗概率。

首先使用拉丁超立方采樣在空間進(jìn)行采樣，樣本量為200，并使用基于條件概率和條件方差的敏感性指標(biāo)對(duì)計(jì)算結(jié)果展示如下：

橫軸為對(duì)應(yīng)的變量順序，縱軸為指標(biāo)數(shù)值，橙色為基于條件方差的敏感性指標(biāo)，藍(lán)色為基于條件概率的敏感性指標(biāo)，黑色的豎線為指標(biāo)對(duì)應(yīng)的致信區(qū)間

通過(guò)上面的數(shù)據(jù)分析圖可以清楚看出因變量對(duì)于和的變化非常敏感，對(duì)剩余的變量不敏感。擬合因變量關(guān)于自變量的回歸模型并基于交叉驗(yàn)證計(jì)算可以得到和組合的最優(yōu)COP=98.81%，即因變量COP=98.81%的不確定性可以由和的變化解釋，故將原始的空間降維成由和組成的空間。

接下來(lái)使用重要性采樣在降維后的參數(shù)空間中分析系統(tǒng)的失敗概率。其中參數(shù)配置為每次迭代計(jì)算1000個(gè)實(shí)驗(yàn)點(diǎn)，并保留其中最優(yōu)的15%估計(jì)輪迭代的提議函數(shù)。具體結(jié)果展示如下：

上面的表格說(shuō)明可靠性分析算法在降維后的空間中高效尋找到的失敗場(chǎng)景并估計(jì)其失敗概率。下面的圖片展示每輪采樣中樣本分布及KPI變化，其中藍(lán)色的點(diǎn)表示安全場(chǎng)景，黃色的點(diǎn)表示較為危險(xiǎn)的場(chǎng)景，紅色點(diǎn)表示失敗場(chǎng)景，最后紫色的點(diǎn)表示尋找到的失敗臨界。

?

六應(yīng)用案例

1.場(chǎng)景設(shè)置

基于國(guó)標(biāo)G.4場(chǎng)景改造的邏輯場(chǎng)景，即雙車道、存在2輛環(huán)境車.初始環(huán)境下按照Ego、VT1、VT2從后到前的順序同屬左車道，VT2屬于靜止?fàn)顟B(tài)，Ego與VT1向前行駛。

固定Ego、VT1、VT2的初始位置，相對(duì)距離為200米，對(duì)能見(jiàn)度、VT1初始速度、VT1與VT2的偏移、VT1觸發(fā)切出時(shí)與VT2的距離進(jìn)行泛化，并以TTC作為考核指標(biāo)。AD算法使用第三方提供的自動(dòng)駕駛算法對(duì)車輛橫縱向行為進(jìn)行控制。參數(shù)的泛化如下表所示

在進(jìn)行采樣算法樣本量及被測(cè)算法仿真及評(píng)測(cè)設(shè)置后開(kāi)展敏感性、可靠性分析。

2.敏感性分析

分別使用基于方差和基于概率的敏感性指標(biāo)做出分析，結(jié)果均表明能見(jiàn)度、車道偏移量對(duì)TTC變化不明顯，而VT1初始速度及切出時(shí)間對(duì)TTC的變化起顯著作用。故后續(xù)分析將不再泛化能見(jiàn)度及車道偏移量3個(gè)參數(shù)，僅專注于對(duì)TTC有影響的變量實(shí)現(xiàn)空間降維。

3.可靠性分析

用自適應(yīng)重要性采樣對(duì)該AD在該邏輯場(chǎng)景中的失敗概率做出分析。其中每輪采樣數(shù)量為400，保留最優(yōu)樣本比例為3%（保證最后用來(lái)估計(jì)失敗概率的失敗樣本數(shù)量>=3%*400=12）。分別以TTC<3和TTC<2作為失敗閾值，使用可靠性分析算法可以得到如下失敗概率：

對(duì)AD算法的表現(xiàn)做出分析，可以看出危險(xiǎn)場(chǎng)景并非處于邊角處，故定步長(zhǎng)泛化可能無(wú)法探索到失敗場(chǎng)景。

若使用單純蒙特卡羅法找到足夠失敗場(chǎng)景（20個(gè)）來(lái)估計(jì)失敗率，則分別需要超過(guò)55000次和520000仿真。可靠性分析算法相較蒙特卡羅法分別節(jié)約97%和99.5%以上的成本。

通過(guò)上述方法，賽目推出Safety Pro結(jié)合云平臺(tái)的并行仿真、加速計(jì)算能力，實(shí)現(xiàn)預(yù)期功能安全分析、參數(shù)敏感性分析、失敗概率計(jì)算以及尋找失敗臨界面等功能，基于結(jié)果數(shù)據(jù)評(píng)估系統(tǒng)殘余風(fēng)險(xiǎn)，若存在不可接受風(fēng)險(xiǎn)，則形成優(yōu)化迭代策略，并且通過(guò)驗(yàn)證手段提前判斷優(yōu)化策略是否起效，助力、加速自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)和驗(yàn)證。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?