馬里蘭大學(xué)計(jì)算機(jī)科學(xué)家Dinesh Manocha與百度研究和香港大學(xué)的一組同事合作，開發(fā)了一種如照片般真實(shí)的仿真模型，用于培訓(xùn)和驗(yàn)證自動(dòng)駕駛車輛。與當(dāng)前的游戲引擎或高保真計(jì)算機(jī)圖形和數(shù)學(xué)渲染流量模式系統(tǒng)相比，新系統(tǒng)提供了更豐富，更真實(shí)的模擬。

Fig. View synthesis results and effectiveness of depth refinement

他們的系統(tǒng)被稱為增強(qiáng)自動(dòng)駕駛仿真(AADS，Augmented Autonomous Driving Simulation)，可以使自動(dòng)駕駛技術(shù)在實(shí)驗(yàn)室更容易評(píng)估，也可以提高路測(cè)的安全性。

科學(xué)家們?cè)?019年3月27日發(fā)表在《科學(xué)機(jī)器人》(Science Robotics)雜志上的一篇研究論文中描述了他們的研究方法。

“這項(xiàng)工作代表了一種新的仿真范例，我們可以在將它部署到真實(shí)汽車上并在高速公路或城市道路上進(jìn)行測(cè)試之前測(cè)試自動(dòng)駕駛技術(shù)的可靠性和安全性，”該論文的相應(yīng)作者之一Manocha表示（Manocha同時(shí)任職于計(jì)算機(jī)科學(xué)，電氣和計(jì)算機(jī)工程以及馬里蘭大學(xué)高級(jí)計(jì)算機(jī)研究所）。

自動(dòng)駕駛汽車的一個(gè)潛在好處是，它可能比人類駕駛員更安全，因?yàn)槿祟愸{駛員容易分心、疲勞和情緒化，做出會(huì)導(dǎo)致錯(cuò)誤的決定。但是為了確保安全，自動(dòng)駕駛汽車必須對(duì)駕駛環(huán)境進(jìn)行評(píng)估和反應(yīng)。考慮到汽車在道路上可能遇到各種各樣的情況，自動(dòng)駕駛系統(tǒng)需要在極具挑戰(zhàn)的條件下進(jìn)行數(shù)億英里的試駕，以證明其可靠性。

雖然這可能需要幾十年的時(shí)間才能在道路上完成，但通過(guò)計(jì)算機(jī)仿真可以快速、高效、更安全地進(jìn)行初步評(píng)估。計(jì)算機(jī)仿真可以準(zhǔn)確地表示真實(shí)世界，并對(duì)周圍物體的行為進(jìn)行建模。目前的仿真系統(tǒng)在還原真實(shí)的光環(huán)境和呈現(xiàn)真實(shí)的交通流模式或駕駛員行為這三方面仍存在不足。

AADS是一個(gè)數(shù)據(jù)驅(qū)動(dòng)系統(tǒng)，它能更準(zhǔn)確地表示自動(dòng)駕駛汽車在路上接收到的信號(hào)。自動(dòng)駕駛汽車依賴于感知模塊和導(dǎo)航模塊，感知模塊接收和解釋現(xiàn)實(shí)世界的信息，導(dǎo)航模塊根據(jù)感知模塊做出決定，比如轉(zhuǎn)向哪里、是否剎車或加速。

Fig. The inputs, processing pipeline, and outputs of our AADS system.

在現(xiàn)實(shí)世界中，自動(dòng)駕駛汽車的感知模塊通常接收來(lái)自攝像頭和激光雷達(dá)傳感器的信號(hào)，這些傳感器使用光脈沖來(lái)測(cè)量周圍的距離。在目前的模擬器技術(shù)中，感知模塊接收來(lái)自計(jì)算機(jī)生成的圖像和行人、自行車和其他汽車的數(shù)學(xué)建模的運(yùn)動(dòng)模式的借號(hào)，只是對(duì)現(xiàn)實(shí)世界的一種相對(duì)粗糙的表達(dá)。因?yàn)橛?jì)算機(jī)生成的圖像模型必須是手工生成的，所以創(chuàng)建圖像模型也是一個(gè)耗時(shí)耗財(cái)?shù)氖虑椤?/p>

AADS系統(tǒng)結(jié)合了照片、視頻和激光雷達(dá)點(diǎn)云(類似于3D形狀渲染)與行人、自行車和其他汽車的真實(shí)軌跡數(shù)據(jù)。這些數(shù)據(jù)可以用來(lái)預(yù)測(cè)其他車輛或行人在路上的駕駛行為和未來(lái)的位置，以計(jì)算出更安全的導(dǎo)航路徑。

Fig. TrafficPredict evaluations

“我們用視頻和照片來(lái)模擬真實(shí)世界，”Manocha說(shuō)，“但我們也在捕捉真實(shí)的行為和運(yùn)動(dòng)模式。人類開車的方式不容易被數(shù)學(xué)模型和物理定律捕捉到。所以，我們從所有可用的視頻中提取了真實(shí)軌跡的數(shù)據(jù)，并使用社會(huì)科學(xué)方法對(duì)駕駛行為建模。這種數(shù)據(jù)驅(qū)動(dòng)的方法為我們提供了一個(gè)更加現(xiàn)實(shí)和有益的交通仿真模型”。

在使用真實(shí)的視頻圖像和激光雷達(dá)數(shù)據(jù)進(jìn)行建模時(shí)，科學(xué)家們面臨著一個(gè)長(zhǎng)期的挑戰(zhàn):每一個(gè)場(chǎng)景都必須對(duì)自動(dòng)駕駛汽車的運(yùn)動(dòng)做出反應(yīng)，即使這些運(yùn)動(dòng)可能沒(méi)有被最初的攝像頭或激光雷達(dá)傳感器捕捉到。無(wú)論照片或視頻以什么樣的角度或視角被捕捉到，都必須使用預(yù)測(cè)方法進(jìn)行渲染或模擬。這就是為什么仿真技術(shù)總是如此嚴(yán)重地依賴于計(jì)算機(jī)生成的圖形，也嚴(yán)重依賴于基于物理的預(yù)測(cè)技術(shù)。

為了克服這一挑戰(zhàn)，研究人員開發(fā)了一種技術(shù)，可以將真實(shí)街道場(chǎng)景的各個(gè)部分分離出來(lái)，并將它們呈現(xiàn)為單獨(dú)的元素，這些元素可以被重新合成，以創(chuàng)建大量真實(shí)的照片駕駛場(chǎng)景。

Fig. Novel view synthesis pipeline

通過(guò)AADS，車輛和行人可以從一個(gè)環(huán)境中平移到另一個(gè)環(huán)境中。可以根據(jù)不同的交通等級(jí)重建道路。每個(gè)場(chǎng)景的多個(gè)視角在車道變換和轉(zhuǎn)彎期間提供更真實(shí)的圖像。此外，與其他視頻模擬技術(shù)相比，先進(jìn)的圖像處理技術(shù)可實(shí)現(xiàn)平滑過(guò)渡并減少失真。圖像處理技術(shù)還用于提取軌跡，從而模擬駕駛員行為。

“因?yàn)槲覀兪褂玫氖钦鎸?shí)世界的視頻和真實(shí)世界的動(dòng)作，我們的感知模塊比以往的方法擁有更準(zhǔn)確的信息，”Manocha說(shuō)。“然后，由于仿真模型的真實(shí)感，我們可以更好地評(píng)估自主駕駛系統(tǒng)的導(dǎo)航策略”。

Fig. Comparison of traffic synthesis

Manocha說(shuō)，通過(guò)發(fā)表這項(xiàng)工作，科學(xué)家們希望一些開發(fā)自動(dòng)駕駛汽車的公司可以采用同樣的數(shù)據(jù)驅(qū)動(dòng)方法來(lái)改進(jìn)他們自己的仿真模型，用于測(cè)試和評(píng)估自動(dòng)駕駛系統(tǒng)。

參考文獻(xiàn)：

[1]W. Li, C. W. Pan, R. Zhang, J. P. Ren, Y. X. Ma, J. Fang, F. L. Yan, Q. C. Geng, X. Y. Huang, H. J. Gong, W. W. Xu, G. P. Wang, D. Manocha, R. G. Yang. AADS: Augmented autonomous driving simulation using data-driven algorithms. Science Robotics, 2019.