在發(fā)達(dá)的現(xiàn)代公路交通體系中，「各行其道」是交通運(yùn)行的一項(xiàng)核心前提，車輛和行人按照劃分的道路區(qū)域規(guī)范通行，可以最大程度地保障交通的安全和效率。因此對自動駕駛來說，從環(huán)境信息中求解出自己的道路區(qū)域是至關(guān)重要的感知任務(wù)。

在這方面，Nullmax曾分享過一些出色的研究，包括用于3D車道線檢測的CurveFormer，近日入選了國際機(jī)器人和自動化頂級會議ICRA 2023，以及可用于局部地圖構(gòu)建的BevSegFormer，入選了計(jì)算機(jī)視覺領(lǐng)域知名會議WACV 2023。

這兩篇論文均是在BEV視角下，基于Transformer對自動駕駛的「路在何方」問題進(jìn)行了求解，不僅取得了極其出色的算法性能，還高效解決了實(shí)際量產(chǎn)應(yīng)用中的一些難點(diǎn)、痛點(diǎn)，比如：更進(jìn)一步的車道檢測效果，更滿足下游需求的任務(wù)輸出；通過車端實(shí)時構(gòu)建局部地圖，將駕駛場景擴(kuò)展至任意道路。

作為BEV + Transformer技術(shù)架構(gòu)的部分研究，這些技術(shù)正與更多的拓展工作，一同應(yīng)用到Nullmax的多個量產(chǎn)項(xiàng)目中。

BEV感知與車道線檢測

在自動駕駛感知中，實(shí)時檢測環(huán)境中的車道情況，乃至構(gòu)建一份要素更多的局部地圖，可以視為理解靜態(tài)場景的核心工作。有了車道信息，車輛便可以在車道內(nèi)和車道間進(jìn)行一系列操作，如巡航、跟車、變道等，從而實(shí)現(xiàn)連貫的智能駕駛。

當(dāng)中，感知系統(tǒng)需要提供自車坐標(biāo)系下的車道線參數(shù)曲線，以便于下游的規(guī)控模塊使用。因此一些比較領(lǐng)先的行業(yè)方案，是將車道線檢測的輸出設(shè)計(jì)為BEV視角下的2D或3D車道線參數(shù)曲線。

BEV的原意是鳥瞰圖視角，這種俯瞰全局的表征方式可以更好地融合不同傳感器輸入的數(shù)據(jù)信息，在空間、時間維度進(jìn)行統(tǒng)一的計(jì)算。其中，BEV視角一般可以設(shè)為相機(jī)坐標(biāo)系，通過車輛下線的標(biāo)定與自車坐標(biāo)系進(jìn)行便捷的轉(zhuǎn)換，所以BEV視角的車道線結(jié)果下游可以直接使用。

但是在行業(yè)內(nèi)，更常見的是另一種方式：先在相機(jī)輸入的圖像上進(jìn)行感知計(jì)算，然后再經(jīng)過復(fù)雜的后處理將圖像空間的結(jié)果轉(zhuǎn)換到BEV視角下的3D空間。

當(dāng)中的不足在于，這個后處理的過程需要工程師編寫大量代碼，同時也會消耗大量計(jì)算資源。而且面對千變?nèi)f化的真實(shí)世界，這種基于人工規(guī)則的后處理方式，也很難在各種情況下都獲得滿意的效果。

因此，包括車道線檢測在內(nèi)的很多感知任務(wù)，將后處理部分設(shè)計(jì)為基于學(xué)習(xí)的模塊，讓整個算法以學(xué)習(xí)為主，這樣的話就可以重新定義任務(wù)，甚至重構(gòu)整個自動駕駛系統(tǒng)。

比如車道線檢測的任務(wù)，就可以直接定義為：輸入圖像，輸出BEV視角的車道線參數(shù)曲線。

面向量產(chǎn)的3D車道線算法

在去年，Nullmax提出了基于Transformer的3D車道線檢測方法CurveFormer，取得了業(yè)界最佳（SOTA）的算法效果，論文在今年被國際機(jī)器人領(lǐng)域頂會ICRA錄用。

論文鏈接：https://arxiv.org/abs/2209.07989v1

這項(xiàng)算法可以直接輸出BEV視角的3D車道線參數(shù)曲線，而不是在圖像空間進(jìn)行輸出。當(dāng)中的技術(shù)亮點(diǎn)在于，無需顯式構(gòu)建BEV空間，直接從圖像特征求解BEV視角的3D車道線參數(shù)曲線，將計(jì)算量大大減少。

一般基于CNN和其他Transformer的方法，需要先構(gòu)建稠密的BEV空間（比如100*100大小的BEV grid）生成BEV特征圖，然后以此為基礎(chǔ)完成感知任務(wù)的輸出。

但在現(xiàn)實(shí)世界，很多感知對象稀疏分布在環(huán)境當(dāng)中。比如障礙物檢測時，視野范圍內(nèi)的目標(biāo)通常只有幾個；車道線檢測時，視野范圍內(nèi)的車道線也只有幾根。這些感知對象的數(shù)量，遠(yuǎn)遠(yuǎn)小于BEV網(wǎng)格的數(shù)量，顯式構(gòu)建稠密BEV空間的做法不夠高效，產(chǎn)生大量多余計(jì)算。

Nullmax借鑒目標(biāo)檢測方面的一些思路，將車道線描述為稀疏的曲線query，利用deformable attention機(jī)制構(gòu)建符合車道線檢測的curve cross attention，完成BEV空間query和圖像特征之間的關(guān)聯(lián)，并通過迭代更新的方式輸出3D車道線參數(shù)，大大減少了整個過程的計(jì)算量。

在合成數(shù)據(jù)集和真實(shí)世界數(shù)據(jù)集上，CurveFormer與3D-LaneNet、Gen-LaneNet、PersFormer等優(yōu)秀算法進(jìn)行了對比，實(shí)驗(yàn)數(shù)據(jù)顯示CurveFormer擁有非常全面的優(yōu)異性能，優(yōu)于其他算法。

因此在量產(chǎn)應(yīng)用中，CurveFormer也呈現(xiàn)出了巨大的落地優(yōu)勢，不僅任務(wù)效果出眾，可以滿足復(fù)雜城市道路等場景下的車道線檢測要求，而且計(jì)算需求不大，可以部署到算力較低的量產(chǎn)計(jì)算平臺之上。

局部地圖與全場景駕駛

對于自動駕駛來說，車道線檢測只是「尋路問道」的一種形態(tài)，如果更進(jìn)一步，在車端實(shí)時構(gòu)建局部地圖，那么自動駕駛在技術(shù)和應(yīng)用上還有更多發(fā)揮的空間。

比如，通過常規(guī)導(dǎo)航地圖+高精度局部地圖，將駕駛場景擴(kuò)展至任意常規(guī)道路，擺脫對高精地圖的依賴。車輛基于導(dǎo)航地圖進(jìn)行全局的道路規(guī)劃，然后通過局部地圖進(jìn)行具體軌跡的規(guī)劃，這樣在沒有高精地圖的情況下，自動駕駛功能也能正常啟用，完成任意場景下A點(diǎn)到B點(diǎn)的行駛。

再比如，基于局部地圖打造端到端的整體方案，也就是一些地方所說的單棧式方案。近年來，學(xué)習(xí)為主的規(guī)劃算法成為新的趨勢，在這種算法設(shè)計(jì)下，局部地圖相比于車道線是一種更為直接的輸出形式，感知、規(guī)劃更便于融為一個整體網(wǎng)絡(luò)。

正是如此，局部地圖成為了近年來備受關(guān)注的一個技術(shù)熱點(diǎn)。視覺信號蘊(yùn)含著尤為豐富的環(huán)境信息，包括大量的語義、幾何信息，因此視覺建圖的思路早已在眾包地圖、泊車地圖等方面進(jìn)行了驗(yàn)證或應(yīng)用。在這方面，最常用的方法是視覺SLAM（同步定位與地圖構(gòu)建）。

如今，隨著BEV感知快速發(fā)展，BEV視角的語義分割、道路環(huán)境理解也成為了在線視覺建圖的一個優(yōu)先選項(xiàng)。它的優(yōu)勢在于可以很好地融合多個視角相機(jī)的圖像，提取出豐富的環(huán)境信息，整體效果更加魯棒。同時，BEV視角的語義分割也更方便和其他BEV視角的感知任務(wù)、規(guī)劃任務(wù)整合，形成端到端的整體方案，進(jìn)行全局的優(yōu)化。

局部地圖和其他地圖相比，不僅關(guān)注地圖信息的高精度，還尤為看重車端的實(shí)時性，因此這也對算法提出了很高的要求。

行業(yè)頂尖的BEV語義分割

為了更好地滿足自動駕駛上下游的需求，打造面向全場景的自動駕駛功能，Nullmax的感知團(tuán)隊(duì)在去年提出了面向任意相機(jī)配置（單個或多個）的BEV語義分割算法BEVSegFormer。

這一基于Transformer的BEV語義分割方法，同樣也取得了當(dāng)下業(yè)界最優(yōu)（SOTA）的算法效果，論文入選計(jì)算機(jī)視覺學(xué)術(shù)會議WACV 2023。BEVSegFormer相比于HDMapNet等優(yōu)秀算法，性能提升超過了10個百分點(diǎn)。

論文鏈接：https://arxiv.org/abs/2203.04050

BEVSegFormer同樣擴(kuò)展deformable attention形成multi-camera cross attention，完成BEV空間的query和圖像特征之間的關(guān)聯(lián)，從而實(shí)現(xiàn)了不依賴相機(jī)參數(shù)，另一方面也可以大大節(jié)約計(jì)算量。

在實(shí)際的行車過程中，顛簸、加速、制動、上下坡等情況都可能引起相機(jī)外參的變化，精準(zhǔn)的實(shí)時相機(jī)外參估計(jì)相對困難，不依賴相機(jī)的參數(shù)，可以讓算法在這些情況下更加穩(wěn)定，魯棒性更強(qiáng)。

特別是，BEVSegFormer不依賴相機(jī)參數(shù)就可以將圖像特征轉(zhuǎn)成BEV特征，基于得到的BEV特征，又可以擴(kuò)展出多個其他任務(wù)，比如3D目標(biāo)檢測，包括將不同時刻的BEV特征緩存下來，進(jìn)行時序上的融合。并且基于這一創(chuàng)新點(diǎn)，Nullmax感知團(tuán)隊(duì)已經(jīng)完成了多項(xiàng)擴(kuò)展研究。

目前，Nullmax正在將BEVSegFormer應(yīng)用到量產(chǎn)項(xiàng)目中，實(shí)時構(gòu)建稠密的高精度局部地圖，幫助客戶拓展功能范圍，從而實(shí)現(xiàn)任意常規(guī)道路上的智能駕駛。

結(jié)語

當(dāng)前，Nullmax正在完成一套車端實(shí)時運(yùn)行BEV + Transformer技術(shù)架構(gòu)，同時支持感知、規(guī)劃任務(wù)，并能在高、中、低算力平臺上完成落地的自動駕駛整體方案。通過BEV感知完成3D車道線檢測和局部地圖構(gòu)建，正是當(dāng)中的一部分工作。

預(yù)計(jì)在2023年，Nullmax打造的這套多相機(jī)BEV-AI方案就將完成交付。通過這些先進(jìn)的技術(shù)，Nullmax希望能夠?yàn)槠胀ㄓ脩籼峁O致安全、舒適高效的智能駕駛體驗(yàn)。

審核編輯 ：李倩