很多人都有這樣的疑問(wèn)--基于BEV(Birds Eye View)的自動(dòng)駕駛方案是什么？這個(gè)問(wèn)題，目前學(xué)術(shù)界還沒(méi)有統(tǒng)一的定義，但從我的開(kāi)發(fā)經(jīng)驗(yàn)上，嘗試做一個(gè)解釋：以鳥(niǎo)瞰視角為基礎(chǔ)形成的端到端的自動(dòng)駕駛算法和系統(tǒng)。 ?

引言

感知模塊是最為重要的自動(dòng)駕駛模塊之一，也是最為復(fù)雜的模塊。一般的感知模塊包含障礙物目標(biāo)檢測(cè)，車道線語(yǔ)義分割，可行駛區(qū)域分割等等。在BEV出現(xiàn)之后，整個(gè)自動(dòng)駕駛感知模塊趨向形成統(tǒng)一，簡(jiǎn)潔，高效的端到端結(jié)構(gòu)。不光是感知模塊，基于BEV進(jìn)行的規(guī)劃決策也是學(xué)術(shù)界研究的方向。下面將結(jié)合幾篇頂會(huì)論文來(lái)看BEV給自動(dòng)駕駛技術(shù)帶來(lái)的改變。 ?

BEV統(tǒng)一了多模態(tài)數(shù)據(jù)融合的尺度

典型論文：HDMapNet: A Local Semantic Map Learning and EvaluationFramework ? 自動(dòng)駕駛感知模塊中對(duì)是否要使用激光雷達(dá)的問(wèn)題分成了兩派。一種是堅(jiān)定的純視覺(jué)技術(shù)路線，比如特拉斯等。還有一種是國(guó)內(nèi)的多傳感器數(shù)據(jù)融合路線。在沒(méi)有接觸到BEV之前，我是堅(jiān)定的純視覺(jué)路線的擁護(hù)者，但是在研究了一些論文后，我的觀點(diǎn)逐步改變。傳感器融合路線的機(jī)會(huì)在前融合或者中融合層面，而目前市面上的多模態(tài)數(shù)據(jù)融合方案多為后融合或者結(jié)果層面的融合。就是在生硬的融合方式下，各個(gè)傳感器的缺點(diǎn)形成了木桶效應(yīng)。 ?

? BEV的出現(xiàn)給多模態(tài)數(shù)據(jù)提供了一個(gè)統(tǒng)一尺度的可能，比如在HDMapNet論文中，主要目的是基于多模態(tài)數(shù)據(jù)采集制作低廉高效的高精地圖。作者設(shè)計(jì)了多傳感器的動(dòng)態(tài)可插拔結(jié)構(gòu)。把所有傳感器的數(shù)據(jù)或特征統(tǒng)一到BEV視角下，這樣的統(tǒng)一尺度理論上來(lái)說(shuō)天然成立。減少傳感器會(huì)影響檢測(cè)的效果，但是不會(huì)影響感知系統(tǒng)的可使用性，是1+1>2的正向結(jié)果。 ?

BEV帶來(lái)了簡(jiǎn)潔高效的感知模塊

典型論文：FIERY: Future Instance Prediction in Bird’s-Eye View from Surround Monocular Cameras ? 現(xiàn)有的自動(dòng)駕駛感知模塊中，包含了2d/3d目標(biāo)檢測(cè)，語(yǔ)義分割，全景分割，多目標(biāo)跟蹤，軌跡預(yù)測(cè)等。整個(gè)感知模塊是又臭又長(zhǎng)，需要的算法開(kāi)發(fā)/算法維護(hù)/模型迭代等人員數(shù)量眾多。而B(niǎo)EV的出現(xiàn)，讓更加簡(jiǎn)潔高效的感知模塊成為可能。 ?

? fiery的論文和代碼有幸研究了一段時(shí)間，結(jié)構(gòu)設(shè)計(jì)的巧妙和統(tǒng)一任務(wù)的架構(gòu)一下子打開(kāi)我新世界的大門(mén)。這篇文章使用的傳感器只有攝像頭，也就是純視覺(jué)方案。fiery是在lift論文的基礎(chǔ)上進(jìn)行的改進(jìn)，這篇論文將多個(gè)相機(jī)數(shù)據(jù)通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行了基于BEV的投影。在一個(gè)算法框架下實(shí)現(xiàn)了3d目標(biāo)檢測(cè)(無(wú)高度h)，障礙物實(shí)例分割，車道線分割，可行駛區(qū)域分割，多目標(biāo)跟蹤，障礙物軌跡預(yù)測(cè)的功能。維護(hù)上述模塊可能要大幾十的團(tuán)隊(duì)，但是現(xiàn)在維護(hù)fiery可能十多人就夠了(我離失業(yè)越來(lái)越近了，哈哈)。這篇文章的缺點(diǎn)是耗時(shí)太長(zhǎng)(8fps)，主要是用于未來(lái)軌跡預(yù)測(cè)的GRU網(wǎng)絡(luò)部分，要3幀一起輸入網(wǎng)絡(luò)。 ?

BEV促進(jìn)端到端的自動(dòng)駕駛框架發(fā)展

典型論文1：MP3: A Unified Model to Map, Perceive, Predict and Plan 典型論文2：SelfD: Self-Learning Large-Scale Driving Policies From the Web ? 從apollo等開(kāi)源的自動(dòng)駕駛框架上看，自動(dòng)駕駛技術(shù)常被分為感知模塊，預(yù)測(cè)模塊，規(guī)劃決策模塊，控制模塊等。各個(gè)模塊通過(guò)消息機(jī)制或者共享內(nèi)存的方式進(jìn)行交互，保持相對(duì)的獨(dú)立。此外這樣的架構(gòu)雖順應(yīng)了當(dāng)下的自動(dòng)駕駛技術(shù)發(fā)展，但不一定就是合理的，比如強(qiáng)解耦造成的魯棒性變差等問(wèn)題。無(wú)論是工業(yè)界和學(xué)術(shù)界都在期盼一個(gè)端到端的自動(dòng)駕駛框架的出現(xiàn)。 ?

? BEV下的自動(dòng)駕駛技術(shù)發(fā)展很可能就是端到端的自動(dòng)駕駛框架的契機(jī)。 ? SelfD里作者利用BEV視角統(tǒng)一了大量行車視頻的數(shù)據(jù)尺度，并進(jìn)行了規(guī)劃和決策模塊的模型學(xué)習(xí)。 ?

? MP3中，將地圖，感知，預(yù)測(cè)和規(guī)劃設(shè)計(jì)成一個(gè)統(tǒng)一模塊，形成了一個(gè)接近端到端的自動(dòng)駕駛框架。 ?

BEV的藥引子--ViT(vision transform)

典型論文：Cross-view Transformers for real-time Map-view Semantic Segmentation ? 2022年ViT(vision transform)如何應(yīng)用在自動(dòng)駕駛?cè)蝿?wù)上？ ? 經(jīng)過(guò)上面幾個(gè)層次的分析之后，你是否看到了BEV自動(dòng)駕駛方案的未來(lái)了呢？在我看來(lái)BEV技術(shù)是形成端到端自動(dòng)駕駛框架的契機(jī)，但是還需要一個(gè)藥引子——ViT(vision transform)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在不同尺度/類型的特征的融合上，處理困難(序列特征需要rnn系列，空間特征需要cnn)。但是端到端的自動(dòng)駕駛框架恰恰就需要融合不同種類的，比如將序列特征和空間特征的融合。來(lái)自NLP領(lǐng)域的attention機(jī)制提供多類型特征編碼融合的統(tǒng)一方法。 ? cross-view transformers的方法是針對(duì)純視覺(jué)多視角下的地圖生成和障礙物感知任務(wù)，設(shè)計(jì)一個(gè)有效的注意力機(jī)制網(wǎng)絡(luò)。直白點(diǎn)就是用于BEV地圖生成和障礙物感知的注意力機(jī)制網(wǎng)絡(luò)。目前代碼已經(jīng)開(kāi)源，從論文公布的結(jié)果看，無(wú)論在精度還是速度上都達(dá)到SOTA。 ?

總結(jié)

據(jù)我的了解，目前已經(jīng)有很多公司啟動(dòng)了基于BEV的自動(dòng)駕駛框架研發(fā)。這兩年的頂會(huì)論文上看，這個(gè)方案下的相關(guān)技術(shù)會(huì)越來(lái)越成熟，廉價(jià)的自動(dòng)駕駛技術(shù)方案離我們?cè)絹?lái)越近了。最后，如果真的如預(yù)期這樣發(fā)展，現(xiàn)在的自動(dòng)駕駛求職熱潮可能會(huì)帶來(lái)以后的自動(dòng)駕駛裁員熱潮。

編輯：黃飛

?