6 月 17 日， 理想家庭科技日，理想智能駕駛交卷，郎博氣定神閑，給出了理想智能駕駛自研的階段性結(jié)果。

出乎意料的，整體功能交付水準遠遠超出我的預期。

畢竟理想宣布全棧自研智能駕駛在蔚小理三家中最晚，但是交卷的速度卻沒有落到最后，甚至有后來者居上的態(tài)勢。

而在眾多公司對高精地圖的成本頭疼不已的時候，理想這次發(fā)布會示范了一個優(yōu)秀的解決方案，將無圖化真正部署上車。

01

為什么需要去除高精地圖？

使用高精地圖的目的是，和實時定位搭配找到對應車道位置，加上實時感知車道線進行小規(guī)模修正，最后達到循跡或者變換車道上下匝道的目的。

這里就會有一個問題：對于實時變化的場景或者定位精度不準，對高精地圖依賴越強，產(chǎn)生的問題就會越多。

比如施工后的車道如果發(fā)生了改變，而高精地圖也沒有進行實時更新，同時實時感知車道線的置信度不高，此時自動駕駛系統(tǒng)會沿著原來的繪制車道線行駛。

之前高速 NOA 剛剛量產(chǎn)發(fā)布時，很多用戶會抱怨匝道亂打方向盤問題，一部分原因來自于這里。

當然后來通過一些工程方式，例如地理圍欄，就是部分位置即使有高精地圖也不會提供功能降級，或者車道線感知能力提升后提高感知權(quán)重的方式獲得了解決。

但是來到城區(qū)，一切都不一樣了。

城區(qū)的道路相較于高速復雜得多，如果把紅綠燈路口當作是匝道的話，一段 1 公里的路程難度可能相當于高速上 100 公里。用高精地圖去完成城市 NOA 成本極高，城市內(nèi)部道路更新頻率遠遠高于高速道路，需要一個測繪車隊常年無休更新地圖。

同時，某些城市的內(nèi)部道路由于密級要求，是不允許測繪的， 這也就很大限制了功能的可用位置。

高精地圖貴而且不靈活， 面對城區(qū)的復雜路況是不適用的。

所以城市 NOA 短期小范圍推送尚且可以使用高精地圖， 但是長期來看，想要更快推廣，或者降低成本從智能駕駛部分獲得正向現(xiàn)金流的話，去除高精地圖勢在必行。

理想的 Neural Map Prior 就是為此而生的。

02

NPN 先驗網(wǎng)絡????????????????

理想的 Neural Map Prior For Autonomous Driving 是什么？

簡單來說，主要是兩個點：

離線（云端）特征更新（Update，Offline Global Map Prior update）：看一次路口看不清楚，那就多看幾次。

在線（車端）地圖推理（Online Local Inference）：這次路口沒看清楚，就想一下上次是什么樣的，再看。

在線地圖推理，結(jié)合以前的信息進行感知，看的更遠。

在線地圖推理這里使用了公認最先進的智能駕駛感知技術(shù)棧 BEV 網(wǎng)絡作為基礎， 從俯視的角度將每個攝像頭的信息組合到一起，這樣各個攝像頭之間的信息能夠共享，識別能夠更加精準，穩(wěn)定。

但是實時感知的局限性在于，在復雜的道路上，常常需要移動一定的角度才能獲取足夠多的信息。

對于決策規(guī)劃來說，感知信息不夠多和精準讓決策變得很艱難。

對于人類駕駛員來說，一般我們會通過經(jīng)驗，即使沒有看到目標路口的車道線也可以做出正確的操作，因為我們有之前的經(jīng)驗信息。

這里的整體工作流也非常類似，使用之前的經(jīng)驗，進行信息補全，最后保證感知結(jié)果的更加可靠。

當然，整體來看，這與實時感知車道線與高精地圖信息融合作為最終環(huán)境感知結(jié)果的方法依然類似，只不過這里使用的并非是高精地圖測繪結(jié)果作為輸入，而是特征中間值作為隱式輸入。

這里有一個很有意思的「隱式表達」的概念。

常規(guī)的已經(jīng)感知出車道線結(jié)果再與高精地圖進行融合的方式，可以稱之為：「顯式融合」。

即具有相當?shù)目山忉屝裕薪?jīng)驗的工程師是可以完全看懂的，也可以被直接描述。

而理想這里的表達方式更加傾向于隱式表達，也就是，一切規(guī)則由神經(jīng)網(wǎng)絡自行學習完成，無法被直接描述。

模型能力逐漸變強的當下，能夠覆蓋更多子任務，很多中間層顯式的表達可以用隱式的方式完成，例如原來單攝像頭感知后融合，到現(xiàn)在多攝像頭 BEV 完成的隱式融合。

理想的先驗地圖和感知結(jié)果融合的方式，都屬于此列，這也是算力充足的情況下，人工智能發(fā)展的趨勢。

03

離線地圖更新，實時云端對齊

對于某個新的感知結(jié)果，是否需要被實時更新到云端離線地圖中去？

這個問題其實也沒有這么簡單。

因為不論何時，新感知的結(jié)果與離線地圖都是有一定差異的，如何規(guī)定學習新的感知結(jié)果和忘記舊的信息規(guī)則也是一件不容易的事情。

在理想的這個方案里，依然使用了隱式學習的方式去規(guī)定，并使用了一種 Gated Recurrent Unit（GRU）門控循環(huán)單元變體結(jié)構(gòu)完成，這樣也保證網(wǎng)絡的長時記憶能力。

簡單來說，規(guī)定一個忘記比例，一個更新比例，這兩個都是一個小的神經(jīng)網(wǎng)絡單元，輸入都是實時感知的結(jié)果和離線地圖查詢結(jié)果，讓神經(jīng)網(wǎng)絡自行學習兩個比例。

最后再將這兩個比例與實時感知結(jié)果和離線查詢結(jié)果進行操作，最后得出新的離線地圖更新。

這里再次呼應了上文中提到的隱式表達概念，隱式?jīng)Q定如何更新地圖。

實際上也就是，讓神經(jīng)網(wǎng)絡知道，往什么方向去更新地圖才是對的，而不是規(guī)則化這個任務。

04

一些疑問和工程化問題

定位問題

關(guān)于離線地圖查詢時的定位問題這里并沒有說明，事實上，之前 Tesla 在 AI Day 上也提到過 Spatial RNN 眾包建圖方案，與理想本次提出來的方案具有非常強的相似性。

但是這些任務都基于一個非常強的假設，因為需要有不同時空同一位置的地圖更新，也就是說定位需要非常準確。

但是，實際上，車端的定位是無法準確到滿足這個強假設的。

不準確的定位可能在查詢整體離線地圖時會出現(xiàn)偏差，也就會影響最后的感知結(jié)果。

所以一般來說，還需要實時位置特征去滿足定位的要求，這一點應該也需要工程師們持續(xù)的努力。

這里有一個細節(jié)是，是否可以在查詢地圖時也加入一個隱式網(wǎng)絡，將目標路面特征作為查詢的來源，而不是純顯式地圖定位表達。

地圖的成熟度自動確認

在發(fā)布會上，郎博提到一個路口成熟度的概念，也就是在多次更新之后，離線地圖會達到一個可以被使用的閾值。

關(guān)于什么時候可以被使用，郎博并沒有給出來， 這里假設兩點：

實際高精定位車輛采集地圖，并且與目標比對，但是此時又回落回到高精地圖采集的傳統(tǒng)工作流中去。當然我相信，在早期項目設計開發(fā)時，一定需要實時地圖采集作為真值訓練網(wǎng)絡的。

實時特征比對，一定存在一個合理的誤差值，達到該誤差時，路口結(jié)果會被釋放。這是積累了足夠多的數(shù)據(jù)之后，數(shù)據(jù)驅(qū)動產(chǎn)生的效能。

存儲和實時云端互傳

在論文中，提到使用 Nuscenes數(shù)據(jù)集作為驗證，整體 2km X 1.5 km 的小區(qū)域，0.3m 的分辨率，使用了 11GB 的存儲空間。

關(guān)于本車如何使用這些數(shù)據(jù)，如何從云端下載數(shù)據(jù)，事實上也是一個需要實踐解決的工程問題。

因為如果實時云端查詢并且下載地圖先驗特征，常常會因為網(wǎng)絡問題造成數(shù)據(jù)并不能實時傳輸完成，這樣無法完成實時地圖更新。

我的猜測應該也是與高精地圖的使用方式一樣，根據(jù)地圖定位提前下載小片區(qū)的地圖，例如通勤模式，可以將整個通勤范圍內(nèi)的地圖提前下載并且查詢由車端實時完成。

關(guān)于本車數(shù)據(jù)不斷上傳問題，并且理想并沒有實時繪制地圖，保存的只是地圖的中間值特征，不具有地圖拓撲含義，因此應該不算測繪，不需要特殊的測繪資質(zhì)。

這也是一次數(shù)據(jù)驅(qū)動面對數(shù)據(jù)保護條例的小小勝利。

寫在最后

自動駕駛感知發(fā)展的趨勢非常明朗，即從越來越多的信息中獲取輸入，保證感知結(jié)果的精確。

從 2D 直視圖到 3D BEV 感知融合保證多視圖的信息共享，再到 4D 時序融合保證前后幀的預測，再到理想地圖先驗多時空信息的融合，我這里想簡單稱之為 5D 平行時空融合。

理想智能駕駛走在了正確的道路上。

有個理想車主問我，為什么理想這么快就可以拿出來一個這樣的 Demo 產(chǎn)品？

我想了想回答：現(xiàn)在的自動駕駛開發(fā)，絕對不存在一種天頂星算法，能夠直接將競爭對手產(chǎn)品斬落馬下。

而最重要的是一步步的耐心和極強工程能力。

如果必須要回答這個問題的話，答案只能是：后發(fā)者找對了方向，省去了一大部分探索和拉扯的時間，并且能夠持續(xù)專注地開發(fā)。

在技術(shù)棧開始變化時，一切之前的積累， 可能都只是拖累。

當然， 這一切都建立在 Demo 的水準可以大規(guī)模推廣使用，并且能如期交付的基礎上。

不過現(xiàn)在， 我想提前恭喜理想同學，在去高精地圖的戰(zhàn)場上，開出了響亮的第一槍。