6 月 17 日， 理想家庭科技日，理想智能駕駛交卷，郎博氣定神閑，給出了理想智能駕駛自研的階段性結果。

出乎意料的，整體功能交付水準遠遠超出我的預期。

畢竟理想宣布全棧自研智能駕駛在蔚小理三家中最晚，但是交卷的速度卻沒有落到最后，甚至有后來者居上的態勢。

而在眾多公司對高精地圖的成本頭疼不已的時候，理想這次發布會示范了一個優秀的解決方案，將無圖化真正部署上車。

01

為什么需要去除高精地圖？

使用高精地圖的目的是，和實時定位搭配找到對應車道位置，加上實時感知車道線進行小規模修正，最后達到循跡或者變換車道上下匝道的目的。

這里就會有一個問題：對于實時變化的場景或者定位精度不準，對高精地圖依賴越強，產生的問題就會越多。

比如施工后的車道如果發生了改變，而高精地圖也沒有進行實時更新，同時實時感知車道線的置信度不高，此時自動駕駛系統會沿著原來的繪制車道線行駛。

之前高速 NOA 剛剛量產發布時，很多用戶會抱怨匝道亂打方向盤問題，一部分原因來自于這里。

當然后來通過一些工程方式，例如地理圍欄，就是部分位置即使有高精地圖也不會提供功能降級，或者車道線感知能力提升后提高感知權重的方式獲得了解決。

但是來到城區，一切都不一樣了。

城區的道路相較于高速復雜得多，如果把紅綠燈路口當作是匝道的話，一段 1 公里的路程難度可能相當于高速上 100 公里。用高精地圖去完成城市 NOA 成本極高，城市內部道路更新頻率遠遠高于高速道路，需要一個測繪車隊常年無休更新地圖。

同時，某些城市的內部道路由于密級要求，是不允許測繪的， 這也就很大限制了功能的可用位置。

高精地圖貴而且不靈活， 面對城區的復雜路況是不適用的。

所以城市 NOA 短期小范圍推送尚且可以使用高精地圖， 但是長期來看，想要更快推廣，或者降低成本從智能駕駛部分獲得正向現金流的話，去除高精地圖勢在必行。

理想的 Neural Map Prior 就是為此而生的。

02

NPN 先驗網絡????????????????

理想的 Neural Map Prior For Autonomous Driving 是什么？

簡單來說，主要是兩個點：

離線（云端）特征更新（Update，Offline Global Map Prior update）：看一次路口看不清楚，那就多看幾次。

在線（車端）地圖推理（Online Local Inference）：這次路口沒看清楚，就想一下上次是什么樣的，再看。

在線地圖推理，結合以前的信息進行感知，看的更遠。

在線地圖推理這里使用了公認最先進的智能駕駛感知技術棧 BEV 網絡作為基礎， 從俯視的角度將每個攝像頭的信息組合到一起，這樣各個攝像頭之間的信息能夠共享，識別能夠更加精準，穩定。

但是實時感知的局限性在于，在復雜的道路上，常常需要移動一定的角度才能獲取足夠多的信息。

對于決策規劃來說，感知信息不夠多和精準讓決策變得很艱難。

對于人類駕駛員來說，一般我們會通過經驗，即使沒有看到目標路口的車道線也可以做出正確的操作，因為我們有之前的經驗信息。

這里的整體工作流也非常類似，使用之前的經驗，進行信息補全，最后保證感知結果的更加可靠。

當然，整體來看，這與實時感知車道線與高精地圖信息融合作為最終環境感知結果的方法依然類似，只不過這里使用的并非是高精地圖測繪結果作為輸入，而是特征中間值作為隱式輸入。

這里有一個很有意思的「隱式表達」的概念。

常規的已經感知出車道線結果再與高精地圖進行融合的方式，可以稱之為：「顯式融合」。

即具有相當的可解釋性，有經驗的工程師是可以完全看懂的，也可以被直接描述。

而理想這里的表達方式更加傾向于隱式表達，也就是，一切規則由神經網絡自行學習完成，無法被直接描述。

模型能力逐漸變強的當下，能夠覆蓋更多子任務，很多中間層顯式的表達可以用隱式的方式完成，例如原來單攝像頭感知后融合，到現在多攝像頭 BEV 完成的隱式融合。

理想的先驗地圖和感知結果融合的方式，都屬于此列，這也是算力充足的情況下，人工智能發展的趨勢。

03

離線地圖更新，實時云端對齊

對于某個新的感知結果，是否需要被實時更新到云端離線地圖中去？

這個問題其實也沒有這么簡單。

因為不論何時，新感知的結果與離線地圖都是有一定差異的，如何規定學習新的感知結果和忘記舊的信息規則也是一件不容易的事情。

在理想的這個方案里，依然使用了隱式學習的方式去規定，并使用了一種 Gated Recurrent Unit（GRU）門控循環單元變體結構完成，這樣也保證網絡的長時記憶能力。

簡單來說，規定一個忘記比例，一個更新比例，這兩個都是一個小的神經網絡單元，輸入都是實時感知的結果和離線地圖查詢結果，讓神經網絡自行學習兩個比例。

最后再將這兩個比例與實時感知結果和離線查詢結果進行操作，最后得出新的離線地圖更新。

這里再次呼應了上文中提到的隱式表達概念，隱式決定如何更新地圖。

實際上也就是，讓神經網絡知道，往什么方向去更新地圖才是對的，而不是規則化這個任務。

04

一些疑問和工程化問題

定位問題

關于離線地圖查詢時的定位問題這里并沒有說明，事實上，之前 Tesla 在 AI Day 上也提到過 Spatial RNN 眾包建圖方案，與理想本次提出來的方案具有非常強的相似性。

但是這些任務都基于一個非常強的假設，因為需要有不同時空同一位置的地圖更新，也就是說定位需要非常準確。

但是，實際上，車端的定位是無法準確到滿足這個強假設的。

不準確的定位可能在查詢整體離線地圖時會出現偏差，也就會影響最后的感知結果。

所以一般來說，還需要實時位置特征去滿足定位的要求，這一點應該也需要工程師們持續的努力。

這里有一個細節是，是否可以在查詢地圖時也加入一個隱式網絡，將目標路面特征作為查詢的來源，而不是純顯式地圖定位表達。

地圖的成熟度自動確認

在發布會上，郎博提到一個路口成熟度的概念，也就是在多次更新之后，離線地圖會達到一個可以被使用的閾值。

關于什么時候可以被使用，郎博并沒有給出來， 這里假設兩點：

實際高精定位車輛采集地圖，并且與目標比對，但是此時又回落回到高精地圖采集的傳統工作流中去。當然我相信，在早期項目設計開發時，一定需要實時地圖采集作為真值訓練網絡的。

實時特征比對，一定存在一個合理的誤差值，達到該誤差時，路口結果會被釋放。這是積累了足夠多的數據之后，數據驅動產生的效能。

存儲和實時云端互傳

在論文中，提到使用 Nuscenes數據集作為驗證，整體 2km X 1.5 km 的小區域，0.3m 的分辨率，使用了 11GB 的存儲空間。

關于本車如何使用這些數據，如何從云端下載數據，事實上也是一個需要實踐解決的工程問題。

因為如果實時云端查詢并且下載地圖先驗特征，常常會因為網絡問題造成數據并不能實時傳輸完成，這樣無法完成實時地圖更新。

我的猜測應該也是與高精地圖的使用方式一樣，根據地圖定位提前下載小片區的地圖，例如通勤模式，可以將整個通勤范圍內的地圖提前下載并且查詢由車端實時完成。

關于本車數據不斷上傳問題，并且理想并沒有實時繪制地圖，保存的只是地圖的中間值特征，不具有地圖拓撲含義，因此應該不算測繪，不需要特殊的測繪資質。

這也是一次數據驅動面對數據保護條例的小小勝利。

寫在最后

自動駕駛感知發展的趨勢非常明朗，即從越來越多的信息中獲取輸入，保證感知結果的精確。

從 2D 直視圖到 3D BEV 感知融合保證多視圖的信息共享，再到 4D 時序融合保證前后幀的預測，再到理想地圖先驗多時空信息的融合，我這里想簡單稱之為 5D 平行時空融合。

理想智能駕駛走在了正確的道路上。

有個理想車主問我，為什么理想這么快就可以拿出來一個這樣的 Demo 產品？

我想了想回答：現在的自動駕駛開發，絕對不存在一種天頂星算法，能夠直接將競爭對手產品斬落馬下。

而最重要的是一步步的耐心和極強工程能力。

如果必須要回答這個問題的話，答案只能是：后發者找對了方向，省去了一大部分探索和拉扯的時間，并且能夠持續專注地開發。

在技術棧開始變化時，一切之前的積累， 可能都只是拖累。

當然， 這一切都建立在 Demo 的水準可以大規模推廣使用，并且能如期交付的基礎上。

不過現在， 我想提前恭喜理想同學，在去高精地圖的戰場上，開出了響亮的第一槍。