多傳感器前融合是否是無人駕駛的必由之路？近日，Roadstar.ai首席科學家周光主講，主題為《多傳感器融合，無人駕駛的必由之路》，給出了答案。

近日，Roadstar.ai首席科學家周光主講，主題為《多傳感器融合，無人駕駛的必由之路》。本文為周光的主講實錄。一起了解周光的主講提綱：

主講實錄

周光：大家好，我是Roadstar.ai的首席科學家周光。很高興能跟大家交流多傳感器融合。

經過一年的時間，現在在設計無人駕駛中大家都普遍認同多傳感器融合這一方案。我還記得一年以前，當我們剛出來創業的時候，市面上其實沒有任何一家企業是認同這個方案的。經過這一年的技術攻關，我們Roadstar最終向所有人證明了這套方案的先進性以及可行性。我們現在能夠做到在深圳，硅谷等地的復雜場景實現單次高達數小時的無人駕駛。從今年2月份在中國上路測試到今天，我們測試了大概有幾千公里距離，沒有發生過一起事故，同時我們的接管率也是幾乎接近于零。

跟大家介紹一下我們公司的創始團隊。我們公司的三位創始人，我和佟顯喬、衡量都是在百度認識的。在這里我要感謝百度作為中國無人駕駛的黃埔軍校，為大家提供了各式各樣的人才。

今天我要講的內容分為四個方向。首先我會跟大家大概介紹一下全球無人駕駛的格局以及技術方案；之后會講解一下多傳感器融合的基本原理以及一些簡單的算法；然后我會講基于前融合的技術方案的優勢以及在具體場景下做一些解析；最后講解一下基于前融合技術如何加快落地以及商業化。

Part1

這幅圖簡要地介紹了無人駕駛的歷程。無人駕駛是源于美國的DARPA比賽，分為兩屆，一屆是2005年，一屆是2007年。在此之后，Google把DARPA中斯坦福團隊收編，并于2009年由塞巴斯蒂安·特倫（Sebastian Thrun）開啟了無人駕駛這個計劃。在這之后很長的一段時間里，全球只有Google這一個玩家，直到2014年新的玩家Uber以及百度入局。之后由于深度學習的發展，給了無人駕駛一個可能看清楚事件的眼睛。

此后，無人駕駛開啟百家爭鳴，形成科技公司主導的無人駕駛方案和由主機廠主導的無人駕駛方案二個流派。由于基因不同，科技公司和主機廠有著明顯不同的技術方案。

傳統主機廠多數都是以攝像頭和毫米波雷達為主，主打L2、L3的無人駕駛方案。而科技公司由于沒有量產的壓力，是采用激光雷達的方案。

在這些主機廠中，也有著明顯的不同。美國主機廠是依靠并購，比如Cruise被GM收購，Argo AI被福特收購。日本和德國的公司則是采用一種自研的方式。

下面我跟大家講解一下無人駕駛的四代系統：

第一代無人駕駛系統——也是今天在國內廣泛應用的無人駕駛系統，最明顯的特點是頭上有一顆Velodyne的64線激光雷達，這是源于2007年的DARPA無人駕駛挑戰賽。該方案在國內有百度、騰訊、Pony和景馳等公司在繼承。這種技術方案是單一傳感器不融合的方案，也即是說不同的傳感器做不同的任務，比如用64線激光雷達做人的檢測，用相機做紅綠燈的識別等。

第二代方案由Waymo以及Cruise等公司在繼承，主要特點是整個車輛采用多顆低線束激光雷達融合Camera以及各種傳感器的技術方案。

第三代無人駕駛系統是2018年年初由豐田在CES上展出的基于全固態前裝的無人駕駛方案。可以看到這一代方案有兩個不同：一是用多顆固態激光雷達，二是做到了車輛的前裝車規級。

第四代方案是移動空間這個概念。在這個移動空間的方案中，車輛不再具有方向盤，整個車的概念和品牌也都不再重要，車只是為人類提供一個移動的空間。其實這也是今天所有公司，不管是互聯網巨頭還是主機公司都在追求的終極目標。

這幅圖具體展現了前兩代的一些代表公司。在下面的是2012年采用64線激光雷達方案的谷歌以及其他公司。上面的是最新的Waymo、Cruise、Drive.ai以及Roadstar.ai。Waymo采用了一顆高線束加6顆低線束的融合；Cruise采用了兩顆32線以及兩顆16線；Drive.ai采用了六顆16線；Roadstar采用了一顆32線加4顆16線的方案。

Part2

下面簡單講一下多傳感器融合的基本原理和算法。多傳感器融合分為兩塊，第一塊是傳感器同步技術，第二塊是基于融合數據開發的算法。

簡單的傳感器融合，我相信大家也不陌生，不外乎就是每個傳感器的數據能大致在空間跟時間上能得到對齊。而整個多傳感器融合技術的核心就在于高精度的時間以及空間同步。精度到什么量級呢？舉個例子，比如時間上能得到10的-6次方，空間上能得到在一百米外3到5厘米的誤差，這是一個典型的技術指標。當然，多傳感器同步技術的難度與時間和空間的要求是一個指數級的增加。在百米外能得到3cm的空間精度，換算成角度是0.015度左右。大家也知道在無人駕駛當中，毫米波雷達、相機、激光雷達和超聲波都是完全不同的傳感器，讓他們在時域跟空域上得到這樣的精度是非常難的，需要對機器人技術以及機器學習優化技術有非常深的理解。

Roadstar的多傳感器技術不僅僅在國內得到了認同，在國際上也得到了廣泛的認同。我們之前去過豐田的日本總部，也見到了他們負責研發的老大。他們也知道多傳感器融合做前融合很重要，對系統的提升很大，但是他們老大認為這東西不可能被實現。但是當我們展示出Roadstar的多傳感器融合視頻，他們當時就被震驚了。整個豐田在東京的負責人都過來看我們的傳感器融合方案。

當有了異構多傳感器同步技術之后，我們針對這個數據集開發了自己的感知以及定位算法。這個數據集是一個8維的數據集，其中包含了X,Y,Z的空間數據以及R,G,B的顏色數據、激光反射值數據和多普勒速度數據。

這是一個比較簡單的calibration的算法，我大概講一下。

第一個算法,本質上是在事件坐標系中，你得到相機以及手的Pose信息，然后根據它轉換的幾何限制，最終可以解算出你的X。

第二個算法,對應的是在事件坐標系以及機器人自己的坐標系中，你分別知道傳感器的運動軌跡、手的移動軌跡以及兩個坐標系中的轉換等信息，然后通過這個反算出你的X。

上面這個視頻是做了完美的前融合之后的效果。這也是當初我們呈現在日本豐田總部讓研發老大所震驚的視頻。

大家可以看到，這是一個270度環視攝像頭。彩色的點是激光雷達的點，當時車速大概是60到80km/h。不管是在極遠處還是在極近處，所有激光雷達的像素點和圖片的像素點都達到了像素級別的誤差。

整個Sensor Fusion的視頻是可以實時顯示在我們車上的。我相信做過機器學習的同學，很快就能get到，如果能有這樣一套完美的系統，那對感知的提升是非常非常Significant的。

做Machine Learning的朋友都知道PCA算法，但PCA算法跟傳感器融合是完全相反的方法。在Deep Learning產生之前，由于傳統的Machine Learning并不能夠高效地學出數據中的信息，因此才誕生了PCA算法。而在今天深度學習技術得到極大提高的情況之下，PCA算法也就再沒有人提了。

在傳感器融合提供的8維數據中，每個通道都是沒有任何冗余信息，能夠極大的提高整個系統的可靠性以及穩定性。相比于傳統的方法，我們能夠非常容易地提高十個點以上表現。

這是我們從網上搜集到另外一些無人駕駛公司融合失敗的案例。大家可以看到，這個無人駕駛汽車是靜止地停在一個測試場地，前面是有一個車在繞圓圈或者是八字，但是點云跟相機的信息是差了半個車頭的距離，這個誤差是隨著距離呈線性增加的。目前這個距離大概是十米，可以想象在100米或者50米開外的時候，車和車已經是完全分離的。因此，這種融合效果是不能為系統增加額外的可靠性以及穩定性的。

這個例子能夠比較形象地解釋為什么高維數據會更好。左邊是平面的2D信息，大家可以想象一下，如果想分割出里面紅色的元素，是需要做非常復雜的曲線能分開。其實原始的信息是在右邊。右邊的信息，可以通過簡單的一些平面就能分開。

下面我跟大家介紹一下前融合算法和后融合算法的區別。左邊的方法對應的是后融合算法。在后融合算法中，每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。在最終的Objectlist結果匯總里面，它會通過一些人工算法過濾或者合并掉一些物體。

在前融合過程中，我們只有一個感知的算法。我們在原始層把數據都融合在一起，融合好的數據就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到三維信息，也有能力看到LiDAR信息，就好比是一雙超級眼睛。在這雙超級眼睛上面，我們開發自己的感知算法，最后會輸出一個結果層的物體。

這樣講可能大家還不太清楚為什么前融合更好，我在這里舉一個例子。假設在你手上有一個手機，激光雷達只能看到手機的的一個角，攝像頭只能看到第二個角，而毫米波雷達可以看到第三個角，那么大家可以想象，如果使用后融合算法，由于每個傳感器只能看到它的一部分，這個物體非常有可能不被識別到，最終會被濾掉。而在前融合中，由于它是集合了所有的數據，也就相當于可以看到這個手機的三個角，那對于前融合來說，是非常容易能夠識別出這是一臺手機的。

除了以上提到的優點，多傳感器融合還有另外的一個優點。

我們相信，前裝的固態是真正無人駕駛的未來。但是每個固態雷達有它的特性，尤其是MEMS雷達。MEMS雷達是基于諧振反算出一個角度，從而得到這個點云在空間中的位置。由于這并不是直接測量，而是間接測量的角度，從而導致固態雷達的點云分辨率很低，對溫度也很敏感。

同時每一個固態雷達都只能有有限的Field of view，這就導致要想使用固態激光雷達，你必須得是多顆融合在一起。之前我跟大家介紹的四代技術當中，第一代技術是不能直接跳躍到第三代技術的，因為第一代技術不能夠做到低線束的融合；另外由于點云質量的降低，對于第一代單一傳感器的技術，感知效果會更差；如果沒有加入Camera信息，那么它的感知是沒法在常用場景上開的。這就是為什么到今天為止，就我們公司能夠做到在極端復雜的場景下實現完美的感知，同時車能夠開得非常的好。

這一頁是重復講我之前提到的后融合的缺點，大家可以再看一下。

對于DeepFusion技術，由于它的信息中每個通道的不冗余性，最終導致算法對數據的依賴會極大的降低。在我們的數據集中，我們做了一個簡單的測試，DeepFusion采用前融合的算法，我們大概采用1萬幀左右的算法，能得到傳統算法10萬幀的效果。除了Corner Case以及數據集的遠遠減少以外，DeepFusion還有其他的一些Benefits。比如采用DeepFusion的數據集是可以當做來L2、L3的Ground Truth，你在出去標注的過程中，需要標注一次，那么你會完成對所有數據的標注。

Part3

接下來我跟大家講一下Roadstar基于前融合技術所開發的無人駕駛系統。

上圖是我們Roadstar使用的機頂盒，是第二代傳感器平臺，我們稱之為One cable solution。在這個機頂盒上有著5顆低線束激光雷達，加上6顆攝像頭、3顆毫米波雷達和GPS&IMU系統。所有的傳感器都會在這個機頂盒中做處理，包含異構多傳感器同步技術。處理好的數據會通過一根Cable輸入到我們的電腦當中，電腦接入這個數據后進行檢測、決策、定位算法，最終會通過Control來控制這個車。

相比于大多數公司的方法，我們的硬件平臺非常的穩定，到今天為止我們沒有發生過由于硬件Failure導致系統宕掉的情況。講個小插曲，在硅谷的那段時間，我們曾經有過3顆激光雷達壞掉，但是我們的車依然完成了無人駕駛，安全地把乘客送回我們的公司，乘客當時也是非常地驚訝。

這是Roadstar 的L4系統架構。這個架構相信做無人駕駛的人應該也不是太陌生。最左邊是傳感器模塊，最右邊是Perception + Decision+Control模塊，以及中下的定位模塊。

在整個架構中，中間藍色部分的HeteroSync和DeepFusion是Roadstar的核心技術。基于這個技術，我們的感知和定位都能得到一個量級的提升。

這是Roadstar采用的神經網絡。中間網絡的具體架構部分被我省略了。大家可以看到我們的Input是來自于八維的高位數據，Output是3D Bounding Box。

這是Roadstar Daytime的Perception。在每個Bounding Box中，左上角是ID，右下角的是車速，可以看到我們準確地識別出路上的所有車以及行人。整個視頻我們是做了3倍速的加速。

從上面我們知道基于前融合的感知是如何的強大。在整個路測當中，在80米內的人和車基本都是沒有被miss掉的，我們得到一個非常高的Perception Recall。

大家可以看到，Roadstar在深度學習上有非常強的功底。我們在CITYSCAPES數據集上，目前在語義分割上是排第一。我們基于單一傳感器的激光雷達的感知目前在KITTI上也是居于前三。在我們前融合的內部Benchmark上，easy我們有接近99%的average precision，在Moderate和Hard基于前融合上能夠達到接近90%的水平。我覺得完美的感知是無人駕駛真正實現的前提。但我也知道多數公司其實并不敢把自己的感知顯示給客人看。但在Roadstar，任何過來試車的人都能看到完全跟上面視頻一樣的感知畫面以及感知體驗。

DeepFusion技術除了能夠在Perception上極大地提高感知，在地圖定位上也能夠極大地提高系統的魯棒性。對于傳統定位，比如今天阿波羅上用的是2D反射值定位，有著很大的缺陷。由于天然2D的特性，它在高架橋上以及在多層停車庫里面都是不工作的。另外，反射值地圖的定位，在對車的Hidden上，它無法做z和heading上的修正。Roadstar用了整個三維點云的信息以及Camera的信息，極大地提高了定位的效果。

這個視頻是我們在多層停車場中的定位效果。大家可以仔細看一下，整個停車場是沒有GPS信號的，整個車輛的定位是完全按照imu以及LiDAR的feature來做到的。

在這個視頻的右下角是Camera的View，也可以看到這是一個完全封閉的停車場，沒有任何的GPS信號，而且我們的車也長時間地停在車庫當中。

定位技術在中國特色的路況下是極其重要的。相比于美國的簡單場景，不少相當于中國的大農村，建筑一般都是不超過三層的。GPS在這種場景之下是不會有多次反射的影響，單靠GPS&IMU定位是足夠的。但中國城市化高，高樓大廈會極大地影響著GNSS系統的穩定性，如果沒有一套良好的設備，而Demo測試的場地往往都是在開放的場地上進行的，比如在政府大廳的一個開放路段上進行。待會我們會給大家放出，Roadstar在深圳的路測場景，整個都是在特別高的樹木遮擋下進行的。

Part4

最后講一講， Roadstar如何利用我們先進技術來加快商業落地以及商業化。

去年10月到11月份，我們就在硅谷實現了四小時長時間的無人工干預的測試。當時在蘋果總部等交通繁忙路段實現了完全的無人駕駛，包含非常常見的場景，比如紅燈右拐、換道匯入等等，整個車速應該是60邁/每小時。

今年2月份，我們在深圳西麗實現了高達50Km/h的路測，其中包含了中國特色的測試場景，比如緊急加塞、送外賣小哥逆行、中國式過馬路、翻欄桿等等幾個場景。現今為止，我們是唯一一家能夠做到在這種場景下測試的公司。

大家應該看完了剛才的視頻，中間有一些場景我們都做了解釋。最后可以看到有一個行人是緊急加塞，我們的車也做了準確的識別，并且做到減速避讓。

這是Roadstar的發展歷程。從去年5月份成立到今天還不到一年時間，Roadstar就實現了在中美兩地最復雜路況上的測試，而且我們是采用一個完全不同于第一代無人駕駛的解決方案。

之后我們會做無人車隊運營。在2018年，我們在深圳會鋪20輛乘用車，每個車輛配備一名安全員做一些數據的收集以及技術的驗證，向政府證明Roadstar可以安全地做到車輛的運營；2019年我們會跟車廠或者是Tier1進行合作，生產100臺無人車，同時跟出行公司或者是自己開發打車軟件，提供比較大范圍的出租車或專車服務。當然，在2019年我們依然會配備安全員，保證用戶的體驗。

經過這兩年的數據收集，Roadstar會配備1500臺車以上，然后做一個大范圍，比如深圳一個區或者是深圳市以上，這時車輛將不再配備安全員，并且使用遠程干預來實現運營。