日前，黑芝麻智能機器學習專家張蕾在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上發(fā)表了主題為“基于激光雷視融合的3D自動標注技術助力自動駕駛更上一層樓”的演講，分享了黑芝麻智能在3D數(shù)據(jù)自動標注方面的研發(fā)進展。

越來越多的新車開始配備激光雷達，以提高車輛的自主安全性和實現(xiàn)更高級別的輔助駕駛以及自動駕駛能力。然而，純人工3D標注和驗收的效率低、耗時長、成本高昂。而通過先進的AI技術，利用車載激光雷達和多攝像頭，可以自動地對車輛、行人、騎行人等動態(tài)道路使用者進行3D物體檢測，進而高效率地輔助甚至部分替代純人工標注。

日前，在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上，黑芝麻智能機器學習專家張蕾發(fā)表了主題為“基于激光雷視融合的3D自動標注技術助力自動駕駛更上一層樓”的演講，分享了黑芝麻智能在3D數(shù)據(jù)自動標注方面的研發(fā)進展。

自研系統(tǒng)性能方案比肩世界領先算法

在自動駕駛中需要用道路上目標物3D的位置進行規(guī)劃和決策，但傳統(tǒng)的攝像頭解決方案對于深度和3D位置的估計不夠準確。在采用了BEV技術以后，需要大量的真實3D標注的數(shù)據(jù)來輔助訓練BEV上的3D模型，這樣可以融合多個攝像頭的信息，直接去獲得3D世界的物體。

為此，黑芝麻智能自主設計和開發(fā)了一套基于激光雷達和多攝像頭進行3D自動標注的方案。該方案履行兩階段的方法，第一階段是先通過多幀點云的方式和圖像融合，得到初始的3D標注；第二階段是以物體為中心的3D精調，進一步提高3D檢測精準度。

對于3D物體框的精調，黑芝麻智能采用了兩種不同方案。靜態(tài)物體在多幀點云對齊以后，可以得到一個密度非常高的單個物體點云。在單幀點云里即使看不到一個物體的全貌，但經過以物體為中心的點云融合以后，基本上可以看到完整的物體形狀，這樣可以更好地估計其尺寸。另一方面，對于動態(tài)物體，它的軌跡會形成一個有用的信息，根據(jù)動態(tài)累計的點云也可以更好地估計其大小和空間上的位置。

張蕾介紹，黑芝麻智能的這一方案，融合了多種模態(tài)，目前包括360度激光雷達和六個攝像頭的信息，還有前融合和后融合的方式。在兩階段的模型里面，采用的是以物體為中心的點云對齊精調的方式，生成高度緊湊的3D目標檢測框。而多幀激光雷達點云的時序融合，能有效彌補單幀點云的稀疏和遮擋問題。同時，整個模型不同階段可以進行多種融合，下一階段還可以在整個模型的不同層次階段進行融合。另外，在采用了跟圖像檢測做后融合的方法以后，黑芝麻智能還將檢測物體的類別從三類擴展到十三類，并且還可以通過聚合的方式實現(xiàn)復雜不規(guī)則物體的檢測。與此同時，黑芝麻智能的方案，采用了模塊化設計，可根據(jù)不同需求增加、去除可選的處理環(huán)節(jié)，達到最優(yōu)化效益。

根據(jù)在Waymo公開數(shù)據(jù)上測試的結果，黑芝麻智能3D 物體自動標注系統(tǒng)的性能可以比肩世界領先算法的性能。

自建數(shù)據(jù)采集系統(tǒng)與完整的云服務平臺

基于華山二號A1000芯片，黑芝麻智能還可同時提供傳感器采集設備，客戶可基于這套設備同步采集360度旋轉激光雷達和6個1080p攝像頭數(shù)據(jù)，同時采集IMU、GPS、輪速編碼器等多種數(shù)據(jù)。

黑芝麻智能還可以對這一3D自動標注系統(tǒng)做進一步擴展，包括通過差異化的多模型集成來進一步提高算法準確度，通過運行時的數(shù)據(jù)增強來進一步提高算法準確度，通過半監(jiān)督學習和自監(jiān)督學習來訓練更好的模型，通過在神經網(wǎng)絡深層結構上的多傳感器融合來進一步提高模型能力，通過融合聚類方法來檢測未知的路面障礙物等等。

張蕾在演講結尾時表示，在開發(fā)基于激光雷達和多攝像頭的自動駕駛領域的 3D 物體自動標注系統(tǒng)的同時，黑芝麻智能可為客戶提供數(shù)據(jù)采集、數(shù)據(jù)預處理、3D 自動標注、人工標注及檢驗的云服務平臺。

審核編輯：湯梓紅