佐思汽研發(fā)布《2022年中國自動駕駛數(shù)據(jù)閉環(huán)研究報告》。
一、自動駕駛發(fā)展逐步從技術(shù)驅(qū)動轉(zhuǎn)向數(shù)據(jù)驅(qū)動
如今,自動駕駛傳感器方案及計算平臺已日趨同質(zhì)化,供應(yīng)商技術(shù)差距日益收窄。近兩年自動駕駛技術(shù)迭代飛速推進,量產(chǎn)落地加速。根據(jù)佐思數(shù)據(jù)中心,2021年,國內(nèi)L2級輔助駕駛乘用車上險量累計達479.0萬輛,同比增長 58.0%。2022年1-6月,中國L2級輔助駕駛在乘用車新車市場滲透率攀升至32.4%。
對于自動駕駛而言,數(shù)據(jù)貫穿研發(fā)、測試、量產(chǎn)、運營維護等全生命周期。伴隨智能網(wǎng)聯(lián)汽車傳感器數(shù)量的快速增加,ADAS和自動駕駛車輛數(shù)據(jù)的生成量也呈現(xiàn)指數(shù)級增長,從GB到TB、PB、EB直至將來的ZB。以數(shù)據(jù)驅(qū)動的汽車進化,滿足用戶個性化的需求,車企才能走實走遠。
根據(jù)《汽車采集數(shù)據(jù)處理安全指南》,汽車采集數(shù)據(jù)是指汽車傳感設(shè)備、控制單元采集的數(shù)據(jù),以及對其進行加工后產(chǎn)生的數(shù)據(jù),可細分為車外數(shù)據(jù)、座艙數(shù)據(jù)、運行數(shù)據(jù)和位置軌跡數(shù)據(jù)等。
根據(jù)網(wǎng)信辦2021年8月頒布的《汽車數(shù)據(jù)安全管理若干規(guī)定(試行)》對汽車數(shù)據(jù)收集、分析、存儲、傳輸、查詢、應(yīng)用、刪除等全流程做了詳細的規(guī)定。在開展汽車數(shù)據(jù)處理過程中堅持“車內(nèi)處理”、“默認不收集”、“精度范圍適用”、“脫敏處理”等數(shù)據(jù)處理原則,減少對汽車數(shù)據(jù)的無序收集和違規(guī)濫用。在自動駕駛技術(shù)開發(fā)過程中,數(shù)據(jù)收集及處理等首先要合法合規(guī)。
數(shù)據(jù)采集/清洗
從汽車攝像頭、毫米波雷達、激光雷達及超聲波雷達收集來的大量非結(jié)構(gòu)化數(shù)據(jù)(圖像、視頻、語音)可能是原始的和混亂的。為使數(shù)據(jù)有意義,需對其進行清理、結(jié)構(gòu)化與整理。首先將來自多個來源的數(shù)據(jù)導(dǎo)入適當(dāng)?shù)拇鎯欤瑯?biāo)準(zhǔn)化數(shù)據(jù)格式,并根據(jù)相關(guān)規(guī)則進行聚合。而后檢查損壞、重復(fù)或丟失的數(shù)據(jù)點,并丟棄可能影響數(shù)據(jù)集整體質(zhì)量的不需要的數(shù)據(jù)。最后,用標(biāo)簽對在不同條件下捕獲的視頻進行分類,例如白天、夜晚、晴天、下雨等。此步驟提供了對將用于訓(xùn)練、驗證的清洗后的結(jié)構(gòu)化數(shù)據(jù)。
數(shù)據(jù)標(biāo)注
對數(shù)據(jù)采集后經(jīng)過清洗的結(jié)構(gòu)化數(shù)據(jù)需要進行標(biāo)注。標(biāo)注是將編碼值分配給原始數(shù)據(jù)的過程。編碼值包括但不限于分配類標(biāo)簽、繪制邊界框和標(biāo)記對象邊界。需要高質(zhì)量的標(biāo)注來教授監(jiān)督學(xué)習(xí)模型對象是什么以及測量訓(xùn)練模型的性能。
在自動駕駛領(lǐng)域,數(shù)據(jù)標(biāo)注處理的場景通常包括換道超車、通過路口、無紅綠燈控制的無保護左轉(zhuǎn)、右轉(zhuǎn),以及一些復(fù)雜的長尾場景諸如闖紅燈車輛、橫穿馬路的行人、路邊違章停靠的車輛等。
常用的標(biāo)注工具包括圖片通用拉框、車道線標(biāo)注、駕駛員面部標(biāo)注、3D點云標(biāo)注、2D/3D融合標(biāo)注、全景語義分割等。由于大數(shù)據(jù)的發(fā)展和大型數(shù)據(jù)集數(shù)量的增加,數(shù)據(jù)標(biāo)注工具的使用不斷迅速擴大。
數(shù)據(jù)傳輸
如今,數(shù)據(jù)采集的頻率已進入毫秒級別,需要的是數(shù)千個信號維度(如總線信號、傳感器內(nèi)部狀態(tài)、軟件埋點、用戶行為及環(huán)境感知數(shù)據(jù)等)的高精度數(shù)據(jù),同時避免數(shù)據(jù)丟失、亂序、跳變及延時,并在高精度高質(zhì)量前提下,極大壓縮傳輸/存儲成本。車聯(lián)網(wǎng)數(shù)據(jù)的上下行鏈路比較長(從車端MCU、DCU、網(wǎng)關(guān)、4G/5G到云端)需要保證各鏈路節(jié)點的數(shù)據(jù)傳輸質(zhì)量。
針對數(shù)據(jù)傳輸?shù)男伦兓糠制髽I(yè)已能提供高效的數(shù)據(jù)采集及車云一體傳輸方案,例如智協(xié)慧同EXCEEDDATA靈活數(shù)采平臺方案,在車端邊緣計算環(huán)境基于實時數(shù)據(jù),實現(xiàn)了10毫秒級實時運算,用于觸發(fā)靈活數(shù)據(jù)采集上傳功能,上傳的數(shù)據(jù)已經(jīng)經(jīng)過計算和篩選,顯著降低上傳的數(shù)據(jù)量。此外對車端原始信號進行100-300倍無損壓縮和存儲,云端管理平臺保存無損高壓縮比的車端高質(zhì)量信號, 支持數(shù)采算法的下發(fā)、多種采集模式的觸發(fā)、采集數(shù)據(jù)實時上傳到業(yè)務(wù)桌面的一鍵式下載,按車輛、按事件、按時間段等多重靈活篩選,隨用隨解,存算分離,實現(xiàn)了車云同構(gòu)的數(shù)據(jù)采集-計算-上傳-加工的閉環(huán);2021年,國內(nèi)首個搭載智協(xié)慧同EXCEEDDATA解決方案的量產(chǎn)車型已落地(高合HiPhiX)。
來源:智協(xié)慧同
數(shù)據(jù)存儲
為更清晰感知周圍環(huán)境,自動駕駛汽車增配更多傳感器,并生成大量數(shù)據(jù)。一些高等級自動駕駛系統(tǒng)甚至配置40多個各類傳感器,對車輛周邊360°環(huán)境準(zhǔn)確感知。自動駕駛系統(tǒng)的研發(fā)需經(jīng)過數(shù)據(jù)采集、數(shù)據(jù)匯聚、清洗標(biāo)記、模型訓(xùn)練、模擬仿真、大數(shù)據(jù)分析等多個環(huán)節(jié),期間涉及對海量數(shù)據(jù)的匯聚存儲,不同環(huán)節(jié)不同系統(tǒng)之間的數(shù)據(jù)流轉(zhuǎn),以及模型訓(xùn)練時對海量數(shù)據(jù)的讀寫。數(shù)據(jù)面臨存儲瓶頸的新挑戰(zhàn)。
為此,眾多云服務(wù)提供商在這方面的技術(shù)和能力成為了幫助車企制勝的關(guān)鍵。比如亞馬遜云科技AWS以自動駕駛數(shù)據(jù)湖為中心,助力車企構(gòu)建起端到端的自動駕駛數(shù)據(jù)閉環(huán)。借助Amazon Simple Storage Service (Amazon S3,云上對象存儲服務(wù))構(gòu)建自動駕駛數(shù)據(jù)湖,實現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)管理和分析、數(shù)據(jù)標(biāo)注、模型和算法開發(fā)、仿真驗證、地圖開發(fā)以及DevOps和MLOps,車企能更加容易地實現(xiàn)自動駕駛?cè)鞒痰拈_發(fā)、測試和應(yīng)用。
來源:AWS 在國內(nèi)的科技巨頭中,以百度數(shù)據(jù)閉環(huán)解決方案為例,其數(shù)據(jù)存儲提供路側(cè)及車輛多源數(shù)據(jù)信息的數(shù)據(jù)檢索服務(wù),用于業(yè)務(wù)平臺的海量數(shù)據(jù)查找,具備多維度檢索(車輛信息、里程數(shù)、自動駕駛時長等)、數(shù)據(jù)生產(chǎn)到銷毀的整個生命周期的管理、支持全景數(shù)據(jù)視圖、數(shù)據(jù)溯源和數(shù)據(jù)開放共享等優(yōu)勢。
百度自動駕駛數(shù)據(jù)閉環(huán)解決方案架構(gòu)
來源:百度
二、自動駕駛高效開發(fā)需構(gòu)建數(shù)據(jù)閉環(huán)系統(tǒng)
自動駕駛發(fā)展從技術(shù)驅(qū)動轉(zhuǎn)向了數(shù)據(jù)驅(qū)動,但是數(shù)據(jù)驅(qū)動的商業(yè)模式面臨諸多困難。
海量數(shù)據(jù)處理難:高等級自動駕駛測試車每天采集的數(shù)據(jù)量是TB級別的,開發(fā)團隊需要PB級的存儲空間,但這些數(shù)據(jù)中,可用于訓(xùn)練的價值數(shù)據(jù)約只占不到5%。且對車載攝像頭、激光雷達、高精定位等傳感器采集的數(shù)據(jù)還有嚴(yán)格的安全合規(guī)要求,無疑對海量數(shù)據(jù)的接入、存儲、脫敏、處理等帶來了極大的挑戰(zhàn)。
數(shù)據(jù)標(biāo)注成本高:數(shù)據(jù)標(biāo)注占據(jù)了大量的人力和時間成本。隨自動駕駛高階能力的發(fā)展,場景復(fù)雜度持續(xù)提升,會出現(xiàn)更多的難例場景。而提升車輛感知模型的精度,則對訓(xùn)練數(shù)據(jù)集的規(guī)模和質(zhì)量提出了更高要求。傳統(tǒng)人工標(biāo)注在效率和成本方面,已難以滿足模型訓(xùn)練對海量數(shù)據(jù)集的需求。
仿真測試效率低:虛擬仿真是加速自動駕駛算法訓(xùn)練的有效手段,但仿真場景構(gòu)建難、還原度低,尤其是一些復(fù)雜、危險場景,很難構(gòu)建。加之并行仿真能力不足,仿真測試的效率低,算法的迭代周期過長。
高精地圖覆蓋少:高精地圖主要還是靠自采集、自制圖,僅滿足試驗階段指定道路的場景。后續(xù)要走向商用,擴展到全國各大城市的城區(qū)街道,在覆蓋、動態(tài)更新,以及成本和效率方面都面臨著非常突出的挑戰(zhàn)。
為了解決各種困難和問題,自動駕駛高效開發(fā)需構(gòu)建高效的數(shù)據(jù)閉環(huán)系統(tǒng)。
來源:福瑞泰克
就自動駕駛數(shù)據(jù)閉環(huán)而言,在自動駕駛落地過程中需要不斷解決Corner Cases,為此必須擁有足夠多的數(shù)據(jù)樣本以及便捷的車端驗證方式。影子模式就是解決Corner Cases的最佳解決方案之一。
影子模式由特斯拉2019年4月提出并應(yīng)用到車端,進行相關(guān)決策的對比和觸發(fā)數(shù)據(jù)上傳。利用售出車輛上的自動駕駛軟件持續(xù)記錄傳感器探測的數(shù)據(jù),在適當(dāng)時間選擇性回傳用于機器學(xué)習(xí)、改進原來的自動駕駛算法。
Dojo超級計算機能利用海量視頻數(shù)據(jù),做無人監(jiān)管標(biāo)注和訓(xùn)練。
2021年特斯拉全球交付93.62萬輛汽車,其中中國工廠交付了48.41萬輛。2022年上半年交付56萬輛。特斯拉利用量產(chǎn)優(yōu)勢,通過影子模式不斷優(yōu)化算法。利用影子模式,通過百萬已售車輛做測試車輛,對周圍感知以及特殊路況進行捕捉,不斷強化對于不確定性事件的預(yù)測和規(guī)避、學(xué)習(xí)能力。因為有百萬量級的已售車輛支撐,覆蓋的Corner Cases及極端工況就會更全面,靈活觸發(fā)式采集的高質(zhì)量數(shù)據(jù)能迭代出更優(yōu)質(zhì)的算法,而算法迭代的卓越度又決定著軟件的價值。從軟件升級訂閱服務(wù)來講,數(shù)據(jù)閉環(huán)的爆發(fā)力才剛剛嶄露頭角。
三、數(shù)據(jù)閉環(huán)成為自動駕駛迭代升級的核心
自動駕駛系統(tǒng)不斷迭代的前提是算法的持續(xù)優(yōu)化,而算法的卓越度又取決于數(shù)據(jù)閉環(huán)系統(tǒng)的效能,數(shù)據(jù)在自動駕駛開發(fā)每個場景的高效能流轉(zhuǎn)至關(guān)重要,數(shù)據(jù)智能化將成為加速自動駕駛量產(chǎn)的關(guān)鍵。
2021年12月,毫末智行正式發(fā)布了國內(nèi)首個自動駕駛數(shù)據(jù)智能體系MANA雪湖,從感知、認知、標(biāo)注、仿真、計算五大能力方面加速自動駕駛技術(shù)的演進。未來三年毫末輔助駕駛系統(tǒng)可搭載超100萬臺乘用車。毫末智行依靠其全自研的自動駕駛系統(tǒng),在數(shù)據(jù)的積累、處理、應(yīng)用上取得了顯著優(yōu)勢。海量數(shù)據(jù)帶來技術(shù)迭代優(yōu)勢。降本增效優(yōu)勢明顯。
再比如,Momenta實現(xiàn)了領(lǐng)先的全流程數(shù)據(jù)驅(qū)動的技術(shù)能力,包括感知、融合、預(yù)測和規(guī)控等算法模塊都可以通過數(shù)據(jù)驅(qū)動的方式高效的迭代與更新。其閉環(huán)自動化(Closed Loop Automation)是一整套讓數(shù)據(jù)流推動數(shù)據(jù)驅(qū)動的算法自動迭代的工具鏈。CLA能自動篩選出海量黃金數(shù)據(jù),驅(qū)動算法的自動迭代,讓自動駕駛飛輪越轉(zhuǎn)越快。
來源:Momenta
軟件定義汽車背景下,數(shù)據(jù)、算法和算力是自動駕駛開發(fā)的三駕馬車。車企研發(fā)周期縮短、功能迭代加速,未來能夠持續(xù)地低成本、高效率、高效能收集數(shù)據(jù),并通過真實數(shù)據(jù)迭代算法,最終形成數(shù)據(jù)閉環(huán)及商業(yè)閉環(huán)是自動駕駛企業(yè)可持續(xù)發(fā)展的關(guān)鍵所在。
審核編輯 :李倩
-
傳感器
+關(guān)注
關(guān)注
2564文章
52760瀏覽量
765116 -
自動駕駛
+關(guān)注
關(guān)注
788文章
14257瀏覽量
170076 -
智能網(wǎng)聯(lián)汽車
+關(guān)注
關(guān)注
9文章
1150瀏覽量
31473
原文標(biāo)題:數(shù)據(jù)閉環(huán)研究:自動駕駛發(fā)展從技術(shù)驅(qū)動轉(zhuǎn)向數(shù)據(jù)驅(qū)動
文章出處:【微信號:zuosiqiche,微信公眾號:佐思汽車研究】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
2024-2025年新車及供應(yīng)商發(fā)展趨勢分析
中汽中心出席2024年中國電池ID成果發(fā)布會
自動駕駛域控研究:One board/One Chip方案將對汽車供應(yīng)鏈產(chǎn)生深遠影響

評論