隨著自動駕駛技術的快速發展,車輛準確感知周圍環境的能力變得至關重要。BEV(Bird's-Eye-View,鳥瞰圖)感知技術,以其獨特的視角和強大的數據處理能力,正成為自動駕駛領域的一大研究熱點。
一、BEV感知技術概述
BEV感知技術,是一種從鳥瞰圖視角(俯視圖)出發的環境感知方法。與傳統的正視圖相比,BEV視角具有尺度變化小、視角遮擋少的顯著優勢,有助于網絡對目標特征的一致性表達。基于這樣的優勢,可以更有效的對車輛周圍環境進行感知。
![wKgZPGekS0aAf4l1AAQLZKjs27U606.png](https://file1.elecfans.com/web3/M00/07/44/wKgZPGekS0aAf4l1AAQLZKjs27U606.png)
圖1:BEV 感知圖
因此,在自動駕駛感知任務中,BEV感知算法通常包括分類、檢測、分割、跟蹤、預測、計劃和控制等多個子任務,共同構建起一個完整的感知框架。
BEV感知算法的數據輸入主要有圖像和點云兩種形式。根據數據源不同,BEV算法主要分為BEV Camera(純視覺)、BEV LiDAR(基于激光雷達)和BEV Fusion(多模態融合)三類。其中,圖像數據具有紋理豐富、成本低的優勢,此外,基于圖像的任務、基礎模型相對成熟和完善,比較容易擴展到 BEV 感知算法中。
為了更好的訓練BEV Camera感知算法,往往需要先搭建一個高質量的數據集。而搭建一套BEV感知數據采集系統,通常包括以下幾個關鍵環節:
1.硬件選型與集成:選合適的攝像頭和計算采集平臺,集成穩定系統。
2.數據采集:在實際環境中采集圖像數據,覆蓋不同場景、光照和天氣。
3.時間同步:確保不同傳感器數據時間精確同步,是后續算法訓練的必要前提。
4.系統調試和部署:調試系統確保組件協同工作,部署到實際應用環境。
因此,在實際搭建過程中,常會遇到技術復雜性高、成本投入大、數據質量與時間同步實現難、系統穩定性與可靠性要求高等挑戰。針對這些問題,康謀推出一套BEV Camera數據采集方案,能高效搭建高質量的BEV感知數據集,加速算法研發和訓練。
二、BEV Camera數據采集系統方案
BEV Camera數據系統采集方案以BRICKplus為核心系統平臺,通過擴展PCIe Slot ETH6000模塊連接6個iDS相機,利用GPS接收模塊獲取衛星時鐘信號,提供XTSS時間同步服務,并支持13路(g)PTP以太網接口,確保高精度時間同步。
BRICKplus搭載BRICK STORAGEplus硬盤,提供大容量高速存儲,滿足高帶寬數據采集需求,確保數據的完整性和可靠性。
![wKgZPGekS1KALc4nAAHtvlRHdGY130.png](https://file1.elecfans.com/web3/M00/07/45/wKgZPGekS1KALc4nAAHtvlRHdGY130.png)
圖2:系統集成
三、數據采集
在BEV Camera數據采集方案中,難點在于如何同步多相機的采集動作、確保數據的高精度時間同步以及高效傳輸。因此,在整個軟件方面,我們采用ROS+PEAK SDK方案進行深度集成,實現了多相機的參數配置、數據采集與傳輸。
為了更靈活應對實際采集環境需求,對相機(如曝光時間、幀率和分辨率等)參數進行了統一管理和存儲,這些參數可在節點啟動時通過配置文件動態加載,為相機的初始化提供了靈活性。
![wKgZO2ekS2CAYtoFAAQ5UWaa3Jw651.png](https://file1.elecfans.com/web3/M00/07/50/wKgZO2ekS2CAYtoFAAQ5UWaa3Jw651.png)
圖3:相機參數配置
為實現多相機的同步采集和高效傳輸,我們利用了ROS的多線程和節點管理功能。通過為每個相機創建獨立的采集線程,并啟動采集循環,確保了每個相機的采集過程獨立且高效。引入全局控制信號與信號處理機制,確保了統一管理所有相機的采集和同步結束狀態。
![wKgZO2ekS2iADveVAAKY02pVN1Q698.png](https://file1.elecfans.com/web3/M00/07/50/wKgZO2ekS2iADveVAAKY02pVN1Q698.png)
圖4:相機實時可視化
四、時間同步
為了實現多相機的時間同步,一般有兩種方式:軟時間同步和硬件時間同步。軟時間同步主要依賴于軟件層面的算法和協議來實現時間同步。其精度通常在微秒級別,適用于對時間同步精度要求不是較高的場景。
![wKgZO2ekS2-ACqa-AAVfVnmQcOk373.png](https://file1.elecfans.com/web3/M00/07/50/wKgZO2ekS2-ACqa-AAVfVnmQcOk373.png)
圖5:多相機軟件時間同步
為了應對時間同步精度要求較高的采集場景,如自動駕駛和高精度測量等。在BEV Camera數據采集方案中,進一步支持相機進行硬件時間同步。通過XTSS軟件可以有效管理數采平臺的時間同步功能,能夠快速輕便配備各個傳感器的時間同步配置。
![wKgZO2ekS3eAFN7-AAJkEPs3Dgo058.png](https://file1.elecfans.com/web3/M00/07/50/wKgZO2ekS3eAFN7-AAJkEPs3Dgo058.png)
圖6:XTSS 時間同步管理
通過GPS模塊提供高精度的時間基準,并利用支持硬件時間戳的以太網接口直接捕獲數據包的時間戳。其時間同步精度可以達到納秒級別,具備高穩定性,不受軟件和網絡延遲影響。
![wKgZPGekS36AKiUbAAVwg4AntII188.png](https://file1.elecfans.com/web3/M00/07/45/wKgZPGekS36AKiUbAAVwg4AntII188.png)
圖7:多相機硬件時間同步
五、總結
在自動駕駛技術的快速發展中,BEV Camera數據采集系統的構建至關重要。通過采用BRICKplus平臺,結合PCIe Slot ETH6000模塊和iDS相機,我們實現了多相機的高效數據采集和存儲。通過ROS+PEAK SDK的深度集成,實現了多相機的參數配置、數據采集與傳輸。利用GPS接收模塊和XTSS時間同步服務,確保了多相機的高精度時間同步。
康謀的BEV Camera數據采集方案有效解決了多相機同步采集和高精度時間同步的難題,還提供了靈活的相機參數配置和高效的數據傳輸,能夠滿足自動駕駛和高精度測量等場景的需求。
-
傳感器
+關注
關注
2553文章
51467瀏覽量
756940 -
數據采集
+關注
關注
39文章
6267瀏覽量
114097 -
時間同步
+關注
關注
1文章
124瀏覽量
10057 -
智能汽車
+關注
關注
30文章
2899瀏覽量
107598 -
汽車
+關注
關注
13文章
3617瀏覽量
37695
發布評論請先 登錄
相關推薦
康謀方案 | 多源相機數據采集與算法集成測試方案
![<b class='flag-5'>康</b><b class='flag-5'>謀</b><b class='flag-5'>方案</b> | 多源<b class='flag-5'>相機</b><b class='flag-5'>數據采集</b>與算法集成測試<b class='flag-5'>方案</b>](https://file1.elecfans.com/web3/M00/01/D9/wKgZO2dY8cyAF--ZAACg57KebCg687.png)
高速數據采集卡的中子檢測解決方案
高精度數據采集系統如何進行調試?
求幫忙考慮一個遠距離多相機同步的解決方案
ADS1278在高精度數據采集系統中的應用
高精度電池管理數據采集前端IC
USB的高精度多通道數據采集卡設計
![USB的<b class='flag-5'>高精度</b>多通道<b class='flag-5'>數據采集</b>卡設計](https://file1.elecfans.com//web2/M00/A5/8E/wKgZomUMOPiAY_O2AAC9SaEC0rk530.jpg)
無線數據采集時間同步協議研究
![無線<b class='flag-5'>數據采集</b><b class='flag-5'>時間</b><b class='flag-5'>同步</b>協議研究](https://file.elecfans.com/web2/M00/48/D4/pYYBAGKhtCeAF0zlAAAOewPScKw345.jpg)
基于ARM/FPGA的高速多通道同步數據采集解決方案(恒頤)
DSP與FPGA的高精度數據采集系統設計方案
![DSP與FPGA的<b class='flag-5'>高精度數據采集</b>系統設計<b class='flag-5'>方案</b>](https://file.elecfans.com/web2/M00/4A/1B/pYYBAGKhvJmAd0B0AAAzoysGIGU734.png)
康謀技術 | 自動駕駛:揭秘高精度時間同步技術(二)
![<b class='flag-5'>康</b><b class='flag-5'>謀</b><b class='flag-5'>技術</b> | 自動駕駛:揭秘<b class='flag-5'>高精度</b><b class='flag-5'>時間</b><b class='flag-5'>同步</b><b class='flag-5'>技術</b>(二)](https://file1.elecfans.com/web2/M00/EB/DE/wKgZomZgE5WAfn15AACf3oCnobQ752.png)
評論