91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

S3E:用于協作SLAM的大規模多模態數據集

3D視覺工坊 ? 來源:3D視覺工坊 ? 作者:3D視覺工坊 ? 2022-11-04 11:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

0. 引言

機器人協作在搜索救援、工業自動化、智慧農業等領域發展迅猛,而協同SLAM(C-SLAM)是實現多機器人協作的核心技術。現有的EuRoc、KITTI等數據集雖然在單機SLAM領域發揮了重要作用,但卻很難去評價多機協同的軌跡和建圖精度。近日,中山大學團隊開發了一種用于協作SLAM的大規模多模態數據集,由3個無人車沿四種軌跡采集,包含7個室外場景和5個室內場景。這是第一個使用各種室內和室外環境的激光雷達、視覺和慣性數據的C-SLAM數據集,研究機器人協作的小伙伴一定不要錯過!

2. 摘要

隨著使用一組機器人協作完成任務的要求越來越高,研究界對協作同步定位和地圖繪制越來越感興趣。不幸的是,現有的數據集在它們捕獲的協作軌跡的規模和變化方面是有限的,盡管不同主體之間的交互軌跡的一般化對于協作任務的整體可行性是至關重要的。為了幫助將研究社區的貢獻與現實世界的多主體協調SLAM問題結合起來,我們引入了S3E,這是一個由無人駕駛地面車輛車隊沿著四個設計的協作軌跡范例捕獲的新的大規模多模態數據集。S3E由7個室外和5個室內場景組成,每個場景都超過200秒,由同步和校準良好的高質量雙目相機、激光雷達和高頻IMU數據組成。至關重要的是,我們的努力在數據集大小、場景可變性和復雜性方面超過了以前的嘗試。它的平均記錄時間是開創性的EuRoC數據集的4倍。我們還提供仔細的數據集分析以及協作SLAM和單個對應方的基線。

3. 數據集介紹

3.1 數據采集車

如圖1所示是用于采集S3E數據集的無人車,每個無人車上都有2個高分辨率彩色相機、1個16線激光雷達、1個9軸IMU以及1個雙天線RTK。表1所示是無人車所使用傳感器的具體參數。 表1 傳感器設備參數

9c51d56a-5bf0-11ed-a3b6-dac502259ad0.png

無人車所使用的平臺是Agilex Scout Mini,它是一款四輪驅動、最高車速10km/h的全地形高速遙控移動平臺。在具體的數據采集過程中,作者使用Velodyne VLP-16 Puck來記錄360°點云數據。使用兩臺HikRobot MV-CS050-10GC GigE相機采集雙目視覺數據,其中雙目相機的基線為360mm,圖像通過全局快門掃描捕獲,并從原始圖像降采樣到1224x1024。此外,還使用9軸Xsens MTi-30-2A8G4 IMU記錄三個加速度計和三個陀螺儀。為了進行驗證和測試,作者還使用Femtomes Nano-D RTK配備雙天線在GNSS可用區域捕獲軌跡真值,真值采集頻率為1 Hz。無人車平臺上所有傳感器的安裝位置如圖2所示,采集到的S3E數據集樣例如圖3所示。

9c79b454-5bf0-11ed-a3b6-dac502259ad0.jpg

圖2 傳感器布局和坐標系

9c985ca6-5bf0-11ed-a3b6-dac502259ad0.jpg

圖3 S3E數據集的數據示例,每行都顯示了不同平臺同時捕捉到的雙目圖像和點云。

3.2 傳感器同步

在多傳感器融合中,時間同步和傳感器校準至關重要。因此,作者在此方面也做了很多的工作。 (1) 時間同步:如圖4所示,S3E的同步系統使用Altera EP4CE10板作為觸發器,Intel NUC11TNKv7作為主機。對于不同機器人間的同步,作者把這個問題分成兩種情況來討論。首先,應用GNSS時間作為室外場景中的全局時間源來校準機器人的計時器。之后,在無GNSS系統中(室內場景),所有機器人運行時間校準程序,通過無線網絡從PTP服務器獲取外部全局時間數據。 對于內部同步,觸發單元周期性地產生脈沖來觸發激光雷達、雙目攝像機和IMU。值得注意的是,FPGA產生1 Hz脈沖來觸發激光雷達,然后激光雷達返回10 Hz數據,并在接收到觸發信號后刷新內部計數器寄存器。攝像機和IMU在收到觸發脈沖后立即返回數據。 (2) 傳感器校準:在圖2所示的傳感器布局中,所有的坐標系都遵循右手定則。作者使用標準棋盤校準來運行相機的內部校準。對于激光雷達和IMU,由廠家進行內部傳感器校準。之后進行雙目相機聯合標定和激光雷達-相機聯合標定。此外,在利用Allan標準差對IMU噪聲建模后,作者還進行了相機和IMU的聯合標定。

9cc67f78-5bf0-11ed-a3b6-dac502259ad0.jpg

圖4 基于FPGA的同步系統架構

3.3 軌跡范例

如圖5所示,在S3E數據集中,作者設計了遵循四種不同的機器人內/機器人間規范的閉環軌跡。 第一種軌跡是C-SLAM應用中的典型情況,即機器人編隊同時繞目標運行,主要用于對目標進行稠密三維重建。第二個軌跡模擬區域搜索和救援任務,每個機器人在不同的區域搜索,并在交互過程中與其他機器人共享信息。這種情況要求C-SLAM算法在小的公共區域內具有可靠的機器人內部閉環能力和高效的機器人之間閉環能力。第三條軌跡集中于僅具有機器人間環路閉合的場景,所有的機器人都從不同的地方開始,并在路徑中的一些會合點前進,最后在同一個地方相遇。第四條軌跡中,機器人從不同的地方開始,終點是同一個地點。這種情況在C-SLAM中非常困難,因為所有的機器人只在終點相遇,幾乎沒有為回環提供任何信息。 圖6顯示了室外環境中S3E數據集的軌跡,它包含校園內五個有代表性的功能區域,即廣場、圖書館、學院、操場和宿舍。

9cff2f4e-5bf0-11ed-a3b6-dac502259ad0.jpg

圖5 四種軌跡范例

9d3b956a-5bf0-11ed-a3b6-dac502259ad0.jpg

圖6 S3E數據集的室外軌跡,Alpha、Bob和Carol在室外環境中的軌跡用橙色、紫色和青色標注。 S3E數據集的室外和室內分布情況如表2所示,與其他主流SLAM數據集的對比如表3所示。S3E數據集的平均時間為459.1s,這對解決C-SLAM的長期評估問題具有較大幫助。值得注意的是,對于每個設計的軌跡,該數據集至少包含一個序列。此外,Dormitory為第三類和第四類的混合軌跡,Laboratory_1為第二類和第四類的混合軌跡。 表2 S3E數據集分析

9d6e1ae4-5bf0-11ed-a3b6-dac502259ad0.png

表3 與一些流行的SLAM數據集的對比

9da1b688-5bf0-11ed-a3b6-dac502259ad0.png

4. 實驗

4.1 基線

如表4所示,作者在S3E數據集上提供了四個單機器人SLAM和三個C-SLAM基線,評價指標為ATE,均是目前的主流SLAM算法。其中前者包括ORB-SLAM3、VINS-Fusion、LIO-SAM以及LVI-SAM。后者包括COVINS、DiSCo-SLAM以及DCL-SLAM。 作者采用了三種方法來生成軌跡真值:在GNSS可用區域,由雙天線RTK設備記錄的厘米級定位真值。對于無GNSS的場景,用RTK設備記錄建筑物外軌道的起點和終點。并利用運動捕捉設備來記錄室內情況下的起點和終點。 表4 室外環境下單SLAM和C-SLAM的基準ATE。α、β和γ分別代表ALPHA、BOB和CAROL

9dccb8c4-5bf0-11ed-a3b6-dac502259ad0.png

4.2 結果對比

對于單機器人SLAM,基于激光雷達的方法通常優于基于視覺的方法。在S3E中,大多數基于視覺的方法在轉彎時無法跟蹤幀,因此,基于LiDAR的C-SLAM超過了基于視覺的C-SLAM。同時,C-SLAM在成功檢測到回環時,可以狀態估計的魯棒性和準確性。例如DCL-SLAM相比其前端LIO-SAM,平均ATE降低了0.42。在Playground_1序列中,部署單LIO-SAM時,同心圓Alpha和Bob均無法跟蹤幀,單通過DCL-SLAM可以成功跟蹤,并且精度實現了大幅提升。在Square_1中,COVINS以7.09的ATE超過了單SLAM,Carol在ORB-SLAM3失敗時通過協作實現了1.75 ATE。 如圖7所示,紅色圓圈表示C-SLAM成功檢測到回環。在左側,DiSCo-SLAM和DCL-SLAM在簡單的情況下取得成功,因為不同觀測之間的大量重疊保證了后端優化的冗余特性。與DCL-SLAM相比,COVINS在兩個機器人同向移動的端點處成功檢測到不同機器人之間的回環,但在兩個機器人相對移動的中點處未能匹配到Bob和Carol之間的特征。這也是DCL-SLAM優于COVINS的原因之一。結果表明,先進的C-SLAM系統可以在具有相當大重疊度的軌跡間表現良好。

9e90a446-5bf0-11ed-a3b6-dac502259ad0.png

圖7 C-SLAM的定性結果

5. 結論

近期,中山大學開發了一種由三個無人車記錄的大規模C-SLAM數據集,它包含激光雷達-視覺-IMU數據。S3E數據集包含7個室外場景和5個室內場景,并進行了時間同步和傳感器校準。此外,S3E數據集中包含了多個回環檢測,并評估了當前最先進的C-SLAM及其單機器人前端比較器的性能。多機協同是機器人領域的一個重要發展趨勢,而目前多機數據集還較少,S3E很大程度上填補了這方面的空白。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    213

    文章

    29741

    瀏覽量

    212871
  • 計時器
    +關注

    關注

    1

    文章

    432

    瀏覽量

    33746
  • 數據集
    +關注

    關注

    4

    文章

    1224

    瀏覽量

    25447

原文標題:S3E:用于協作SLAM的大規模多模態數據集

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    三維高斯潑濺大規模視覺SLAM系統解析

    近期興起的神經輻射場(NeRF)與三維高斯潑濺(3DGS)技術在視覺SLAM中展現出令人鼓舞的突破性成果。然而,當前主流方法依賴RGBD傳感器,并且僅適用于室內環境。在
    的頭像 發表于 05-27 14:13 ?337次閱讀
    三維高斯潑濺<b class='flag-5'>大規模</b>視覺<b class='flag-5'>SLAM</b>系統解析

    薄型、頻段、大規模物聯網前端模塊 skyworksinc

    電子發燒友網為你提供()薄型、頻段、大規模物聯網前端模塊相關產品參數、數據手冊,更有薄型、頻段、大規模物聯網前端模塊的引腳圖、接線圖、封
    發表于 05-15 18:32
    薄型、<b class='flag-5'>多</b>頻段、<b class='flag-5'>大規模</b>物聯網前端模塊 skyworksinc

    東軟集團入選國家數據數據標注優秀案例

    近日,東軟飛標醫學影像標注平臺在國家數據局發布數據標注優秀案例名單中排名第一(案例名稱“模態醫學影像智能
    的頭像 發表于 05-09 14:37 ?473次閱讀

    愛芯通元NPU適配Qwen2.5-VL-3B視覺模態大模型

    熟悉愛芯通元NPU的網友很清楚,從去年開始我們在端側模態大模型適配上一直處于主動緊跟的節奏。先后適配了國內最早開源的模態大模MiniCPM V 2.0,上海人工智能實驗室的書生
    的頭像 發表于 04-21 10:56 ?1431次閱讀
    愛芯通元NPU適配Qwen2.5-VL-<b class='flag-5'>3</b>B視覺<b class='flag-5'>多</b><b class='flag-5'>模態</b>大模型

    DD10-36S24E3C2 DD10-36S24E3C2

    電子發燒友網為你提供AIPULNION(AIPULNION)DD10-36S24E3C2相關產品參數、數據手冊,更有DD10-36S24E3C2的引腳圖、接線圖、封裝手冊、中文資料、英文資料,DD10-36
    發表于 03-20 18:47
    DD10-36<b class='flag-5'>S24E3</b>C2 DD10-36<b class='flag-5'>S24E3</b>C2

    DD6-05S24E3C2 DD6-05S24E3C2

    電子發燒友網為你提供AIPULNION(AIPULNION)DD6-05S24E3C2相關產品參數、數據手冊,更有DD6-05S24E3C2的引腳圖、接線圖、封裝手冊、中文資料、英文資料,DD6-05
    發表于 03-20 18:46
    DD6-05<b class='flag-5'>S24E3</b>C2 DD6-05<b class='flag-5'>S24E3</b>C2

    FK6-36S24E2C3 FK6-36S24E2C3

    電子發燒友網為你提供AIPULNION(AIPULNION)FK6-36S24E2C3相關產品參數、數據手冊,更有FK6-36S24E2C3的引腳圖、接線圖、封裝手冊、中文資料、英文資料,FK6-36
    發表于 03-20 18:41
    FK6-36<b class='flag-5'>S24E2C3</b> FK6-36<b class='flag-5'>S24E2C3</b>

    ?模態交互技術解析

    模態交互 模態交互( Multimodal Interaction )是指通過多種感官通道(如視覺、聽覺、觸覺等)或多種交互方式(如語音、手勢、觸控、眼動等)與計算機系統進行自然、
    的頭像 發表于 03-17 15:12 ?2042次閱讀

    體驗MiniCPM-V 2.6 模態能力

    模態組網
    jf_23871869
    發布于 :2025年01月20日 13:40:48

    商湯日日新模態大模型權威評測第一

    剛剛,商湯科技日日新SenseNova模態大模型,在權威綜合評測權威平臺OpenCompass的模態評測中取得榜單第一。
    的頭像 發表于 12-20 10:39 ?1020次閱讀

    用于SLAM中點云地圖綜合評估的開源框架

    SLAM中評估大規模的點云地圖仍頗具挑戰,主要原因在于缺乏統一、穩健且高效的評估框架。本文提出了MapEval,這是一個用于點云地圖綜合評估的開源框架。在模擬數據
    的頭像 發表于 12-13 11:18 ?1002次閱讀
    <b class='flag-5'>用于</b><b class='flag-5'>SLAM</b>中點云地圖綜合評估的開源框架

    利用VLM和MLLMs實現SLAM語義增強

    SLAM Using Foundation Models ? 作者: Jungseok Hong, Ran Choi, John J. Leonard ? 論文鏈接: https://arxiv.org/abs/2411.06752 ? 編譯: INDEMIND ? 數據
    的頭像 發表于 12-05 10:00 ?1383次閱讀
    利用VLM和MLLMs實現<b class='flag-5'>SLAM</b>語義增強

    超聲界“內卷終結者”!ZRT智銳通提供全新引擎打造模態影像融合系統

    模態影像融合超聲系統的市場規模也在不斷擴大,國內眾多超聲系統廠家也在不斷尋找合適的硬件平臺,用以承載旗下的模態影像融合超聲系統。
    的頭像 發表于 11-11 10:52 ?1218次閱讀
    超聲界“內卷終結者”!ZRT智銳通提供全新引擎打造<b class='flag-5'>多</b><b class='flag-5'>模態</b>影像融合系統

    利用OpenVINO部署Qwen2模態模型

    模態大模型的核心思想是將不同媒體數據(如文本、圖像、音頻和視頻等)進行融合,通過學習不同模態之間的關聯,實現更加智能化的信息處理。簡單來說,
    的頭像 發表于 10-18 09:39 ?1256次閱讀

    云知聲山海模態大模型UniGPT-mMed登頂MMMU測評榜首

    近日,模態人工智能模型基準評測MMMU更新榜單,云知聲山海模態大模型UniGPT-mMed以通用能力、醫療專業能力雙雙排名第一的優異成
    的頭像 發表于 10-12 14:09 ?676次閱讀
    云知聲山海<b class='flag-5'>多</b><b class='flag-5'>模態</b>大模型UniGPT-mMed登頂MMMU測評榜首
    主站蜘蛛池模板: 久久综合色播 | 免费黄色网址网站 | 女人张腿让男桶免费视频网站 | 色偷偷亚洲综合网亚洲 | 夜夜操天天 | 一级毛片aa | 色婷婷久久 | 在线观看三级视频 | 77se77亚洲欧美在线大屁股 | 天天做天天爱天天爽综合区 | 激情综合六月 | 黄色插插插 | 免费人成黄页在线观看日本 | 亚州一级毛片 | 另类毛片 | 天天射日日射 | 天天看天天射天天碰 | 站长工具天天爽视频 | 午夜刺激爽爽视频免费观看 | 男女视频在线观看免费高清观看 | 成人最新午夜免费视频 | 男人女人的免费视频网站 | 欧美www| 手机福利片 | 小屁孩和大人啪啪 | 国产精品久久久久久久久久妇女 | 777欧美午夜精品影院 | 久久久久久久网站 | 日韩欧美伦理 | 日本s色大片在线观看 | 手机看片福利盒子 | 性色在线视频精品 | 四虎影院免费观看 | 三级视频网站在线观看 | bt种子天堂 | 天堂网资源www | 成人拍拍视频 | 狠狠色狠狠色综合日日小蛇 | 一级美女视频 | 久久久午夜 | 日韩免费在线视频 |