在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

一種快速的激光視覺慣導融合的slam系統

3D視覺工坊 ? 來源:3D視覺工坊 ? 作者:Liam ? 2022-11-09 09:55 ? 次閱讀

本文提出了一種快速的激光視覺慣導融合的slam系統,可以分為LIO和VIO兩個緊耦合的子系統。LIO直接把當前的掃描點和增量構建的地圖對齊,地圖點也會輔助基于直接法的VIO系統進行圖像對齊。為了進一步提高vio系統的魯棒性和準確性,作者提出了一種新的方法來剔除邊緣或者在視覺中遮擋的地圖點。

本文方法可以適用于機械雷達和固態雷達,并能實時的ARMIntel處理器上運行,作者已經開源了代碼。

代碼地址:https://github.com/hku- mars/FAST- LIVO

本文的主要貢獻有:

一個建立在兩個基于直接法的緊耦合的完整的激光視覺慣導融合的slam框架;

一個直接高效的最大程度重用LIO構建的地圖的VIO框架,具體來說利用地圖點和觀測到的圖像像素塊結合后投影到一個新的圖像上通過最小化光度誤差來得到全部狀態的位姿估計結果。

通過在視覺中使用雷達點云可以避免特征的提取和三角化,同時可以在測量層對視覺和激光雷達進行融合。

開源了這項偉大的工作。

這項工作的系統框架如下所示:

1d06fd6c-5fba-11ed-8abf-dac502259ad0.png

LIO:利用后向遞推的方法剔除點云的運動畸變,利用去畸變的點云基于點到平面的距離進行幀到地圖的匹配。

VIO:視覺基于當前的FOV從全局的視覺地圖中選取當前能觀測到的子地圖并剔除被遮擋和深度不連續的點,然后基于稀疏光流進行幀到地圖點匹配。

最后激光點到平面的殘差和視覺的光度誤差及IMU前向傳播的值放到基于誤差狀態的迭代卡爾曼濾波器中得到準確的位姿,并利用該位姿把新的觀測加到地圖中。

狀態估計: 系統利用緊耦合的ESIKF來進行狀態估計,首選需要知道兩個運算的定義:

1d4729c8-5fba-11ed-8abf-dac502259ad0.png

其中Exp和Log表示旋轉矩陣和旋轉向量之間的基于羅德里格斯公式的映射關系。

狀態轉移模型: 在本文的系統中假設激光雷達,相機和imu之間的時間offset是已知的,定義imu的第一幀為全局坐標系,三個傳感器之間固聯且外參已知。第i幀imu在離散模型下的狀態轉移方程為:

1d52f74e-5fba-11ed-8abf-dac502259ad0.png

T表示imu采樣的時間間隔,x是狀態,u是輸入,w是噪聲,f的具體形式為:

1d67c28c-5fba-11ed-8abf-dac502259ad0.png

前兩個狀態分別表示imu在全局坐標系下的姿態和平移,最后一個表示重力在全局坐標系下的方向。 前向傳播: 利用前向傳播來得到i+1時刻的狀態和協方差矩陣,具體形式為:

1d8d9048-5fba-11ed-8abf-dac502259ad0.png

在前向傳播中把噪聲項設置為0,其中Q是噪聲的協方差矩陣。大家應該知道下尖是后驗,就是已經融合了視覺和激光雷達觀測的結果,通過運動方程我們可以得到新的視覺或者激光雷達來的時候的先驗的狀態,然后等激光或者視覺幀來的時候進行對應的量測更新。

(這里多說一點,在做自動駕駛的時候,由于觀測后的補償量可能較大導致位姿產生小范圍的跳變,所以我們一般都會把大的補償量分成小的補償量進行補償,雖然這種做法不嚴密但是能保證位姿的平滑性,大家也可以想想有什么更好的辦法)。

幀到地圖的量測更新:

激光雷達的測量模型:

新的激光幀來之后首先進行點云運動畸變矯正,當進行幀到地圖匹配到時候我們假設新觀測的點在和他近鄰的地圖中的平面上(用方向向量和中心點表示),如果先驗的位姿是準的可以得到如下約束:

1da81cd8-5fba-11ed-8abf-dac502259ad0.png

這個約束是把當前的點利用先驗的位姿投影到地圖上,找到最近的平面后投影點應該在平面上,所以兩個點相減得到的向量為平面上的向量,和平面的法向量垂直,點乘為0。

實際上,為了找到距離該點最近的平面,利用先驗的位姿把點投影到地圖中找到距離該投影點最近的五個點(地圖點是用ikd_tree維護的)來擬合平面,為了考慮雷達點的測量噪聲,會加上一個矩陣表示每個點的權重。

2.視覺的測量模型:

當接收到一幀新的圖像,我們從全局的視覺地圖中提取落在當前視野內的地圖點。對于地圖中的點,已經被先前的幀觀測過很多次,我們找到和當前觀測角度相近的一幀作為參考幀,然后把地圖點投影到當前幀獲取地圖點的光度值,應該和參考幀中的patch獲取的光度值一樣,以此構建殘差:

1db8fdbe-5fba-11ed-8abf-dac502259ad0.png

預印版沒有解釋A,我猜測因為是像素塊進行光度匹配,所以A矩陣是權重矩陣,patch中心點權重高,周圍點權重低,大家可以看代碼驗證一下。 基于迭代的卡爾曼濾波器更新:?通過公式3我們可以得到先驗的狀態和協方差的值,先驗的分布可以表示為:

1dcb28b8-5fba-11ed-8abf-dac502259ad0.png

當視覺和激光的觀測來的時候我們可以進行量測更新以得到狀態量后驗的結果:

1ddbb0e8-5fba-11ed-8abf-dac502259ad0.png

上式為非凸的函數,可以基于高斯牛頓的方法優化求解最小值,但是高斯牛頓和基于迭代的卡爾曼濾波器是等價的,參考文獻的21有證明。為了保證流型的約束,在每次迭代的時候,都把誤差狀態參數化到切空間中(通過第一個公式定義的方法),得到的誤差狀態更新到狀態量然后進行下次迭代直到收斂,收斂的狀態和協方差用于imu的前向遞推,也用于視覺地圖和激光雷達地圖點增量更新。

地圖管理: 地圖主要有LIO構建的雷達點云圖和VIO構建的用patchs表示的視覺全局地圖。

1.雷達地圖管理: 激光雷達點云圖的管理和FAST-LIO2一致,利用ikd_tree進行管理,ikd_tree提供了一些查詢、插入和刪除的接口,還可以根據配置參數下采樣地圖,同時新幀來的時候基于kd_tree的數據結構可以大大縮短最近點查找的時間(基于并行化加速后,2000個點大概0.6ms)。

2.視覺全局地圖管理: 視覺的全局地圖是原來觀測過的雷達點云的集合,每個雷達點都對應著多個觀測到這個激光點點視覺幀到多個像素塊。

視覺全局地圖的數據結構和更新的方法如下: 數據結構:為了快速找到落在當前視野內的地圖點,我們利用體素保存視覺全局地圖。

體素通過哈希表來管理,每個體素中保存點的位置,多個觀測到該點的像素的patch的金字塔和每個patch金字塔的相機位姿。

視覺的子地圖和外點剔除:即使體素的數量比視覺地圖定的數量少的多,但是確定他們中的哪些在當前的視野中仍然非常耗時,尤其是體素數量很大時。為了解決這個問題,作者針對最近的雷達掃描的每個點基于哈希表查找這些體素。如果相機FoV和雷達大致對齊,則落在相機FoV中的地圖點很可能包含在這些體素中。

因此,視覺子圖可以通過這些體素包含的點進行FoV檢查獲得。 視覺子圖可能包含在當前的圖像幀中被遮擋或具有不連續深度的地圖點,這會降低VIO的精度。為了解決這個問題,作者基于當前的狀態量將視覺子圖中的所有點投影到當前幀并在每個40x40的像素網格中保留深度最小的點。

此外,作者將當前幀雷達掃描點投影到當前幀,并檢查他們的深度來檢查他們是否遮擋了投影到9x9領域內的其他地圖點。被遮擋的點也會被剔除。 視覺子地圖更新:在對齊新的圖像幀后,我們將當前圖像中的patch附加到FoV內的地圖點中,這樣地圖點就可能具有均勻分布視角的有效patch。

具體而言,作者在幀對齊后選擇具有高光度誤差的patch,如果距離上次添加patch超過20幀,或者當前幀中patch距離上次添加了patch的參考幀中的像素位置超過40像素,則將向地圖點中添加新的patch。從當前圖像中提取新的大小為8×8像素。并構建金字塔,并保存相機的位姿。

除了向地圖點添加patch之外,還需要向視覺全局地圖添加新的地圖點。為此作者將當前圖像分成40×40像素的網格,并在其上投影最近一次激光雷達掃描中的點。每個網格中具有最高梯度的投影激光雷達點將添加到視覺全局地圖中,以及在其中提取的patch和相機位姿。為了避免將邊緣上的激光雷達點添加到視覺地圖中,跳過了具有高局部曲率的邊緣點。






審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19813

    瀏覽量

    233645
  • SLAM
    +關注

    關注

    24

    文章

    435

    瀏覽量

    32334
  • 激光視覺
    +關注

    關注

    0

    文章

    8

    瀏覽量

    6092

原文標題:激光視覺慣導融合的slam系統

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    三維高斯潑濺大規模視覺SLAM系統解析

    仍未得到探索。本文提出一種基于立體相機的三維高斯潑濺大規模視覺SLAM系統LSG-SLAM。通過在EuRoC數據集上的廣泛評估,LSG-
    的頭像 發表于 05-27 14:13 ?136次閱讀
    三維高斯潑濺大規模<b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b><b class='flag-5'>系統</b>解析

    【「# ROS 2智能機器人開發實踐」閱讀體驗】視覺實現的基礎算法的應用

    的有效途徑。 結語 本書第7章和第8章內容系統性強,從基礎理論到代碼實踐,為讀者提供了機器人視覺SLAM的完整知識框架。未來,我計劃結合書中案例,進步探索多傳感器
    發表于 05-03 19:41

    一種新型激光雷達慣性視覺里程計系統介紹

    針對具有挑戰性的光照條件和惡劣環境,本文提出了LIR-LIVO,這是一種輕量級且穩健的激光雷達-慣性-視覺里程計系統。通過采用諸如利用深度與激光
    的頭像 發表于 04-28 11:18 ?226次閱讀
    <b class='flag-5'>一種</b>新型<b class='flag-5'>激光</b>雷達慣性<b class='flag-5'>視覺</b>里程計<b class='flag-5'>系統</b>介紹

    一種基于點、線和消失點特征的單目SLAM系統設計

    本文提出了一種穩健的單目視覺SLAM系統,該系統同時利用點、線和消失點特征來進行精確的相機位姿估計和地圖構建,有效解決了傳統基于點特征的
    的頭像 發表于 03-21 17:07 ?381次閱讀
    <b class='flag-5'>一種</b>基于點、線和消失點特征的單目<b class='flag-5'>SLAM</b><b class='flag-5'>系統</b>設計

    圖林科技完成B輪融資,加速激光陀螺儀與系統研發

    近日,激光陀螺儀和系統領域的佼佼者——圖林科技,宣布成功完成B輪融資。本輪融資由成都科創投集團領投,將有力推動成都軍工電子產業鏈的升級,加速航空產業的建圈強鏈進程。 圖林科技是
    的頭像 發表于 02-05 16:34 ?672次閱讀

    一種基于MASt3R的實時稠密SLAM系統

    本文提出了一種即插即用的單目SLAM系統,能夠在15FPS的幀率下生成全局致的位姿和稠密幾何圖形。 01 ? 本文核心內容 視覺
    的頭像 發表于 12-27 15:25 ?1262次閱讀

    用于任意排列多相機的通用視覺里程計系統

    如何讓多相機視覺SLAM系統更易于部署且對環境更具魯棒性?本文提出了一種適用于任意排列多相機的通用視覺里程計
    的頭像 發表于 12-13 11:22 ?670次閱讀
    用于任意排列多相機的通用<b class='flag-5'>視覺</b>里程計<b class='flag-5'>系統</b>

    一種降低VIO/VSLAM系統漂移的新方法

    本文提出了一種新方法,通過使用點到平面匹配將VIO/VSLAM系統生成的稀疏3D點云與數字孿生體進行對齊,從而實現精確且全球致的定位,無需視覺數據關聯。所提方法為VIO/VSLAM
    的頭像 發表于 12-13 11:18 ?612次閱讀
    <b class='flag-5'>一種</b>降低VIO/VSLAM<b class='flag-5'>系統</b>漂移的新方法

    激光錫焊視覺定位技術的應用場景

    本文主要介紹視覺定位概念、一種基于視覺定位的激光焊接系統的結構和組成,及該焊接系統在某些特定場景
    的頭像 發表于 12-13 09:10 ?415次閱讀
    <b class='flag-5'>激光</b>錫焊<b class='flag-5'>視覺</b>定位技術的應用場景

    利用VLM和MLLMs實現SLAM語義增強

    語義同步定位與建圖(SLAM系統在對鄰近的語義相似物體進行建圖時面臨困境,特別是在復雜的室內環境中。本文提出了一種面向對象SLAM的語義增強(SEO-
    的頭像 發表于 12-05 10:00 ?1150次閱讀
    利用VLM和MLLMs實現<b class='flag-5'>SLAM</b>語義增強

    激光雷達在SLAM算法中的應用綜述

    、文章概述 1.1 摘 要 即時定位與地圖構建(simultaneous localization and mapping,SLAM)是自主移動機器人和自動駕駛的關鍵 技術之,而激光
    的頭像 發表于 11-12 10:30 ?2319次閱讀
    <b class='flag-5'>激光</b>雷達在<b class='flag-5'>SLAM</b>算法中的應用綜述

    MG-SLAM融合結構化線特征優化高斯SLAM算法

    信息和提供準確的全局重建方面表現出顯著的進步,而傳統系統則基于稀疏點云或體素。然而,NeRF 方法仍然存在過度平滑、場景表示受限和計算效率低下等缺點。最近,基于高斯的 SLAM已成為一種利用體積輻射場
    的頭像 發表于 11-11 16:17 ?797次閱讀
    MG-<b class='flag-5'>SLAM</b>:<b class='flag-5'>融合</b>結構化線特征優化高斯<b class='flag-5'>SLAM</b>算法

    現代海上的電子指南針——艦艇系統

    艦艇系統通過慣性測量裝置獲取艦艇運動參數,實現自主、連續、隱蔽的導航,提供航向、速度等關鍵信息。未來趨勢包括高精度化、多傳感器融合和自主導航能力提升,為船舶航行帶來更多便利和安全。
    的頭像 發表于 09-30 15:46 ?722次閱讀

    一種完全分布式的點線協同視覺慣性導航系統

    在本文中,我們提出了一種完全分布式的點線協同視覺慣性導航系統。我們通過蒙特卡羅模擬和真實環境數據集,在稠密特征或稀疏特征環境下將所提出的算法與其他四算法進行了比較。所有結果表明,我們
    的頭像 發表于 09-30 14:45 ?814次閱讀
    <b class='flag-5'>一種</b>完全分布式的點線協同<b class='flag-5'>視覺</b>慣性導航<b class='flag-5'>系統</b>

    一種適用于動態環境的實時視覺SLAM系統

    既能保證效率和精度,又無需GPU,行業第個達到此目標的視覺動態SLAM系統。
    的頭像 發表于 09-30 14:35 ?1107次閱讀
    <b class='flag-5'>一種</b>適用于動態環境的實時<b class='flag-5'>視覺</b><b class='flag-5'>SLAM</b><b class='flag-5'>系統</b>
    主站蜘蛛池模板: 三区在线观看 | 下农村女人一级毛片 | 男子扒开美女尿口做羞羞的事 | 欧美freesex交 | 婷婷在线免费观看 | 狠狠色噜噜狠狠狠狠五月婷 | 日本欧美一区二区三区免费不卡 | 综合五月婷婷 | 欧美aⅴ| 女人张开双腿让男人桶爽免 | 色视频国产 | 久久国产精品免费网站 | 男人的天堂视频在线 | αv天堂 | 伊人三级 | 香蕉成人999视频 | 天天干国产 | 亚洲午夜精品在线 | 我不卡老子影院午夜伦我不卡四虎 | 激情婷婷六月 | 国产拍拍拍免费视频网站 | 特级做a爰片毛片免费看一区 | 人人干狠狠操 | 天天草比 | 黄色成人免费网站 | 天堂在线www天堂中文在线 | 人人做人人插 | 天天干夜夜噜 | 丁香五月网久久综合 | 亚洲综合在线观看一区www | 国产小视频在线 | 欧美性猛交xxxx乱大交中文 | 狠狠去| 2017天天操 | 欧美不卡在线视频 | 久久久久青草 | 国产欧美精品一区二区色综合 | 色妞妞网| 奇米影视7777久久精品 | 久色乳综合思思在线视频 | 久久久夜夜夜 |