如何讓多相機(jī)視覺SLAM系統(tǒng)更易于部署且對(duì)環(huán)境更具魯棒性？本文提出了一種適用于任意排列多相機(jī)的通用視覺里程計(jì)系統(tǒng)。在KITTI-360和MultiCamData數(shù)據(jù)集上驗(yàn)證了該方法對(duì)于任意放置相機(jī)的魯棒性。與其他立體和多相機(jī)視覺SLAM系統(tǒng)相比，該方法獲得了更高的位姿估計(jì)精度，具有更好的泛化能力。

01 本文核心內(nèi)容

視覺SLAM乃是機(jī)器人技術(shù)與自主導(dǎo)航領(lǐng)域的一項(xiàng)基礎(chǔ)性技術(shù)，能使系統(tǒng)借助視覺傳感器估算其相對(duì)于所處環(huán)境的運(yùn)動(dòng)情況。傳統(tǒng)的單目或立體SLAM系統(tǒng)往往需要嚴(yán)格的相機(jī)配置，并且在進(jìn)行真實(shí)尺度姿態(tài)估計(jì)和地圖構(gòu)建時(shí)嚴(yán)重依賴慣性測(cè)量單元（IMU）。然而，這些方法因視場(chǎng)角狹窄而受限，在相機(jī)布置靈活性至關(guān)重要的環(huán)境中表現(xiàn)欠佳，比如大多數(shù)配備6個(gè)不同相機(jī)的汽車。近來，多相機(jī)視覺SLAM在這類情形下展現(xiàn)出了更強(qiáng)的穩(wěn)健性，能夠涵蓋更多的周邊視覺場(chǎng)景，為紋理欠佳的環(huán)境提供冗余信息。這為諸如無人機(jī)在雜亂環(huán)境中導(dǎo)航以及配備周邊多相機(jī)的自動(dòng)駕駛等應(yīng)用開辟了新的可能。

然而，當(dāng)前的多相機(jī)視覺SLAM系統(tǒng)在實(shí)際應(yīng)用中仍面臨諸多挑戰(zhàn)。其一，相機(jī)數(shù)量的增多雖提供了信息冗余，卻不可避免地致使數(shù)據(jù)處理壓力數(shù)倍增長(zhǎng)。多數(shù)現(xiàn)有的方法采用諸如ORB等傳統(tǒng)的特征關(guān)聯(lián)方式，這導(dǎo)致中央處理器（CPU）的使用率大幅攀升，且難以平衡后端非線性優(yōu)化的資源，進(jìn)而需要高性能的CPU，否則無法達(dá)成實(shí)時(shí)性。其二，對(duì)于多相機(jī)視覺里程計(jì)（MCVO）系統(tǒng)而言，精確的尺度估計(jì)亦頗具挑戰(zhàn)。現(xiàn)有的方法大多通過多目設(shè)置或添加慣性測(cè)量單元（IMUs）來估計(jì)尺度，這就要求精心配置相機(jī)的視場(chǎng)（FOV）重疊或相機(jī)與IMU傳感器之間的外部校準(zhǔn)，致使難以在系統(tǒng)配置的靈活性與尺度估計(jì)的準(zhǔn)確性之間實(shí)現(xiàn)平衡。因此，本研究的主要目標(biāo)是通過解決任意排列的多相機(jī)系統(tǒng)中的特征關(guān)聯(lián)計(jì)算壓力和尺度估計(jì)問題，實(shí)現(xiàn)穩(wěn)健且通用的多相機(jī)視覺里程計(jì)。

為應(yīng)對(duì)這些挑戰(zhàn)，我們提出了一種通用的多相機(jī)視覺里程計(jì)系統(tǒng)，即MCVO，其僅需處于任意方向和位置的多個(gè)剛性捆綁的相機(jī)。我們首先從精度-效率的視角對(duì)現(xiàn)有的先進(jìn)特征關(guān)聯(lián)方法進(jìn)行分析，并設(shè)計(jì)了一個(gè)基于學(xué)習(xí)的特征提取和跟蹤框架，以轉(zhuǎn)移多個(gè)視頻流的CPU處理計(jì)算壓力。接著，我們基于每個(gè)相機(jī)的對(duì)齊姿態(tài)間的剛性約束，利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SfM）來初始化SLAM系統(tǒng)，以獲取真實(shí)尺度的身體姿態(tài)。在后端，我們?nèi)诤隙嘞鄼C(jī)特征以實(shí)現(xiàn)穩(wěn)健的姿態(tài)估計(jì)和尺度優(yōu)化。多相機(jī)特征在詞袋（BoW）中進(jìn)一步串聯(lián)，用于閉環(huán)檢測(cè)。通過在KITTI-360和MultiCamData數(shù)據(jù)集上的嚴(yán)格測(cè)試和實(shí)際應(yīng)用，我們旨在證明我們的系統(tǒng)在以空前的靈活性和通用性增強(qiáng)各領(lǐng)域自主代理能力方面的有效性。所提出系統(tǒng)的亮點(diǎn)在于：（i）僅需外部參數(shù)要求，即可使用任意朝向布置的多個(gè)相機(jī)。（ii）通過消除對(duì)慣性測(cè)量單元（IMU）的依賴，并提供處理任意配置相機(jī)（無論重疊與否）的靈活性，其僅專注于視覺信息，從而能夠?qū)崿F(xiàn)真實(shí)尺度估計(jì)和在線優(yōu)化，提高了準(zhǔn)確性和魯棒性。（iii）此外，它能夠適應(yīng)包括但不限于魚眼和標(biāo)準(zhǔn)針孔相機(jī)在內(nèi)的多種相機(jī)類型，使其適用于廣泛的應(yīng)用場(chǎng)景。

我們的代碼和在線演示可在https://github.com/JunhaoWang615/MCVO上獲取。

02 主要貢獻(xiàn)

我們?yōu)槿我馀帕械亩嘞鄼C(jī)提出了一種通用的視覺SLAM系統(tǒng)框架，并對(duì)前端的多相機(jī)特征檢測(cè)和匹配、系統(tǒng)初始化、后端優(yōu)化以及閉環(huán)進(jìn)行了創(chuàng)新設(shè)計(jì)。

我們?nèi)婵紤]現(xiàn)有的最先進(jìn)（SOTA）特征關(guān)聯(lián)方法，并設(shè)計(jì)了基于SuperPoint的提取器和LK跟蹤前端，將CPU的計(jì)算壓力轉(zhuǎn)移，提高了特征匹配的穩(wěn)定性，最終為多眼SLAM的穩(wěn)定性和效率提供了保障。

我們提出了一種基于多相機(jī)軌跡一致性的SLAM尺度估計(jì)策略，該策略兼容不同的相機(jī)模型，無論相機(jī)視場(chǎng)（FoV）是否重疊，都展現(xiàn)出了強(qiáng)大的泛化性和穩(wěn)定性。

03 方法架構(gòu)

我們所提出的通用多相機(jī)視覺里程計(jì)框架如圖2所示。該框架的主要輸入為同步的多相機(jī)視頻序列。多個(gè)相機(jī)已提前進(jìn)行剛性捆綁并校準(zhǔn)，其內(nèi)在參數(shù)和外在參數(shù)已知。輸出為現(xiàn)實(shí)環(huán)境中的度量尺度6自由度機(jī)器人位姿。

該流程包括四個(gè)部分：前端特征提取、位姿和度量尺度初始化、后端優(yōu)化以及閉環(huán)檢測(cè)。為加速多相機(jī)特征關(guān)聯(lián)的前端處理，我們采用了GPU加速的特征提取和3優(yōu)先級(jí)特征選擇。然后，我們利用多相機(jī)位姿和外在參數(shù)來初始化度量尺度的多相機(jī)系統(tǒng)。為確保運(yùn)動(dòng)尺度的真實(shí)性，我們?cè)诤蠖藘?yōu)化過程中對(duì)尺度偏差進(jìn)行自適應(yīng)關(guān)聯(lián)。鑒于多相機(jī)系統(tǒng)較大的視場(chǎng)角，我們?cè)O(shè)計(jì)了一種更穩(wěn)健的多相機(jī)全方位閉環(huán)檢測(cè)算法。我們還利用位姿圖約束進(jìn)一步優(yōu)化閉環(huán)中的體位姿。

04 實(shí)驗(yàn)

在本節(jié)中，我們將在兩個(gè)公開數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，以評(píng)估我們提出的方法。

A.實(shí)驗(yàn)設(shè)置

1）數(shù)據(jù)集：為評(píng)估我們的方法，所選用的數(shù)據(jù)集必須包含具有預(yù)先校準(zhǔn)的內(nèi)在和外在參數(shù)的多相機(jī)設(shè)置。我們選取了兩個(gè)公開可用的數(shù)據(jù)集，即KITTI360和MultiCamData，它們具有不同的相機(jī)類型、場(chǎng)景類型以及各種相機(jī)布局。KITTI360數(shù)據(jù)集是在戶外道路環(huán)境中通過兩個(gè)180°魚眼相機(jī)和兩個(gè)90°針孔相機(jī)采集所得，如圖1所示。這四個(gè)相機(jī)同步且已預(yù)先校準(zhǔn)。與EuRoC等其他數(shù)據(jù)集相比，KITTI360具有更大的規(guī)模、更長(zhǎng)的距離以及更具挑戰(zhàn)性的場(chǎng)景，例如橋下道路（光照變化）、荒野（紋理退化）和動(dòng)態(tài)場(chǎng)景。我們對(duì)大多數(shù)序列進(jìn)行了測(cè)試，并與真實(shí)軌跡進(jìn)行了對(duì)比。MultiCamData是在室內(nèi)環(huán)境中使用6個(gè)相機(jī)采集的。我們主要使用非重疊的相機(jī)（cam0、cam5和cam6）以考察其泛化能力。該數(shù)據(jù)集還涵蓋了具有挑戰(zhàn)性的場(chǎng)景，如狹窄走廊、大型白色墻壁（紋理退化）、突然轉(zhuǎn)彎和動(dòng)態(tài)場(chǎng)景。

2)評(píng)估設(shè)置：我們選取VINS-Fusion、ORB-SLAM3以及MultiCamSLAM作為對(duì)比基準(zhǔn)。為使VINS-Fusion和ORB-SLAM3獲得度量尺度狀態(tài)估計(jì)，針對(duì)每個(gè)數(shù)據(jù)集的前置立體相機(jī)對(duì)這兩種方法進(jìn)行了設(shè)置。而對(duì)于MultiCamSLAM，我們采用了與方法[Designand evaluation of a generic visual slam framework for multi-camerasystems]一致的非重疊相機(jī)設(shè)置。在KITTI360數(shù)據(jù)集上，MCVO配置了兩個(gè)魚眼相機(jī)和一個(gè)前置針孔相機(jī)。在KITTI360上的評(píng)估指標(biāo)涵蓋了絕對(duì)軌跡誤差（ATE）、相對(duì)位姿誤差（RPE）以及尺度誤差。鑒于MultiCamData缺少真實(shí)軌跡，我們按照[Designand evaluation of a generic visual slam framework for multi-camerasystems]中的方式，使用視覺目標(biāo)來估計(jì)初始位姿和最終位姿之間的誤差，因?yàn)檐壽E的起點(diǎn)和終點(diǎn)處于相同位置。所有實(shí)驗(yàn)均在配備2.5GHzIntelCorei7-11700CPU和NVIDIARTX3060GPU的臺(tái)式機(jī)上開展。

B.實(shí)驗(yàn)結(jié)果

ATE的定量結(jié)果在表I和圖5中呈現(xiàn)。與立體ORB-SLAM3和VINS-Fusion相比，MCVO在KITTI360的多數(shù)序列上達(dá)成了顯著更低的旋轉(zhuǎn)誤差，且平移誤差具有競(jìng)爭(zhēng)力。這主要?dú)w因于多相機(jī)設(shè)置所提供的寬視場(chǎng)，以及前端的高精度和強(qiáng)魯棒性。小尺度誤差進(jìn)一步證明了我們的尺度估計(jì)策略的有效性。MultiCamSLAM方法無法完成KITTI360的多數(shù)序列。此問題源于KITTI360數(shù)據(jù)集是以高速采集的，導(dǎo)致了較大的幀間位移。MultiCamSLAM在處理顯著的幀間位移時(shí)存在困難，阻礙了三角測(cè)量和初始化。與MCVO在ORB特征方面的對(duì)比進(jìn)一步表明了我們前端設(shè)計(jì)的魯棒性。此外，MCVO在MultiCamData上展現(xiàn)出了強(qiáng)勁的性能和魯棒性。其在精度上優(yōu)于VINS-Fusion，與ORB-SLAM3相比僅有細(xì)微差距。這種精度上的輕微降低主要是由于室內(nèi)走廊中存在眾多白色墻壁，引入了噪聲，從而影響了多相機(jī)視覺里程計(jì)（VO）。與同樣采用非重疊相機(jī)設(shè)置的MultiCamSLAM相比，MCVO在不同序列中實(shí)現(xiàn)了更優(yōu)的精度和更好的泛化能力。

圖6展示了不同方法在KITTI360數(shù)據(jù)集00序列上的RPE結(jié)果。MCVO顯著優(yōu)于其他方法，姿態(tài)漂移最小。這一改進(jìn)在很大程度上得益于多相機(jī)設(shè)置中穩(wěn)健且高效的前端，其場(chǎng)景覆蓋范圍廣泛。擴(kuò)大的視場(chǎng)為狀態(tài)估計(jì)提供了更強(qiáng)的約束，從而導(dǎo)致更高的姿態(tài)估計(jì)精度。此外，穩(wěn)健的前端即使在低質(zhì)量場(chǎng)景中也能確保準(zhǔn)確的特征跟蹤。這些結(jié)果驗(yàn)證了MCVO在狀態(tài)估計(jì)上的有效性。

為了進(jìn)一步對(duì)性能進(jìn)行定性分析，我們?cè)趫D7中繪制了KITTI360數(shù)據(jù)集的00和05序列上不同方法的軌跡。ORB-SLAM3和VINS-Fusion在00序列中表現(xiàn)出較大的旋轉(zhuǎn)誤差。相比之下，MCVO在這種情況下顯示出更高的穩(wěn)定性和準(zhǔn)確性。此外，我們方法的整體軌跡更平滑，位置估計(jì)更穩(wěn)定。

05 總結(jié)

在本文中，我們提出了一種通用的多相機(jī)視覺里程計(jì)系統(tǒng)，其在相機(jī)設(shè)置方面具有高度靈活性，可適應(yīng)不同類型的相機(jī)，無論視場(chǎng)是否重疊。多相機(jī)的任意排列，不僅提高了SLAM系統(tǒng)的靈活性，還實(shí)現(xiàn)了僅基于相機(jī)的穩(wěn)健真實(shí)比例姿態(tài)估計(jì)。所設(shè)計(jì)的基于學(xué)習(xí)的特征關(guān)聯(lián)前端利用GPU有效地減輕了CPU在多相機(jī)數(shù)據(jù)處理中的計(jì)算壓力，并提高了特征匹配的穩(wěn)定性。在實(shí)驗(yàn)過程中，多相機(jī)特征在尺度初始化、后端優(yōu)化和閉環(huán)等系統(tǒng)功能得到了充分驗(yàn)證。與最先進(jìn)的技術(shù)進(jìn)行比較，進(jìn)一步證明了MCVO在狀態(tài)估計(jì)方面的有效性和魯棒性。未來的工作將側(cè)重于在更多平臺(tái)上部署MCVO。