王一波，梁偉鄯，趙 云

（柳州工學院，廣西 柳州 545616）

摘 要 ：視覺SLAM相比激光SLAM成本低、潛在功能強大，VO(前端)算法是視覺SLAM走向應(yīng)用的關(guān)鍵。針對VO特征點法存在計算復雜、耗時長的問題，從理論上研究了圖像配準的一致性問題，分別定義了基于像素、信息熵、內(nèi)容以及特征的圖像一致性，建立了基本的圖像配準評價框架。提出了基于信息熵最大化原則RGB變換灰度圖像算法，分析了基于像素圖像配準算法潛在問題，提出了基于邊緣特征的圖像配準算法，包括灰度變換、高斯濾波、基于canny算子的邊緣檢測和邊緣修剪等，利用Hausdorff距離求解二值圖像相似度，Hausdorff距離越小則圖像越相似。實驗對圖像平移和旋轉(zhuǎn)，比較其與原始圖像的相似度，表明該評價算法可以比較可靠地評價圖像配準質(zhì)量，為重建圖像幀間運動提供依據(jù)。

中圖分類號 ：TP391 文獻標識碼 ：A? ? ?

文章編號 ：2095-1302（2022）08-0027-04

0 引 言

視覺SLAM（Simultaneous Localization and Mapping,SLAM）具有成本低、應(yīng)用場景廣的特點，但目前尚未廣泛落地，主要受限于其算法復雜、魯棒性較差等問題。目前的視覺 SLAM 架構(gòu)一般包含前端(視覺里程計)、后端、回環(huán)檢測和建圖，其中前端即VO(Visual Odometry, VO)，這是決定算法表現(xiàn)優(yōu)劣的重要因素。目前VO的實現(xiàn)方法主要有特征點法和光流法[1-2]。前者存在關(guān)鍵點提取耗時長、信息利用不充分以及對場景的紋理要求高等問題，光流法的優(yōu)點在于光流不僅攜帶了運動物體的運動信息，而且還攜帶了場景三維結(jié)構(gòu)的豐富信息，但同樣存在計算耗時、實時性、實用性較差等問題[3-6]。為此，改進VO的處理算法非常重要。考慮到攝像機運動過程中姿態(tài)的連續(xù)變化，若采樣圖像時間間隔足夠小，則攝像機姿態(tài)變化將發(fā)生在相對有限的范圍，反映在圖像上，相鄰幀圖像將具有足夠的相似度，為采用直接圖像配準算法創(chuàng)造了條件。本文將面向視覺SLAM應(yīng)用實際，充分挖掘圖像特征，構(gòu)建直接圖像配準評價算法，提高VO的處理效率。

1 圖像一致性

1.1 基于像素的圖像一致性 定義1圖像 I1(x, y)、I2(x',y')，對于任意像素 (x,y)，如果I2(x',y')=T(I1(x,y),x,y)，且存在 I1(x,y)=T-1(I2(x',y'),x',y')，則圖像I1(x,y)、I2(x',y') 為理想一致。由上述定義可知，當圖像經(jīng)過某種變換或者組合變換得到新的圖像，可以找到相應(yīng)的逆變換，使變換后的圖像完全恢復到原圖像。例如，圖像發(fā)生平移、旋轉(zhuǎn)、錯切等變換，可通過逆變換加以恢復。 定義2圖像I1(x,y)、I2(x,y)，對于任意像素 (x,y)，如果I2(x',y')=aI1(x,y)，a為任意正實數(shù)，則圖像I1(x,y)、I2(x',y')為完全一致。 定義3圖像I1(x,y)、I2(x',y')，對于任意像素 (x,y)∈D，D為I1(x,y) 的有限非空集，如果 I2(x',y')=T(I1(x,y),x,y)，且存在I1(x,y)=T-1(I2(x',y'),x',y')，則圖像I1(x,y)、I2(x',y')為部分一致。 實際應(yīng)用中，圖像為二維有限序列，圖像間的一致性判別通常是在有限區(qū)域內(nèi)進行，這樣部分一致性更具有應(yīng)用價值。根據(jù)以上定義，不同的應(yīng)用對于圖像一致性的要求不同，以下分別定義基于信息熵的一致性、基于內(nèi)容的一致性和基于特征的一致性，以滿足不同的應(yīng)用。

1.2 基于信息熵的圖像一致性 按照Marr計算理論 [7]，圖像中的信息即圖像中顏色或亮度的變化，呈現(xiàn)出的是物體和物體的關(guān)系以及與人的關(guān)系的要素。如果把一幅圖像看作一個虛構(gòu)零記憶“信源”的輸出時，可以通過觀察圖像的直方圖來估計該信源的符號概率。假設(shè)圖像I大小為M×N，灰度范圍為[0,L-1]，rk為此區(qū)間的離散灰度隨機變量，nk為第k級灰度在圖像中出現(xiàn)的次數(shù)。這時，信源的熵變?yōu)?：

式中，

定義4圖像I1(x,y)、I2(x',y')，對于任意像素 (x,y)，如果H(I2)=H(I1)，則圖像I1(x,y)、I2(x',y') 信息熵完全一致；如果H(I2)-H(I1)

顯然信息完全一致在實際中很難滿足。在圖像傳輸及圖像壓縮過程中，圖像信息熵一致性判別十分重要。

1.3 基于內(nèi)容的圖像一致性

定義5I1(x,y)→struct{w1, w2, ..., wn}，I2(x',y')→struct{w1',w2', ..., wn'}，其中，wk、wk'表示I1(x, y)、I2(x', y' ) 經(jīng)語義分割得到的語義實體，struct表示語義實體間的結(jié)構(gòu)關(guān)系，如果struct{w1,w2, ...,wn}=struct{w1',w2', ...,wn'}，則圖像I1(x,y)、I2(x',y' ) 為內(nèi)容完全一致；如果w1=w1', w2=w2', ..., wn=wn'，則圖像I1(x,y)、I2(x',y') 為內(nèi)容部分一致。顯然，滿足內(nèi)容完全一致條件必然滿足內(nèi)容部分一致條件。基于內(nèi)容的圖像一致性判別，對于圖像跟蹤、場景識別等應(yīng)用領(lǐng)域具有重要意義。

1.4 基于特征的圖像一致性

定義6特征一致定義:圖像I1(x,y) →{f1, f2, ..., fn}，圖像I2(x, y) →{f1', f2', ..., fn'},fk、fk' 表示I1(x,y)、I2(x',y' ) 經(jīng)特征提取得到的特征，如果對于任意特征，滿足F(f1)=F(f1')，F(xiàn)(f2)=F(f2'), ..., F(fn)=F(fn')，其中，F(xiàn)(·) 為對特征進行某種運算，則圖像I1(x, y)、I2(x', y' ) 為特征完全一致；如果F(fk)=F(fk'), k=1, 2, ..., m, m

同樣，滿足特征完全一致條件必然滿足特征部分一致條件。基于特征一致判別的意義在于可以為某些場景配準提供理論依據(jù)。

2 圖像配準評價算法

視覺SLAM的VO，主要任務(wù)即確定相鄰幀圖像間的運動關(guān)系。如果采用優(yōu)化技術(shù)對運動參數(shù)空間進行搜索，則需確定優(yōu)化目標函數(shù)，它反映的是相鄰兩幀圖像的配準程度。根據(jù)上一節(jié)的定義，在VO中可以基于像素的一致性來對配準進行初始評價，也可基于特征的一致性來對配準進行深層次評價。一般，VO中采集的圖像為RGB圖像，首先需將其變換為灰度圖像。

2.1 RGB 圖像灰度變換

為最大限度利用RGB 圖像信息，本文將基于圖像信息熵確定灰度變換的權(quán)值，算法步驟如下 ：

（1）計算RGB圖像三個通道IR、IG、IB的信息熵 ：

式中：HR、HG、HB 分別為IR、IG、IB三個圖層對應(yīng)的信息熵；pR(Rk)、pG(Gk)、pB(Bk) 分別是IR、IG、IB三個通道的直方圖統(tǒng)計量。

（2）根據(jù)圖像信息量確定三個通道的權(quán)重。為最大限度保留圖像信息，按照信息量的大小分配權(quán)重 ：

（3）基于信息量RGB圖像線性變換為灰度圖像 ：

式中，R、G、B分別是RGB圖像任意像素的分量。

2.2 基于像素的圖像配準評價

假設(shè)VO采集的兩幀圖像依次為I1(x,y)、I2(x',y' )，大小同為M×N，將I1(x,y)看作參考圖像，則I2' (x,y)=T(I2(x',y'), x',y')，其中T 包含了攝像機的運動 ：平移tx、ty、tz，旋轉(zhuǎn) θ(pitch)、φ(roll)、ψ(yaw)。理想情況下，評價函數(shù)定義為 ： 式中，A={(x,y)|I1(x,y)=I2'(x,y)}，Num(A) 越大則圖像配準度越高，當Num(A)=M×N 時，則完全配準，即基于像素完全一致。 攝像機在采集兩幅圖像時光照條件可能存在差異，如果考慮光照的影響，則評價函數(shù)定義仍為式(1)，A={(x,y)|I1(x,y)=αI2'(x,y)}，α為亮度調(diào)節(jié)參數(shù)，取值不同，則A不同，A包含的元素數(shù)量也將不同。因此，Num(A)=max{Num({(x,y)|I1(x,y)=αI2'(x,y)})}。 基于像素的圖像配準評價思想簡單，但實現(xiàn)相對復雜。圖像比較時需考慮參數(shù)α的影響，需要進行優(yōu)化計算，耗時較長。同時由于數(shù)字圖像在變換過程中會進行插值運算，相應(yīng)像素的亮度值取決于插值算法，這也給配準評價帶來了不確定性。

2.3 基于邊緣特征的圖像配準評價

假設(shè)VO采集的兩幀圖像依次為I1(x,y)、I2(x',y' )，大小同為M×N，將I1(x,y) 看作參考圖像，算法步驟如下 ： （1）對圖像I1(x,y)、I2(x',y' ) 進行高斯濾波 ： 式中，。 （2）運用canny算子提取濾波后圖像邊緣，假設(shè)前一幀圖像邊緣特征集合Ω1={f1, f2, ..., fn}，后一幀邊緣特征集合Ω2={f1', f2', ..., fm'}。 （3）從圖像中直接提取的邊緣既包含環(huán)境中物體的紋理或邊界，也包含因圖像噪聲導致的灰度突變而產(chǎn)生的噪聲邊緣 [8]。和正確邊緣相比，噪聲邊緣因噪聲點具有隨機性的原因，其長度更短。對Ω1、Ω2進行預處理，包括刪除細小邊緣、剪除細小枝節(jié)。 if L(fk) 式中： 表示前向部分Hausdorff 距離；ai為集合 Ω1 的第i個邊緣點分量；bj為Ω2'中的第j個邊緣點分量；fF 為0到1之間的數(shù)值，表示取集合中部分點。 同理， 表示后向部分 Hausdorff 距離。

首先，計算集合Ω1中的任意點ai到集合Ω2' 的最短距離，然后對Ω1中的所有點進行排序。假設(shè)集合Ω1邊緣點個數(shù)NΩ1，則前向部分Hausdorff距離為以上序列的第 Kth=fF×NΩ1；同理，后向部分 Hausdorff 距離為Ω2' 序列的第Kth=fR×NΩ2'。

HfF fR(Ω1,Ω2') 越小，則兩幅圖像的配準越高，當HfF fR(Ω1,Ω2')=0時，表示完全配準，即基于特征完全一致。

3 實驗及分析

為驗證本文提出的圖像配準評價算法，任意采集一幅圖像，依次對其進行不同距離的平移和不同角度的旋轉(zhuǎn)，比較變換后圖像與原始圖像的Hausdorff 距離。首先根據(jù)上節(jié)提出的算法步驟，對圖像進行預處理，其結(jié)果如圖1所示。

原始圖像依次沿x軸、y軸平移50、100、150，然后提取其邊緣特征并做修剪處理，其結(jié)果如圖2、圖3所示。分別計算平移后圖像與原始圖像的Hausdorff 距離為45.07、62.14、77.62，平移越小，Hausdorff 距離越小，配準程度也越高，與視覺感受一致。

原始圖像依次以圖像原點為軸逆時針旋轉(zhuǎn)，然后提取其邊緣特征并做修剪處理，其結(jié)果如圖4、圖5所示。分別計算平移后圖像與原始圖像Hausdorff距離為50.60、59.48、68.94，旋轉(zhuǎn)越小，Hausdorff 距離越小，配準程度越高，與視覺感受一致。

4 結(jié) 語

本文針對視覺SLAM的VO廣泛使用的特征點法以及光流法存在的問題，尋求建立一種更加簡便且穩(wěn)定的圖像配準算法，該算法以圖像一致性為理論基礎(chǔ)，利用VO順序采集圖像的幀間特點，最后通過實驗驗證了所設(shè)計的基于邊緣特征一致性的圖像配準評價符合VO應(yīng)用的視覺要求。今后，將按照此思路繼續(xù)開展圖像運動參數(shù)搜索算法研究，完善以圖像配準為基礎(chǔ)的VO技術(shù)框架。

注：本文通訊作者為梁偉鄯。

參考文獻

[1] CADENA C，CARLONE L，CARRILLO H，et al. Past， present，and future of simultaneous localization and mapping： toward therobust perception age [J]. IEEE transactions on robotics，2016，32（6）：1309-1332.

[2] GUILLAUME B，ZAYED A，LI Y，et al. Simultaneouslocalization and mapping： A survey of current trends in autonomousdriving [J]. IEEE transactions on intelligent vehicles，2017，2（3）：194-220.

[3] 陳致遠，涂群章，張詳坡，等 . 足式爬行機器人研究進展與發(fā)展趨勢 [J]. 兵器裝備工程學報，2020，41（9）：1-12.

[4] 胡章芳，張杰，程亮 . 融合特征法與直接法的 RGB-D 稠密視覺SLAM 算法 [J]. 半導體光電，2020，41（4）：548-554.

[5] 郝洛瑩 . 基于視覺慣性里程計的 SLAM 系統(tǒng)研究 [D]. 深圳：中國科學院大學（中國科學院深圳先進技術(shù)研究院），2020.

[6] 王勃 . 基于光流法運動估計的室內(nèi)視覺定位方法研究 [D]. 重慶：重慶理工大學，2019.

[7] Marr David. Vision[M].San Franci-sco： Freeman Publishers，1982.

[8] 田超然 . 面向視覺 SLAM 的聯(lián)合特征匹配和跟蹤算法研究 [D]. 深圳：中國科學院大學（中國科學院深圳先進技術(shù)研究院），2020.

[9] 楊維 . 面向場景理解的景象匹配方法研究 [D]. 成都：電子科技大學，2017.

[10] HUTTENLOCHER D，KLANDERMAN G，RUCKLIDGEW. Comparing images using the hausdorff distance [J]. IEEEtransactions on pattern analysis & machine intelligence，1993，15（9）：850-863.

作者簡介： 王一波（1981—），男，山西大同人，博士，高級工程師，研究方向為機器視覺、人工智能、工業(yè)控制。 梁偉鄯（1989—），男，廣西貴港人，碩士，講師，研究方向為嵌入式開發(fā)、信號處理。 趙 云（1982—），女，廣西柳州人，碩士，講師，研究方向為信息處理。 ?

編輯：黃飛

?