本文將重點介紹單目方案的空間定位。

三、單目三維空間測量與定位要解決的問題

1、 求解原理和過程

如前文所述，單目三維空間測量與定位，是依據(jù)PnP原理來求解的。理論上講，如果可以獲取一個三維剛體上不共面的任意6個點在攝像機(jī)二維成像平面的投影位置，是可以唯一反解出來這個剛體在三維空間的唯一6DoF參數(shù)的。如果少于6個點，解就不一定唯一了。但在實踐中，由于剛體往往存在一些約束條件，因此，大多數(shù)情況下，如果能提取獲得剛體上4個不共面點的二維投影，一般就可以反解出剛體的6DoF。其求解的前提條件為：

求解過程如下：

在結(jié)算過程中，會遇到的關(guān)鍵技術(shù)環(huán)節(jié)和問題包括：環(huán)境噪聲點去除，光斑中心像素提取，二維和三維點匹配，6DoF計算迭代優(yōu)化，以及多傳感器融合問題。

2、 環(huán)境噪聲點去除問題

在計算機(jī)視覺、圖像處理領(lǐng)域，最常見的一個問題，也往往是一個非常頭疼的問題就是環(huán)境噪聲。所有圖像處理的問題，都會面臨：光照是否足夠，太陽光、日光燈、白熾燈、鹵素?zé)簦ㄕ箷鶗校┑雀鞣N燈的紅外分量、可見光分量的干擾和影響。解決環(huán)境噪聲的手段包括：1）使用主動光源，這樣可以有效的減少白天、黑夜所帶來的影響，一般使用的主動光源時，會使用紅外光源；2）使用濾波片，特別是窄帶濾波片。在使用主動光源時，往往會配合使用濾波片，將不需要的光學(xué)成分去除，最常見的，例如第一代Kinect中，其發(fā)光為波長828nm的紅外光，因此，其使用了828±15nm的窄帶濾波片。這是抗干擾手段中性價比最高的方法。3）使用主動調(diào)制光源。如果前面兩種措施還不能有效抑制干擾（最常見的情況是在室外或者室內(nèi)使用，但有陽光射入），這就可能要使用帶調(diào)制信息的主動光源了，CMOS Sensor在接收到光線信號后，算法可以將陽光等不帶調(diào)制信息的光線信號給濾除。雖然，使用調(diào)制光源可以進(jìn)一步抑制干擾，但其往往也有副作用，例如增大處理器運算工作量，降低幀率。

3、 光斑中心像素提取精度問題

利用計算機(jī)視覺的定位中，影響定位精度的其中一個最重要的因素就是光斑中心的提取精度。在實際應(yīng)用中，即便不考慮外界光線的影響，僅僅CMOS Sensor本身，也會對光斑成像帶來各種噪聲，包括：讀出噪聲、暗電流噪聲、固定模式噪聲等。理想情況下，光學(xué)系統(tǒng)能將光斑的平行光束投影到CMOS Sensor的一個或幾個像素點上，使其分布呈現(xiàn)中心某個或某幾個像素有均勻光線，而其余像素?zé)o光線的情況。但實際上，由于光學(xué)系統(tǒng)的成像誤差、衍射、以及CMOS Sensor噪聲的存在，使得成像結(jié)果往往會呈現(xiàn)以某個像素為中心的光強(qiáng)正態(tài)分布情況。為提高光斑中心像素提取精度，硬件上的做法是通過提高攝像機(jī)的分辨率來實現(xiàn)更高精度的圖像提取，但這樣也會相應(yīng)的增加硬件成本。而且，隨著分辨率的增加，運算量也成幾何倍數(shù)的增長，這也會帶來處理器的性能增長需求，這將極大的增加整體成本。另外，在算法層面，采用一些傳統(tǒng)的灰度質(zhì)心提取算法，其一般做法是通過對圖像二值化預(yù)處理然后使用連通域提取，對光斑的質(zhì)心進(jìn)行求解，這在目標(biāo)距離攝像機(jī)較近，光斑亮度比較均勻的情況下，傳統(tǒng)方法提取的質(zhì)心精度效果比較好，然而實際情況中，光斑的亮度分布往往不是非常均勻，尤其在距離較遠(yuǎn)的情況下，亮度的均勻性和大小都將快速衰減，使得質(zhì)心質(zhì)心精確性大幅下降。其中改進(jìn)的方法包括對連通域范圍先進(jìn)行致密上采樣 隨后對上采樣范圍的像素亮度進(jìn)行加權(quán)求解質(zhì)心，這種方法在效果上可以達(dá)到較高的亞亞像素精度，然而犧牲了較多的運算效率。但如果我們對算法進(jìn)行一些改進(jìn)，是可以將提取精度提高到亞亞像素級的。歡創(chuàng)科技在這一點上進(jìn)行了比較深入的研究，從光斑成像的角度入手，對光斑亮度的衰減過程進(jìn)行分析，從而總結(jié)出了一種預(yù)處理方式，使得質(zhì)心提取精度在維持亞亞像素精度的情況下，不犧牲任何運算效率。

4、 二維和點匹配問題

對于單目的姿態(tài)求解， PnP原理是求解的基礎(chǔ)，然而PnP求解的前提是空間中的3D坐標(biāo)和相機(jī)投影的2D像素間的對應(yīng)關(guān)系已知，在匹配未知的情況下，求解PnP 問題變得比較復(fù)雜，在計算機(jī)視覺領(lǐng)域，這個問題又叫做即時姿態(tài)和匹配求解問題（Simultaneous Pose and Correspondence Problem），針對這個問題比較常見的算法有softPOSIT，BlindPnP等，這些方法都采用的迭代求解的思想，將姿態(tài)求解和匹配歸結(jié)為優(yōu)化問題，交替求解當(dāng)前最優(yōu)姿態(tài)以及最優(yōu)匹配，相對于softPOSIT，BlindPnP加入一些先驗姿態(tài)信息，并且將高斯混合模型應(yīng)用于3D-2D匹配， 在某些案例中可以達(dá)到較精確的效果，然而這些方法的通病就是無法確保結(jié)果是全局最優(yōu)的，由于求解的空間復(fù)雜，因此有不收斂或收斂到局部最優(yōu)的可能，導(dǎo)致求解失敗。因此一些基于Branch-and-Bound以及Bundle Adjustment全局求解的思想框架逐漸運用到了這個問題上來，并且獲得了不錯的結(jié)果?？偟恼f來，3D-2D的匹配和姿態(tài)求解密不可分，匹配算法的魯棒性和效率直接決定了姿態(tài)求解的性能，也是所有基于視覺的空間定位系統(tǒng)至關(guān)重要的環(huán)節(jié)。

5、 相機(jī)運動情況下與IMU傳感器融合的問題

早在慣性測量單元（IMU）還未大規(guī)模普及的時代，SLAM 系統(tǒng)往往只依靠相機(jī)捕獲的圖像信息進(jìn)行空間定位，由于圖像信息中的角點或Marker點是可以直接約束相機(jī)的姿態(tài)和位置的， 因此純視覺輸入可以保證SLAM系統(tǒng)在小范圍空間內(nèi)的跟蹤結(jié)果不存在漂移。然而純視覺定位的局限在于其幀率往往不是很高，而且圖像運算復(fù)雜，使得姿態(tài)求解不具有較高的動態(tài)性能。 而反過來，慣性測量單元具有極好的瞬時動態(tài)性，可以很好的彌補(bǔ)視覺系統(tǒng)的不足。因此，視基于覺和慣性單元融合的空間定位系統(tǒng)Vision-Inertial Navigation System（VINS） 便成為當(dāng)前流行的SLAM系統(tǒng)最佳方案，在VR領(lǐng)域，這也是inside-out 定位系統(tǒng)的基礎(chǔ)。VINS的核心是利用卡爾曼濾波器對慣性單元的輸入進(jìn)行預(yù)積分，將積分結(jié)果用于預(yù)測當(dāng)前姿態(tài)下所有角點或Marker點在相機(jī)中的投影位置，接著通過相機(jī)捕獲到的角點或marker點坐標(biāo)對預(yù)測姿態(tài)進(jìn)行修正更新，整個預(yù)測和更新過程交替進(jìn)行。當(dāng)前市面流行的IMU輸出幀率可以達(dá)到1000幀，因此VINS可以以很高的幀率對當(dāng)前姿態(tài)進(jìn)行預(yù)測，同時以相對較低的圖像頻率對姿態(tài)進(jìn)行更新修正，這樣可以同時保證定位系統(tǒng)的瞬時響應(yīng)速度和長時間使用的準(zhǔn)確性。

以上就是為大家?guī)淼膯文靠臻g定位的一些技術(shù)介紹，在后續(xù)，本專欄還會結(jié)合一些實際應(yīng)用和產(chǎn)品再介紹和空間定位、測量相關(guān)的技術(shù)。