雙目立體視覺是機(jī)器視覺的一種重要形式，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統(tǒng)一般由雙攝像機(jī)從不同角度同時(shí)獲得被測物的兩幅數(shù)字圖像，或由單攝像機(jī)在不同時(shí)刻從不同角度獲得被測物的兩幅數(shù)字圖像，并基于視差原理恢復(fù)出物體的三維幾何信息，重建物體三維輪廓及位置。雙目立體視覺系統(tǒng)在機(jī)器視覺領(lǐng)域有著廣泛的應(yīng)用前景。

80年代麻省理工學(xué)院人工智能實(shí)驗(yàn)室的Marr提出了一種視覺計(jì)算理論并應(yīng)用在雙眼匹配上! 使兩張有視差的平面圖產(chǎn)生有深度的立體圖形! 奠定了雙目立體視覺發(fā)展的理論基礎(chǔ)。相比其他類的體視方法! 如透鏡板三維成像，三維顯示，全息照相術(shù)等! 雙目體視直接模擬人類雙眼處理景物的方式可靠簡便! 在許多領(lǐng)域均極具應(yīng)用價(jià)值! 如微操作系統(tǒng)的位姿檢測與控制機(jī)器人導(dǎo)航與航測，三維測量學(xué)及虛擬現(xiàn)實(shí)等。

雙目立體視覺原理與結(jié)構(gòu)

雙目立體視覺三維測量是基于視差原理，圖1所示為簡單的平視雙目立體成像原理圖，兩攝像機(jī)的投影中心的連線的距離，即基線距為b。攝像機(jī)坐標(biāo)系的原點(diǎn)在攝像機(jī)鏡頭的光心處，坐標(biāo)系如圖1所示。事實(shí)上攝像機(jī)的成像平面在鏡頭的光心后，圖1中將左右成像平面繪制在鏡頭的光心前f處，這個(gè)虛擬的圖像平面坐標(biāo)系O1uv的u軸和v軸與和攝像機(jī)坐標(biāo)系的x軸和y軸方向一致，這樣可以簡化計(jì)算過程。左右圖像坐標(biāo)系的原點(diǎn)在攝像機(jī)光軸與平面的交點(diǎn)O1和O2。空間中某點(diǎn)P在左圖像和右圖像中相應(yīng)的坐標(biāo)分別為P1(u1,v1)和P2(u2,v2)。假定兩攝像機(jī)的圖像在同一個(gè)平面上，則點(diǎn)P圖像坐標(biāo)的Y坐標(biāo)相同，即v1=v2。由三角幾何關(guān)系得到：

上式中（xc，yc，zc）為點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)，b為基線距，f為兩個(gè)攝像機(jī)的焦距，（u1，v1）和（u2，v2）分別為點(diǎn)P在左圖像和右圖像中的坐標(biāo)。

視差定義為某一點(diǎn)在兩幅圖像中相應(yīng)點(diǎn)的位置差：

由此可計(jì)算出空間中某點(diǎn)P在左攝像機(jī)坐標(biāo)系中的坐標(biāo)為：

因此，只要能夠找到空間中某點(diǎn)在左右兩個(gè)攝像機(jī)像面上的相應(yīng)點(diǎn)，并且通過攝像機(jī)標(biāo)定獲得攝像機(jī)的內(nèi)外參數(shù)，就可以確定這個(gè)點(diǎn)的三維坐標(biāo)。

雙目視覺測量探頭由2個(gè)攝像機(jī)和1個(gè)半導(dǎo)體激光器組成。

半導(dǎo)體激光器作為光源,它發(fā)射出一點(diǎn)光源射到一柱狀透鏡上后變成一條直線。該線激光投射到工件表面,作為測量標(biāo)志線。激光波長為650 nm,其掃描激光線寬約為1mm。 2個(gè)普通CCD攝像機(jī)呈一定角度放置,構(gòu)成深度測量的傳感器。鏡頭焦距長短會(huì)影響鏡頭光軸與線激光的夾角、探頭與待測物體的距離以及測量景深。

視覺測量屬于一種非接觸式測量,它是基于激光三角法測量原理。激光器1發(fā)出的光線經(jīng)柱狀透鏡單方向擴(kuò)展后變成一光條,投射在被測物體表面,由于物體表面曲度或深度的變化,使光條變形,由攝像機(jī)攝取此變形光條的圖像,這樣就可以由激光束的發(fā)射角和激光束在攝像機(jī)內(nèi)成像位置,通過三角幾何關(guān)系獲得被測點(diǎn)的距離或位置等數(shù)據(jù)。

與人類使用雙眼觀察物體的遠(yuǎn)近類似,雙目視覺測量傳感器是通過2個(gè)攝像機(jī)同時(shí)攝取一個(gè)光條的圖像,再通過兩幅圖像的匹配,得到光條上所有像素點(diǎn)分別在兩幅圖像中的位置,利用視差,即可計(jì)算該點(diǎn)的位置以及深度信息的。如果配合掃描機(jī)構(gòu)得到的掃描線某一坐標(biāo)值,可得到被掃描物體所有的輪廓信息(即三維坐標(biāo)點(diǎn))。

一般來說,雙目傳感器的視差(x2-x1)越大,則其測量精度越高。通過實(shí)驗(yàn)發(fā)現(xiàn),增大基線長度可以提高視覺測量的精度。但對某一焦距的鏡頭,過大的基線長度會(huì)造成雙目軸線夾角增大,使圖像產(chǎn)生較大畸變,不利于CCD的標(biāo)定及特征匹配,反而使測量精度下降。選擇2個(gè)焦距為8mm的鏡頭,通過實(shí)驗(yàn),找到與之相匹配的基線長度,可保證在鏡頭的景深范圍內(nèi),雙目視覺傳感器有較高的測量精度。

雙目視覺的技術(shù)特點(diǎn)

雙目立體視覺技術(shù)的實(shí)現(xiàn)可分為以下步驟：圖像獲取、攝像機(jī)標(biāo)定、特征提取、圖像匹配和三維重建，下面依次介紹各個(gè)步驟的實(shí)現(xiàn)方法和技術(shù)特點(diǎn)。

圖像獲取

雙目體視的圖像獲取是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)（CCD）經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場景，獲取立體圖像對。其針孔模型如圖1。假定攝像機(jī)C1與C2的角距和內(nèi)部參數(shù)都相等，兩攝像機(jī)的光軸互相平行，二維成像平面X1O1Y1和X2O2Y2重合，P1與P2分別是空間點(diǎn)P在C1與C2上的成像點(diǎn)。但一般情況下，針孔模型兩個(gè)攝像機(jī)的內(nèi)部參數(shù)不可能完成相同，攝像機(jī)安裝時(shí)無法看到光軸和成像平面，故實(shí)際中難以應(yīng)用。

相關(guān)機(jī)構(gòu)對會(huì)聚式雙目體視系統(tǒng)的測量精度與系統(tǒng)結(jié)構(gòu)參數(shù)之間的關(guān)系作了詳盡分析，并通過試驗(yàn)指出，對某一特定點(diǎn)進(jìn)行三角測量。該點(diǎn)測量誤差與兩CCD光軸夾角是一復(fù)雜的函數(shù)關(guān)系；若兩攝像頭光軸夾角一定，則被測坐標(biāo)與攝像頭坐標(biāo)系之間距離越大，測量得到點(diǎn)距離的誤差就越大。在滿足測量范圍的前提下，應(yīng)選擇兩CCD之間夾角在50℃～80℃之間。

攝像機(jī)的標(biāo)定

對雙目體視而言，CCD攝像機(jī)、數(shù)碼相機(jī)是利用計(jì)算機(jī)技術(shù)對物理世界進(jìn)行重建前的基本測量工具，對它們的標(biāo)定是實(shí)現(xiàn)立體視覺基本而又關(guān)鍵的一步。通常先采用單攝像機(jī)的標(biāo)定方法，分別得到兩個(gè)攝像機(jī)的內(nèi)、外參數(shù)；再通過同一世界坐標(biāo)中的一組定標(biāo)點(diǎn)來建立兩個(gè)攝像機(jī)之間的位置關(guān)系。

目前常用的單攝像機(jī)標(biāo)定方法主要有：

1、攝影測量學(xué)的傳統(tǒng)設(shè)備標(biāo)定法。利用至少17個(gè)參數(shù)描述攝像機(jī)與三維物體空間的結(jié)束關(guān)系，計(jì)算量非常大。

2、直接線性變換性。涉及的參數(shù)少、便于計(jì)算。

3、透視變換短陣法。從透視變換的角度來建立攝像機(jī)的成像模型，無需初始值，可進(jìn)行實(shí)時(shí)計(jì)算。

4、相機(jī)標(biāo)定的兩步法。首先采用透視短陣變換的方法求解線性系統(tǒng)的攝像機(jī)參數(shù)，再以求得的參數(shù)為初始值，考慮畸變因素，利用最優(yōu)化方法求得非線性解，標(biāo)定精度較高。

5、雙平面標(biāo)定法。在雙攝像機(jī)標(biāo)定中，需要精確的外部參數(shù)。由于結(jié)構(gòu)配置很難準(zhǔn)確，兩個(gè)攝像機(jī)的距離和視角受到限制，一般都需要至少6個(gè)以上（建議取10個(gè)以上）的已知世界坐標(biāo)點(diǎn)，才能得到比較滿意的參數(shù)矩陣，所以實(shí)際測量過程不但復(fù)雜，而且效果并不一定理想，大大地限制了其應(yīng)用范圍。此外雙攝像機(jī)標(biāo)定還需考慮鏡頭的非線性校正、測量范圍和精度的問題，目前戶外的應(yīng)用還有少。

特征點(diǎn)提取

立體像對中需要撮的特征點(diǎn)應(yīng)滿足以下要求：與傳感器類型及抽取特征所用技術(shù)等相適應(yīng)；具有足夠的魯棒性和一致性。需要說明的是：在進(jìn)行特征點(diǎn)像的坐標(biāo)提取前，需對獲取的圖像進(jìn)行預(yù)處理。因?yàn)樵趫D像獲取過程中，存在一系列的噪聲源，通過此處理可顯著改進(jìn)圖像質(zhì)量，使圖像中特征點(diǎn)更加突出。

立體匹配

立體匹配是雙目體視中最關(guān)系、困難的一步。與普通的圖像配準(zhǔn)不同，立體像對之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的，而不是由其它如景物本身的變化、運(yùn)動(dòng)所引起的。根據(jù)匹配基元的不同，立體匹配可分為區(qū)域匹配、特征匹配和相位匹配三大類。

區(qū)域匹配算法的實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度，它在變化平緩且細(xì)節(jié)豐富的地方可以達(dá)到較高的精度。但該算法的匹配窗大小難以選擇，通常借助于窗口形狀技術(shù)來改善視差不連續(xù)處的匹配；其次是計(jì)算量大、速度慢，采取由粗至精分級匹配策略能大大減少搜索空間的大小，與匹配窗大小無關(guān)的互相關(guān)運(yùn)算能顯著提高運(yùn)算速度。

特片匹配不直接依賴于灰度，具有較強(qiáng)的抗干擾性，計(jì)算量小，速度快。但也同樣存一些不足：特征在圖像中的稀疏性決定特征匹配只能得到稀疏的視差場；特征的撮和定位過程直接影響匹配結(jié)果的精確度。改善辦法是將特征匹配的魯棒性和區(qū)域匹配的致密性充分結(jié)合，利用對高頻噪聲不敏感的模型來提取和定位特征。

相位匹配是近二十年才發(fā)展起來的一類匹配算法。相位作為匹配基元，本身反映信號(hào)的結(jié)構(gòu)信息，對圖像的高頻噪聲有很好的抑制作用，適于并行處理，能獲得亞像素級精度的致密視差。但存在相位奇點(diǎn)和相位卷繞的問題，需加入自適應(yīng)濾波器解決。

三維重建

在得到空間任一點(diǎn)在兩個(gè)圖像中的對應(yīng)坐標(biāo)和兩攝像機(jī)參數(shù)矩陣的條件下，即可進(jìn)行空間點(diǎn)的重建。通過建立以該點(diǎn)的世界坐標(biāo)為未知數(shù)的4個(gè)線性方程，可以用最小二乘法求解得該點(diǎn)的世界坐標(biāo)。實(shí)際重建通常采用外極線結(jié)束法。空間瞇、兩攝像機(jī)的光心這三點(diǎn)組成的平面分別與兩個(gè)成像平面的交線稱為該空間點(diǎn)在這兩個(gè)成像平面中的極線。一旦兩攝像機(jī)的內(nèi)外參數(shù)確定，就可通過兩個(gè)成像平面上的極線的約束關(guān)系建立對應(yīng)點(diǎn)之間的關(guān)系，并由此聯(lián)立方程，求得圖像點(diǎn)的世界坐標(biāo)值。對圖像的全像素的三維重建目前僅能針對某一具體目標(biāo)，計(jì)算量大且效果不明顯。

雙目視覺技術(shù)現(xiàn)狀

國外現(xiàn)狀

雙目體視目前主要應(yīng)用于四個(gè)領(lǐng)域：機(jī)器人導(dǎo)航、微操作系統(tǒng)的參數(shù)檢測、三維測量和虛擬現(xiàn)實(shí)。

日本大阪大學(xué)自適應(yīng)機(jī)械系統(tǒng)研究院研制了一種自適應(yīng)雙目視覺伺服系統(tǒng)，利用雙目 體視的原理，如每幅圖像中相對靜止的三個(gè)標(biāo)志為參考，實(shí)時(shí)計(jì)算目標(biāo)圖像的雅可比短陣，從而預(yù)測出目標(biāo)下一步運(yùn)動(dòng)方向，實(shí)現(xiàn)了對動(dòng)方式未知的目標(biāo)的自適應(yīng)跟蹤。該系統(tǒng)僅要求兩幅圖像中都有靜止的參考標(biāo)志，無需攝像機(jī)參數(shù)。而傳統(tǒng)的視覺跟蹤伺服系統(tǒng)需事先知道攝像機(jī)的運(yùn)動(dòng)、光學(xué)等參數(shù)和目標(biāo)的運(yùn)動(dòng)方式。

日本奈良科技大學(xué)信息科學(xué)學(xué)院提出了一種基于雙目立體視覺的增強(qiáng)現(xiàn)實(shí)系統(tǒng)（AR）注冊方法，通過動(dòng)態(tài)修正特征點(diǎn)的位置提高注冊精度。該系統(tǒng)將單攝像機(jī)注冊（MR）與立體視覺注冊（SR）相結(jié)合，利用MR和三個(gè)標(biāo)志點(diǎn)算出特征點(diǎn)在每個(gè)圖像上的二維坐標(biāo)和誤差，利用SR和圖像對計(jì)算出特征點(diǎn)的三維位置總誤差，反復(fù)修正特征點(diǎn)在圖像對上的二維坐標(biāo)，直至三維總誤差小于某個(gè)閾值。該方法比僅使用MR或SR方法大大提高了AR系統(tǒng)注冊深度和精度。實(shí)驗(yàn)結(jié)果如圖2，白板上三角開的三頂點(diǎn)被作為單攝像機(jī)標(biāo)定的特征點(diǎn)，三個(gè)三角形上的模型為虛擬場景，烏龜是真實(shí)場景，可見基本上難以區(qū)分出虛擬場景（恐龍）和現(xiàn)實(shí)場景（烏龜）。

日本東京大學(xué)將實(shí)時(shí)雙目立體視覺和機(jī)器人整體姿態(tài)信息集成，開發(fā)了仿真機(jī)器人動(dòng)態(tài)行長導(dǎo)航系統(tǒng)。該系統(tǒng)實(shí)現(xiàn)分兩個(gè)步驟：首先，利用平面分割算法分離所拍攝圖像對中的地面與障礙物，再結(jié)合機(jī)器人身體姿態(tài)的信息，將圖像從攝像機(jī)的二維平面坐標(biāo)系轉(zhuǎn)換到描述軀體姿態(tài)的世界坐標(biāo)系，建立機(jī)器人周圍區(qū)域的地圖；基次根據(jù)實(shí)時(shí)建立的地圖進(jìn)行障礙物檢測，從而確定機(jī)器人的行走方向。

日本岡山大學(xué)使用立體顯微鏡、兩個(gè)CCD攝像頭、微操作器等研制了使用立體顯微鏡控制微操作器的視覺反饋系統(tǒng)，用于對細(xì)胞進(jìn)行操作，對鐘子進(jìn)行基因注射和微裝配等。

麻省理工學(xué)院計(jì)算機(jī)系統(tǒng)提出了一種新的用于智能交通工具的傳感器融合方式，由雷達(dá)系統(tǒng)提供目標(biāo)深度的大致范圍，利用雙目立體視覺提供粗略的目標(biāo)深度信息，結(jié)合改進(jìn)的圖像分割算法，能夠在高速環(huán)境下對視頻圖像中的目標(biāo)位置進(jìn)行分割，而傳統(tǒng)的目標(biāo)分割算法難以在高速實(shí)時(shí)環(huán)境中得到令人滿意的結(jié)果。

華盛頓大學(xué)與微軟公司合作為火星衛(wèi)星“探測者”號(hào)研制了寬基線立體視覺系統(tǒng)，使“探測者”號(hào)能夠在火星上對其即將跨越的幾千米內(nèi)的地形進(jìn)行精確的定位玫導(dǎo)航。系統(tǒng)使用同一個(gè)攝像機(jī)在“探測者”的不同位置上拍攝圖像對，拍攝間距越大，基線越寬，能觀測到越遠(yuǎn)的地貌。系統(tǒng)采用非線性優(yōu)化得到兩次拍攝圖像時(shí)攝像機(jī)的相對準(zhǔn)確的位置，利用魯棒性強(qiáng)的最大似然概率法結(jié)合高效的立體搜索進(jìn)行圖像匹配，得到亞像素精度的視差，并根據(jù)此視差計(jì)算圖像對中各點(diǎn)的三維坐標(biāo)。相比傳統(tǒng)的體視系統(tǒng)，能夠更精確地繪制“探測者”號(hào)周圍的地貌和以更高的精度觀測到更遠(yuǎn)的地形。

國內(nèi)現(xiàn)狀

浙江大學(xué)機(jī)械系統(tǒng)完全利用透視成像原理，采用雙目體視方法實(shí)現(xiàn)了對多自由度機(jī)械裝置的動(dòng)態(tài)、精確位姿檢測，僅需從兩幅對應(yīng)圖像中抽取必要的特征點(diǎn)的三維坐標(biāo)，信息量少，處理速度快，尤其適于動(dòng)態(tài)情況。與手眼系統(tǒng)相比，被測物的運(yùn)動(dòng)對攝像機(jī)沒有影響，且不需知道被測物的運(yùn)動(dòng)先驗(yàn)知識(shí)和限制條件，有利于提高檢測精度。

東南大學(xué)電子工程系基于雙目立體視覺，提出了一種灰度相關(guān)多峰值視差絕對值極小化立體匹配新方法，可對三維不規(guī)則物體（偏轉(zhuǎn)線圈）的三維空間坐標(biāo)進(jìn)行非接觸精密測量。

哈工大采用異構(gòu)雙目活動(dòng)視覺系統(tǒng)實(shí)現(xiàn)了全自主足球機(jī)器人導(dǎo)航。將一個(gè)固定攝像機(jī)和一個(gè)可以水平旋轉(zhuǎn)的攝像機(jī)，分別安裝在機(jī)器人的頂部和中下部，可以同時(shí)監(jiān)視不同方位視點(diǎn)，體現(xiàn)出比人類視覺優(yōu)越的一面。通過合理的資源分配及協(xié)調(diào)機(jī)制，使機(jī)器人在視野范圍、測跟精度及處理速度方面達(dá)到最佳匹配。雙目協(xié)調(diào)技術(shù)可使機(jī)器人同時(shí)捕捉多個(gè)有效目標(biāo)，觀測相遇目標(biāo)時(shí)通過數(shù)據(jù)融合，也可提高測量精度。在實(shí)際比賽中其他傳感器失效的情況下，僅僅依靠雙目協(xié)調(diào)仍然可以實(shí)現(xiàn)全自主足球機(jī)器人導(dǎo)航。

雙目視覺技術(shù)的發(fā)展方向

就雙目立體視覺技術(shù)的發(fā)展現(xiàn)狀而言，要構(gòu)造出類似于人眼的通用雙目立體視覺系統(tǒng)，還有很長的路要走，進(jìn)一步的研究方向可歸納如下：

1、如何建立更有效的雙目立體視覺模型，能更充分地反映立體視覺不去確定性的本質(zhì)屬性，為匹配提供更多的約束信息，降低立體匹配的難度。

2、探索新的適用于全面立體視覺的計(jì)算理論和匹配擇有效的匹配準(zhǔn)則和算法結(jié)構(gòu)，以解決存在灰度失真，幾何畸變（透視，旋轉(zhuǎn)，縮放等），噪聲干擾，特殊結(jié)構(gòu)（平坦區(qū)域，重復(fù)相似結(jié)構(gòu)等），及遮掩景物的匹配問題；

3、算法向并行化發(fā)展，提高速度，減少運(yùn)算量，增強(qiáng)系統(tǒng)的實(shí)用性；

4、強(qiáng)調(diào)場景與任務(wù)的約束，針對不同的應(yīng)用目的，建立有目的的面向任務(wù)的雙目立體視覺系統(tǒng)。

雙目立體視覺這一有著廣闊應(yīng)用前景的學(xué)科，隨著光學(xué)，電子學(xué)以及計(jì)算機(jī)技術(shù)的發(fā)展，將不斷進(jìn)步，逐漸實(shí)用化，不僅將成為工業(yè)檢測，生物醫(yī)學(xué)，虛擬現(xiàn)實(shí)等領(lǐng)域。目前在國外，雙目立體視覺技術(shù)已廣泛應(yīng)用于生產(chǎn)，生活中，而我國正處于初始階段，尚需要廣大科技工作者共同努力，為其發(fā)展做出貢獻(xiàn)。在機(jī)器視覺賴以普及發(fā)展的諸多因素中，有技術(shù)層面的，也有商業(yè)層面的，但制造業(yè)的需求是決定性的。制造業(yè)的發(fā)展，帶來了對機(jī)器視覺需求的提升；也決定了機(jī)器視覺將由過去單純的采集、分析、傳遞數(shù)據(jù)，判斷動(dòng)作，逐漸朝著開放性的方向發(fā)展，這一趨勢也預(yù)示著機(jī)器視覺將與自動(dòng)化更進(jìn)一步的融合。需求決定產(chǎn)品，只有滿足需求的產(chǎn)品才有生存的空間，這是不變的規(guī)律,機(jī)器視覺也是如此。