結(jié)構(gòu)光三維形貌測量方法越來越多地應(yīng)用于逆向工程、航空航天、生物醫(yī)學、文物保護等領(lǐng)域。相位展開作為結(jié)構(gòu)光三維測量中的一個關(guān)鍵環(huán)節(jié)對測量精度、速度和可靠性起著決定性作用。
據(jù)麥姆斯咨詢報道,近期,河北工業(yè)大學機械工程學院和赫德斯菲爾德大學精密技術(shù)中心的科研團隊在《紅外與激光工程》期刊上發(fā)表了以“面向結(jié)構(gòu)光三維測量的相位展開技術(shù)綜述(特邀)”為主題的文章。該文章第一作者和通訊作者為張宗華教授,主要從事光學檢測、三維數(shù)字成像和造型、條紋自動分析等方面的研究工作。
本文綜述了相位展開技術(shù)的研究進展:介紹了相位展開技術(shù)的基本原理;將現(xiàn)有的相位展開技術(shù)進行分類并詳細綜述各類技術(shù)的研究現(xiàn)狀以及優(yōu)缺點和適用性分析;對不同技術(shù)的幾種主要特點進行了比較和分析;總結(jié)分析了相位展開技術(shù)的未來研究趨勢和可能的研究方向。
相位基本原理
相移法以其操作簡單、高效率、高精度等優(yōu)點廣泛應(yīng)用于光學測量領(lǐng)域。通常,經(jīng)典的三維形貌測量步驟包括:條紋投影、相機采集變形條紋、條紋分析、相位展開、系統(tǒng)標定、點云計算、三維形貌重建。其中條紋分析的目的是得到包裹相位,位于區(qū)間(?π,π]呈現(xiàn)鋸齒形狀的相位信息。得到包裹相位常用的條紋分析方法是相移法、小波變換法和傅里葉變換法,其中相移法具有計算結(jié)果準確、可靠性高和對環(huán)境和噪聲不敏感等優(yōu)點。Zuo等已經(jīng)對各類相移算法做了較為全面的比較。文中涉及到的包裹相位部分,統(tǒng)一采用相移方法求解。相移方法把投影的條紋圖案在一個周期內(nèi)均勻移動N步(N≥3),每次移動2π/N,根據(jù)這N幅變形條紋圖案來求得折疊相位?(x,y)。相位展開的意義是將由反正切函數(shù)計算得到的截斷相位恢復為連續(xù)分布的相位,用于后續(xù)的三維形貌恢復。
相位展開技術(shù)分類
下面對以下4種相位展開技術(shù)的進展進行詳細介紹:1)時間相位展開技術(shù);2)空間相位展開技術(shù);3)基于深度學習的相位展開技術(shù);4)其他相位展開技術(shù)。
時間相位展開技術(shù)
時間相位展開是按照時間順序?qū)⒁幌盗胁煌l率的條紋投影到被測物體上,相機捕獲被測物體表面的變形條紋。根據(jù)捕獲的一系列按照時間順序排列的變形條紋圖案,可以將每個像素點的相位根據(jù)時間序列的條紋圖組相對獨立地完成相位展開,得到連續(xù)的相位分布。由于時間相位展開與相鄰相位無關(guān),展開相對獨立,因此時間相位展開也可以用于計算非連續(xù)表面的相位值。
自Huntley和Saldner提出時間相位展開技術(shù)以來,研究者們針對相位展開的效率和準確性這一問題進行了大量研究,使得時間相位展開技術(shù)快速發(fā)展。1993年,Huntley和Saldner提出時間相位展開技術(shù),有效克服了相位展開過程中的誤差傳播,使條紋圖案的空間頻率隨時間呈線性序列(條紋周期數(shù)為:1,2,3,?,N0,N0表示最大投影條紋周期數(shù))。算法實現(xiàn)像素獨立展開,且在時域中進行,可以將相位誤差限制在低信噪比區(qū)域內(nèi)。此外,相位不連續(xù)的區(qū)域也可以實現(xiàn)正確展開,用于測量非連續(xù)物體表面。該技術(shù)存在的問題是相位圖建立緩慢,多適用于靜態(tài)測量,不適用于較快的動態(tài)測量。之后,Huntley和Saldner將時間相位展開技術(shù)用于改進的測量系統(tǒng),簡化了標定過程,使得時間相位展開技術(shù)可以更有效的應(yīng)用于實際測量中。
該技術(shù)的主要優(yōu)點是:可有效測量高度不連續(xù)的被測物體,測量誤差與使用的條紋圖數(shù)量成反比。陰影對圖像的影響與傳統(tǒng)投影條紋的影響程度相同,但是相位誤差被限制在陰影區(qū)域內(nèi),不會傳播,影響具有良好信噪比的區(qū)域。為了簡化Huntley和Saldner所提出的技術(shù),Zhao等提出一種新方法,主要原理是基于用于相位展開的兩個相位圖像具有不同的精度,且條紋階次由較低精度的相位圖像賦值。該方法每個點的相位展開也都是獨立完成,且計算相位展開的方法可以自動生成相位圖,而無需定位條紋中心或分配條紋階數(shù)。被測物體的非連續(xù)性以及噪聲問題對該方法影響較小,但是可否用于欠采樣的問題未得到驗證。
Huntley和Saldner比較分析了已有時間相位展開計算方法的性能,同樣為了減少投影圖像數(shù)量和簡化計算量,提出了一種指數(shù)序列相位展開技術(shù),使條紋圖案的空間頻率隨時間呈指數(shù)變化(條紋周期數(shù)為:1, 2, 4,?, N0),即所需投影圖案數(shù)目與總相位范圍呈對數(shù)變化關(guān)系,而非線性變化。證明了該技術(shù)可以有效的抑制噪聲的影響,對噪聲較為不敏感。由于高度測量誤差與總相位范圍成反比關(guān)系,因此誤差隨著展開圖像的數(shù)量增加呈指數(shù)下降,可有效降低測量誤差。該技術(shù)不僅為相位展開實現(xiàn)最大化可靠性和最小化計算量提供了一種選擇,也在一定程度上提升了測量精度。但是對于相位展開的速度和準確度而言,仍存在一定的提升空間。針對時間相位展開的精度提升和速度加快問題,Huntley和Saldner提出了一種反向指數(shù)序列的相位展開技術(shù)(條紋周期數(shù)為:N0, N0-1, N0?2,?, N0/2)。
該技術(shù)不僅提高了信噪比,而且通過線性最小二乘法提高了相位展開技術(shù)的測量精度(提高s1/2倍,其中s是投影條紋的總數(shù))。在不考慮測量時間的情況,可實現(xiàn)較高的測量精度。對于具有深斜坡或局部不連續(xù)的物體表面,通常不能滿足香農(nóng)抽樣定理,為了恢復局部陡峭曲面片的形狀,針對采樣問題和時間效率問題,Peng等提出一種以遞歸方式實現(xiàn)的增強時間展開方法。采用遞歸方法使得重建曲面的分辨率提高,從而實現(xiàn)多分辨率重建,提高對被測物體細節(jié)測量的準確度。
不同的時間相位展開技術(shù)具有不同的優(yōu)缺點,適用于不同的測量場景和物體,Huntley和Saldner所提出的不同時間相位展開技術(shù)可以總結(jié)為:線性序列相位展開技術(shù)、指數(shù)序列相位展開技術(shù)和反向指數(shù)序列相位展開技術(shù)。其中線性序列所需圖像的數(shù)量最多,因此所需圖像最多,測量速度最慢且計算量最大;后兩種指數(shù)序列利用了相位和投影條紋數(shù)之間的指數(shù)關(guān)系,與線性序列相比,所需圖像總數(shù)減少,一定程度上提高了測量效率。
為實現(xiàn)精度更高、誤差更小、抗噪性更好和更具有時間效率的相位展開,更好地解決相位展開過程中的誤差傳播效應(yīng),更有效地用于非連續(xù)表面的測量,逐漸發(fā)展出越來越多不同形式的時間相位展開技術(shù)。時間相位展開的發(fā)展過程中形成的方法可總結(jié)分為四類:基于格雷碼的相位展開、多頻相位展開、多波長相位展開和基于數(shù)論的相位展開。以下對四種方法的基本原理和發(fā)展過程進行詳細的介紹說明。
基于格雷碼的相位展開
格雷碼(Gray code)最早于19世紀40年代被提出。由于格雷碼固有的編碼優(yōu)勢,Inokuchi等將其應(yīng)用到結(jié)構(gòu)光三維形貌測量的編碼技術(shù)中。格雷碼采用的是二值編碼,但是格雷碼的特殊性在于相鄰數(shù)字編碼之間只差一位,最大數(shù)與最小數(shù)之間也只相差一位,因此出差率低,用于編碼解碼可以使得誤差降低到最小。
格雷碼圖案通過投影儀投射到被測物體表面,相機捕獲經(jīng)過被測物體表面調(diào)制后的格雷碼圖案,結(jié)合系統(tǒng)標定結(jié)果,解碼即可實現(xiàn)被測表面的三維重建。編碼和解碼過程如圖1所示。
圖1 格雷碼編碼和解碼過程
根據(jù)格雷碼的編碼特性,可以實現(xiàn)在解碼過程中唯一定位到每一個條紋,可以根據(jù)提取條紋的邊界和提取條紋的中心確定。相對而言,條紋邊界的準確提取是影響解碼準確度的主要問題。隨著對格雷碼方法的深入研究和不斷發(fā)展,多種格雷碼相關(guān)的相位展開技術(shù)被提出,可將基于格雷碼的相位展開(PU-GC)分為:二值格雷碼方法、多灰度格雷碼方法、格雷碼結(jié)合相移方法和基于格雷碼編碼原理的其他方法,這四類方法都可以歸類為在結(jié)構(gòu)光三維測量中常用的格雷碼方法。
為了提高時間相位展開的效率,Sansoni等提出了一種將相移與格雷碼相結(jié)合的結(jié)構(gòu)光三維測量方法。格雷碼技術(shù)被用來測量不連續(xù)表面,而相移算法可以測量較為精細的表面細節(jié),使得該系統(tǒng)具有較好的線性度,提高了與分辨率和測量范圍相關(guān)的測量性能。在基于格雷碼結(jié)合相移技術(shù)的三維形貌測量中,可以對復雜或不連續(xù)表面的物體進行測量。但是由于被測表面反射率不均勻、背景光強度、噪聲以及散焦的影響,相鄰兩個二值的邊界,尤其是黑白轉(zhuǎn)換邊界的界限不明顯,不易實現(xiàn)清晰的分割,從而導致解碼相位順序出錯。針對上述問題,2012年Zhang等提出了互補格雷碼的編碼方法。該方法需要一個額外的格雷碼,形成互補格雷碼圖案,使得轉(zhuǎn)換邊界錯開,保證了相位展開的可靠性和正確性,有效解決了邊緣模糊導致的相位展開錯誤問題。
該方法使圖像二值化和相位展開過程變得簡單有效,但存在的缺點是需要投影和捕獲額外的格雷碼圖案,降低測量效率從而影響測量速度。同樣為了解決格雷碼邊界的邊緣模糊問題,Zheng等提出了一種自校正格雷碼的相位展開方法。該方法無需額外的條紋圖案,解決了Zhang所提方法存在的問題。在校正過程中,相位展開可以充分利用包裹相位中的信息,限制相位跳變的搜索范圍,整個搜索過程只對相位跳變的部分進行校正。因此在搜索過程中省去了不必要的時間浪費。此外,該方法對噪聲影響敏感性較低。
格雷碼方法在實際測量中,捕獲的格雷碼圖案不再是二值圖案,這導致在存在大量像素處易出現(xiàn)相位展開錯誤。為了更有效地消除相位展開誤差,Zheng等提出了一種自適應(yīng)中值濾波器,用于解決相移輪廓術(shù)與格雷碼圖案投影相結(jié)合的相位展開誤差問題。該方法首先檢測錯誤的像素;然后逐漸增大過濾器尺寸,直至獲得較好的效果,可以最大程度地防止邊緣問題。與傳統(tǒng)中值濾波器相比,該方法可有效的去除錯誤像素,具有一定的優(yōu)越性。但存在的問題是錯誤像素的檢測過程較為耗時,影響測量效率。此外,該方法是檢測跳變誤差并補償展開相位,屬于后校正展開相位,適用于靜態(tài)、緩慢變化、誤差區(qū)域較小的場景,對于運動物體的動態(tài)場景等存在較大誤差區(qū)域的情況則難以校正。
相移算法與格雷碼結(jié)合的測量方法具有高魯棒性和抗噪聲能力,因此得到了廣泛的應(yīng)用。在實際測量場景中,由于投影儀的散焦、物體的運動以及物體表面反射率的不均勻性,產(chǎn)生的級次邊沿誤碼問題會造成相位展開錯誤,因此該方法較為廣泛的應(yīng)用于靜態(tài)場景的三維形貌測量,而較少用于動態(tài)高速測量場景中。如果可以在保證預(yù)先避免相位跳變誤差的前提下,實現(xiàn)提升測量速度的同時解決投影儀非線性響應(yīng)問題,則可以實現(xiàn)快速、可靠的三維形貌測量。逐漸發(fā)展起來的二元離焦技術(shù)突破了高速條紋投影和投影儀非線性響應(yīng)的瓶頸,將其有效應(yīng)用于準確快速的三維形貌測量。Wu等提出了一種循環(huán)互補格雷碼方法,結(jié)合二元抖動技術(shù)和互補格雷碼實現(xiàn)相位展開。在具有相同投影圖案數(shù)的前提下,該方法與傳統(tǒng)的灰度編碼方法相比不僅擴展了相位測量范圍,而且也提高了測量精度,可有效用于動態(tài)場景的高速三維測量。
但不足之處是測量深度范圍存在一定的限制。為了使格雷碼結(jié)合相移的方法可以更有效的用于高速測量,Wu等又提出了一種移動格雷碼方法。該方法可以有效消除由反射率不均勻、環(huán)境光變化和投影儀散焦引起的大部分相位解包裹誤差。移動格雷碼編碼方法可以避免相位展開在碼字邊緣的剩余誤差。該方法也無需額外投影和采集條紋圖案。陸麗蓮等提出了一種基于錯位格雷碼的三維形貌測量方法,無需任何附加圖案即可避免級次邊沿誤碼問題,并有效提升了測量精度。
基于格雷碼的方法用于動態(tài)高速測量的主要限制因素就是編碼效率低和邊界誤差問題。針對這兩類問題,提出了不同的相位展開方法。一方面針對邊界誤差問題,為了實現(xiàn)更高速高效的三維測量,Wu等提出了一種分區(qū)相位展開方法。其中,三相位展開可以避免主要由散焦和運動引起的碼字邊界跳躍誤差。對于高速應(yīng)用,使用較少數(shù)量的條紋圖案可以減少運動誘發(fā)的偽影,時間重疊編碼方法則可以提高編碼效率,將每組中的投影圖案數(shù)目從7個減少到4個。
結(jié)合三相位展開和時間重疊編碼方法的優(yōu)勢,實現(xiàn)采用4幅投影圖案重建具有強噪聲動態(tài)場景條件下的被測物體三維形貌。該方法能夠?qū)崿F(xiàn)低信噪比高速動態(tài)場景的魯棒、高效三維測量,保證了基于格雷碼方法的高抗噪聲能力,同時克服了跳轉(zhuǎn)錯誤和低編碼效率的缺點。但是該方法的局限性在于僅限于使用三步相移算法的相位提取,并且需要額外的參考折疊相位來分割條紋階數(shù)區(qū)域。
Wu等將上述提出的方法應(yīng)用于數(shù)字圖像相關(guān)輔助的條紋投影輪廓術(shù)中,實現(xiàn)對紋理表面的高速三維形貌、位移和變形的測量。上述不同的測量方法雖然具有各自的局限性,但是都可以預(yù)先避免相位跳變誤差,實現(xiàn)高速三維形貌測量。為了彌補以上方法的局限性,Wu等提出了一種格雷碼復用的編碼策略方法。該方法在原有的相位展開基礎(chǔ)上建立另外兩個交錯的相位展開,并將條紋階數(shù)的每個周期劃分為3個部分,從而避免跳躍誤差。同時,該方法具有一定的有效性和通用性,保證測量結(jié)果的情況下簡化了測量過程。
另一方面針對編碼效率提升問題,Zheng等提出了三灰度格雷碼方法,通過增加格雷碼的編碼灰度級數(shù),實現(xiàn)對格雷碼編碼效率的提升。對于條紋頻率為f的正弦條紋,實現(xiàn)了格雷碼編碼圖案數(shù)目從log2f減少至log3f。He等在Zheng三灰度編碼方法的基礎(chǔ)上,提出了四灰度編碼方法,將格雷碼編碼圖案數(shù)目從log3f減少至log4f,進一步提高了編碼效率,加快了圖像采集速度,擴展了在動態(tài)測量應(yīng)用中的適用性。張昂等提出了一種三灰度編碼相位展開方法,將投影條紋圖案降低至5幅,包括3幅正弦相移條紋圖像和兩幅三灰度編碼圖像,在一定程度實現(xiàn)了測量速度的提升。之后,王浩然等提出了一種基于時間復用編碼的方法,將重建一個三維結(jié)果所需的投影序列圖案數(shù)目降至3幅,進一步提高了編碼和重建效率。以上方法都是通過提高格雷碼的編碼效率實現(xiàn)減少投影和采集條紋圖像的數(shù)量,從而提高測量速度。
基于格雷碼的相位展開,具有很高的魯棒性和抗噪聲能力,受到系統(tǒng)非線性誤差的影響較小。為了提高方法的效率,逐漸減少測量所需的條紋圖案的數(shù)目,現(xiàn)有的多種基于格雷碼的相位展開方法已經(jīng)實現(xiàn)了可有效用于快速測量場景。
多頻相位展開
多頻相位展開(MFPU)主要原理是投射兩組(或兩組以上)不同頻率的條紋圖案,借助一個(或多個)具有不同頻率的條紋圖案的附加包裹相位圖來實現(xiàn)相位展開,確定條紋階數(shù)k。多頻相移法最早提出時用于激光干涉測量,該方法也適用于條紋投影測量。
為了提高時間相位展開的精度,Li等提出了雙頻相位展開方法。將雙頻光柵投影到物體上,對高頻和低頻的大小做了一定的限定,其中高頻比低頻大幾倍。該方法可實現(xiàn)高頻相位的準確展開,且低頻對測量高度的不連續(xù)性不敏感,使得該方法可更加有效地用于不連續(xù)性更大的物體表面測量。
多頻相位展開中,如何合理有效地選擇頻率是決定相位展開準確度的關(guān)鍵問題。針對多頻測量中最佳頻率的選擇問題,Towers等為多頻干涉測量中的最佳頻率選擇引入了一個優(yōu)化標準。該標準使得頻率選擇公式針對實現(xiàn)最大目標動態(tài)范圍所需的最小頻率數(shù)量進行了優(yōu)化。所提出的頻率選擇方法會生成幾何系列的波長,從而為干涉儀中使用的每個后續(xù)頻率提供最大的動態(tài)范圍。Towers根據(jù)優(yōu)化標準提出了一種最佳三條紋選擇方法,實現(xiàn)利用最少數(shù)量的投影條紋頻率獲得最大的測量范圍。使用基于相干光纖的條紋投影儀,通過實驗證明了最佳頻率選擇方法。僅使用3個頻率,在整個視野中使用100個條紋,在條紋階計算中實現(xiàn)了大于99.5%的可靠性。Zhang等將提出的最佳三條紋選擇方法用于彩色條紋投影系統(tǒng)中,使用最佳三條紋選擇方法實現(xiàn)每個像素獨立計算絕對相位。該方法在采用3個頻率的前提下可以實現(xiàn)精準的測量,且最佳三條紋選擇方法的精度較普通的多頻方法較高;投影圖案數(shù)目相對較少;具有一定的抗噪性和魯棒性。
雙頻相位展開對相位主值要求相對較高,因此易產(chǎn)生相位跳躍誤差。兼顧測量時間效率和測量精度,選擇3個頻率的相位展開技術(shù)更為適用。
其中最佳三條紋選擇方法,對于相同的工藝可靠性和相位噪聲,最佳三條紋選擇方法的測量范圍是雙頻干涉測量的平方,比其他頻率系列方法的測量范圍更大。此外,最佳三條紋選擇法所用的條紋圖案數(shù)量較小,計算可靠性也較高。根據(jù)多頻方法求得的各步結(jié)果如圖2所示。
圖2 最佳三條紋選擇原理示意圖。(a) 條紋頻率為9的折疊相位;(b) 條紋頻率為8的折疊相位;(c) 條紋頻率為6的折疊相位;(d) 展開相位
多頻相位展開具有測量精度高和相位展開可靠性高等優(yōu)點,但是也存在投影條紋圖案數(shù)量較多、所需測量時間較長導致的測量效率低等問題。針對以上問題研究者們提出了不同的改進方法,以實現(xiàn)在保證測量精度的同時提升多頻相位展開技術(shù)的測量效率。針對已有的包括線性、擬合線性、擬合指數(shù)、擬合負指數(shù)等時間相位展開算法存在的使用投影條紋圖案數(shù)目數(shù)量較大這一問題,研究者們相繼提出不同的解決方法。徐珍華等提出了三頻相位展開方法,投影三套條紋圖即可獲得展開相位。該方法有效降低了獲取數(shù)據(jù)的數(shù)量并且一定程度上縮短了數(shù)據(jù)處理時間,提升了方法的測量效率。同樣針對減少條紋圖案的幅數(shù),Liu等提出了一種新的雙頻方法,該圖案將高頻正弦分量與單位頻率正弦分量相結(jié)合,其中高頻分量用于生成穩(wěn)健的相位信息,而單位頻率分量用于減少相位展開過程的邊界模糊問題。該方法可以使用更少的條紋圖案數(shù)且獲得更高質(zhì)量的相位數(shù)據(jù)。為了獲得兼具高效、高精度的相位展開方法,從完善三頻展開法和外差法的角度,李璐璐等結(jié)合了三頻展開法和外差法的優(yōu)點提出了三頻外差法。但是較三頻展開法和外差法而言,不僅在精度和可靠性上表現(xiàn)較好,而且計算效率也得到了一定程度的提升。
從減小誤差產(chǎn)生和修正誤差的角度也可以實現(xiàn)減少相位誤差提高測量精度的目的。陳玲等根據(jù)多頻外差原理,提出了一種相位修正的方法,能夠非常有效地去除相位誤差。Zhang等針對采用多頻條紋投影相位展開算法時可能會出現(xiàn)條紋階差,進而導致相位展開誤差問題,提出了一種校正由自由電子設(shè)備引起的相位誤差方法。所提方法在一定程度上可以減少相位展開誤差。針對誤差問題,Zhang等定義了一個稱為條紋階次誤差的參數(shù),從理論上分析了可能導致條紋階次誤差的主要因素,提出了一種借助于條紋階次誤差優(yōu)化選擇條紋周期的方法,有助于優(yōu)化選擇條紋周期,并檢測相位展開誤差。該方法也可有效降低相位展開誤差,提高測量精度。此外,趙文靜等對幾種多頻時間相位展開引入了分塊擬合的方法,先將整個相位場大小進行分塊,然后再對每個子區(qū)域進行擬合,使得測量精度更高,相位誤差也遠小于以前采用的全場擬和法。為了消除現(xiàn)有多頻外差原理相位展開結(jié)果存在的跳躍誤差,陳松林等提出了相位展開過程中所需滿足的一系列約束條件,對多頻外差原理相位展開方法進行了改進,展開后的相位無需再次進行誤差校正,相比現(xiàn)有方法時間效率提升30%以上。針對求解展開相位過程出現(xiàn)的跳變誤差,韓玉等提出了一種基于多頻外差的相位解包裹方法。該方法利用相鄰像素點包裹相位求得的斜率和疊柵條紋的整數(shù)部分,判斷是否存在跳躍性誤差并進行修正,從而消除誤差,得到了較為平滑的相位展開結(jié)果。
在提高多頻相位展開的測量速度方面,多位研究者也做了相關(guān)的研究工作。Wang等提出一種雙頻二進制相移方法來測量跳動兔心臟的三維絕對形狀。利用最佳脈寬調(diào)制技術(shù)生成高頻條紋圖和誤差擴散抖動技術(shù)生成低頻條紋圖,通過采用雙頻移相,實現(xiàn)了跳動兔心臟的絕對相位恢復,并準確獲得其三維形貌。但是該方法只實現(xiàn)了定性的測量。同樣在提升多頻相位展開測量速度問題上,Zhang等提出一種新的雙頻方法。該方法將高頻正弦分量與單位頻率正弦分量相結(jié)合,其中高頻分量用于生成穩(wěn)健的相位信息,而單位頻率分量用于減少相位模糊。該方法一定程度上通過減少條紋圖數(shù)目提升了測量速度,且配合實時處理數(shù)據(jù)算法,速度提升了約10倍。
對于多頻相位展開而言,準確地選擇最高條紋頻率、相移步長和條紋圖序列是實現(xiàn)準確、高效和可靠測量的關(guān)鍵問題。Zhang等提出了一種在多頻時間相位展開同時確定最佳條紋頻率、相移步長和圖案序列的新方法。在保證精度的前提下,使用7個條紋圖案即可實現(xiàn)三維形貌測量,有效實現(xiàn)了在保證精度的前提下提升測量效率問題。
多頻相位展開在圖案效率、精度和相位展開范圍方面優(yōu)于基于格雷碼的相位展開。多頻相位展開也具有較好的魯棒性,但是在條紋圖案數(shù)目上仍然有提升的空間。
多波長相位展開
多波長相位展開(MWPU)的參考相位是從兩個相位函數(shù)的包裹差產(chǎn)生。以雙波長為例,將已知的相位范圍擴展到兩個相近頻率的拍頻處合成等效波長。
多波長相位展開中雙波長的抗噪能力較差,因此多使用3個及以上的波長用于相位展開。但是考慮所需條紋圖案數(shù)目,因此多采用三波長的方法。多波長相位展開是通過外差技術(shù)將兩個高頻包裹相位圖依次組合成低頻相位圖。與多頻相位展開相比,在保持相位展開精度的前提下,多波長相位展開可以使用更少的條紋圖案數(shù)目實現(xiàn)更快的相位展開。
基于數(shù)論的相位展開
基于數(shù)論的相位展開(NTPU)的主要理論支持是相對質(zhì)數(shù)的性質(zhì)。基于數(shù)論的相位展開具有簡單、穩(wěn)健的特點。但是由于頻率或者波長的選擇需要滿足相對質(zhì)數(shù)的性質(zhì),因此對于頻率的選擇具有一定的局限,且該方法的可靠性和抗噪性受低頻影響較大。此外頻率的限制也可能會導致測量范圍存在一定的局限性。
空間相位展開技術(shù)
空間相位展開技術(shù)主要是以局部或全局優(yōu)化的方式,通過比較相鄰像素處的相位值,判斷加減2π,以消除跳變得到絕對相位,且得到的兩個相鄰像素點的相位差值位于(?π,π]范圍中。但是該技術(shù)應(yīng)用于實際工程對象時存在一些問題,因為在相位展開過程中通常包含相位中的跳變,后序可能無法跨越這些存在的不連續(xù)性,使得相位展開誤差從高噪聲區(qū)域向低噪聲區(qū)和其他區(qū)域累計傳播,相位誤差在圖像中傳播。雖然存在誤差累積和誤差區(qū)域擴大的問題,但是空間相位展開技術(shù)具有測量速度快的優(yōu)勢,因此在對于測量速度有較高要求的實際測量工作中也得到了廣泛的應(yīng)用。
空間相位展開技術(shù)根據(jù)算法原理大致分為:路徑跟蹤的局部算法和路徑無關(guān)的全局算法。其中路徑跟蹤的局部算法包括質(zhì)量引導相位展開法、枝切法;路徑無關(guān)的全局算法包括無權(quán)和加權(quán)最小二乘法。
質(zhì)量引導相位展開
質(zhì)量引導相位展開(QGPU)因為具有高效、快速的優(yōu)勢,得到了廣泛的研究。質(zhì)量引導相位展開主要原理是以質(zhì)量圖為依據(jù)衡量包裹相位,按照所有相位點的質(zhì)量高低排序從高到低完成相位展開。相位展開具體步驟分為兩步:確定質(zhì)量圖;通過洪水填充算法進行相位展開。該方法可以有效限制低質(zhì)量區(qū)域相位展開誤差的傳播。
1982年,Itoh最早提出空間相位展開條件和方法,但是受噪聲影響較為嚴重。引導圖質(zhì)量好壞的判斷一方面決定像素展開相位的正確性;另一方面也對相位展開的方向有影響。這些因素都會影響相位展開過程中的準確性、噪聲干擾、誤差擴散的問題,好的引導圖質(zhì)量對于相位展開的成功有著非常重要的影響,因此質(zhì)量圖質(zhì)量高低的判別也是質(zhì)量引導相位展開技術(shù)中的一個重要環(huán)節(jié)。Su等提出了一種基于可靠性引導參數(shù)映射的相位展開方法。該方法是根據(jù)參數(shù)映射引導相位展開路徑,根據(jù)選擇的一個或一組參數(shù)來識別相位數(shù)據(jù)的可靠性或相位展開的方向,如圖3所示。可選擇的參數(shù)包括:條紋圖的調(diào)制度、條紋圖的空間頻率、相鄰像素間的相位差、信噪比等。參數(shù)圖是組合2個或3個參數(shù)生成,方法的核心就是先對參數(shù)圖中參數(shù)值較高的像素進行相位展開。
該方法可以有效的將存在的相位展開誤差限制在局部最小區(qū)域,具有很強的魯棒性。Zhang等提出了由相位圖梯度生成質(zhì)量圖的方法,多級閾值用于逐級展開相位。該方法雖然對原有的線掃描相位展開算法有所改進,但降低相位展開的計算速度。Fang等提出了一種基于可靠性評估的質(zhì)量導引相位展開算法,以目標圖像的強度作為衡量標準來評估包裹相位圖中每個像素的可靠性,性能良好,且計算效率高。關(guān)于質(zhì)量引導相位展開引導策略中的經(jīng)典、兩段和堆棧鏈三種策略而言,具有索引交織鏈表數(shù)據(jù)結(jié)構(gòu)的經(jīng)典指導策略具有準確度的優(yōu)勢,而堆棧鏈引導策略則速度更快。鄰接列表在質(zhì)量引導相位展開過程中起著非常重要的作用,索引交織鏈表是用于實現(xiàn)鄰接列表的數(shù)據(jù)結(jié)構(gòu)。Zhao等通過對質(zhì)量引導相位展開方法中的索引交織鏈表提出了三項改進,實現(xiàn)減少計算量,提升相位展開速度。
圖3 基于定向平行映射的相位展開示例
質(zhì)量引導相位展開,操作簡單,速度較快,但是也不可避免地會存在因相位展開路徑不正確而引起的相位誤差。針對相位展開中如何減小誤差獲得精度更高的展開相位結(jié)果這一問題,不同研究者們提出了不同的解決方法。Li等利用小波變換系數(shù)在小波脊線位置的幅值映射來識別相位數(shù)據(jù)可靠性和相位展開路徑的方法。該方法選擇位于具有最高振幅值像素處的包裹相位作為相位展開的起點,較先展開具有較高振幅值的像素,所以相位展開的路徑總是沿著振幅值最高的像素到振幅值最低的像素。該方法可以更好地實現(xiàn)將相位展開誤差限制在局部最小區(qū)域。Qian等提出了一種加窗傅里葉濾波和質(zhì)量引導相位展開方法。該方法將濾波后的振幅作為實際質(zhì)量圖,使得相位展開算法對包裹相位圖中的低質(zhì)量區(qū)域更具容錯性。此外,該方法考慮了窗口大小的選擇問題,使算法能夠適應(yīng)不同的相位抖動問題,較大的窗口有助于消除噪聲和識別無效區(qū)域,而較小的窗口則有助于保留局部特征。Mostafavi提出了一種基于雙三次插值法降低相位噪聲的新濾波算法,雙三次插值法與傳統(tǒng)展開算法的結(jié)合提高了展開相位圖的精度。
質(zhì)量引導相位展開通常速度很快,并且對相位圖中的噪聲區(qū)域反應(yīng)較為有效,但其魯棒性和處理不連續(xù)性問題的能力具有一定限制。相關(guān)研究者試圖解決空間相位展開無法用于非連續(xù)相位的展開問題,Arevalillo-Herraez等提出了一種基于剩余概念的質(zhì)量度量方法,在質(zhì)量引導方法中使用該度量值可以實現(xiàn)快速、穩(wěn)健和成功的相位展開。但是相關(guān)研究仍處于初步試探,如果空間相位展開可穩(wěn)健有效地用于非連續(xù)物體測量的相位恢復,將使得非連續(xù)物體的三維測量速度大大提高,可以解決一系列對測量速度有強烈要求的相關(guān)工業(yè)和工程問題。
枝切相位展開
枝切相位展開(BCPU)是另一種常用的路徑相關(guān)類算法,主要步驟包括:1)識別殘差點,識別圖像中的所有殘差點并標注其極性;2)構(gòu)造枝切線,連接各個殘差點并使枝切線上所有殘差點極性值之和為零;3)相位展開,相位展開過程需繞過枝切線,殘差點上的相位將根據(jù)其相鄰己展開像素點的相位信息進行展開。相比于質(zhì)量引導相位展開法,枝切法具有較好的抗噪性。枝切法通過構(gòu)造枝切線并在相位展開時將誤差避開,可有效避免誤差傳播。
枝切法(也稱分支集算法、Goldstein算法或殘差補償算法)最早于1988年由Goldstein提出。該方法對展開相位過程中的噪聲有較好的抑制作用,但是也存在一些問題,包括殘差點密集處產(chǎn)生錯誤枝切線問題、枝切線不一定是全局最短問題和構(gòu)造的枝切線形成閉環(huán)產(chǎn)生“孤島效應(yīng)”造成較大局部誤差等問題。此外,該方法高度依賴于分支切割的位置,如果存在太多的噪聲,則相位展開結(jié)果會存在許多錯誤。
針對Goldstein算法存在的上述問題,在后續(xù)的研究和發(fā)展中被不斷改進和完善。Huntley等改進了Goldstein提出的枝切法,將抗噪性與計算效率相結(jié)合,通過放置障礙物或分支切割并給出一條不經(jīng)過這些障礙物的展開路徑,可以避免噪聲通過損壞的點和區(qū)域傳播。獨立的展開路徑可以實現(xiàn)唯一且準確的相位展開結(jié)果。針對算法計算速度慢的問題,Zheng等提出了搜索最短枝切線的新算法,基于隨機搜索技術(shù),實現(xiàn)找到最短的枝切線或其近似值的概率較大。與Goldstein算法相比,該算法在速度上實現(xiàn)一定提升。針對Goldstein算法中由于在殘差點密集的區(qū)域建立的枝切線容易形成環(huán)路,使得一部分區(qū)域無法解包裹問題,張妍等改進了Goldstein算法,減小了枝切線的總長度,且有效避免了“孤島效應(yīng)”的形成。與Goldstein算法相比,該算法可有效減小誤差。此外,Souza等提出了一個基于留數(shù)理論的相位展開方法,使用帶移位相位跳躍的包裹相位圖來平衡剩余極性的殘差點,縮短處理時間,最多為Goldstein算法的1/10,提升了枝切法的計算效率,極大地促進了枝切法的發(fā)展。常麗等在Goldstein枝切法的基礎(chǔ)上提出了優(yōu)化改進方案,提出了一種基于禁忌搜索的改進枝切法。與Goldstein算法相比,枝切線長度減少了42%,速度提高了28%,有效地提升了測量速度。除了上述一系列針對Goldstein算法改進的方法以外,其他類方法被提出用于完善枝切法。Gdeisat等提出了一種增加包裹相位圖中剩余數(shù)的方法,改善了相位展開結(jié)果的準確性。但是該方法非常耗時,涉及傅里葉變換的計算及其光譜成分的選擇和移動。為了解決這一問題,Du等提出了一種簡單的算法來增加包裹相位圖中的剩余數(shù),可以加快50%以上的計算時間,有效加快了測量速度。
基于深度學習的相位展開技術(shù)
總而言之,空間相位展開技術(shù)的計算效率較高,但是對嚴重噪聲情況不具有魯棒性,對于其中極個別的抗噪能力較強的算法又存在計算量大導致速度慢的問題。時間相位展開技術(shù)的精度較高也具有一定的魯棒性和抗噪能力,但是由于是逐像素點在時間方向上實現(xiàn)相位展開,需要在時間順序上投影多幅圖案且無法實現(xiàn)利用單個包裹相位完成相位展開,因此不可避免地存在測量效率低、測量速度慢等問題。為了克服現(xiàn)有傳統(tǒng)相位展開技術(shù)的缺點,從而可以實現(xiàn)在實際應(yīng)用中以較短的時間獲得較為準確的相位展開結(jié)果,研究者逐漸趨向于設(shè)計一種高效的體系結(jié)構(gòu)用于相位展開過程,試圖找到絕對相位和包裹相位的直接對應(yīng)關(guān)系。最近發(fā)展起來的機器學習架構(gòu),特別是深度神經(jīng)網(wǎng)絡(luò),可以有效地用于計算圖像形成。
深度學習的優(yōu)勢也已經(jīng)在光學計量得到了廣泛的應(yīng)用,于是將深度學習應(yīng)用到相位展開被越來越多的提出。基于深度學習的相位展開技術(shù)主要針對提升測量效率和減少投影圖案數(shù)目,從而體現(xiàn)了深度學習用于相位展開在速度上的優(yōu)越性。最近,基于深度學習的方法被提出作為傳統(tǒng)相位展開的替代方法,以提高速度和精度。
2018年,Spoorthi等將卷積神經(jīng)網(wǎng)絡(luò)用于相位展開,提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的相位展開模型,將相位展開問題轉(zhuǎn)化為一個語義分割問題。該模型實現(xiàn)了利用深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)對相位進行展開,所提的框架通過自動生成大型標記數(shù)據(jù)的通用模擬過程避免DCNN標記訓練數(shù)據(jù)這一復雜過程,有效減少了工作的復雜性,并且增加了結(jié)果的可靠性。之后,對上述所提方法進一步完善,Spoorthi等提出了一種基于DCNN的相位展開框架PhaseNet,通過完全卷積的結(jié)構(gòu)來解決相位展開問題。
該框架對噪聲具有魯棒性,且計算速度快,但是由于網(wǎng)絡(luò)的分類結(jié)果不夠準確,因此需要增加后處理進行優(yōu)化。此外,該框架目前只成功應(yīng)用于仿真。為了進一步降低噪聲因素的影響,解決低信噪比條件下相位展開錯誤問題,Spoorthi等提出了一種新的深度學習框架PhaseNet 2.0改進了現(xiàn)有的相位展開方法。該框架將相位展開問題表述為密集分類問題。相比于PhaseNet,該框架無需后處理,提升了數(shù)據(jù)處理速度且增強了對噪聲的魯棒性。
為了解決嚴重噪聲影響和欠采樣導致的相位展開錯誤問題,Wang等提出了一種相位類型對象的數(shù)據(jù)庫生成方法和一步深度學習相位展開方法。該方法網(wǎng)絡(luò)運行迅速,且可以自動運行,無需額外的預(yù)處理或后處理,具有較強的魯棒性。針對噪聲問題的解決,Zhang等將相位展開問題轉(zhuǎn)化為多類分類問題,引入有效的分割網(wǎng)絡(luò)來識別噪聲。該方法可有效用于噪聲問題,保證相位展開結(jié)果的可靠性。同樣針對高噪聲問題,Jiang等提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的相位展開方法,采用了具有噪聲抑制和強大特征表示能力的DCNN架構(gòu)DeepLabV3+。
該方法引入了深度神經(jīng)網(wǎng)絡(luò),提供了一定的抗噪聲能力。此外,針對嚴重高斯噪聲的情況,Liang等提出了一種具有相同網(wǎng)絡(luò)配置的兩步訓練過程,可以正確地展開具有嚴重高斯噪聲的相位。對于非常高的噪聲情況,Sumanth等提出了一種基于多任務(wù)學習的相位展開方法TriNet,用于在條紋投影中同時去噪和預(yù)測條紋階數(shù)。該方法可以實現(xiàn)從高噪聲邊緣估計相位輪廓,對于存在非常高噪聲和低信噪比情況,也可得到較好的相位展開結(jié)果。
由于空間相位展開原理是通過分析相鄰像素的相位信息來展開相位,因此,上述基于空間相位展開采用的深度學習方法雖然可以實現(xiàn)快速可靠的相位展開,但是不能用于非連續(xù)物體表面的測量。時間相位展開技術(shù)原理則可用于測量具有非連續(xù)性表面的物體,將深度學習結(jié)合時間相位展開則可有效用于非連續(xù)物體表面的測量。Yin等為了提升時間相位展開的測量效率,提出了基于深度學習的時間相位展開,使用深度學習技術(shù)通過監(jiān)督學習自動實現(xiàn)時間相位展開,原理如圖4所示。
選用三步相移,則共需要6個投影圖案,網(wǎng)絡(luò)的輸入數(shù)據(jù)是單周期和高頻的兩個包裹相位,輸出為展開相位。與多頻時間相位展開相比,該方法在不同類型的誤差源(例如強度噪聲、低條紋調(diào)制、投影儀非線性和運動偽影)影響的情況下,相位展開可靠性有所提高。
圖4 Yin等所提方法的原理示意圖
傳統(tǒng)相位展開技術(shù)存在的一個較難克服的問題就是無法同時滿足測量精度和所需圖案數(shù)目最少的問題。時間相位展開技術(shù)的相位恢復精度較高,但是測量所需的投影圖案數(shù)目較多,因此使得測量效率受到限制,無法用于高速高動態(tài)場景的測量。空間相位展開技術(shù)所需的投影圖案數(shù)目較少,但是測量精度不高,因此無法用于一些對精度要求較高的測量場景。隨著深度學習技術(shù)的發(fā)展,針對保證測量精度的前提實現(xiàn)減少投影圖案數(shù)量的問題,研究者們提出不同的基于深度學習的相位展開技術(shù)。
為了使投影圖案的數(shù)量最少并保持高精度,Yao等將深度學習應(yīng)用于編碼的條紋圖案中,提出了一種多用途神經(jīng)網(wǎng)絡(luò)與基于編碼的圖案相結(jié)合恢復絕對相位的方法。該神經(jīng)網(wǎng)絡(luò)框架求解絕對相位僅采用3個條紋圖案,即一個條紋圖案和兩個編碼圖案。該方法在保證測量具有較高的精度前提下實現(xiàn)了減少投影圖案的數(shù)量。為了進一步減少所需的圖案數(shù)目,Yao等提出了一種智能多編碼深度學習方法(MCDL),實現(xiàn)從兩個圖案中求解高斜率絕對相位。該方法不僅減少了投影條紋圖案的數(shù)量,且具有較高的精度和魯棒性。對相位展開精度而言,條紋分析也至關(guān)重要,F(xiàn)eng等證明了可以訓練深度神經(jīng)網(wǎng)絡(luò)來完成條紋分析,流程如圖5(a)所示,其中圖5(b)和(c)分別為CNN1和CNN2的示意圖。較現(xiàn)有的方法對比,該方法可以提供條紋分析的框架,且無需人為干預(yù)。Feng等證明了貝葉斯卷積神經(jīng)網(wǎng)絡(luò)(BNN)可以訓練,不僅可以從單個條紋圖案中檢索相位,還可以生成描述估計相位像素置信度的不確定性圖,增加深度學習用于相位展開的可靠性和有效性。
圖5 (a) 文獻提出方法的流程圖;(b) CNN1的示意圖;(c) CNN2的示意圖
基于幾何約束的立體相位展開可以消除相位模糊,而無需增加額外的投影圖案,實現(xiàn)最大限度地提高相位展開的效率。Qian等提出了一種基于深度學習的幾何約束相位展開方法,用于單次絕對三維形狀測量,提出的框架集成了相位獲取、幾何約束和相位展開。該方法為高速場景下復雜物體的高精度、無運動偽影絕對三維形狀測量提供了指導。但是,當圖像本身存在模糊時,深度學習也不是總可以得到可靠的結(jié)果。此外,直接對投影圖案進行處理,也可以實現(xiàn)減少總的投影圖案數(shù)目,Yu等設(shè)計了一種用于深度學習的條紋圖變換網(wǎng)絡(luò)(FPTNet)。該網(wǎng)絡(luò)可以使用更少的條紋圖案(即一個或兩個),得到準確的包裹相位并獲得正確的絕對相位。但是,對于超快運動的物體可能會產(chǎn)生運動引起的誤差。針對從單幅圖像中獲得相位展開結(jié)果進而恢復物體三維表面的問題,Qian等提出了一種基于深度學習的彩色FPP,經(jīng)過適當訓練的神經(jīng)網(wǎng)絡(luò)可以直接從一幅單色條紋圖像預(yù)測高分辨率、無運動偽影、無串擾的絕對相位。相比傳統(tǒng)方法,可以實現(xiàn)更穩(wěn)健的相位展開。Li等提出了一種新的復合條紋投影深度學習輪廓術(shù),使用提出的基于空間頻率復用的條紋編碼方案和網(wǎng)絡(luò)框架,可實現(xiàn)單幅圖案魯棒且準確的相位展開。之后,Li等提出了一種基于深度學習的復合條紋投影輪廓術(shù)(DCFPP),可以通過訓練深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)單個復合條紋圖案恢復絕對相位。Li等構(gòu)建了一種獨特的DNN架構(gòu),稱為多尺度特征融合網(wǎng)絡(luò)(MFFN),提出了一種從單個條紋圖快速獲得高精度絕對相位的方法。該方法由于只需要單個條紋圖案,因此測量速度快;此外對于復雜紋理和不連續(xù)表面也具有測量精度高、魯棒性強的優(yōu)勢。
上述可以有效證明深度學習是合成時間和空間信息的有效工具,突破傳統(tǒng)單幀三維成像算法中各種影響因素的限制,有效提升測量效率和準確性。但是所需數(shù)據(jù)量較大這一問題限制了方法的可應(yīng)用范圍。針對這一問題,Liu等提出了一種基于深度學習的輕量級逐像素時間相位展開方法(LPTPU-DL)。由于輕量級網(wǎng)絡(luò)的使用,訓練時間可以減少到傳統(tǒng)CNN的二十分之一,因此該方法在在訓練和預(yù)測速度方面具有較強的優(yōu)勢,使得深度學習方法有望應(yīng)用于小型快速3D系統(tǒng)或移動設(shè)備。Bai等提出了一種基于學習的方法來解決單頻相位圖的展開問題,可展開具有運動模糊、相位不連續(xù)和孤立區(qū)域的相位信息。以往基于深度學習的方法都是有監(jiān)督的方法,更加適用于與訓練數(shù)據(jù)類似的場景,對于與訓練不同的場景則不具有普適性。Yu等提出了一種新的基于幾何約束的相位展開(GCPU)方法,實現(xiàn)了未經(jīng)訓練的基于深度學習的條紋投影輪廓術(shù),稱為基于未經(jīng)訓練的深度學習GCPU算法。該方法比傳統(tǒng)的GCPU具有更高的魯棒性,且無需增加額外的條紋圖案。由于測量速度較快,可以有效用于動態(tài)和高速三維測量,不足之處是該方法所需的優(yōu)化過程較為復雜。
已有的研究對于深度學習的根本原因依然無法給出合理的解釋,因此許多研究人員對該方法仍持懷疑態(tài)度。但是隨著計算機硬件性能的不斷提高,深度學習在光學計量方面實現(xiàn)了一定的技術(shù)突破,深度學習逐漸被越來越多的使用,成為了一種解決問題的手段和有效方法,也在光學領(lǐng)域發(fā)揮著越來越重要的作用。總結(jié)已有的方法和成果,深度學習用于相位展開中具有以下優(yōu)點:1)條紋圖案數(shù)量少;2)對復雜紋理和不連續(xù)表面的敏感性較低;3)測量速度快。但是對于深度學習而言,大量可靠的數(shù)據(jù)集仍然是一個亟待解決的問題。目前隨著深度學習技術(shù)的發(fā)展和研究者們的不斷深入研究,解決數(shù)據(jù)集的問題也可以轉(zhuǎn)換為使用可靠的非監(jiān)督學習方法或者使用輕量級網(wǎng)絡(luò),現(xiàn)已存在的類似研究也都處于探索階段。
其他相位展開技術(shù)
除了保證測量精度,平衡物體三維表面測量的精度和速度是一個關(guān)鍵問題。利用基于數(shù)字投影儀高速圖像切換率的二進制編碼模式可以實現(xiàn)快速甚至高速三維測量,但目前大多數(shù)方案不能保證測量精度。因此針對一些特殊問題,提出一些特殊的相位展開方法,此處統(tǒng)稱為其他相位展開技術(shù)。避免投影儀非線性對相位展開的影響可以實現(xiàn)提高測量精度的目的,Zhu等提出了一種時空二進制編碼方法(T-SBE)。標準正弦條紋圖采用基于強度的時空二進制編碼規(guī)則,分為兩個以上的二進制條紋圖。由于投影的二值條紋圖由0和1組成,因此可以有效地排除投影儀非線性對測量結(jié)果的影響,同時實現(xiàn)高質(zhì)量的正弦波。在相同條件下所提出的時空二進制編碼方法的精度與正弦條紋圖投影的精度相當,并且優(yōu)于大多數(shù)空間二進制編碼方案。但是該方法的缺點是需要增加圖像數(shù)量來完成實際的三維測量,因此使得測量需要時間較長。為了解決投影儀的非線性對測量精度的影響,Zhou等提出了一種時空二進制編碼方法,對計算機生成的標準正弦條紋圖進行編碼。所提出的二進制編碼策略具有與正弦條紋圖投影相當?shù)男阅埽?yōu)于空間二進制編碼方法。同樣為了更好地解決現(xiàn)有數(shù)字投影儀的非線性問題,平衡測量精度和速度,Zhu等提出了一種時空二進制編碼方法對計算機生成的標準正弦條紋圖進行編碼,不包含耗時的優(yōu)化,具有速度優(yōu)勢。此外,相移算法和時間相位展開算法的結(jié)合可以實現(xiàn)快速、準確的三維測量。
為了克服傳統(tǒng)相位展開存在的問題,各類基于幾何約束的相位展開方法被相繼提出。Zhong等提出了一種立體相位展開的方法,基于相移和三角張量,僅基于雙攝像機、單投影儀結(jié)構(gòu)光系統(tǒng)的幾何約束,直接在兩個包裹相位圖之間建立一對一的對應(yīng)關(guān)系。但是該方法對高頻相位誤差較敏感。由于雙頻(或雙波長)方法存在的主要問題之一是對噪聲的敏感性。因此,在噪聲嚴重的應(yīng)用中,通常使用3個或更多頻率的相移算法代替雙頻相移算法。Hyun等為了實現(xiàn)在不增加圖案數(shù)量的情況下更好完成相位展開,提出了一種幾何約束的方法,通過使用一個以上周期的等效相位圖進行時間相位展開,有效減少了噪聲的影響。An等提出了一種利用結(jié)構(gòu)光系統(tǒng)的幾何約束生成的人工最小相位圖逐像素展開相位的方法。與傳統(tǒng)的時間相位展開不同,所提出的絕對相位展開技術(shù)不需要額外的圖像采集,也不需要任何附加攝像頭,因此該方法具有測量速度快的優(yōu)勢,且不會增加系統(tǒng)復雜性或成本。但是該方法存在的問題是測量深度范圍有限。傳統(tǒng)的數(shù)論方法作為時間相位展開的經(jīng)典算法,因為要求兩個條紋頻率在投影坐標的全局范圍內(nèi)互質(zhì),所以在展開高頻相位時穩(wěn)定性較差;使用低頻條紋圖案會使得相位展開可靠性增加,但是相應(yīng)的精度會有所降低。Yei等提出了一種基于幾何約束的數(shù)論相位展開的動態(tài)場景高速三維形狀測量方法。與傳統(tǒng)的數(shù)論時間相位展開相比,即使在使用高頻條紋圖的情況下,相位展開的可靠性也可以顯著提高。
此外,一些采用其他基準用于相位展開的方法也逐漸被提出。Dai等提出了一種不需要常規(guī)時間相位展開的絕對三維形貌測量方法,使用已知對象來為絕對相位展開提供信息,僅需要3個相移條紋圖案即可測量沿深度方向移動物體的絕對形狀。但是該方法對于參考對象與測量場景之間的關(guān)系具有一定限制。Qi等提出了一種新的光度約束用于相位展開方法(PCPU),使用了單頻條紋圖案,無需額外的相機,可以實現(xiàn)可靠的相位展開。與基于空間約束的方法相比,取得了顯著的改進。新約束條件的引入可以克服傳統(tǒng)空間約束條件的限制,使得相位展開技術(shù)可以擴展到適用于實現(xiàn)不同測量材料的更復雜場景中。
典型技術(shù)比較與分析
時間相位展開技術(shù)的相位展開結(jié)果具有良好的魯棒性和準確性,也可用于測量非連續(xù)表面,因此應(yīng)用范圍較廣。雖然空間相位展開技術(shù)測量精度相對時間相位展開技術(shù)較差一些,但是具有測量速度快的優(yōu)勢,可以有效用于動態(tài)物體測量。為了避免傳統(tǒng)時間和空間相位展開技術(shù)中存在的問題,達到優(yōu)勢互補,結(jié)合時間和空間方法在測量時間和測量精度上取折衷,提出了時空相位展開技術(shù)。該方法測量結(jié)果達到比時間相位展開速度快,比空間相位展開精度高,但是測量精度不及時間相位展開,測量速度不及空間相位展開。為了克服傳統(tǒng)的時間和空間相位展開技術(shù)的一些限制,基于幾何約束的相位展開技術(shù)被相繼提出。利用測量儀器與相位的空間約束特性實現(xiàn)相位展開,測量速率得到了有效的提升。但是該方法的測量深度范圍具有一定的局限性,此外也會增加測量成本。引入其他新的約束條件用于相位展開的方法也在不斷的探索過程中。計算機技術(shù)的發(fā)展使得深度學習越來越廣泛地應(yīng)用到光學計量中,深度學習可以克服傳統(tǒng)時間相位展開技術(shù)和空間相位展開技術(shù)的不足,實現(xiàn)快速測量的同時保證一定的精度。但是對于不同的基于深度學習的相位展開技術(shù)也存在著一定的不足之處,比如:需要合適的數(shù)據(jù)集、訓練合適的網(wǎng)絡(luò)模型、可靠性不穩(wěn)定、硬件設(shè)施要求高、需額外增加預(yù)處理和后處理步驟等。相關(guān)學者們也對部分相位展開技術(shù)做了一定的分類和對比。為了更好地對前述的相位展開技術(shù)進行說明,文中對幾種典型的相位展開技術(shù)的性能進行了總結(jié),如表1所示。
表1 典型相位展開技術(shù)對比
從所需的投影條紋圖案數(shù)目、測量速度、抗噪性能和計算精度方面進行了比較。對表1中的相位展開技術(shù)進行以下討論:
1)相位展開過程中所需的投影條紋圖案數(shù)目。由于條紋圖案上攜帶著空間和相位信息,對于時間相位展開而言,數(shù)目越多則測量精度越高;而空間相位展開技術(shù)則所需的圖案數(shù)目較少。基于深度學習的相位展開技術(shù)和其他相位展開技術(shù)以及用于高速測量需求的相位展開技術(shù)都在趨向于減少條紋圖案數(shù)目。
2)測量速度的影響因素。所需條紋圖案的數(shù)目(包括是否需要增加額外的條紋投案)、測量所需的時間、計算復雜度、相位展開過程是否需要預(yù)處理和后處理步驟等,不同的方法會從一個或多個因素來加快測量速度。針對靜態(tài)物體對測量速度沒有明確的限制,而對于高動態(tài)物體則需要對測量速度提出更高的要求,尤其是對測量過程所需要投影條紋的數(shù)目提出了更高的要求。
3)抗噪性能是決定測量精確度和可靠性的關(guān)鍵因素。實際測量環(huán)境中的噪聲因素不可避免,為了盡可能地減少噪聲對測量結(jié)果的影響,從方法原理的抗干擾性和誤差擴散、采用的條紋投影圖案對噪聲的抑制作用和對方法的改進中通過預(yù)處理、后處理或者濾波等方法實現(xiàn)增強相位展開的抗噪性能。在各類相位展開技術(shù)中,空間相位展開技術(shù)的抗噪性相對較差,從原理上空間相位展開依賴于相鄰像素實現(xiàn)相位展開,因此對噪聲較為敏感。
4)相位展開精度是決定三維測量結(jié)果精度的關(guān)鍵因素。針對測量精度要求高的場景,可以選擇時間相位展開技術(shù)中的多頻相位展開實現(xiàn)高精度測量,基于深度學習的相位展開技術(shù)也在一定程度上達到高精度要求。
總結(jié)與展望
時間相位展開技術(shù)多用于對測量精度要求較高,且對測量時間要求較低的測量場景中,其中相移與格雷碼相結(jié)合的結(jié)構(gòu)光三維測量方法也逐漸被證明可有效用于高速高動態(tài)測量。空間相位展開技術(shù)由于具有測量速度快的優(yōu)勢則多用于對測量速度要求較高且對測量精度要求較低的測量場景中。基于深度學習的相位展開技術(shù)則可以在一定程度上解決時間相位展開和空間相位展開技術(shù)中的不足,已有的研究逐漸證明了兼具測量效率和測量精度的相位展開技術(shù)的可靠性,但是將其廣泛應(yīng)用到實際測量中還存在一定的局限性。此外,針對特定的測量場景和測量需求而被提出的其他相位展開技術(shù),比如時空相位展開、幾何約束和光度約束等,這些技術(shù)也在測量精度和復雜場景測量中具有一定的突破。針對相位展開技術(shù)在條紋投影三維形貌測量技術(shù)過程中的重要性和影響精度的因素,總結(jié)未來發(fā)展方向包括以下5點:
1)減少投影圖案數(shù)量
條紋圖案包含著重要的相位信息,是決定相位展開成功與否的關(guān)鍵因素之一,較多的投影圖案數(shù)量可以保證相位展開的可靠性,但是同時使得測量速度減慢,降低了測量效率。已有的減少投影圖案數(shù)量的方法中,時間相位展開技術(shù)所需的投影圖案數(shù)目仍然是最多的,雖然它能保證測量的精度;空間相位展開技術(shù)雖然所需投影圖案數(shù)量較少,但是測量精度相對較低;基于深度學習的相位展開技術(shù)也在減少投影數(shù)目方面有一定的進展,但是仍然存在不確定性。因此減少投影圖案數(shù)量的相位展開技術(shù)仍然是一個有待繼續(xù)探索的挑戰(zhàn)。
2)增強抗噪性和魯棒性
針對復雜的測量環(huán)境和來被測物體本身的復雜程度,需要在一定程度上提升相位展開算法的抗噪性,從而提升測量的可靠性和準確性;針對低信噪比環(huán)境下的實時三維重建技術(shù),需要提升相位展開算法的魯棒性,從而保證測量的有效性和可靠性。
3)減小計算的復雜度
隨著計算機技術(shù)的發(fā)展,計算成本問題得到了有效解決。但是計算復雜度較低的算法不僅可以節(jié)省不必要的計算成本,而且可實現(xiàn)在增加測量快速性的同時保證算法的可靠性,簡化算法過程相比復雜的算法具有更高的可靠性和普適性。
4)提高相位展開精度
相位展開的精度對最終物體三維形貌測量結(jié)果有著重要的影響。精準測量對于精密制造等應(yīng)用具有重要的意義,因此在對測量精度有較高要求的場景,保證相位展開的精度可以有效保證測量精度。在滿足精度以外的其他測量要求(投影圖案數(shù)目、測量速度、測量范圍等)前提下,更具有普適性的高精度相位展開技術(shù) 需要進一步得到研究和發(fā)展。
5)實現(xiàn)高速實時測量
隨著三維測量技術(shù)的廣泛應(yīng)用,各行各業(yè)的測量需求也在日益增加,僅可以實現(xiàn)靜態(tài)物體測量的方法已經(jīng)不能滿足更高的測量需求,高速高動態(tài)物體的測量需求日益增加。為了在高速場景中實現(xiàn)三維測量,主要涉及可改進的方面包括:通過減少每次重建所需的圖像數(shù)量來提高測量效率;通過提升硬件設(shè)備,加快投影和拍攝速度;簡化計算過程,實現(xiàn)快速測量。
相位展開作為結(jié)構(gòu)光三維測量中的一種關(guān)鍵技術(shù),隨著其廣泛應(yīng)用也被越來越多地研究和討論。時間相位展開技術(shù)由于具有較高的測量精度而被廣泛應(yīng)用于測量精度較高要求的靜態(tài)物體。隨著快速測量需求的不斷增加,將時間相位展開技術(shù)用于快速測量逐漸被研究和提出。但是由于時間相位展開測量效率的限制,將時間相位展開技術(shù)更好更有效地用于快速測量仍是一個具有挑戰(zhàn)性的問題。空間相位展開本身具有測量速度快的優(yōu)勢,因此多用于一些對測量速度有要求且對測量精度要求不高的測量場景中。由于空間相位展開技術(shù)是以周圍像素實現(xiàn)相位展開,因此更好的抗噪性和防止誤差傳播問題成為了完善該方法的重要研究方向。基于深度學習的相位展開技術(shù)兼具測量精度和測量速度,主要問題轉(zhuǎn)移到了學習框架的選擇、數(shù)據(jù)集問題和硬件設(shè)備上。在實現(xiàn)更有效三維測量方法的發(fā)展中,逐步將深度學習用于各類傳統(tǒng)的相位展開技術(shù)中,并且得到較好的測量結(jié)果。更有效地完善基于深度學習的相位展開技術(shù)就要從選用更合適的模型框架、在實現(xiàn)準確測量的前提下可以降低使用數(shù)據(jù)集的數(shù)量等問題上提出更具有突破的方法。其他相位展開技術(shù)則是為了克服傳統(tǒng)相位展開技術(shù)的問題,針對特殊問題提出的一類解決辦法。此類技術(shù)只適用于特殊的測量場景,一般不具有普適性。相位展開的高速和高精度實現(xiàn)仍然是未來重點研究的領(lǐng)域和發(fā)展方向。
這項研究獲得國家自然科學基金項目(52075147)和英國EPSRC項目(EP/P006930/1、EP/T024844/1)的資助和支持。
編輯:黃飛
?
評論