▍飛行時間3D成像

飛行時間（TOF）相機每個像素利用光飛行的時間差來獲取物體的深度。 目前較成熟的飛行時間面陣相機商業化產品包括Mesa Imaging AG SR-4000，PMD Technologies Cam Cube 3.0，微軟Kinect V2等。

TOF成像可用于大視野、遠距離、低精度、低成本的3D圖像采集，其特點是：檢測速度快、視野范圍較大、工作距離遠、價格便宜，但精度低，易受環境光的干擾。例如Camcueb3.0可靠的深度精度（<3mm @ 4m)，每個像素對應一個3D數據。

▍掃描3D成像

掃描3D成像方法可分為掃描測距、主動三角法、色散共焦法。 掃描測距利用一條準直光束通過測距掃描整個目標表面實現3D測量，測量精度較高；主動三角法基于三角測量原理，利用準直光束、一條或多條平面光束掃描目標表面完成3D成像，如圖2所示。但測量復雜結構面形時容易產生遮擋，需要通過合理規劃末端路徑與姿態來解決。 色散共焦法通過分析反射光束的光譜，獲得對應光譜光的聚集位置， 如圖3。色散共焦法適合測量透明物體、高反與光滑表面的物體。但缺點是速度慢、效率低；用于機械手臂末端時，可實現高精度3D測量，但不適合機械手臂實時3D引導與定位，因此應用場合有限。

線結構光掃描三維點云生成示意圖

色散共焦掃描三維成像示意圖

▍結構光投影3D成像

結構光投影三維成像是目前機器3D視覺感知的主要方式。結構光成像系統是由若干個投影儀和相機組成。基本工作原理是：投影儀向目標物體投射特定的結構光照明圖案，由相機攝取被目標調制后的圖像，再通過圖像處理和視覺模型求出目標物體的三維信息。 根據結構光投影次數劃分，結構光投影三維成像可以分成單次投影3D和多次投影3D方法。 單次投影3D主要采用空間復用編碼和頻率復用編碼形式實現。由于單次投影曝光和成像時間短，抗振動性能好，適合運動物體的3D成像。但是深度垂直方向上的空間分辨率受到目標視場、鏡頭倍率和相機像素等因素的影響，大視場情況下不容易提升。 多次投影3D具有較高空間分辨率，能有效地解決表面斜率階躍變化和空洞等問題。但也有如下不足之處： 1）對于連續相移投影方法，3D重構的精度容易受到投影儀、相機的非線性和環境變化的影響； 2）抗振動性能差，不合適測量連續運動的物體； 3）實時性差；不過隨著投影儀投射頻率和CCD/CMOS圖像傳感器采集速度的提高，多次投影方法實時3D成像的性能也在逐步改進。 對于粗糙表面，結構光可以直接投射到物體表面進行視覺成像；但對于大反射率光滑表面和鏡面物體3D成像，結構光投影不能直接投射到被成像表面，需要借助鏡面偏折法。 偏折法對于復雜面型的測量，通常需要借助多次投影方法，因此和多次投影方法有同樣的缺點。另外偏折法對曲率變化大的表面測量有一定的難度，因為條紋偏折后反射角的變化率是被測表面曲率變化率的2倍，因此對被測物體表面的曲率變化比較敏感，很容易產生遮擋難題。

▍立體視覺3D成像

立體視覺一般情況下是指從不同的視點獲取兩幅或多幅圖像重構目標物體3D結構或深度信息。

立體視覺三維成像示意圖

立體視覺可分為被動成像和主動成像兩種形式。

被動視覺成像依賴相機接收到的由目標場景產生的光輻射信息，常用于特定條件下的3D成像場合，如室內等光線變動不大的場景，或幾何規則明顯，控制點比較容易確定的工業零部件等。

主動立體視覺是利用光調制（如編碼結構光、激光調制等）照射目標場景，對目標場景表面的點進行編碼標記，然后對獲取的場景圖像進行解碼，以便可靠地求得圖像之間的匹配點，再通過三角法求解場景的3D結構。主動立體視覺的優點是抗干擾性能強、對環境兼容性強（如通過帶通濾波消除環境光干擾），3D測量精度、重復性和可靠性高；缺點是對于結構復雜的場景容易產生遮擋等問題。

▍三維成像工業應用

基于結構光測量技術和3D物體識別技術開發的機器人3D視覺引導系統，可對較大測量深度范圍內散亂堆放的零件進行全自由的定位和拾取。

相比傳統的2D視覺定位方式只能對固定深度零件進行識別且只能獲取零件的部分自由度的位置信息，具有更高的應用柔性和更大的檢測范圍。可為機床上下料、零件分揀、碼垛堆疊等工業問題提供有效的自動化解決方案。

機器視覺3D引導系統框架

▍3D重建和識別技術

3D掃描儀可獲準確并且快速地獲取場景的點云圖像，通過3D識別算法，可實現在對點云圖中的多種目標物體進行識別和位姿估計。

▍3D重建和識別效率

▍多種材質識別效果測試

基于重建算法和識別算法，可對不同材質的零件進行穩定的重建和識別，即便是反光比較嚴重的鋁材料及黑色零件都能獲得較好的重建和識別效果，可適用于廣泛的工業場景。

▍機器人路徑規劃

獲得零件信息后，要成功拾取零件還需要完成以下幾件事：

▍性能比較

類似于飛行時間相機、光場相機這類的相機，可以歸類為單相機3D成像范圍，它們體積小，實時性好，適合隨動成像眼在手系統執行3D測量、定位和實時引導。但是，飛行時間相機、光場相機短期內還難以用來構建普通的隨動成像眼在手系統，主要原因如下：

1.飛行時間相機空間分辨率和3D精度低，不適合高精度測量、定位與引導。

2.對于光場相機，目前商業化的工業級產品只有為數不多的幾家，如德國Raytrix，雖然性能較好，精度適中，但價格貴，使用成本太高。

結構光投影3D系統，精度和成本適中，有較好的應用市場前景。它由若干個相機-投影儀組成的，如果把投影儀當作一個逆向的相機，可以認為該系統是一個雙目或多目3D三角測量系統。

被動立體視覺3D成像，目前在工業領域也得到較好應用，但應用場合有限。因為單目立體視覺實現有難度，雙目和多目立體視覺要求目標物體紋理或幾何特征清晰。

結構光投影3D、雙目立體視覺3D都存在下列缺點：體積較大，容易產生遮擋。針對這個問題雖然可以增加投影儀或相機覆蓋被遮擋的區域，但會增加成像系統的體積，減小應用的靈活性。

▍總結

雖然光學3D視覺成像測量方法種類繁多，但能夠安裝在工業機器人上，組成一種合適的隨動成像眼在手系統，對位置變動的目標執行3D成像測量、引導機器人手臂準確定位和實施精準操作的方法有限。

從工業應用的角度來說，我們更關心的是3D視覺傳感器的精度、速度、體積與重量。鑒于機器人末端能夠承受的端載荷有限，允許傳感器占用的空間有限，傳感器在滿足成像精度的條件下，重量越輕體積越小也就越實用。

對于隨動成像眼在手系統，最佳3D成像方法是采用被動單目（單相機）3D成像方法，這樣不僅體積小、重量輕，也解決了雙目和多目多視圖遮擋難題。