摘要

高反射面，例如玻璃、鏡子和水面，是深度傳感和三維（3D）成像中的常見場景。它們通常會導致深度感知的嚴重錯誤，例如倒影、虛像導致錯誤的深度測量。目前主流的3D相機，例如傳統的結構光相機、立體視覺相機、時間飛行（ToF）相機等，在這類場景中都存在著明顯的不足。為了解決這些問題，博升光電團隊設計了一種新型偏振結構光3D相機。在發射端，設計高對比度光柵（high-contrast-grating，HCG）垂直腔面發射激光器（vertical-cavity surface-emitting lasers，VCSELs）用于提供具有強偏振選擇比的結構光。在接收端，設計了裝有偏振片的紅外CMOS相機來選擇性地接收信號。經過各種測試，在各種成像條件下該偏振結構光相機都可以準確獲取反射面場景的深度。

現狀

近幾十年來，如何讓探測器正確識別反射面一直是技術難點。許多技術，例如偏振成像、主動發射式探測器和聲納的融合、深度學習等，都一直致力于反射面的探測。然而，由于反射或多徑噪聲的影響，大多數這些技術在實際場景中使用并不魯棒和穩健。

偏振成像通過對不同偏振角度反射強度的多幅圖像進行分析，可以得到物體的三維形狀。它第一次用于確定反射表面的3D方向可以追溯到20世紀90年代。從那時起，偏振成像就開始被用于重建透明和鏡面物體的形狀。隨后，偏振成像與各種深度傳感器的結合，使其能夠獲得更好的重建效果。然而，偏振成像需要捕獲多個偏振圖像來估計相對深度，而且依賴于物體折射率的先驗知識，并不適用于通用場景的深度探測。而且，基于圖像的方法很容易受到物體反射倒影的影響，不能正確測量反射面的深度。

主動發射式的探測與成像，例如激光測距儀和結構光相機，在深度傳感領域得到了廣泛的應用。以激光測距儀為例，為了處理反射面，一些研究人員使用反射強度分布圖來確定玻璃區域。激光測距儀與聲納、偏振成像的融合也用于玻璃環境下的機器人導航研究。然而，這些方法需要掃描多個角度以確定反射面深度，因此它們主要路徑規劃并不適用于反射面的3D成像。對于結構光相機，它們利用和聲納的融合來獲取玻璃場景的深度圖像。但是，由于聲納的數據稀疏、角度窄，需要多次掃描才能獲得足夠的信息。此外，與聲納的融合將會產生系統成本高、體積大、結構復雜等問題。

深度學習領域近些年也不斷出現關于反射面檢測的工作。他們使用大量反射面圖像來訓練網絡模型，然后輸入新的圖像進行反射面區域識別。但這種方法也可能會把有框架或邊界的區域，比如沒有玻璃的空框架，誤認為是反射面。因此，對于反射面環境的3D成像應用，仍然需要一種魯棒的方法。

內容

據麥姆斯咨詢報道，近期，博升光電團隊開發出一種新型偏振結構光（PSL）3D相機，在發射器（TX）和接收器（RX）上都具有偏振特性（圖1）。在TX中，高對比度光柵（HCG）垂直腔面發射激光器（VCSELs）是專門設計用于提供具有強偏振選擇比的結構光。在RX中，設計了偏振選擇CMOS相機來選擇性地接收信號。根據菲涅耳理論，鏡面反射與入射偏振光保持相同的偏振。然而，漫反射面的反射即使被強偏振光入射也不表現出任何偏振。因此，使用偏振選擇CMOS相機可以區分反射面和其他物體，同時可以根據偏振方向的選擇來獲得反射面或其背后物體的深度信息（圖1b）。另外，根據TX和RX的偏振組合，還可以過濾掉反射噪聲的影響，獲取清晰的場景深度信息（圖1c）。本論文了進行了三個實驗，以演示如何使用PSL 3D相機來實現看到以及看透反射面。

圖1 偏振結構光3D傳感器原理

看透反射面實驗結果

首先，本論文以室內玻璃門場景，來說明PSL 3D相機看透反射面的能力。如圖2所示PSL 3D相機正對玻璃門，距離從0.4 m到1.2 m不等。在玻璃門后面，有柜子和籃球。它們與玻璃的距離固定為0.5m。PSL 3D相機的TX向場景投射偏振光結構光。然后結構光被反射回RX，包含玻璃門和后方物體的深度信息。其中玻璃門的反射與TX保持相同的偏振，而柜子和籃球的反射光因漫反射而具有各種偏振方向。如圖2a的偏振0°所示，當我們將RX設置為與TX偏振相同時，可以重構玻璃門、柜子和籃球的深度信息。如圖2a的偏振90°所示，如果我們將RX旋轉到正交方向，則可以過濾玻璃部分，留下柜子和籃球的深度信息。同時，也測試了0.8m和1.2m的情況，看到和看透玻璃的功能都可以實現。

圖2 看透反射面實驗結果

抗反射噪聲成像實驗結果

接著，本論文在室外和室內場景展示PSL 3D相機抗反射噪聲成像的特點（圖3）。首先展示室外玻璃場景（圖3a），在這種情況下，自然光在反射面上有較強的鏡面反射。從圖中可以看到，反射噪聲使立體視覺相機無法獲得場景的深度。然而，該噪聲具有較大的S偏振分量。因此，我們可以利用P偏振TX和RX來過濾這種噪聲，提高信噪比。如圖3c所示，在這種P偏振設置下，PSL 3D相機可以清晰地測量整個場景的深度。

圖3 抗反射噪聲成像實驗結果

在室內場景，本論文分析了在墻角情況下的抗噪聲檢測能力。這種場景是室內服務機器人常見的場景。如圖3d-3l所示，展示了在0.24m、0.4m和0.56m三種不同高度下，PSL 3D相機和傳統立體視覺3D相機的對比結果。可以看到，在這種情況下，由于多徑噪聲的影響，立體視覺相機（圖3e，3h，3k）會出現錯誤的深度判斷。而對于PSL 3D相機（圖3f，3i，3l），通過將TX和RX設置為P偏振，可以獲得完整且正確的墻角深度和點云。

補全反射面實驗結果

除了可以實現看透反射面和抗反射噪聲，PSL 3D相機還可以進行反射面的補全。本論文選取了4個常見場景進行實驗（圖4），其中包括陽臺玻璃、隔音室玻璃、球形玻璃和辦公室門玻璃。每一列對應一個場景，首先在偏振度為0°和90°的情況下，取得兩幅深度圖像。在偏振度為0°的情況下，玻璃和其它漫反射部分都可以重構，而在偏振度為90°的情況下，玻璃部分被消除。相比于立體視覺相機無法檢測到玻璃的深度，PSL 3D相機這種特別的變化可以作為確定反射面的可靠線索。因此，依靠第二第三行兩幅深度圖像的相減和第四行預測的玻璃邊界，相機就可以提取出屬于玻璃的深度，其結果展示在第五行。接著提取的玻璃點可以用來擬合和補全反射面。補全的深度圖像顯示在第七行，其中部分空的玻璃現在已被填充。最后兩行顯示了原始點云和補全點云的最終對比。在最后補全的點云中，反射面的3D重建結果正確，再次驗證了PSL 3D相機的特別之處。

圖4 補全反射面實驗結果

總結

綜上所述，博升光電團隊發明了一種新型基于HCG-VCSEL的偏振結構光3D相機，并提出了相應的成像方法，用于反射面的各種場景的3D重建。作為機器人的眼睛，PSL 3D相機將在服務機器人和物流機器人等領域得到廣泛應用。這些機器人將不可避免地遇到反射面的問題，例如報告實驗中所示的玻璃門和瓷磚墻角等。PSL 3D相機可以使他們正確處理這些情況。此外，反射面物體或場景重建，例如辦公室和展覽館等，也將受益于該方法。因此，憑借特殊的偏振特性，PSL 3D相機可以進一步擴展到廣泛的室內和室外3D應用。

編輯：黃飛

?