作者：Paul O'Sullivan and Nicolas Le Dortz

這是我們飛行時(shí)間（ToF）系列的第一篇文章，將概述連續(xù)波（CW）CMOS ToF相機(jī)系統(tǒng)技術(shù)及其相對(duì)于機(jī)器視覺(jué)應(yīng)用傳統(tǒng)3D成像解決方案的優(yōu)勢(shì)。后續(xù)文章將深入探討本文介紹的一些系統(tǒng)級(jí)組件，包括照明子系統(tǒng)、光學(xué)器件、電源管理和深度處理。

介紹

許多機(jī)器視覺(jué)應(yīng)用現(xiàn)在需要高分辨率的3D深度圖像來(lái)取代或增強(qiáng)標(biāo)準(zhǔn)2D成像。這些解決方案依靠3D相機(jī)提供可靠的深度信息來(lái)保證安全，特別是當(dāng)機(jī)器在人類(lèi)附近操作時(shí)。相機(jī)還需要在具有挑戰(zhàn)性的環(huán)境中運(yùn)行時(shí)提供可靠的深度信息，例如在具有高反射表面的大空間中以及存在其他移動(dòng)物體的情況下。迄今為止，許多產(chǎn)品都使用低分辨率測(cè)距儀類(lèi)型的解決方案來(lái)提供深度信息以增強(qiáng)2D成像。但是，這種方法有很多局限性。對(duì)于受益于更高分辨率3D深度信息的應(yīng)用，CW CMOS ToF相機(jī)提供市場(chǎng)上性能最高的解決方案。表 1 更詳細(xì)地描述了高分辨率 CW ToF 傳感器技術(shù)支持的一些系統(tǒng)功能。這些系統(tǒng)功能還適用于視頻散景、面部認(rèn)證和測(cè)量應(yīng)用等消費(fèi)者用例，以及駕駛員警覺(jué)性監(jiān)控和自動(dòng)車(chē)內(nèi)配置等汽車(chē)用例。

連續(xù)波CMOS飛行時(shí)間相機(jī)概述

深度相機(jī)是每個(gè)像素輸出相機(jī)與場(chǎng)景之間距離的相機(jī)。測(cè)量深度的一種技術(shù)是計(jì)算光線(xiàn)從相機(jī)上的光源傳播到反射表面并返回相機(jī)所需的時(shí)間。此旅行時(shí)間通常稱(chēng)為飛行時(shí)間 （ToF）。

圖1.飛行傳感器技術(shù)的連續(xù)波時(shí)間概述。

ToF相機(jī)由幾個(gè)元件組成（見(jiàn)圖1），包括：

在近紅外域中發(fā)光的光源，例如垂直腔面發(fā)射激光器 （VCSEL） 或邊緣發(fā)射半導(dǎo)體激光管。最常用的波長(zhǎng)是 850 nm 和 940 nm。光源通常是漫射光源（泛光照明），它發(fā)出具有一定發(fā)散度（也稱(chēng)為照明場(chǎng)或FOI）的光束，以照亮相機(jī)前的場(chǎng)景。

調(diào)制光源發(fā)出的光強(qiáng)度的激光驅(qū)動(dòng)器。

具有像素陣列的傳感器，用于收集場(chǎng)景中的返回光并輸出每個(gè)像素的值。

將回光聚焦在傳感器陣列上的透鏡。

與鏡頭位于同一位置的帶通濾光片，可過(guò)濾掉光源波長(zhǎng)周?chē)瓗捴獾墓狻?/p>

一種將傳感器的輸出原始幀轉(zhuǎn)換為深度圖像或點(diǎn)云的處理算法。

可以使用多種方法來(lái)調(diào)制ToF相機(jī)中的光線(xiàn)。一種簡(jiǎn)單的方法是使用連續(xù)波調(diào)制，例如，占空比為50%的方波調(diào)制。實(shí)際上，激光波形很少是完美的方波，可能看起來(lái)更接近正弦波。對(duì)于給定的光功率，方形激光波形會(huì)產(chǎn)生更好的信噪比，但由于存在高頻諧波，也會(huì)引入深度非線(xiàn)性誤差。

CW ToF相機(jī)測(cè)量時(shí)差td通過(guò)估計(jì)相位偏移φ = 2πft 在發(fā)射信號(hào)和返回信號(hào)之間d在這兩個(gè)信號(hào)的基本面之間。深度可以從相位偏移（φ）和光速（c）估算，使用：

其中 f國(guó)防部是調(diào)制頻率。

傳感器中的時(shí)鐘發(fā)生電路控制互補(bǔ)像素時(shí)鐘，這些像素時(shí)鐘分別控制兩個(gè)電荷存儲(chǔ)元件（抽頭A和抽頭B）中光電荷的積累，以及激光驅(qū)動(dòng)器的激光調(diào)制信號(hào)。返回調(diào)制光的相位可以相對(duì)于像素時(shí)鐘的相位進(jìn)行測(cè)量（見(jiàn)圖1的右側(cè)）。像素中抽頭A和抽頭B之間的差分電荷與返回調(diào)制光的強(qiáng)度以及返回調(diào)制光相對(duì)于像素時(shí)鐘的相位成正比。

利用零差檢測(cè)原理，使用像素時(shí)鐘和激光調(diào)制信號(hào)之間的多個(gè)相對(duì)相位進(jìn)行測(cè)量。將這些測(cè)量值結(jié)合起來(lái)，以確定返回調(diào)制光信號(hào)中基波的相位。了解此階段可以計(jì)算光從光源傳播到被觀(guān)察對(duì)象并返回傳感器像素所需的時(shí)間。

高調(diào)制頻率的優(yōu)勢(shì)

在實(shí)踐中，存在光子散粒噪聲、讀出電路噪聲和多路徑干擾等非理想性，這些都可能導(dǎo)致相位測(cè)量誤差。具有高調(diào)制頻率可降低這些誤差對(duì)深度估計(jì)的影響。

通過(guò)舉一個(gè)簡(jiǎn)單的例子，這很容易理解，其中有一個(gè)階段錯(cuò)誤εφ—也就是說(shuō)，傳感器測(cè)量的相位為

。深度誤差為：

因此，深度誤差與調(diào)制頻率成反比，f國(guó)防部.圖 2 以圖形方式對(duì)此進(jìn)行了說(shuō)明。

這個(gè)簡(jiǎn)單的公式在很大程度上解釋了為什么具有高調(diào)制頻率的ToF相機(jī)比具有較低調(diào)制頻率的ToF相機(jī)具有更低的深度噪聲和更小的深度誤差。

圖2.相位誤差對(duì)距離估計(jì)的影響。

使用高調(diào)制頻率的一個(gè)缺點(diǎn)是相位繞得更快，這意味著可以明確測(cè)量的范圍更短。繞過(guò)此限制的常用方法是使用以不同速率環(huán)繞的多個(gè)調(diào)制頻率。最低調(diào)制頻率提供大范圍，沒(méi)有歧義，但深度誤差較大（噪聲、多路徑干擾等），而較高的調(diào)制頻率串聯(lián)使用以減少深度誤差。圖3顯示了具有三種不同調(diào)制頻率的該方案的示例。最終深度估計(jì)值是通過(guò)對(duì)不同調(diào)制頻率的未包裝相位估計(jì)值進(jìn)行加權(quán)來(lái)計(jì)算的，較高的權(quán)重分配給較高的調(diào)制頻率。

圖3.多頻相位展開(kāi)。

如果以最佳方式選擇每個(gè)頻率的權(quán)重，則深度噪聲與系統(tǒng)中所選調(diào)制頻率的均方根（rms）成反比。對(duì)于恒定的深度噪聲預(yù)算，增加調(diào)制頻率可以減少積分時(shí)間或照明功率。

對(duì)性能至關(guān)重要的其他系統(tǒng)方面

在開(kāi)發(fā)高性能ToF相機(jī)時(shí)，需要考慮許多系統(tǒng)功能，本文將簡(jiǎn)要介紹其中的一些功能。

圖像傳感器

圖像傳感器是ToF相機(jī)的關(guān)鍵組件。當(dāng)系統(tǒng)的平均調(diào)制頻率增加時(shí)，大多數(shù)深度估計(jì)非理想（例如，偏置、深度噪聲和多徑偽影）的影響會(huì)降低。因此，傳感器在高調(diào)制頻率（數(shù)百M(fèi)Hz）下具有高解調(diào)對(duì)比度（分離抽頭A和抽頭B之間的光電子的能力）非常重要。傳感器還需要在近紅外波長(zhǎng)（例如850nm和940nm）中具有高量子效率（QE），以便在像素中產(chǎn)生光電子所需的光功率更少。最后，低讀出噪聲允許檢測(cè)低回波信號(hào)（遠(yuǎn)反射率或低反射率物體），有助于提高相機(jī)的動(dòng)態(tài)范圍。

照明

激光驅(qū)動(dòng)器以高調(diào)制頻率調(diào)制光源（例如VCSEL）。為了在給定光功率下最大化像素處的有用信號(hào)量，光波形需要具有快速的上升和下降時(shí)間，并具有干凈的邊緣。照明子系統(tǒng)中激光器、激光驅(qū)動(dòng)器和PCB布局的組合對(duì)于實(shí)現(xiàn)這一目標(biāo)至關(guān)重要。還需要進(jìn)行一些表征，以找到最佳的光功率和占空比設(shè)置，以最大化調(diào)制波形傅里葉變換中基波的幅度。最后，光功率還需要以安全的方式提供，并在激光驅(qū)動(dòng)器和系統(tǒng)級(jí)別內(nèi)置一些安全機(jī)制，以確保始終遵守1類(lèi)眼睛安全限制。

光學(xué)

光學(xué)器件在ToF相機(jī)中起著關(guān)鍵作用。ToF相機(jī)具有某些獨(dú)特的特性，這些特性推動(dòng)了特殊的光學(xué)要求。首先，光源的照明場(chǎng)應(yīng)與透鏡的視場(chǎng)相匹配，以獲得最佳效率。同樣重要的是，鏡頭本身應(yīng)該具有高光圈（低f / #），以獲得更好的光收集效率。大光圈可能會(huì)導(dǎo)致在漸暈、淺景深和鏡頭設(shè)計(jì)復(fù)雜性方面的其他權(quán)衡。低主光線(xiàn)角透鏡設(shè)計(jì)還有助于降低帶通濾光片帶寬，從而改善環(huán)境光抑制，從而提高戶(hù)外性能。光學(xué)子系統(tǒng)還應(yīng)針對(duì)所需的工作波長(zhǎng)（例如，減反射涂層、帶通濾光片設(shè)計(jì)、透鏡設(shè)計(jì)）進(jìn)行優(yōu)化，以最大限度地提高吞吐量效率并最大限度地減少雜散光。還有許多機(jī)械要求，以確保光學(xué)對(duì)準(zhǔn)在最終應(yīng)用所需的公差范圍內(nèi)。

電源管理

電源管理在高性能3D ToF相機(jī)模塊設(shè)計(jì)中也至關(guān)重要。激光調(diào)制和像素調(diào)制會(huì)產(chǎn)生短脈沖的高峰值電流，這給電源管理解決方案帶來(lái)了一些限制。傳感器集成電路（IC）級(jí)別的一些特性可以幫助降低成像儀的峰值功耗。還有一些電源管理技術(shù)可以應(yīng)用于系統(tǒng)級(jí)別，以幫助降低對(duì)電源（例如，電池或USB）的要求。ToF成像器的主要模擬電源通常需要具有良好瞬態(tài)響應(yīng)和低噪聲的穩(wěn)壓器。

圖4.光學(xué)系統(tǒng)架構(gòu)。

深度處理算法

最后，系統(tǒng)級(jí)設(shè)計(jì)的另一大部分是深度處理算法。ToF圖像傳感器輸出原始像素?cái)?shù)據(jù)，需要從中提取相位信息。此操作需要不同的步驟，包括噪聲濾波和相位展開(kāi)。相位展開(kāi)塊的輸出是光從激光到場(chǎng)景并返回像素的距離的測(cè)量值，通常稱(chēng)為距離或徑向距離。

徑向距離通常轉(zhuǎn)換為點(diǎn)云信息，點(diǎn)云信息通過(guò)其實(shí)際坐標(biāo)（X，Y，Z）表示特定像素的信息。通常，最終應(yīng)用程序僅使用 Z 圖像映射（深度圖）而不是完整的點(diǎn)云。將徑向距離轉(zhuǎn)換為點(diǎn)云需要了解鏡頭固有和畸變參數(shù)。這些參數(shù)是在相機(jī)模塊的幾何校準(zhǔn)期間估計(jì)的。深度處理算法還可以輸出其他信息，例如主動(dòng)亮度圖像（返回激光信號(hào)的幅度）、被動(dòng) 2D IR 圖像和置信水平，這些信息都可以用于最終應(yīng)用。深度處理可以在相機(jī)模塊本身或系統(tǒng)其他位置的主機(jī)處理器上完成。

表 2 概述了本文介紹的不同系統(tǒng)級(jí)組件。這些主題將在以后的文章中更詳細(xì)地介紹。

結(jié)論

飛行相機(jī)的連續(xù)波時(shí)間是一種強(qiáng)大的解決方案，可為需要高質(zhì)量3D信息的應(yīng)用提供高精度。要確保實(shí)現(xiàn)最佳性能級(jí)別，需要考慮許多因素。調(diào)制頻率、解調(diào)對(duì)比度、量子效率和讀出噪聲等因素決定了圖像傳感器級(jí)別的性能。其他因素包括系統(tǒng)級(jí)考慮因素，包括照明子系統(tǒng)、光學(xué)設(shè)計(jì)、電源管理和深度處理算法。所有這些系統(tǒng)級(jí)組件對(duì)于實(shí)現(xiàn)最高精度的3D ToF相機(jī)系統(tǒng)至關(guān)重要。這些系統(tǒng)級(jí)主題將在后續(xù)文章中更詳細(xì)地介紹。

審核編輯：郭婷