3D視覺傳感方案技術介紹

深度傳感鏡頭作為智能手機創新模式，蘋果在最新版iPad Pro上搭載了D-ToF（直接飛行時間法）深度傳感鏡頭，推動了3D視覺在消費場景的應用。

3D視覺傳感技術是一種深度傳感技術，除了對象的X和Y值之外，還可以記錄Z值。

3D坐標系 主流的3D光學視覺方案：雙目立體視覺法（Stereo Vision，在下文稱雙目法），結構光法（Structured Light，在下文稱結構光）以及飛行時間法(Time of Flight, ToF在下文稱ToF）

2、雙目立體視覺法：tereo Vision

通過三角測量原理來計算圖像像素間的位置偏差（視差）來獲取物體的三維圖像，比如把一只手指放在鼻尖前方，左右眼看到手指會有一個錯位的效果，這個位置差被稱為視差。相機所要拍攝的物體離相機越近，視差越大，離相機越遠，視差就越小。通常采用兩個攝像機作為視覺信號的采集設備，通過雙輸入通道圖像采集卡與計算機連接，把攝像機采集到的模擬信號經過采樣、濾波、強化、模數轉換，最終向計算機提供圖像數據。

極線約束

極線校正

雙目立體匹配原理及應用

上世紀的60年代中期。美國MIT的Lawrence Roberts通過從數字圖像中提取立方體、楔形體和棱柱體等簡單規則多面體的三維結構，并對物體的形狀和空間關系進行描述，把過去的簡單二維圖像分析推廣到了復雜的三維場景，標志著立體視覺技術的誕生。隨著研究的深入，研究的范圍從邊緣、角點等特征的提取，線條、平面、曲面等幾何要素的分析，直到對圖像明暗、紋理、運動和成像幾何等進行分析，并建立起各種數據結構和推理規則。特別是在1982年，David Marr首次將圖像處理、心理物理學、神經生理學和臨床精神病學的研究成果從信息處理的角度進行概括，創立了視覺計算理論框架。這一基本理論對立體視覺技術的發展產生了極大的推動作用，在這一領域已形成了從圖像的獲取到最終的三維場景可視表面重構的完整體系，使得立體視覺已成為計算機視覺中一個非常重要的分支。

完整的雙目立體視覺系統通常可分為數字圖像采集、相機標定、圖像預處理與特征提取、圖像校正、立體匹配、三維重建六大部分。雙目立體成像法具有高3D成像分辨率、高精度、高抗強光干擾等優勢，而且可以保持低成本。但是需要通過大量的CPU/ASIC演算取得它的深度和幅度信息其算法極為復雜較難實現，同時該技術易受環境因素干擾，對環境光照強度比較敏感，且比較依賴圖像本身的特征，因而拍攝暗光場景時表現差。

3、結構光法（Structured Light）

近紅外激光器，將具有已知的結構特征（比如離散光斑、條紋光、編碼結構光等）的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行采集三維物體物理表面成像的畸變情況，再通過觀測圖案與原始圖案之前發生的形變由此來得到圖案上的各個像素的視差。這個技術通過光學手段獲取被拍攝物體的三維結構，再將獲取到的信息進行更深入的應用。其工作原理可看作是另一種雙目法，紅外激光器和紅外攝像頭可當做是雙目立體視覺法中的左右雙目的觀測原理。

微軟與以色列3D感測公司 PrimeSense合作發布了搭載結構光模組的體感設備Kinect一代，2010年11月上市后，該產品成為 2011 年銷售最快的消費電子設備。盡管產品大獲成功，但第一代 Kinect 的準確度、圖像分辨率和響應速度并不理想。2017年蘋果發布iPhone X，首次搭載 3D 結構光模組，可實現3D人臉識別技術，成為蘋果近幾年最大的創新。主要結構光方案廠商還有美國的英特爾、高通/Himax，以色列 Mantis Vision 以及國內華為、奧比中光等公司。

結構光的紅外激光器發射出了光，可以照亮被掃描物體，所以它不需要像雙目結構一樣依賴于光源，而且在較平整，沒有圖案的物體表面也可以測算出物體的三維深度

4 飛行時間法介紹(Time of Flight)

飛行時間，通過給目標連續發送光脈沖，然后用傳感器接收從物體返回的光，通過探測這些發射和接收光脈沖的飛行（往返）時間來得到目標物距離。傳感器通過計算光線發射和反射時間差或相位差，來換算被拍攝景物的距離，以產生深度信息，此外再結合傳統的相機拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現出來。

2006 年 7 月，衍生自CSEM(瑞士電子與微技術中心)的 MESA Imaging公司成立，并推出商用ToF攝像頭產品系列 SwissRanger，最開始應用于汽車的被動安全檢測。ToF技術首次應用到智能手機是在 2016 年，Google 和聯想合作推出了全球首個搭載ToF模組的智能手機 Phab2 Pro，采用的是pmd/英飛凌的ToF方案，該手機可實現一些如三維測量等簡易的 AR 應用，但并沒有引起市場較大的反響。2018年8月6日,OPPO 在北京召開了ToF技術溝通會, 并在8月23日發布了其首部搭載 ToF 攝像頭的智能手機 OPPO R17 Pro,采用了 Sony 的解決方案。隨后在 2018 年 12 月，vivo 發布了其首部搭載 ToF 攝像頭的智能手機 vivo NEX 雙屏版，采用了松下的解決方案; 華為發布了其首部搭載 ToF 攝像頭模組的智能手機榮耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。進入 2019 年后，安卓廠商紛紛加入 ToF 鏡頭的陣營。

它包含幾個構建塊:(a)脈沖/調制光源（在ToF中一般使用VCSEL，請見下文解釋）(b)光學擴散片將光擴散傳播出去,接著當光從物體上反射回來時，用(c)一組透鏡收集從物體上折射回來的光。接著經過一個濾光片將折射回來的光收集起來并且適當地調整光源的波長，接著通過改善背景噪聲抑制令光波可被芯片所識別。最后,測量系統的核心是由固態量程圖像傳感器(d)，由一組光探測器（像素）組成，能夠直接或間接地測量光脈沖從光源到目標并返回傳感器所需的飛行時間。該系統還需要一個合適的傳感器接口，為傳感器提供電源、所需的偏置電壓/電流信號、數字控制相位，并從傳感器讀取數據流，這通常需要進一步的小處理以獲得3D體積數據。最后，傳感器接口負責與外部（到PC或處理單元）的通信。

ToF 技術具有以下的優點：1、軟件復雜性低，設計與應用簡單 2、在暗光與強光環境下表現不錯 3、功耗不高 4、有較遠的探測距離 5、成本低 6、響應速度快，缺點則在于室外受自然光紅外線影響大、遠距離無法保證精度。

D-ToF 在經典的飛行時間測量中，直接飛行時間（Direct ToF，D-ToF，下文稱為D-ToF）的原理比較直接，即直接發射一個光脈沖，之后測量反射光脈沖和發射光脈沖之間的時間間隔，就可以得到光的飛行時間。探測器系統在發射光脈沖產生的同時啟動一個高精度的秒表。當探測到目標發出的光回波時，秒表停止并直接存儲往返時間。目標距離z可通過以下簡單方程估算：

其中

表示光在空氣中傳播的速度。D-ToF通常用于單點測距系統，但由于像素級亞納秒電子秒表的實現困難，D-ToF的成本以及技術難度相較于I-ToF更高。這項技術特別適用于基于SPAD的ToF系統。目前主流的主流的ToF技術所采用的SPAD（single- photon avalanche diode，單光子雪崩二極管）是一種高靈敏度的半導體光電檢測器，其被廣泛運用于弱光信號檢測領域。結合D-ToF技術，可用來精確檢測記錄光子的時間和空間信息，繼而通過三維重極算法進行場景的三維重構。蘋果在2020年發布的第四代iPad Pro中就運用到了D-ToF技術。D-ToF的原理看起來雖然很簡單，但是實際能達到較高的精度很困難而且成本對比I-ToF要高很多。除了對時鐘同步有非常高的精度要求以外，還對脈沖信號的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而D-ToF中的核心組件SPAD由于制作工藝復雜，能勝任生產任務的廠家并不多，并且集成困難。所以目前研究D-ToF的廠家并不多，更多的是在研究和推動I-ToF。

I-ToF(Indirect ToF，I-ToF，下文稱為I-ToF) D-ToF的另一種解決方案是所謂的間接ToF（Indirect ToF，I-ToF，下文稱為I-ToF），而I-ToF的原理則要復雜一些。在I-ToF中，發射的并非一個光脈沖，而是調制過的光。接收到的反射調制光和發射的調制光之間存在一個相位差，通過檢測該相位差就能測量出飛行時間，從而估計出距離。其中往返行程時間是從光強度的時間選通測量中間接外推的。在這種情況下，不需要精確的秒表，而是需要時間選通光子計數器或電荷積分器，它們可以在像素級實現，只需較少的計算工作和硅面積。I-ToF是基于ToF相機的電子和照片混合設備的自然解決方案。

1、ToF產業鏈介紹 3D傳感產業生態鏈包括光源、光學單元（透鏡及濾光片等）、圖像傳感器及模組制造等直接硬件環節，此外還包括軟件、處理器、3D系統設計等。

2、ToF鏡頭組成核心硬件

VCSEL 是 3D Sensing 中重要的部件之一，不僅體現在其功能在體現在其價值量之中。隨著 3D Sensing 在手機中進一步滲透，VCSEL 的市場規模將隨之擴大。ToF不僅可以在手機中使用，還可以在光通訊、激光雷達等多個領域中使用，市場空間巨大。據市場研究機構 Yole 預測，到 2023 年，整個 VCSEL 市場將達到 35 億美元，年復合增長率達到 48%。VCSEL 領域具有市場大、增長快、應用廣等特點，未來對 VCSEL 的關注度將會日漸提升。從圖中可看出未來在VCSEL賽道，主要集中的領域是消費電子、工業領域以及通信。VCSEL 是化合物半導體激光器，因此對應化合物半導體產業鏈，包括晶圓、外延片(EPI)、IC 設計、晶圓代工和封測等環節。

準直鏡頭 利用光的折射原理，將波瓣較寬的衍射圖案校準匯聚為窄波瓣的近似平行光。采用準直鏡頭對 VCSEL 出射光束進行準直、形成散斑等整形處理。WLO（Wafer-level Optics，在下文稱為WLO）晶圓級光學器件，是指晶圓級鏡頭制造技術和工藝。與傳統光學器件的加工技術不同，WLO工藝在整片玻璃晶圓上，用半導體工藝批量復制加工鏡頭，多個鏡頭晶圓壓合在一起，然后切割成單顆鏡頭，具有尺寸小、高度低、一致性好等特點。

DOE擴散片 DOE衍射光學元件（Diffractive Optical Elements，在下文稱為DOE）在3D攝像頭結構光方案中的作用就是利用光的衍射原理，將激光器的點光源轉換為散斑圖案（pattern）。首先根據特定衍射圖像的光學需求，設計并制作出三維母模，然后根據母模再制作出DOE光柵，光柵表面具有三維的微結構圖案，尺寸都在微米級別。激光器發射的線性激光通過DOE的時候發生衍射，衍射光的角度和數量是受DOE上pattern的控制，衍射出來的光斑具備lighting code信息。DOE主要是用于結構光成像技術的攝像頭中，DOE的制造成本相對較高。

發光單元 ToF鏡頭的發光單元通常為能發出特定波長紅外線的垂直腔面發射激光器（Vertical-Cavity Surface-Emitting Laser，又譯垂直共振腔面射型激光，在下文稱VCSEL），VCSEL能以相對較小功率發射出較高的信號。VCSEL是一種半導體，其激光垂直于頂面射出，與一般用切開的獨立芯片制成，激光由邊緣射出的邊射型激光有所不同。傳統的光電轉換技術一般是用的LED等發光器件，這種發光器多采用的是邊緣發射，缺點是體積較大，所以會比較難于半導體技術相結合。20世紀90年代垂直腔表面發射激光VCSEL技術成熟后，解決了發光器件和半導體技術結合的問題，因此迅速得到普及。VCSEL是很有發展前景的新型光電器件，也是光通信中革命性的光發射器件。此外，ToF中泛光照明器的VCSEL輸出光束無需經過編碼，因此器件制作上更為簡單，可供選擇的 VCSEL 供應商也更多。顧名思義，邊發射激光器是沿平行于襯底表面、垂直于解理面的方向出射，而面發射激光器其出光方向垂直于襯底表面，如下圖：

在ToF的發射成像技術中主要運用的是擴散板（在下文稱為Diffuser），主要是為顯示器提供一個均勻的面光源，ToF投射器主要包括VCSEL + Diffuser，而ToF的VCSEL并不像結構光那樣對編碼圖案有一定要求，只是最常規的規則排列，器件制作上更為簡單，裝配精度要求也更低。Diffuser是DOE的一種，也屬于波束整形器，用于對輸入光束進行均一化，通過使較大折射角處具有更大屈光度，使得較窄的光束擴展到更寬的角度范圍內，并具備均勻的照明場。TOF 中的 Diffuser 的設計制作難度，比 3D 結構光點陣投影儀中的 DOE 要簡單很多。

根據光大證券測算，考慮到疫情影響預計2020年全球智能機出貨量有所下降，滯后的 5G 需求有望在2021年釋放，預計 20~21 年全球智能機出貨量分別為 12.6/15.0 億部，其中 iphone 出貨量 1.7/2.1 億部，安卓機 10.9/12.9 億部。假設 20~21 年前置結構光在 iphone 的滲透率分別為92%/95%，在安卓的滲透2%/5%，推算結構光攝像頭出貨量 1.8/2.7 億顆。假設 20~21 年后置 TOF 在 iphone 的滲透率分別為 25%/50%，在安卓的滲透率 7%/15%，加上 ipad 出貨量，推算后置 TOF 攝像頭出貨量 2.7/4.4 億顆。假定DOE/Diffuser單價1美元測算，對應DOE 20~21年市場規模1.8/2.7億美元;Diffuser市場規模 2.7/4.4 億美元;窄帶濾光片按 20~21 年單價 1/0.75 美元測算，對應市場規模 9/10.5 億美元。

接收端 窄帶濾光片和光學鏡頭：

ToF模組依靠窄帶濾光片和光學鏡頭來收集反射回的光線。濾光片只允許對應波長的紅外線通過，抑制其他光線，并降低噪聲。近紅外識別系統中所用到的窄帶濾光片及超薄高性能鍍膜也是基于結構光及ToF的3D攝像頭技術關鍵。3D攝像頭在接收反射光時要求只有特定波長的光線能夠穿過鏡頭，攔截頻率帶之外的光線，即隔離干擾光、通過信號光凸顯有用信息，因此需要濾光片在接收端過濾掉非工作波段的光波。

在窄帶濾光片賽道，難度和價值量都高于傳統攝像頭所用的濾光片，目前僅有 VIAVI 和水晶光電的技術較為成熟，這兩家也是蘋果iPhone X的窄帶濾光片供應商。目前全球僅水晶光電和唯亞威(Viavi)兩家企業具備大批量供貨的能力。

接收端：紅外CIS（下文稱為圖像傳感器）：

早年的ToF傳感器，多采用CCD(Charge-coupled Device，中文為電荷耦合元件，是一種圖像傳感器，下面簡稱CCD),而CMOS是另一種目前市場上更為主流的圖像傳感器(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體，在下文簡稱CMOS)。CCD的感光利用率更高，但是功耗十分大，發熱嚴重，也是此前ToF方案未能應用在手機中的原因之一。隨著圖像傳感器廠商不斷提高CMOS傳感器的技術，通過背照式(Backside Illumination，在下文簡稱BIS)設計、電流輔助光子演示(CPAD)技術，并將高速率多幀圖像合成單張圖像用以計算最終的深度，在降低圖像噪聲的同時降低了功耗，從而使ToF應用于手機成為可能，但對應的ToF傳感器芯片成本也高出很多。

CMOS圖像傳感器市場集中度較高，2017年，前十大廠商市場份額合為94%，其中前三家廠商索尼（Sony）、三星（Samsung）、豪威科（Omnivision）市場份額合計占比達73%，CR3較2014年的63%有明顯提升。從CIS市場增速來看，根據IC Insights2018年預測，2017-2022年銷售額CAGR為8.8%，銷售量CAGR為11.7%；根據Yole2018年預測，2017-2023年銷售額CAGR為9.4%，而該機構最新預測顯示，受到新冠肺炎疫情影響，2020年增速將回落至7%，2021年略有反彈（增速為12%），預計2025年CIS市場規模將達到280億美元。

未來可能是sensor市場的一個驅動引擎，可以應用在自動駕駛、醫療檢測和物體識別等多種新興領域。未來幾年，ToF技術將在終端迎來高速增長。隨著ToF技術的不斷成熟和應用場景的不斷豐富，手機攝像頭、手勢交互UI（用戶界面）、汽車電子ADAS、安防監控等多個領域，對ToF深度傳感器的數量需求都將大幅增長。

編輯：黃飛

?