在雙鏡頭智能手機(jī)越來越普及的同時(shí)，華為(Huawei)最新推出的P20 Pro揭示三鏡頭手機(jī)時(shí)代的來臨…三個(gè)鏡頭真的有比兩個(gè)鏡頭厲害嗎？

在過去兩年，我們已經(jīng)見證到在大眾市場上的大多數(shù)智能手機(jī)對(duì)雙鏡頭技術(shù)之采用，而且?guī)缀跏强缢惺謾C(jī)業(yè)者；雙鏡頭出現(xiàn)在前置或后置攝影機(jī)，有不同的配置以及終極目標(biāo)。

根據(jù)市場研究機(jī)構(gòu)的報(bào)告指出，2018年有30%的智能手機(jī)將采用雙鏡頭，明年該比例將成長至50%。而雖然智能手機(jī)市場花了超過十年時(shí)間才添加第二個(gè)鏡頭，看來第三個(gè)鏡頭也馬上要登場了──在雙鏡頭方案被采納的兩年之內(nèi)。

本文將探討智能手機(jī)影像系統(tǒng)添加第三個(gè)鏡頭的一些動(dòng)機(jī)、所帶來的挑戰(zhàn)，以及一些可能的解決方案。

雙鏡頭發(fā)展回顧

智能手機(jī)的厚度一直是移動(dòng)攝影技術(shù)的挑戰(zhàn)；隨著技術(shù)演進(jìn)，攝影機(jī)光圈尺寸可以非常迷你，像素(pixel)尺寸也越來越小，此外自動(dòng)對(duì)焦與影像穩(wěn)定也仍然需要能放進(jìn)去。而最近，智能手機(jī)廠競相實(shí)現(xiàn)不錯(cuò)的低光線拍照性能、高分辨率、低SNR，甚至還能以僅6mm的攝影機(jī)高度來變焦。

雙鏡頭技術(shù)的誕生，除了為相機(jī)模組制造商與智能手機(jī)業(yè)者帶來救贖，同時(shí)也帶來挑戰(zhàn)；它提出的方案是：如果單支攝影機(jī)已經(jīng)充分發(fā)揮潛力，為何不合成兩支攝影機(jī)的輸出，好讓它們能各自貢獻(xiàn)其特殊優(yōu)勢(shì)？

最早搭載雙鏡頭的智能手機(jī)是HTC One (M8)，應(yīng)用于后置攝影機(jī)；其唯一目的是提供景深與對(duì)焦效果。而雙鏡頭手機(jī)發(fā)展的第一階段持續(xù)至2016年中，當(dāng)時(shí)有多家智能手機(jī)業(yè)者都在旗艦機(jī)種嘗試采用雙鏡頭技術(shù)，利用不同的設(shè)定，包括僅支持景深、RGB-單色(Mono) ，以及廣角-超廣角(Wide-Wider)等組合。不過并沒有出現(xiàn)“殺手級(jí)拍照應(yīng)用程式”，也沒有任何一種配置方法勝出。

2016年9月，Apple發(fā)表配備后置雙鏡頭攝影機(jī)的iPhone 7 Plus，以“廣角+望遠(yuǎn)”(Wide+Tele)的高階雙鏡頭配置，強(qiáng)調(diào)支持兩種消費(fèi)者最想要的功能：光學(xué)變焦( optical zoom)與數(shù)字散景(digital bokeh；或稱“人像模式”)。從那時(shí)候起，雙鏡頭智能手機(jī)市場地位確立，各家高階與旗艦機(jī)種都采用了與Apple類似的配置，中低階手機(jī)則仍僅支持景深功能。

Corephotonics (以色列新創(chuàng)公司，本文提供者)是在2014年推出變焦雙鏡頭系統(tǒng)，能在不犧牲攝影機(jī)Z軸高度的前提下支持真正的光學(xué)變焦

然后是三鏡頭！

雖然雙鏡頭智能手機(jī)已經(jīng)在高階市場普及，在近期內(nèi)仍將會(huì)有許多新的雙鏡頭拓樸亮相，以強(qiáng)化今日的雙鏡頭方案性能；一個(gè)下一代雙鏡頭進(jìn)化的案例即將發(fā)生，即是可折疊攝影機(jī)架構(gòu)的應(yīng)用，不只能大幅改善變焦倍數(shù)以及低光線拍攝性能，也能實(shí)現(xiàn)更低的攝影機(jī)模組高度以適應(yīng)更薄的手機(jī)機(jī)身。OPPO在2017年MWC就曾發(fā)表過采用這類技術(shù)的初期原型──配備5倍變焦鏡頭的智能手機(jī)攝影機(jī)技術(shù)。

另一個(gè)智能手機(jī)攝影機(jī)的有趣變化，會(huì)是利用三鏡頭組合；不過說比做容易得多，添加第三個(gè)攝影機(jī)鏡頭會(huì)帶來明顯的挑戰(zhàn)(以及獎(jiǎng)賞)，也為智能手機(jī)制造商開啟了更廣泛的可能性與配置選項(xiàng)。

三鏡頭智能手機(jī)可以有很多不同配置

接下來讓我們來看看三鏡頭相機(jī)系統(tǒng)面臨的三大挑戰(zhàn)：

挑戰(zhàn)一：“坪數(shù)”與成本

三鏡頭解決方案不但增加了攝影機(jī)系統(tǒng)物料清單(BoM)成本，也會(huì)因?yàn)槠渌赡苷系绞謾C(jī)內(nèi)的技術(shù)(例如紅外線感測、近接感測器、結(jié)構(gòu)光、更大的電池…等等)，而在機(jī)體內(nèi)部空間占據(jù)更多“坪數(shù)”。這種“懲罰”幾乎是不可避免的，但廠商必須要以整體金錢價(jià)值來衡量，有部分取決于其目標(biāo)受眾的優(yōu)先性。

第三支攝影機(jī)添加的成本會(huì)與其配置直接相關(guān)，這點(diǎn)筆者在接下來會(huì)進(jìn)一步解釋；其金額估計(jì)在10美元至30美元之間。

挑戰(zhàn)二：校準(zhǔn)

為了要達(dá)到在視訊/影像預(yù)覽的無縫使用者體驗(yàn)，并避免在影像融合或散景時(shí)出現(xiàn)殘影或過長的處理時(shí)間，必須要在此三鏡頭成像系統(tǒng)的內(nèi)部與外部屬性上仔細(xì)校準(zhǔn)，而且要在攝影機(jī)的生產(chǎn)線上進(jìn)行，必須一絲不茍甚至可能以連續(xù)、自動(dòng)化的執(zhí)行方式來補(bǔ)償物理性動(dòng)態(tài)變化，例如溫度變化與設(shè)備掉落沖擊等。

攝影機(jī)系統(tǒng)的校準(zhǔn)以及訊框同步(frame-to-frame synchronization)，為攝影機(jī)模組制造商以及這種更復(fù)雜攝影機(jī)系統(tǒng)供應(yīng)商帶來挑戰(zhàn)；因?yàn)槿绻齻€(gè)鏡頭每一個(gè)都需要完美校準(zhǔn)，組裝程序必須要謹(jǐn)慎設(shè)計(jì)，而良率預(yù)期會(huì)較低，如此可能會(huì)直接影響整體攝影機(jī)成本。

挑戰(zhàn)三：固件、算法與功耗

三鏡頭攝影系統(tǒng)在固件方面也會(huì)更復(fù)雜，新架構(gòu)會(huì)必須能像是只運(yùn)作一支攝影機(jī)那樣搞定三支攝影機(jī)；處理程序例如電源管理、訊框要求(frame request)、存儲(chǔ)器管理，以及其他攝影機(jī)管理員程式內(nèi)部的狀態(tài)機(jī)(state-machines)，會(huì)需要處理更多的邏輯、更多數(shù)據(jù)并允許在流水線內(nèi)更多的平行處理，同時(shí)以更有效率的方式支持應(yīng)用層以因應(yīng)即時(shí)性能。

在另一方面，算法也面臨相同挑戰(zhàn)，包括確保合理的處理運(yùn)作時(shí)間，以及避免來自多個(gè)鏡頭的多輸入影像而導(dǎo)致的殘影；同時(shí)還要處理三鏡頭在訊框同步、遮蔽(occlusions )方面的不精準(zhǔn)，以及三鏡頭校準(zhǔn)數(shù)據(jù)中的缺陷。因?yàn)檫@些復(fù)雜性，這種配置的整體系統(tǒng)(包括攝影鏡頭與處理平臺(tái))功耗會(huì)大大受影響。

接著讓我們來討論幾種三鏡頭配置方法，這些案例各有優(yōu)缺點(diǎn)，當(dāng)然也可能還有其他的配置…

支持低光線拍攝的三鏡頭配置

三鏡頭攝影機(jī)能讓使用者在光線相對(duì)較暗的場景中拍攝照片，而且變焦功能也不會(huì)打折扣。在演唱會(huì)現(xiàn)場拍攝舞臺(tái)上的畫面就是一個(gè)很好的例子，這種場景不但需要變焦，而且需要能支持低光線拍攝。

支持低光線拍攝的三鏡頭配置

連續(xù)變焦功能源自于以下幾點(diǎn)：

單色攝影機(jī)(Camera I)因?yàn)闆]有使用通常會(huì)配置在彩色攝影機(jī)感測器像素中的拜爾濾色鏡陣列(Bayer filter array)，而能提供更高的對(duì)角線分辨率(diagonal resolution)；在這種系統(tǒng)中，能使用彩色攝影機(jī)(Camera II與Camera III)來實(shí)現(xiàn)色彩重現(xiàn)。

單色廣角攝影機(jī)與彩色廣角攝影機(jī)(Camera I與Camera II)不同的空間取樣尺寸(例如像素尺寸)，也有助于此雙鏡頭子系統(tǒng)的整體放大倍率性能。

第三個(gè)攝影機(jī)還能支持來自望遠(yuǎn)鏡頭之更高的中央分辨率(center resolution)。

強(qiáng)化低光線拍攝性能，源自于與三鏡頭都有相關(guān)的、相對(duì)較低的焦比(f/#；鏡頭光圈設(shè)定)。將彩色攝影機(jī)(Camera II)輸出訊框與單色攝影機(jī)(Camera I)輸出訊框融合，會(huì)取得是前者兩倍的光線，如此也能大幅改善SNR。

兩倍曝光的效益是不采用彩色濾光片陣列的結(jié)果，因?yàn)樵诓噬珵V光片中，每個(gè)像素會(huì)被過濾為只記錄三種色彩中的一種，以犧牲整體潛在可吸收光線為代價(jià)。

RGB/單色(Mono)/望遠(yuǎn)(Tele)三鏡頭能支持更佳的光線敏感度以及光學(xué)變焦

另一個(gè)這種三鏡頭配置方案勝過現(xiàn)有雙鏡頭變焦攝影機(jī)的顯著優(yōu)勢(shì)，是在Camera I與Camera II之間有較大的重疊視野(field of view，F(xiàn)oV)；這種功能可以在擴(kuò)增實(shí)境(AR)以及數(shù)字散景(淺化背景深度的效果)等多種應(yīng)用中，支持整體寬廣FoV中的立體深度感測，

而此種配置的一個(gè)顯著缺點(diǎn)是在靜態(tài)影像擷取時(shí)的快門延遲相對(duì)較高，而且在視訊錄影時(shí)的低光線拍攝性能就沒有改善；此外很重要的是，這類攝影機(jī)系統(tǒng)的功耗必須小心監(jiān)控，以避免當(dāng)三鏡頭同時(shí)運(yùn)作時(shí)發(fā)生懸崖式掉電。

支持廣角拍攝的三鏡頭配置

鏡頭排列順序?qū)ο到y(tǒng)性能會(huì)有影響；舉例來說，將廣角彩色攝影機(jī)放在中間，能在視訊拍攝時(shí)支持較順暢的廣角鏡頭到望遠(yuǎn)鏡頭過渡，同時(shí)簡化兩相鄰攝影機(jī)(彩色與單色)之間的融合程序。但這種配置的代價(jià)是犧牲立體深度感測精確度，不過能透過將廣角彩色攝影機(jī)與廣角單色攝影機(jī)放在相對(duì)兩端來改善。

魚眼變焦攝影機(jī)配置

這種攝影機(jī)配置會(huì)非常適合旅游愛好者；舉例來說，在拍攝開闊的景觀時(shí)，超廣角鏡頭能避免一般采用影像拼接的拍攝模式。同時(shí)非常有助于在變焦時(shí)擷取精細(xì)的影像細(xì)節(jié)；現(xiàn)在的智能手機(jī)只能讓使用者在影像品質(zhì)較佳的光學(xué)變焦或是超廣角畫面中二選一，但三鏡頭配置就不需要做出這種抉擇。

相較于前一種三鏡頭配置，這種配置能以更經(jīng)濟(jì)的方式處理功耗，因?yàn)榇蠖鄶?shù)時(shí)間只有一個(gè)鏡頭啟動(dòng)，依據(jù)使用者的變焦倍數(shù)；此外此攝影機(jī)陣列順序背后的邏輯會(huì)更直接，因?yàn)橐罁?jù)攝影機(jī)放大性能，相鄰的兩攝影機(jī)之間會(huì)一直以連續(xù)模式無縫切換。

這類系統(tǒng)的挑戰(zhàn)在于超廣角鏡頭會(huì)有相對(duì)較高的影像失真，特別是在視訊平滑過渡、融合兩個(gè)影像甚或是工廠校準(zhǔn)程序時(shí)；不過熱愛攝影的手機(jī)使用者，會(huì)非常欣賞望遠(yuǎn)鏡頭較長的焦距，能讓他們從遠(yuǎn)處拍攝到效果更好的目標(biāo)物特寫。

支持折疊式望遠(yuǎn)攝影機(jī)的三鏡頭配置

這種三鏡頭配置也能讓使用者享受前所未有的真正5倍光學(xué)變焦，不需要妥協(xié)于今日的智能手機(jī)外觀(也就是能與無邊框全螢?zāi)伙@示器共存的5mm高度攝影機(jī))。而盡管F/#相對(duì)較高(例如f/2.8)，望遠(yuǎn)鏡頭的低光線拍攝性能也很出色，因?yàn)檎郫B式望遠(yuǎn)鏡頭強(qiáng)化了入攝瞳(pupil)，比起標(biāo)準(zhǔn)RGB廣角鏡，能擷取五倍以上的光線；比起前面提到的這種配置中的廣角攝影機(jī)，光線擷取量則是超過2.5倍。

采用先進(jìn)折疊光學(xué)技術(shù)的三鏡頭配置

這種超級(jí)變焦三鏡頭配置，從1到5倍變焦都能提供無縫、連續(xù)的變焦體驗(yàn)，無論是拍攝靜態(tài)影像或是4K視訊錄影；結(jié)合多訊框(multi-frame)技術(shù)、影像融合以及多階影像(multi-scaling)，這種攝影機(jī)最高能提供25倍變焦。結(jié)合可折疊變焦光學(xué)元件與OIS技術(shù)，這種先進(jìn)的三鏡頭系統(tǒng)能改善今日智能手機(jī)攝影機(jī)的兩大缺陷：低光線拍攝性能以及光學(xué)變焦倍數(shù)不足。

廣角/2倍望遠(yuǎn)/5倍望遠(yuǎn)拍攝

報(bào)酬遞減原則

我們?cè)谶@篇文章中探討了三鏡頭攝影系統(tǒng)的關(guān)鍵挑戰(zhàn)，以及可能很快會(huì)被業(yè)者采用的三種不同攝影機(jī)配置方法。

一般來說，報(bào)酬遞減原則(Law of Diminishing Returns)也適用于多鏡頭技術(shù)，在雙鏡頭配置中的第二個(gè)攝影機(jī)在提升使用者體驗(yàn)上提供了最高的報(bào)酬，但任何一種三鏡頭配置中的第三個(gè)攝影機(jī)，可能需要為整體使用者體驗(yàn)帶來很明顯的價(jià)值，才能抵銷其添加的額外成本、占位面積以及復(fù)雜度。

無論如何，三鏡頭配置能充分解決低光線拍攝時(shí)的限制(包括靜態(tài)影像與動(dòng)態(tài)視訊擷取)，同時(shí)提供適當(dāng)?shù)墓鈱W(xué)變焦能力(3倍以上)，這在近期之內(nèi)會(huì)成為對(duì)手機(jī)業(yè)者來說最具說服力的解決方案。