本文是圖像信號(hào)處理流程的一個(gè)總體的介紹，以便更好理解一張照片究竟是如何誕生的，實(shí)際的技術(shù)要復(fù)雜很多。

1. 傳感器捕獲光信號(hào)

現(xiàn)在的相機(jī)多使用CMOS作為傳感器，不同的相機(jī)有不同的畫(huà)幅，如常見(jiàn)的APS-C畫(huà)幅、全畫(huà)幅等。總的來(lái)說(shuō)畫(huà)幅越大，即傳感器尺寸越大，最終的成像質(zhì)量會(huì)越好，因?yàn)榭梢圆蹲降礁嗟墓庑盘?hào)。

常見(jiàn)的彩色圖像格式是RGB三通道的，但是最開(kāi)始的光信號(hào)采集卻不是每個(gè)像素都會(huì)采集RGB三個(gè)像素的信息，這樣做會(huì)有成本以及空間的問(wèn)題，而是收集三種不同光的Sensor成拜爾陣列分布，后續(xù)再通過(guò)插值等手段去恢復(fù)。



CFA的作用是過(guò)濾其他光線，使得我們需要的紅、綠、藍(lán)三種波段的光才能進(jìn)入傳感器。

但是不同的CFA(color filter array)過(guò)濾后，最終相機(jī)對(duì)于不同波段的光的敏感度曲線也是有差別的。

Sensor最終的值是光強(qiáng)和曝光時(shí)間的線性函數(shù)，結(jié)合前面的人眼的敏感曲線，這個(gè)階段其實(shí)是對(duì)真實(shí)世界的光輻射的一個(gè)捕捉，并沒(méi)有結(jié)合人眼特性去處理。

這個(gè)時(shí)候的圖像也不是電子設(shè)備可以顯示的常見(jiàn)色彩空間，需要后續(xù)進(jìn)行轉(zhuǎn)換，直接顯示RAW-RGB會(huì)非常奇怪。

2.ISO和RAW格式圖像處理流程

ISO

玩攝影的知道ISO代表感光度，值越高相機(jī)對(duì)光線敏感度越高，暗光下需要調(diào)高ISO，但是隨之而來(lái)的是噪點(diǎn)會(huì)變明顯。

但是其實(shí)相機(jī)捕捉到的實(shí)際光信號(hào)是不會(huì)因ISO變化而改變的，受限于光圈大小和Sensor曝光時(shí)間（快門(mén)時(shí)間），調(diào)整ISO本質(zhì)上是調(diào)整傳感器對(duì)得到的光信號(hào)的放大倍數(shù)，而在放大這個(gè)信號(hào)的同時(shí)，噪聲也被放大了，就出現(xiàn)了前面提到的現(xiàn)象。



像素強(qiáng)度（Pixel "intensity"）是個(gè)絕對(duì)值，主要取決于：

增益（ISO）

曝光時(shí)間（Exposure）

將信號(hào)數(shù)字化的硬件設(shè)計(jì)

暗電流矯正（Black Level Correction）與光學(xué)暗區(qū)（Optical black）

即使沒(méi)有光照，電路中也會(huì)存在噪聲電流等。所以傳感器會(huì)有一塊光學(xué)暗區(qū)(OB)去捕捉?jīng)]有光線時(shí)候采集到的信號(hào)，然后再用實(shí)際捕捉到的信號(hào)減去OB的信號(hào)，以減少噪聲。

缺陷像素遮蓋(Defective pixel mask)

傳感器的可能存在一些有缺陷的相機(jī)，一般由相機(jī)廠商完成，通過(guò)插值等方法去處理。

平場(chǎng)矯正（Flat-field correction）

由于鏡頭、傳感器位置等原因，會(huì)導(dǎo)致傳感器最終捕捉到的不同區(qū)域的光強(qiáng)并不平均（有點(diǎn)類(lèi)似一些鏡頭拍出來(lái)會(huì)有暗角），需要人為對(duì)對(duì)應(yīng)的區(qū)域做補(bǔ)償或者抑制。

3.去馬賽克

即前面提到的，由于CMOS的RGB采集像素是分布不均勻的，需要通過(guò)插值去進(jìn)行補(bǔ)償，使得最終得到的每個(gè)Pixel都有RGB三個(gè)通道的值。



文章里提到了兩個(gè)插值方法，即簡(jiǎn)單的平均插值，或根據(jù)與周?chē)袼氐南嗨贫热シ峙錂?quán)限求加權(quán)平均去插值。但是發(fā)展到今天實(shí)際上的技術(shù)應(yīng)該要復(fù)雜很多，就不贅述了。

平均插值：

按相似度加權(quán)：

另外現(xiàn)在的很多傳感器其實(shí)也不再采用拜爾陣列，而是有其他不同的排布方式。

4.降噪（Noise reduction）

接下來(lái)會(huì)根據(jù)噪點(diǎn)的大小去采取不同程度的降噪處理，噪聲越大采取的算法越激進(jìn)，但是這個(gè)過(guò)程中其實(shí)會(huì)丟失很多信息與細(xì)節(jié)（例如手機(jī)由于傳感器比較小，往往需要更激進(jìn)的降噪算法）。

噪聲主要來(lái)源：

由于光子自身量子性質(zhì)產(chǎn)生的噪聲，這部分是與成像系統(tǒng)無(wú)關(guān)的，服從泊松分布；

傳感器和電路系統(tǒng)自身的噪聲，如暗電流等，服從正態(tài)分布；

而增益g又進(jìn)一步放大了這個(gè)噪聲（即IOS），所以一般ISO越高需要采取更加激進(jìn)的降噪算法。



文中提到了一個(gè)簡(jiǎn)單的降噪算法，現(xiàn)在采用的技術(shù)會(huì)更復(fù)雜，但是思路值得借鑒。

IOS越高，通過(guò)濾波進(jìn)行模糊。

由于濾波也會(huì)丟失細(xì)節(jié)，用原圖減去濾波后的圖像，認(rèn)為數(shù)值高的地方為原本的細(xì)節(jié)，再把這部分添加回來(lái)，可以找回一部分細(xì)節(jié)。

5.白平衡(White-balance)和色彩空間變換(White-balance)

這個(gè)部分需要把raw—RGB轉(zhuǎn)換到一個(gè)通用色彩空間，以供后續(xù)處理,文章以CIE XYZ為例，但是實(shí)際上常用ProPhoto RGB。

白平衡

第一個(gè)階段即需要通過(guò)白平衡去矯正原來(lái)的raw-RGB的值。

首先要得到Sensor對(duì)于光照環(huán)境的RGB值，然后用這個(gè)對(duì)角矩陣變換，就可以得到白平衡之后的顏色。



這里最關(guān)鍵的其實(shí)就是如何去得到這個(gè)白平衡設(shè)置值，這個(gè)值可以根據(jù)經(jīng)驗(yàn)以及環(huán)境光照的色溫去手動(dòng)設(shè)置，也可以借助成像設(shè)備的自動(dòng)白平衡算法去計(jì)算得到，但是這個(gè)就對(duì)白平衡算法的要求比較高，目前還有很多人在研究。

而白平衡中最關(guān)鍵的就是我們要知道哪里是圖片中白色區(qū)域或者灰色區(qū)域，文章提到了兩個(gè)簡(jiǎn)單的算法：

第一種就是“Gray world”算法，假設(shè)平均光譜的值是灰色，圖像的平均應(yīng)該具有相同的能量，即R=G=B，基于這個(gè)假設(shè)將圖像的平均作為灰色。



第二種方法假設(shè)高光點(diǎn)是光源的一個(gè)鏡面反射，那么就可以以R,G,B的最大值去估計(jì)光源的顏色。

同樣實(shí)際上的白平衡算法會(huì)更加的復(fù)雜，這里只是個(gè)基礎(chǔ)的傳統(tǒng)處理方法。

色彩空間轉(zhuǎn)換

第二個(gè)階段是將raw-RGB映射變換到CIE XYZ色彩空間。

相機(jī)廠商會(huì)先去標(biāo)定兩個(gè)極值下（CCT 2500K與CCT 6500K）的CST矩陣,后續(xù)的在這個(gè)范圍內(nèi)的色溫就可以通過(guò)這兩個(gè)標(biāo)定好的極值去做插值得到，就像這里的4300K。所以這個(gè)階段的變換矩陣也同樣需要上階段估算出環(huán)境色溫。

6.調(diào)色（Color manipulation）

基本工作完成后，在這個(gè)階段對(duì)色彩進(jìn)行調(diào)整或者風(fēng)格化處理，使得最終的成像看起來(lái)更漂亮。不同相機(jī)廠商成像風(fēng)格的差異應(yīng)該也主要在這個(gè)階段產(chǎn)生，不同廠商有不同廠商的色彩科學(xué)。



一般來(lái)說(shuō)通過(guò)LUT（3D Look up table）和1D的曲線進(jìn)行調(diào)整，攝影后期LR或者PS調(diào)色的色調(diào)曲線應(yīng)該也是在進(jìn)行這一步一樣的工作。

再進(jìn)一步的，也可以針對(duì)不同區(qū)域、和顏色進(jìn)行單獨(dú)的調(diào)整（Local tone mapping & Selective color manipulation），LR和PS等后期軟件中也有類(lèi)似的針對(duì)不同區(qū)域、顏色的單獨(dú)調(diào)整功能。

關(guān)于皮膚調(diào)色相關(guān)文章，有空研究研究

7.Re-scaling image

即根據(jù)取景器要求重新進(jìn)行縮放，也可以叫做數(shù)碼變焦或者超分辨率，傳統(tǒng)的方法這里沒(méi)有提，這方面AI的方法好像用的更多。

8.色彩空間轉(zhuǎn)換(sRGB conversion (or other color space)）

最后轉(zhuǎn)換到我們需要的色彩空間，并且使用Gamma編碼，之前有提過(guò)即給人眼更敏感的暗部分配更多的編碼空間

9. 圖像壓縮

即將圖片進(jìn)行壓縮，涉及到圖像壓縮編碼技術(shù)比較復(fù)雜，這里只了解流程。 最常見(jiàn)的就是jpeg壓縮，但是文章中提到現(xiàn)在蘋(píng)果已經(jīng)在使用的HEIC正在慢慢替代他們。

10.零延時(shí)拍照技術(shù) (Zero Shutter Lag)

比較好理解，由于圖像的處理經(jīng)過(guò)前面各個(gè)流程是需要一定的時(shí)間的，所以如果按下快門(mén)才開(kāi)始記錄，實(shí)際得到的是有時(shí)延的。

所以實(shí)際上當(dāng)取景器開(kāi)始預(yù)覽，相機(jī)便已經(jīng)開(kāi)始不斷的去緩存快照，當(dāng)按下快門(mén)后，根據(jù)按下時(shí)間去找對(duì)應(yīng)的緩存幀就可以實(shí)現(xiàn)零延時(shí)。

審核編輯：劉清