近月來(lái)，中國(guó)手機(jī)與蘋果的“諸神之戰(zhàn)”讓大家在OPPO的“馬里亞納”、華為的“原色雙影像單元”、小米x徠卡聯(lián)合研發(fā)、蘋果的“靈動(dòng)島”和“4800萬(wàn)像素廣角鏡頭+1200 萬(wàn)像素超廣角以及長(zhǎng)焦鏡頭”的信息焦慮中眼花繚亂。

原本或許是為了對(duì)沖手機(jī)系統(tǒng)和APP設(shè)計(jì)無(wú)力感而誕生的拍照功能，現(xiàn)今卻成為了眾手機(jī)廠家除背部設(shè)計(jì)外為數(shù)不多可“卷”的地方，自拍、全景、夜景、小視頻等旺盛的需求讓這一技術(shù)的江湖地位迅速變化，比翻書還快。 ? 對(duì)圈內(nèi)人士而言，這一波變化帶來(lái)的后攝、雙攝、多攝、暗光、防抖、廣角、長(zhǎng)焦、變焦，也再次將CMOS傳感器等圖像市場(chǎng)炒熱。 ? 對(duì)于獨(dú)立數(shù)碼相機(jī)，鏡頭/CMOS傳感器畫幅越大，效果就會(huì)越好越專業(yè)。但由于手機(jī)面積小等局限性，手機(jī)攝影與成像對(duì)攝像頭的依賴性極低，對(duì)圖像處理技術(shù)的依賴性極高，使得手機(jī)攝影更充滿邏輯上的科技與狠活兒（褒義），背后的功臣按貢獻(xiàn)來(lái)算，ISP（圖像信號(hào)處理）確實(shí)為CMOS加上了諸多化腐朽為神奇的“海克斯科技“（依然是褒義）。 ? ?

CMOS圖像傳感器的功能簡(jiǎn)而言之就是把光信息轉(zhuǎn)換成電信號(hào)，最后變成一幅人眼可以識(shí)別的圖像。ISP會(huì)再對(duì)圖像做處理，使其更符合人眼所看到的世界的樣子。

CMOS和ISP是緊密合作的關(guān)系，一個(gè)粗加工，一個(gè)精加工，一個(gè)前置攝像頭拍照，一個(gè)十級(jí)美顏加濾鏡。

CMOS圖像傳感器相比它的前任CCD圖像傳感器可以復(fù)用更多的通用半導(dǎo)體制造設(shè)備，因此生產(chǎn)成本更低。事實(shí)上，在將光轉(zhuǎn)換為光信號(hào)的過(guò)程中，CMOS相較CCD也抑制了更多電噪聲。但在有限的物理?xiàng)l件和攝像頭規(guī)格面前，僅靠吸收光信號(hào)的簡(jiǎn)單轉(zhuǎn)化只能是巧婦難為少米之炊。真正獻(xiàn)上神級(jí)換頭術(shù)的，還是ISP。

底層邏輯

掃盲專區(qū)

傳感器產(chǎn)生的電壓波形信號(hào)幅度和空間特性都與其所感知的光照有關(guān)。為了產(chǎn)生一副數(shù)字圖像，需要把連續(xù)的感知數(shù)據(jù)轉(zhuǎn)換為數(shù)字形式，該過(guò)程被稱為圖像采樣和量化。

所以圖像處理的基礎(chǔ)就是采樣（拍攝）、量化（利用RGB或者YUV把像素編碼）再將數(shù)字放進(jìn)想要效果的函數(shù)模型中進(jìn)行調(diào)試。 ? 底層邏輯搭好了我們?cè)佥斎雽I(yè)術(shù)語(yǔ)。

一張圖讓你知道ISP做了多少事

哪些因素讓ISP技術(shù)越來(lái)越受依賴？

1

核心訴求

由于鏡頭和傳感器的物理缺陷以及拍攝環(huán)境的多樣性，傳感器輸出的原始數(shù)據(jù)和人類預(yù)期的圖像有巨大差異，因此ISP就起到了相當(dāng)重要的作用。

2

行業(yè)訴求

公安需要監(jiān)控設(shè)備提升夜視能力，延長(zhǎng)監(jiān)控有效時(shí)間，以獲取更多取證信息，提升破案率；

智慧城市需要實(shí)時(shí)收集和保存高清視頻數(shù)據(jù)，以供城市大腦進(jìn)行全局分析，利用可靠數(shù)據(jù)優(yōu)化調(diào)整公共資源；

自動(dòng)駕駛：前視ADAS需要ISP快速分析遠(yuǎn)近物體，鏡頭聚焦在遠(yuǎn)距離范圍內(nèi)，需要較高的系統(tǒng)靈敏度；后視和環(huán)視則需要ISP應(yīng)用畸變矯正算法和多圖像拼合。

一些ISP技術(shù)老生常談

但常談常新的技術(shù)難點(diǎn)：

1

HDR高動(dòng)態(tài)圖像融合

動(dòng)態(tài)范圍指的是圖像亮度最大值與最小值的比例范圍，范圍越大圖像顯示的場(chǎng)景細(xì)節(jié)越多，視覺(jué)效果越逼真，越能全面展現(xiàn)自然場(chǎng)景的動(dòng)態(tài)范圍細(xì)節(jié)。 具體步驟：采用多張不同曝光度的普通圖像來(lái)計(jì)算實(shí)際場(chǎng)景亮度，再用Tone-Mapping壓縮合成HDR影像。 ? 形象化地說(shuō)，就好像上帝手上一杯陽(yáng)光（過(guò)曝照片）、一杯憂郁（曝光不足）、一杯穩(wěn)重（曝光正常），想造什么性格的人全由比例調(diào)配，但是鑒于性格因素的多元化，每樣都要來(lái)一點(diǎn)才不會(huì)走極端。

上帝造人容易，HDR卻有如何標(biāo)定相應(yīng)曲線、高動(dòng)態(tài)范圍圖像存儲(chǔ)、tone-mapping壓縮顯示算法、RGB三個(gè)獨(dú)立通道數(shù)據(jù)量大難合成、迭代算法輸出圖片質(zhì)量缺乏穩(wěn)定性等問(wèn)題。 ?

2

圖像邊緣增強(qiáng)

? 灰度是指亮度的明暗程度。圖像邊緣是圖像中灰度值不連續(xù)處的合集，邊緣像素點(diǎn)蘊(yùn)含更為豐富的圖像信息，邊緣識(shí)別也就將圖片信息從“二進(jìn)制數(shù)字識(shí)別”向“編程語(yǔ)言的語(yǔ)義識(shí)別”邁進(jìn)。 ? 找出哪些像素點(diǎn)是邊緣的方式非常簡(jiǎn)單： 將一張黑白照片翻轉(zhuǎn)顏色成為一張新的照片后，兩張照片小距離錯(cuò)動(dòng)得到鑲邊信息并突出其顯示效果，邊緣增強(qiáng)即完成。也就是掩膜技術(shù)。 ? 由于夜間光照不足、大霧、沙塵等影響，捕獲圖像中突發(fā)事件如相機(jī)運(yùn)動(dòng)、或是場(chǎng)景中目標(biāo)運(yùn)動(dòng)等，都會(huì)使采集的圖像或是圖像序列遭受損失，存在成像模糊、噪聲污染及曝光不均等問(wèn)題，圖像增強(qiáng)顯得尤為重要。

圖像的邊緣即明暗程度明顯的像素點(diǎn)規(guī)則分布排列出一道線，在進(jìn)行圖像灰度分析中呈現(xiàn)明顯的直角階梯感，稱為階躍邊緣。與之相較的模糊、噪聲污染、曝光不均的模糊邊緣，像素明暗的交替會(huì)在有限距離內(nèi)發(fā)生，呈現(xiàn)出坡度感，故稱為斜坡邊緣。

對(duì)于邊緣區(qū)域，根據(jù)梯度方向及當(dāng)前點(diǎn)在斜坡邊緣的位置，采用邊緣方向均值、邊緣梯度方向的高灰度均值和低灰度均值來(lái)代替當(dāng)前像素灰度值，從而縮短斜坡邊緣的寬度來(lái)增強(qiáng)圖像邊緣。

3

對(duì)比度增強(qiáng)

在獲取圖像質(zhì)量不高的情況下，通過(guò)后期調(diào)整灰度值、銳化等來(lái)改善圖像視覺(jué)效果，使其更適用于人或機(jī)器分析處理，突出有意義的信息，提升圖像使用價(jià)值。

常用方法有線性變換、直方圖歸一化、伽馬變換、全局直方圖均衡化、限制對(duì)比度的自適應(yīng)直方圖均衡化等。

直方圖歸一化前&后

直方圖均衡化

自適應(yīng)增強(qiáng)

4

?2d/3d降噪（DNR）

知乎中給到的“比較簡(jiǎn)單的”解釋說(shuō)：一個(gè)算法如果只利用同幀圖像信息，稱為2D降噪; 利用前后幀信息稱為3D降噪。

再簡(jiǎn)單些：

降圖片的噪是2D降噪（空域降噪Spatial），降視頻的噪是3D降噪（時(shí)域降噪Temporal），視頻播放鍵暫停的每一幀都會(huì)布滿噪聲，時(shí)長(zhǎng)越久需要處理的噪聲就越多。3D降噪主要是在時(shí)間軸上利用概率找到隨機(jī)噪聲幅值的相關(guān)性并進(jìn)行排序，在運(yùn)動(dòng)序列中找到每個(gè)像素點(diǎn)的位置，從而得到一張干凈的圖像。

要導(dǎo)出一張像素排列有序的圖像，就需要不斷精進(jìn)的運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)，噪聲建模（將噪聲幅值建立對(duì)應(yīng)概率密度函數(shù)分布模型）、塊匹配（找到關(guān)系相近的像素塊來(lái)捕捉運(yùn)動(dòng)軌跡）、光流（同時(shí)捕捉物體移動(dòng)和攝像頭的移動(dòng)）等方法缺一不可。

5

幾何畸變矯正

消除由攝像機(jī)導(dǎo)致的數(shù)字圖像的幾何畸變，使其更符合人眼視覺(jué)下的呈現(xiàn)方式。類似素描的時(shí)候平面作畫畫得有三維立體感和數(shù)學(xué)里的立體幾何計(jì)算。

這部分也是在2d圖像下好解決，一遇上3d，難度系數(shù)就指數(shù)級(jí)上升。典型應(yīng)用場(chǎng)景之一也是另外一個(gè)圖形技術(shù)大卷之地——光線追蹤技術(shù)。

光線追蹤技術(shù)是一種通過(guò)透徹了解光線在物理世界傳播、反射、折射等的變化原理，再通過(guò)計(jì)算機(jī)模擬光線，力求做到在PC端和移動(dòng)端的手機(jī)應(yīng)用中，模擬場(chǎng)景變化效果也能像人類視覺(jué)在現(xiàn)實(shí)世界中觀察到的變化效果相近。目前，英偉達(dá)、AMD、英特爾已經(jīng)支持硬件層面的相關(guān)技術(shù)，移動(dòng)端Imagination、三星、Arm也紛紛入局。

現(xiàn)實(shí)世界中，人眼接收到的光線一部分是直接光源的照射，另一部分是其他物體表面的反射。穩(wěn)定光源的光線好模擬，物體表面反射光源的路徑可能千千萬(wàn)且十分“光怪陸離”。在模擬世界實(shí)現(xiàn)光線追蹤便需要反復(fù)推演預(yù)設(shè)場(chǎng)景，在模擬坐標(biāo)中重現(xiàn)視覺(jué)感，將空間點(diǎn)發(fā)出的光抽象為光線，通過(guò)修正光線的傳播路徑在虛擬世界中逼真還原，以求沉浸式的游戲體驗(yàn)。

以上繁多的圖片處理需求還只是在ISP眾多“基本功”里窺得一隅，實(shí)操作中還需要戴著“低功耗”和“低帶寬占用率”的腳鐐跳舞，在不占用公共資源的前提下為其他硬件的性能上升留出空間。

設(shè)計(jì)出符合技術(shù)和行業(yè)需求的ISP

需要哪些基操和絕技？

1

ISP和NPU全自研，競(jìng)爭(zhēng)力說(shuō)話，做熟不做生

公版IP的通用性和靈活性差不言而喻。安防、車載、AR/VR的彎道超車式發(fā)展讓每個(gè)賽道都存在不斷更新的細(xì)分需求，自研技術(shù)在自適性、按需靈活定制創(chuàng)新功能、縮短開(kāi)發(fā)周期、溝通便利上都更符合客戶和行業(yè)的發(fā)展需求。

銳化、降噪、色彩矯正、邊緣增強(qiáng)等很多功能的實(shí)現(xiàn)，抑制與增強(qiáng)需求夾雜其中彼此矛盾。還原度、信噪比、噪聲平穩(wěn)性的客觀標(biāo)準(zhǔn)與顏色風(fēng)格的主觀標(biāo)準(zhǔn)參雜其中。自研芯片的持續(xù)迭代可以保證達(dá)到平衡。

2

對(duì)多種類型客戶需求的充分了解，

默契是時(shí)間與堅(jiān)守品質(zhì)的必然產(chǎn)物

傳統(tǒng)ISP在HDR和降噪模塊上仍有非常大的改進(jìn)空間。一個(gè)ISP與多種自研算法相結(jié)合，靈活滿足不同客戶不同場(chǎng)景的需求。

以HDR和降噪算法為例，酷芯研發(fā)團(tuán)隊(duì)經(jīng)歷過(guò)從DSP到ASIC再到更為細(xì)化的改進(jìn)迭代、直到最終固化，多種特定算法之間的相互組合與迭代，以及不同ISP調(diào)試風(fēng)格參數(shù)調(diào)整，到最后與tuning相結(jié)合，都需要有認(rèn)可的系統(tǒng)廠商內(nèi)部支持和一定采購(gòu)量為立足點(diǎn)，將不斷提升的產(chǎn)品系統(tǒng)需求分解為芯片迭代方案。是一種相互賦能和成就。

以安防監(jiān)控為例，公安需要存儲(chǔ)和核查證據(jù)，需采用一路高碼率的碼流用于本地高清存儲(chǔ)，視頻中的大噪聲分碼率網(wǎng)絡(luò)設(shè)備無(wú)法承擔(dān)，就碼率的平穩(wěn)性需求和ISP的需求都有別于其他行業(yè)。

3

非常需求，獨(dú)有方法

當(dāng)芯片面臨能效比、低帶寬占用率的硬性需求和火警、測(cè)溫等特殊偵察需求時(shí)，傳統(tǒng)ISP成像將無(wú)法滿足，酷芯憑借多年累積，巧妙地將熱成像技術(shù)與高ISP成像質(zhì)量相結(jié)合，在紅外圖像基礎(chǔ)上做降噪、銳度增強(qiáng)等處理，用特有雙光方案滿足夜間/低光照視覺(jué)監(jiān)測(cè)需求。

所以，你以為ISP技術(shù)的優(yōu)劣是研發(fā)實(shí)力問(wèn)題，但真實(shí)情況是，在芯片行業(yè)發(fā)生的一切，更多是一場(chǎng)技術(shù)迭代+多元場(chǎng)景和需求的落地實(shí)操+客情關(guān)系+供應(yīng)鏈管理等時(shí)與勢(shì)的把握，每一個(gè)都互為因果，每一種都權(quán)重相當(dāng)。

就像呈現(xiàn)出一張最終效果令人滿意的照片，每個(gè)像素的表達(dá)都必不可少，也是借由ISP技術(shù)的升級(jí)（背后是圖像處理技術(shù)中算法的不斷創(chuàng)新+參數(shù)的反復(fù)調(diào)試）才能讓每個(gè)像素點(diǎn)都充分表達(dá)自我，完成本職工作。 ?

編輯

?