成像系統

——光學鏡片：把光聚焦到傳感器上

——傳感器：將光信號轉換成電信號

——ISP：將傳感器得到的信號進行處理得到可視圖像

——其他影響圖像質量的部件

成像過程

使用相機和手機等設備拍照時

ISP芯片是拍照過程中的運算處理單元，其地位相當于相機的“大腦”

ISP

ISP(Image Signal Processor)，即圖像信號處理器，用于處理圖像信號傳感器輸出的圖像信號。它在相機系統中占有核心主導的地位，是構成相機的重要設備。

內部結構

?CPU

CPU 即中央處理器，可以運行AF、LSC 等各種圖像處理算法，控制外圍設備

?SUBIP

SUBIP 是各種功能模塊的通稱，對圖像進行各自專業的處理。常見的SUBIP 如DIS、CSC、VRA 等。

?圖像傳輸接口

圖像傳輸接口主要分兩種，并口ITU和串口 CSI。

?通用外圍設備

通用外圍設備指I2C、SPI、PWM、UART、WATCHDOG等。ISP 中包含 I2C 控制器，用于讀取OTP信息，控制VCM等。

ISP工作流程

ISP處理圖像數據基本流程圖

ISP主要功能

?DEMOSAIC（去馬賽克）

SENSOR 的像素點上覆蓋著 CFA，光線通過 CFA 后照射到像素上。CFA 由 R、G、B 三種顏色的遮光罩組成，每種遮光罩只允許一種顏色通過，因此每個像素輸出的信號只包含R、G、B 三者中的一種顏色信息。SENSOR 輸出的這種數據就是 BAYER 數據，即通常所說的 RAW 數據。顯而易見，RAW 數據所反映的顏色信息不是真實的顏色信息。DEMOSAIC 就是通過插值算法將每個像素所代表的真實顏色計算出來。Demosaic的目的就是有bayer數據恢復出完整的RGB數據。

?AF（Automatic focus）自動對焦

根據光學知識，景物在傳感器上成像最清晰時處于合焦平面上。通過更改LENS 的位置，使得景物在傳感器上清晰的成像，是 ISP FOCUS 功能所需完成的任務。FOCUS分為手動和自動兩種模式。

?AWB (Automatic white balance)自動白平衡

白平衡與色溫相關，用于衡量圖像的色彩真實性和準確性。簡單的說，就是通過圖像調整，使在各種光學條件下拍攝出的照片色彩和人眼所看到的景物色彩完全相同。

?AE（Automatic exposure）自動曝光

ISP 需要實現 AE 功能，通過控制曝光程度，使得圖像亮度適宜。

?Gamma Correction伽馬校正

傳感器對光線的響應和人眼對光線的響應是不同的。伽瑪校正就是使得圖像看起來符合人眼的特性。

?LSC(Lens shading correction)

用于消除圖像周邊和圖片中心的不一致性，包含亮度和色度兩方面。

?Noise Reduction噪聲去除

除去圖像中的噪點，使圖像更加清晰。

?Crop/Resize

圖像剪裁，即改變圖像的尺寸，用于輸出不同分辨率的圖像。

?MCT-CMX多色溫顏色矩陣矯正

讓色彩貼近現實、飽滿、細節突出、清晰度更好。

?VRA

視覺識別。用于識別特定的景物，例如人臉識別，車牌識別。

?DRC

動態范圍校正。動態范圍即圖像的明暗區間。

?CSC

顏色空間轉換。例如，ISP 會將 RGB 信號轉化為 YUV 信號輸出。

?IS

圖像穩定。IS 的主要作用是使得圖像不要因為手持時輕微的抖動而模糊不清。

控制方式

這里所說的控制方式是 AP 對 ISP 的操控方式。

I2C/SPI

這一般是外置 ISP 的做法。SPI 一般用于下載固件、I2C 一般用于寄存器控制。在內核的 ISP 驅動中，外置 ISP 一般是實現為 I2C 設備，然后封裝成 V4L2-SUBDEV。

MEM MAP

這一般是內置 ISP 的做法。將 ISP 內部的寄存器地址空間映射到內核地址空間。

MEM SHARE

這也是內置 ISP 的做法。AP 這邊分配內存，然后將內存地址傳給 ISP，二者實際上共享同一塊內存。因此 AP 對這段共享內存的操作會實時反饋到 ISP 端。

ISP 架構方案

上文多次提到外置 ISP 和內置 ISP，這實際上是 ISP 的架構方案。

外置 ISP 架構

外置 ISP 架構是指在 AP 外部單獨布置 ISP 芯片用于圖像信號處理。外置 ISP 的架構圖一般如下所示：

外置 ISP 架構圖

外置 ISP 架構的優點主要有：

能夠提供更優秀的圖像質量

在激烈的市場競爭下，能夠存活到現在的外置 ISP 生產廠商在此領域一般都有很深的造詣，積累了豐富的影像質量調試經驗，能夠提供比內置 ISP 更優秀的性能和效果。因此，選用優質的外置 ISP 能提供專業而且優秀的圖像質量。

能夠支援更豐富的設計規劃

外置 ISP 的選型基本不受 AP 的影響，因此魅族可以從各個優秀 ISP 芯片供應商的眾多產品中甄選最合適的器件，從而設計出更多優秀的產品。

能夠實現產品的差異化

內置 ISP 是封裝在 AP 內部的，是和 AP 緊密的聯系在一起，如果 AP 相同，那么 ISP 也就是一樣的。因此基于同樣 AP 生產出來的手機，其 ISP 的性能也是一樣的，可供調教的條件也是固定的，這樣就不利于實現產品的差異化。而如果選擇外置 ISP，那么同一顆 AP，可以搭配不同型號的 ISP，這樣可以實現產品的差異化，為給用戶提供更豐富和優質的產品。

外置 ISP 架構的缺點主要有：

成本價格高

外置 ISP 需要單獨購買，其售價往往不菲，而且某些特殊功能還需要額外支付費用。使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件。

開發周期長

外置 ISP 驅動的設計需要多費精力和時間。使用外置 ISP 時，AP 供應商提供的 ISP 驅動就無法使用，需要額外設計編寫外置 ISP 驅動。另外，為了和 AP 進行完美的搭配，將效果最大化，也往往需要付出更多的調試精力。上文也提到，使用外置 ISP，需要進行額外的原理圖設計和 LAYOUT，需要使用額外的元器件，這也是需要花費時間進行處理的。

內置 ISP 架構

內置 ISP 架構是指在 AP 內部嵌入了 ISP IP，直接使用 AP 內部的 ISP 進行圖像信號處理。 內置 ISP 的架構圖一般如下所示：

內置 ISP 架構圖

內置 ISP 架構的優點主要有：

能降低成本價格

內置 ISP 內嵌在 AP 內部，因此無需像外置 ISP 一樣需要額外購買，且不占 PCB 空間，無需單獨為其設計外圍電路，這樣就能節省 BOM，降低成本。鑒于大多數用戶在選購手機時會將價格因素放在重要的位置，因此降低成本能有效的降低終端成品價格，有利于占領市場。

能提高產品的上市速度

內置 ISP 和 AP 緊密結合，無需進行原理圖設計和 LAYOUT 設計，因此可以減小開發周期，加快產品上市的速度。

能降低開發難度

如果使用內置 ISP，那么 AP 供應商能在前期提供相關資料，驅動開發人員可以有充足的時間熟悉相關資料，而且不會存在軟件版本適配問題，也不存在平臺架構兼容性問題。但是，如果使用外置 ISP，那么 ISP 供應商往往都不能提供針對某個平臺的代碼/資料，而且一般都存在軟件版本兼容問題，這就需要驅動開發人員付出額的經歷和時間。