需要專門的圖像處理硬件

通用DSP，例如Texas Instruments 的C66x設(shè)備或 Analog Devices 的Blackfin處理器，是能夠處理圖像數(shù)據(jù)的兩個示例設(shè)備。然而，重要的是要認識到成像系統(tǒng)對處理硬件有特殊要求，ISP 通常會比通用設(shè)備更有效地完成工作。

也許重要的考慮是數(shù)據(jù)的數(shù)量。如果我們以 44.1 kHz 和 16 位分辨率對音頻進行采樣，則實時 DSP 應(yīng)用程序每秒將處理 88，200 字節(jié)的音頻數(shù)據(jù)。以每秒一幀的速度連續(xù)拍攝的 24 兆像素 DSLR 相機在完全不同的領(lǐng)域中運行；即使我們假設(shè)每個像素一個字節(jié)，我們也在談?wù)撁棵氤^ 2400 萬字節(jié)。一些圖像處理算法非常復(fù)雜，當(dāng)涉及如此多的數(shù)據(jù)時，專用硬件模塊比由負擔(dān)過重的中央處理器 （CPU） 執(zhí)行的定制代碼例程更可取。

此外，此示例還演示了為什么 ISP 可能需要以并行處理功能或作為芯片上的多核系統(tǒng)來實現(xiàn)。這是當(dāng)所有這些圖像數(shù)據(jù)流入時，相機的計算電子設(shè)備必須能夠支持其他功能——例如焦點跟蹤或自動曝光。

什么是圖像信號處理器？

這個問題并不像我想的那么簡單。首先，讓我們考慮一下德州儀器 （TI） 的“成像信號處理器” LM98519 。在下面的圖 1 中，我們可以看到該設(shè)備的黑色圖表。

圖 1.方框圖取自 LM98519 數(shù)據(jù)表。圖片由Texas Instruments提供［點擊圖片放大］

在此示例產(chǎn)品中，此 ISP 只是用于基于電荷耦合器件 （CCD）的成像器的數(shù)據(jù)轉(zhuǎn)換器。基本上，它在白電平和黑電平反饋系統(tǒng)的幫助下對兩個多路復(fù)用 CCD 輸出波形進行采樣和數(shù)字化。但是，我發(fā)現(xiàn)術(shù)語成像信號處理器 也用于指代為互補金屬氧化物半導(dǎo)體 （CMOS）傳感器設(shè)計的英特爾硬件和用于高動態(tài)范圍視頻處理的 IP 核。

這里，在圖 2 中，是標識為“圖像信號處理器”（因此不完全是圖像信號處理器）的另一部分的框圖。

圖 2.該圖取自 Arm 的 Mali-C55 ISP 的數(shù)據(jù)表。圖片由Arm提供［點擊圖片放大］

盡管術(shù)語幾乎相同，但這部分顯然屬于不同的類別并且具有更廣泛的功能。這個Arm ISP對圖像數(shù)據(jù)執(zhí)行各種復(fù)雜的數(shù)學(xué)運算：

缺陷修正

降噪

去馬賽克以從拜耳過濾像素中提取 RGB 值

顏色空間轉(zhuǎn)換等

Texas Instruments 的 DaVinci 處理器，如圖 3 所示）甚至比 Arm ISP 的集成度更高：

圖 3. DMVA3/DMVA4 數(shù)據(jù)表中的框圖。圖片由Texas Instruments提供 ［點擊圖片放大］

在這里，您可以看到用于圖像處理操作的硬件與微處理器和大量可供選擇的數(shù)字外圍設(shè)備相結(jié)合。TI 將此設(shè)備稱為“數(shù)字媒體處理器”，盡管它可以被描述為圖像信號處理器。實際上，TI 使用術(shù)語圖像信號處理器 來表示達芬奇“成像子系統(tǒng)”中的一個部分。