ISP的功能可以簡(jiǎn)單概括為使后端能正確識(shí)別“真實(shí)的”世界。凸出真實(shí)和有用，這個(gè)有用主要是后端需要的信息；真實(shí)即使其更加接近現(xiàn)實(shí)中人眼所看到的圖像。上面特指的可見(jiàn)光，目前紅外的應(yīng)用也越來(lái)越多，商業(yè)化也會(huì)很快來(lái)到我們身邊，所以紅外圖像的處理也是我們這篇文章討論的一部分。

分類(lèi)

這里我將ISP分為兩大種類(lèi)：

可見(jiàn)和紅外，兩個(gè)種類(lèi)完全不同的ISP，目前可見(jiàn)光市場(chǎng)基本被ASIC所占據(jù)，紅外市場(chǎng)則相反，但是這僅僅是目前的狀態(tài)，據(jù)內(nèi)部消息，目前ASIC市場(chǎng)馬上要進(jìn)軍紅外sensor，意味著紅外的商用和大面積推廣也逐漸來(lái)到我們身邊。

前景怎么樣

那么是否FPGA在可見(jiàn)光或者紅外領(lǐng)域是否意味著被淘汰？

答案當(dāng)然是否定的，F(xiàn)PGA在可見(jiàn)光領(lǐng)域還有很多應(yīng)用：比如特殊分辨率；低延時(shí)；醫(yī)療；復(fù)雜環(huán)境等。當(dāng)然目前相對(duì)較火的還是紅外領(lǐng)域，或者說(shuō)，未來(lái)可將光和紅外的融合也是一大方向。

可見(jiàn)光ISP相關(guān)知識(shí)分類(lèi)

光學(xué)

ISP和光學(xué)息息相關(guān)，主要涉及以下幾個(gè)方面：

sensor的選型一般由光學(xué)工程師進(jìn)行選定（也由總體選定），選擇sensor的分辨率，快門(mén)的選擇一般和應(yīng)用背景有關(guān)；但是視場(chǎng)角、焦距、濾光片等光學(xué)特性是由光學(xué)工程師進(jìn)行分析設(shè)計(jì)，后期的光軸一致性、補(bǔ)光燈類(lèi)型和位置基本都由光學(xué)決定。

當(dāng)然還有很多東西是由光學(xué)決定的，這里就不贅述了，我們這篇文章的核心不是光學(xué)。

ISP

本章說(shuō)明的是以FPGA為核心搭建ISP，這里面其實(shí)涉及兩部分工作：FPGA算法及ISP工程師標(biāo)定調(diào)參：

sensor配置及數(shù)據(jù)接入

這部分工作比較“通用”，和配置ADC或者DAC工作類(lèi)似，目前接入FPGA的數(shù)據(jù)通道常見(jiàn)的就是LVDS(SubLVDS)，當(dāng)然目前MIPI也比較常見(jiàn)，兩者接入后的數(shù)據(jù)流比較相似（物理層不同）。

這里單獨(dú)說(shuō)明一下全局快門(mén)和卷簾快門(mén)輸出的數(shù)據(jù)結(jié)構(gòu)不太相同，對(duì)于大靶面的sensor可能還需要拼接后進(jìn)行后續(xù)的ISP的處理。

架構(gòu)

ISP的架構(gòu)是核心，常規(guī)的1080P60以下用何種架構(gòu)其實(shí)沒(méi)什么太大區(qū)別，但是考慮后續(xù)的繼承性，兼容更大分辨率（8KP60）還是需要考慮的。

這里主要考慮的一個(gè)點(diǎn)是ISP調(diào)參接口，F(xiàn)PGA搭建的ISP有個(gè)局限性就是修改參數(shù)（包括CCM、Gamma等參數(shù)）極其浪費(fèi)時(shí)間，所以有必要在搭建架構(gòu)的時(shí)候這部分一定要考慮清楚。傳統(tǒng)的方案是通過(guò)外掛單片機(jī)通過(guò)SPI或者其他并行總線進(jìn)行參數(shù)修改標(biāo)定，目前FPGA內(nèi)軟核或者硬核已經(jīng)非常成熟了，直接使用內(nèi)部的資源就可以完成這一操作。

再說(shuō)一下傳統(tǒng)數(shù)據(jù)流架構(gòu)的弊端：

前一級(jí)處理好的數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)的VESA信號(hào)驅(qū)動(dòng)后級(jí)數(shù)據(jù)流流動(dòng)，屬于前級(jí)推動(dòng)后級(jí)進(jìn)行數(shù)據(jù)流流動(dòng)，這種架構(gòu)的優(yōu)點(diǎn)就是簡(jiǎn)單，有很多傳統(tǒng)的算法都是使用這種方式搭建的，并且后級(jí)如果通過(guò)VGA或者HDMI接口進(jìn)行數(shù)據(jù)輸出，那么比較方便。

但是上面的結(jié)構(gòu)有幾個(gè)我認(rèn)為比較大的缺點(diǎn)：

1、前端sensor的一般通過(guò)lvds或者mipi接入，都通過(guò)內(nèi)同步方式進(jìn)行數(shù)據(jù)傳輸，已經(jīng)沒(méi)有VS或者HS的概念了，需要經(jīng)過(guò)緩存后才能構(gòu)建后端所需的信號(hào)；

2、邏輯級(jí)數(shù)過(guò)大，一級(jí)一級(jí)的推動(dòng)容易造成邏輯級(jí)數(shù)過(guò)大；

3、帶寬利用不夠，傳統(tǒng)的架構(gòu)要考慮顯示器端的顯示，所以會(huì)有行場(chǎng)消隱區(qū)存在，而ISP中算法對(duì)消隱區(qū)的時(shí)間利用不大，造成帶寬利用率不高，這種影響對(duì)高分辨率情況尤為明顯。

上面就是我認(rèn)為目前傳統(tǒng)架構(gòu)遇到的問(wèn)題，而解決方式，可以選擇自定義總線（前面有文章介紹過(guò)一種類(lèi)AXI-STREAM總線）或者選用官方總線（AXI）。

算法

架構(gòu)定義完畢后，接下來(lái)就是算法了，ISP中需要哪些算法，之前的文章中也有介紹，這里再說(shuō)一下幾個(gè)重要的算法，我這里將ISP中算法簡(jiǎn)單進(jìn)行了分類(lèi)：核心算法、功能算法及3A算法。

核心算法

核心算法當(dāng)然是后端能夠顯示或者使用的幾類(lèi)算法，包括：去馬賽克、GAMMA、CCM以及降噪。他們幾個(gè)是保證能出圖的關(guān)鍵，尤其對(duì)于去馬賽克是關(guān)鍵，后續(xù)我們會(huì)單獨(dú)出文章討論這幾個(gè)核心算法，這里就不贅述了，這幾個(gè)算法都是需要根據(jù)實(shí)際情況進(jìn)行調(diào)參，所以在設(shè)計(jì)算法時(shí)候需要將調(diào)參接口預(yù)留出來(lái)。

功能算法

這里主要將黑電平矯正、壞點(diǎn)矯正、RAW域降噪、陰影矯正、紫邊矯正、銳化、飽和度、對(duì)比度等算法歸于功能算法，這些算法是適用于不同環(huán)境進(jìn)行參數(shù)調(diào)整，使圖像更加符合預(yù)期。

3A算法

3A算法是動(dòng)態(tài)調(diào)整圖像的亮度、白平衡以及焦距，使攝像頭能夠在不同環(huán)境下自動(dòng)切換相關(guān)參數(shù)。

這里說(shuō)一下和架構(gòu)相關(guān)的知識(shí)，就是3A算法怎么實(shí)現(xiàn)？傳統(tǒng)的架構(gòu)是適用外掛單片機(jī)，讓單片機(jī)去實(shí)現(xiàn)3A算法，這樣的好處就是把工作分出去了，無(wú)需浪費(fèi)時(shí)間去實(shí)現(xiàn)算法。但是這種架構(gòu)對(duì)于高幀率情況無(wú)法及時(shí)進(jìn)行處理（單片機(jī)和FPGA之間的總線有限制），所以目前可選軟核或者硬核實(shí)現(xiàn)3A算法。

標(biāo)定和調(diào)參

上面的工作是FPGA工程師需要做的事情，剩下的其實(shí)才是ISP工程師需要做的事情，對(duì)圖像進(jìn)行標(biāo)定和調(diào)參，目前有很多專業(yè)軟件進(jìn)行輔助工作（人眼還是不靠譜~），大部分公司有專業(yè)的ISP工程師，把上面所有的算法暴漏出來(lái)的參數(shù)進(jìn)行調(diào)節(jié)，可以把圖像調(diào)節(jié)的“更討喜”。

數(shù)據(jù)輸出

這個(gè)就沒(méi)什么可以說(shuō)的了，輸出有很多種形式，包括但不局限于VGA、HDMI、光口等。

伺服

伺服的工作我就簡(jiǎn)單說(shuō)一下：

主要包括兩方面，一個(gè)進(jìn)行聚焦時(shí)候調(diào)節(jié)焦距的電機(jī)，要“穩(wěn)準(zhǔn)快”；還有一個(gè)可能不太涉及到的方面就是大型光電中的穩(wěn)像。上面需要的信息也是需要通過(guò)ISP將相關(guān)統(tǒng)計(jì)信息傳給伺服進(jìn)行設(shè)計(jì)的。

審核編輯：劉清