一、ISP算法及架構(gòu)分析介紹

ISP即Image Signal Processor，是一種圖像處理架構(gòu)，不是我們用的下載器。

ISP其實(shí)算是圖像處理的一個(gè)特例，一般應(yīng)用于前端設(shè)備（相對(duì)于SENSOR），從結(jié)果上看就是將RAW數(shù)據(jù)轉(zhuǎn)換成壓縮后的RGB（一般）數(shù)據(jù)，供后續(xù)CPU使用（識(shí)別、壓縮等）。

市面上很少有直接介紹ISP的書籍或者資料，今天我們主要是聊一聊ISP算法的架構(gòu)，這樣大家就能明白為什么很少有專用的書籍對(duì)這方面進(jìn)行介紹了。

二、ISP算法介紹

ISP是一類算法統(tǒng)稱，這一類算法通常包含下列算法：

三、海思架構(gòu)

海思IC是國(guó)內(nèi)很成熟的芯片了，其針對(duì)前端的芯片也是在業(yè)內(nèi)廣受好評(píng)，我們先看看海思內(nèi)部的ISP架構(gòu)（Hi3559A為例，其他芯片有功能增減）。

Hi3559A（下稱3559A）ISP的整體結(jié)構(gòu)如下：

ISP 整體結(jié)構(gòu)圖（Hi3559AV100）

因?yàn)?559A是個(gè)多攝像頭輸入的SoC，所以有多路ISP集合，我們只關(guān)心最左邊紅線線路。繼續(xù)拆分，下圖是ISP FE架構(gòu)（上圖中的ISP_FE0）：

ISP_FE 結(jié)構(gòu)圖（Hi3559AV100）

下圖是ISP BE結(jié)構(gòu)圖：

ISP_BE 結(jié)構(gòu)圖（Hi3559AV100）

圖中 CSC1，CSC2，CSC3 功能和 CSC 一致。

圖中 OTEF1 功能和 OETF 一致。

圖中 DG1，DG2 功能和 DG 一致。

圖中 CCM1, CCM2, CCM3, CCM4 功能和 CCM 一致。

圖中 TM1 功能和 TM 一致。

圖中 CD1,CDS2 功能和 CDS 一致。

圖中 AF1 功能和 AF 一致。

圖中 AE1 功能和 AE 一致。

圖中 DIS1 功能和 DIS 一致。

圖中 LSC1 功能和 LSC 一致。

圖中 WB1 功能和 WB 一致。

圖中 SHARPEN1 功能和 SHARPEN 一致。

上面都是一些專用術(shù)語(yǔ)的縮寫，所以接下來(lái)簡(jiǎn)單介紹一下這些縮寫：

ISP 術(shù)語(yǔ)簡(jiǎn)介（Hi3559AV100）

上圖中是一些術(shù)語(yǔ)簡(jiǎn)介，因?yàn)橐恍┨厥庠蛑荒芙貓D，請(qǐng)忽略一些特殊的字符。源文檔會(huì)在文末提供（只用于學(xué)習(xí)，切勿商用）。

3559A是一個(gè)通用ISP，所以功能很全，如果用FPGA去實(shí)現(xiàn)這些，估計(jì)沒(méi)有幾個(gè)能做出來(lái)，ISP的特殊點(diǎn)就是針對(duì)不同的鏡頭、環(huán)境、Sensor等不同去調(diào)整需要實(shí)現(xiàn)的算法。

上面的介紹只是一個(gè)開頭，只是想讓大家知道ISP主要包含哪些算法以及一些專用術(shù)語(yǔ)（建議保存），下面才開始我們的介紹，用FPGA實(shí)現(xiàn)ISP的通用架構(gòu)分析。

四、利用AXI總線實(shí)現(xiàn)ISP通用架構(gòu)

在Xilinx FPGA中AXI總線應(yīng)用的比較多，尤其針對(duì)多模塊互聯(lián)的情況，下面給出一個(gè)Xilinx FPGA使用的較通用的ISP架構(gòu)：

Xilinx FPGA ISP 整體結(jié)構(gòu)示意圖

所有的算法串行運(yùn)行，利用AXI-lite總線進(jìn)行管理，這樣可以大大增加系統(tǒng)的靈活性（后續(xù)調(diào)參方便），至于內(nèi)部算法需要針對(duì)自己應(yīng)用選配，按照目前的架構(gòu)可以很方便的進(jìn)行增加或者減少算法種類。

五、利用Avalon總線實(shí)現(xiàn)ISP通用架構(gòu)

Intel/Altera FPGA ISP 整體結(jié)構(gòu)示意圖

利用Avalon總線和上一節(jié)的AXI總線效果一樣，功能一樣。

其中3A算法的實(shí)現(xiàn)也有多種方式實(shí)現(xiàn)，可以直接FPGA內(nèi)部硬件實(shí)現(xiàn)，也可以在外面放置單片機(jī)實(shí)現(xiàn)，最通用的可能就是內(nèi)部MicroBlaze/Nios去管理也大大減少了開發(fā)難度。

六、總結(jié)

因?yàn)镮SP算法的特殊性，很少有專用書籍去介紹這一類知識(shí)，但是今天帶領(lǐng)大家了解一下通用架構(gòu)后大家應(yīng)該就可以根據(jù)自己的需求去找自己系統(tǒng)里需要的算法知識(shí)就可以了。

同時(shí)上面針對(duì)Xilinx或者Intel廠家FPGA的ISP架構(gòu)，只是一個(gè)通用算法架構(gòu)示意圖，每個(gè)公司都有自己的架構(gòu)，也有全HDL實(shí)現(xiàn)的方案，只不過(guò)不適合我們本篇文章去解析。

最后還是說(shuō)明一下，ISP中所有的算法都是圖像算法，大家需要先學(xué)習(xí)圖像算法，同時(shí)切記一定要使用一些高級(jí)語(yǔ)言先驗(yàn)證自己的算法再去轉(zhuǎn)換成HDL，而不是直接上來(lái)就是我先實(shí)現(xiàn)個(gè)“ISP”。