數(shù)字圖像處理的基本步驟：

（處理圖像）圖像獲取--》圖像濾波與增強(qiáng)--》圖像復(fù)原--》彩色圖像處理--》小波與多分辨率處理--》壓縮--》形態(tài)學(xué)處理--》（ 圖像屬性）分割--》表示和描述--》目標(biāo)識(shí)別

圖像的感知和獲取：

1）、單個(gè)傳感器獲取；

2）、條帶傳感器獲取；

3）、傳感器陣列獲取；

圖像形成模型：

一副平面圖像可以用二維亮度函數(shù)來表示，當(dāng)一副圖像從物理過程產(chǎn)生時(shí)，它的值正比于物理源的輻射能量，因此，f（x，y）一定是非零和有限的，即：

;

當(dāng)用數(shù)學(xué)方法描述圖像信息時(shí)，通常著重考慮它的點(diǎn)的性質(zhì)。例如一副圖像可以被看作是空間各個(gè)坐標(biāo)點(diǎn)的結(jié)合。它的最普通的數(shù)學(xué)表達(dá)式為：其中（x，y，z）是空間坐標(biāo)，λ是波長，t是時(shí)間，I是圖像強(qiáng)度。這樣一個(gè)表達(dá)式可以代表一副活動(dòng)的、彩色的、立體圖像。當(dāng)研究的是靜止圖像時(shí)，則與時(shí)間t無關(guān)，當(dāng)是單色圖像時(shí)，與波長λ無關(guān)，對(duì)于平面圖像則與坐標(biāo)z無關(guān)。因此，對(duì)于靜止的平面的、單色的圖像來說其數(shù)學(xué)表達(dá)式可簡化為：

人們所感受到的圖像一般都是由物體反射的光組成的。函數(shù)f（x，y）可由兩個(gè)分量來表示：入射到觀察場(chǎng)景的光源總量；場(chǎng)景中物體反射光的總量。這兩個(gè)分量分別稱為入射分量和反射分量，如果用i（x，y）表示入射分量，用r（x，y）表示反射分量，兩個(gè)函數(shù)合并形成f（x，y），即：

; 其中：，

圖像的取樣和量化

圖像取樣

◆ 在取樣時(shí)，若橫向的像素?cái)?shù)（列數(shù)）為M ，縱向的像素?cái)?shù)（行數(shù)）為N，則圖像總像素?cái)?shù)為M*N個(gè)像素。

◆ 一般來說，采樣間隔越大，所得圖像像素?cái)?shù)越少，空間分辨率低，質(zhì)量差，嚴(yán)重時(shí)出現(xiàn)馬賽克效應(yīng)；采樣間隔越小，所得圖像像素?cái)?shù)越多，空間分辨率高，圖像質(zhì)量好，但數(shù)據(jù)量大。

圖像的量化

◆ 量化等級(jí)越多，所得圖像層次越豐富，灰度分辨率高，圖像質(zhì)量好，但數(shù)據(jù)量大；量化等級(jí)越少，圖像層次欠豐富，灰度分辨率低，會(huì)出現(xiàn)假輪廓現(xiàn)象，圖像質(zhì)量變差，但數(shù)據(jù)量小。

模擬圖像經(jīng)過采樣后，在時(shí)間和空間上離散化為像素。但采樣所得的像素值（即灰度值）仍是連續(xù)量。把采樣后所得的各像素的灰度值從模擬量到離散量的轉(zhuǎn)換稱為圖像灰度的量化（也就是對(duì)現(xiàn)實(shí)空間場(chǎng)景的灰度數(shù)據(jù)進(jìn)行離散化的操作）。

數(shù)字圖像表示：

黑白圖像

指圖像的每個(gè)像素只能是黑或者白，沒有中間的過渡，故又稱為２值圖像。2值圖像的像素值為0、1。

灰度圖像

灰度圖像是指每個(gè)像素的信息由一個(gè)量化的灰度級(jí)來描述的圖像，沒有彩色信息。

彩色圖像

彩色圖像是指每個(gè)像素的信息由RGB三原色構(gòu)成的圖像，其中RBG是由不同的灰度級(jí)來描述的。

圖像的數(shù)字表示

令f（s， t）表示一幅具有兩個(gè)連續(xù)變量s和t的連續(xù)圖像函數(shù)。通過取樣和量化， 我們可把該函數(shù)轉(zhuǎn)換為數(shù)字圖像。將該連續(xù)圖像取樣為一個(gè)二維陣列f（x，y）， 該陣列有M行和N列，其中（x，y）是離散坐標(biāo)。

在某些討論中，使用傳統(tǒng)的矩陣表示法來表示數(shù)字圖像及其像素更為方便：

二維矩陣是表示數(shù)字圖像的重要數(shù)學(xué)形式。一幅M×N的圖像可以表示為矩陣：矩陣中的每個(gè)元素稱為圖像的“像素”。每個(gè)像素都有它自己的“位置”和“值”，“值”是這一“位置”像素的顏色或者強(qiáng)度。

假定圖像尺寸為M、N，每個(gè)像素所具有的離散灰度級(jí)數(shù)為G；這些量分別取為2的整數(shù)冪m，n，k，即M=2m， N=2n，G=2k 則存儲(chǔ)這幅圖像所需的位數(shù)是：；如果圖像是正方形，即M=N，當(dāng)一副圖像有灰度級(jí)時(shí)，實(shí)際上通常稱該圖像為k比特圖像。如，一幅圖像有256可能的灰度級(jí)稱為8比特圖像。

空間分辨率N ：圖像中可辨別的最小細(xì)節(jié)的度量

表示方法：每單位距離（mm）線對(duì)（黑白線）數(shù)目

每單位距離（mm）點(diǎn)（像素點(diǎn)）數(shù)

在美國，用每英寸點(diǎn)數(shù)（dpi）表示

key：空間分辨率的度量必須針對(duì)空間單位來規(guī)定才有意義，單純的圖像大小本身沒有意義。

灰度分辨率 k：在灰度級(jí)中可分辨的最小變化

即灰度級(jí)，指的是用于量化灰度的比特?cái)?shù)，通常用2的整數(shù)次冪來表示，最常用8bit，bit數(shù)的減小傾向于對(duì)比度增加

即 2^8 灰度范圍［0~255］

Nk平面中等偏愛曲線解讀

key：對(duì)于有大量細(xì)節(jié)的圖像，可能只需要很少的灰度級(jí)

圖像內(nèi)插：

內(nèi)插是圖像放大、收縮、旋轉(zhuǎn)等任務(wù)中廣泛采用的基本工具（圖像重采樣）。如由已知像素灰度估計(jì)未知位置的像素灰度。

最近鄰內(nèi)插法

直接取原圖像中與其距離最近的像素的灰度值為該點(diǎn)的灰度值。

缺點(diǎn)：會(huì)產(chǎn)生不希望的人為缺陷，如某些直線邊緣的嚴(yán)重失真

設(shè)i+u， j+v（i， j為正整數(shù)， u， v為大于零小于1的小數(shù)，下同）為待求象素坐標(biāo)，則待求象素灰度的值 f（i+u， j+v）　如下圖所示：

如果（i+u， j+v）落在A區(qū)，即u《0.5， v《0.5，則將左上角象素的灰度值賦給待求象素，同理，落在D區(qū)則賦予右下角象素的灰度值。最鄰近元法計(jì)算量較小，但可能會(huì)造成插值生成的圖像灰度上的不連續(xù)，在灰度變化的地方可能出現(xiàn)明顯的鋸齒狀。

雙線性內(nèi)插法

用四個(gè)最近鄰去估計(jì)給定位置的灰度值。

圖一：

如下圖所示：

對(duì)于 （i， j+v），f（i， j） 到 f（i， j+1） 的灰度變化為線性關(guān)系，則有：

f（i， j+v） = ［f（i， j+1） - f（i， j）］ * v + f（i， j）

同理對(duì)于 （i+1， j+v） 則有：

f（i+1， j+v） = ［f（i+1， j+1） - f（i+1， j）］ * v + f（i+1， j）

從f（i， j+v） 到 f（i+1， j+v） 的灰度變化也為線性關(guān)系，由此可推導(dǎo)出待求象素灰度的計(jì)算式如下：

f（i+u， j+v） = （1-u） * （1-v） * f（i， j） + （1-u） * v * f（i， j+1） + u * （1-v） * f（i+1， j） + u * v * f（i+1， j+1）

雙線性內(nèi)插法的計(jì)算比最鄰近點(diǎn)法復(fù)雜，計(jì)算量較大，但沒有灰度不連續(xù)的缺點(diǎn)，結(jié)果基本令人滿意。它具有低通濾波性質(zhì)，使高頻分量受損，圖像輪廓可能會(huì)有一點(diǎn)模糊。

雙三次內(nèi)插：

用16個(gè)最近鄰去估計(jì)給定位置的灰度，i.e，對(duì)（x，y）處賦灰度值 v（x，y），

16個(gè)系數(shù)可由（x，y）點(diǎn)的16個(gè)最近鄰確定，當(dāng)求和上限改為1時(shí)，退化為雙線性內(nèi)插。 雙三次內(nèi)插在保持細(xì)節(jié)方面比雙線性更好，但計(jì)算量也更大，雙三次內(nèi)插目前是商業(yè)圖像編輯軟件的標(biāo)準(zhǔn)內(nèi)插方法。

其他內(nèi)插方法

采用更多鄰點(diǎn)：樣條法

采用更復(fù)雜技術(shù)：小波

像素間的關(guān)系

相鄰像素

◆ 位于坐標(biāo)（x， y）的像素p有四個(gè)水平和垂直的相鄰像素，每個(gè)像素距（x， y）一個(gè)單位距離。坐標(biāo)分別為： （x-1， y） ， （x+1， y）， （x， y-1）， （x， y+1）。此像素集合定義為像素p的4鄰域， 用 N4（p）表示。

◆ 另外，p有4個(gè)對(duì)角相鄰像素，坐標(biāo)為：（x-1， y-1） ， （x+1， y-1）， （x-1， y+1）， （x+1， y+1）用ND（p）表示，和N4（P）一起稱為P的8鄰域，用N8（P）表示。

Neighbors（相鄰點(diǎn)）：主要有兩種定義：4-neighbors 和8-neighbors。4-neighbors 定義較嚴(yán)：一個(gè)點(diǎn)周邊有四個(gè)相鄰點(diǎn)（藍(lán)色）；8-neighbors 定義較松：一個(gè)點(diǎn)周邊有八個(gè)相鄰點(diǎn)（藍(lán)色）。4-neighbors 一定是8-neighbors，反之不一定。

Path（路徑）：也有4-path 和8-path。4-path 定義較嚴(yán)：一個(gè)路徑上所有點(diǎn)互為4-neighbors；8-path 定義較松：一個(gè)路徑上所有點(diǎn)互為8-neighbors。在4-path 定義下，藍(lán)色點(diǎn)不再屬于4-neighbor，路徑因此斷裂。原本在8-path 定義下為連續(xù)的路徑，在4-path 定義下可能會(huì)斷裂。

鄰接性、連通性、區(qū)域和邊界

鄰接性有兩個(gè)要素：一個(gè)是灰度值的鄰接性（值域V）、一個(gè)是物理位置的鄰接性（鄰域，如N4（P）等）。例如，二值圖象中，像素值都為1（或都為0）的像素才有可能被稱為是鄰接的。在一般圖像中，可定義一個(gè)值域V，V是0到255中的任一個(gè)子集。一般我們考慮三種鄰接性：

◆ 4鄰接：如果點(diǎn)q在N4（P）中，數(shù)值在V中，則q和p是4鄰接的；

◆ 8鄰接：如果點(diǎn)q在N8（P）中，數(shù)值在V中，則q和p是8鄰接的；

◆ m鄰接（混合鄰接）：滿足下列條件的任一個(gè)，則具有V中數(shù)值的p和q是m連接的。（為了消除8鄰接產(chǎn)生的二義性）

（i）q在N4（P）中

（ii）q在ND（P）中，且集合N4（P）∩N4（Q）中沒有V值的像素。

連通：對(duì)于圖像中的某一個(gè)像素子集U和其中的兩個(gè)點(diǎn)p和q，如果p和q之間有一個(gè)有U中全部元素構(gòu)成的通路，那就說p和q是連通的。

連通集：接上，對(duì)于U中的元素p，U中能連通到p的元素的集合叫做U的連通分量，如果U只有一個(gè)連通分量，那么U就是一個(gè)連通集。

區(qū)域：令T是圖像中的某一個(gè)子集，如果T是一個(gè)連通集，那么稱T是一個(gè)區(qū)域

距離度量：

1）像素之間距離的定義—對(duì)于像素p、q和z，分別具有坐標(biāo)（x，y），（s，t）和（u，v），如果

（1） D（p，q） ≥ 0 （D（p，q）=0，當(dāng)且僅當(dāng)p =q），

（2） D（p，q） = D（q，p）

（3） D（p，z） ≤ D（p，q） + D（q，z）

則稱D是距離函數(shù)或度量

2）歐式距離定義：

對(duì)于這個(gè)距離計(jì)算法，具有與（x，y）距離小于等于某個(gè)值r的像素是：包含在以（x，y）為圓心，以r為半徑的圓平面

3）D4距離（城市距離）： D4（p，q） = |x – s| + |y – t|

D4距離舉例：

具有與（x，y）距離小于等于某個(gè)值r的那些像素形成一個(gè)菱形，

例如，與點(diǎn)（x，y）（中心點(diǎn)）D4距離小于等于2的像素，形成右邊固定距離的輪廓 ，具有D4 = 1的像素是（x，y）的4鄰域

4）D8距離（棋盤距離） ：D8（p，q） = max（|x – s| ，|y – t|）

D8距離舉例

具有與（x，y）距離小于等于某個(gè)值r的那些像素形成一個(gè)正方形，例如，與點(diǎn)（x，y）（中心點(diǎn)）D8距離小于等于2的像素，形成右邊固定距離的輪廓，具有D8 = 1的像素是（x，y）的8鄰域。

數(shù)學(xué)工具：

1、陣列與矩陣操作：

在對(duì)一幅圖像或多幅圖像進(jìn)行操作時(shí)，要首先明白是陣列操作還是矩陣操作。Eg：2x2圖像：

陣列計(jì)算：

矩陣計(jì)算：

2、線性操作和非線性操作：

算子H：對(duì)于給定的輸入圖像f（x， y），產(chǎn)生一幅輸出圖像g（x， y），即H［f（x， y）］ = g（x， y）。

如求和算子：∑［aifi（x， y）］ = g（x， y）。

線性算子：

如果滿足

H［aifi（x， y） + ajfj（x， y）］ = aiH［fi（x， y）］ + ajH［fj（x， y）］ = aigi（x， y） + ajgj（x， y）

則稱H是一個(gè)線性算子。最大值操作不是線性算子。

3、算術(shù)操作：

圖像的算術(shù)操作是陣列操作，即在相對(duì)應(yīng)的像素對(duì)之間執(zhí)行。

4種算術(shù)操作表示為：

s（x， y） = f（x， y） + g（x， y）;

d（x， y） = f（x， y） - g（x， y）;

p（x， y） = f（x， y） × g（x， y）;

v（x， y） = f（x， y） ÷ g（x， y）;

處理圖像：

1.利用帶噪圖像的相加（平均）進(jìn)行降噪處理。

2.利用圖像相減增強(qiáng)差別。

3.利用圖像相乘和相除來校正陰影。

給定一幅圖像f，保證圖像間的算術(shù)操作的整個(gè)值域落入到某個(gè)固定比特?cái)?shù)的方法，執(zhí)行以下兩步：

fm = f-min（f）

fs = K［fm/max（fm）］

注意：在執(zhí)行除法操作時(shí)，需要將一個(gè)較小的數(shù)加到除數(shù)圖像的像素上，以避免用0去除。

4、集合和邏輯操作：

1）、基本集合操作：屬于，包含，交差并補(bǔ)等。

灰度圖像的集合操作：灰度值的并集操作和交集操作通常分別定義為相應(yīng)像素對(duì)的最大和最小，而補(bǔ)集操作定義為常數(shù)與圖像中每個(gè)像素的灰度間的兩兩之差。

如：灰度級(jí)圖像的元素用集合A表示，其中元素是三元組形式（x，y，z），x與y為空間坐標(biāo)，z為灰度。補(bǔ)集：

Ac={（x， y， K-z）|（x， y， z）∈A}；

其中K = 2k - 1，k為表示z的灰度的比特?cái)?shù)。

如

An = Ac={（x， y， 255-z）|（x， y， z）∈A};

同理，兩個(gè)灰度集合A和B的并集可定義為集合

A∪B = {max（a， b）|a∈A， b∈B};

2）、基本的邏輯操作：AND， OR， NOT， XOR

3）、模糊集合

令U代表所有的人，令A(yù)為U的子集，為年輕人的集合。引入隸屬度函數(shù)對(duì)U中每個(gè)元素賦值。隸屬度函數(shù)簡單地定義為一個(gè)閾值，低于該閾值的為年輕人，高于該閾值的為非年輕人。思考：假設(shè)20歲為閾值，20歲為年輕人，20歲零一秒就不是年輕人了？所以需要更多的靈活性，即從年輕到非年輕過渡。使用模糊集合可以聲明一個(gè)人的年輕度為50％。換句話說，年齡是一個(gè)不精確的概念，而模糊邏輯提供處理這種概念的工具。

5、空間操作

空間操作直接在給定圖像的像素上執(zhí)行，分為三類：單像素操作、鄰域操作、幾何空間變換

一、單像素操作

s = T（z），

其中，z是原圖像中像素的灰度，s是處理后圖像中相應(yīng)像素的（映射）灰度，T為變換函數(shù)。

二、鄰域操作

與單像素操作類似，Sxy代表圖像f中任意一點(diǎn)（x， y）為中心的鄰域集，鄰域處理是在Sxy內(nèi)的像素經(jīng)指定操作后輸出到另一圖像相同坐標(biāo)處，形成新圖像g。

三、幾何空間變換

幾何空間變換主要由兩個(gè)基本操作組成：（1）、坐標(biāo)的空間變換；（2）、灰度內(nèi)插；

最常用的空間坐標(biāo)變換之一是仿射變換。

其中（v， w）是原圖像中像素的坐標(biāo)，（x， y）是變換后圖像中像素的坐標(biāo)。

基于上式，可以實(shí)現(xiàn)恒等變換、尺度變換、旋轉(zhuǎn)變換、平移變換、垂直偏移變換、水平偏移變換。

如垂直偏移變換：

圖像配準(zhǔn)：

用于對(duì)齊兩幅或多幅相同場(chǎng)景的圖片。

圖像配準(zhǔn)需要輸入圖像與參考圖像。輸入圖像是我們希望變換的圖像，參考圖像是想要配準(zhǔn)輸入圖像的圖像。

圖像配準(zhǔn)的主要方法是使用約束點(diǎn)，輸入圖像產(chǎn)生輸出圖形的特定變換通常是不知道，所以需要估計(jì)變換函數(shù)，而估計(jì)變換函數(shù)問題是建模問題之一。

基于雙線性近似的簡單模型：

x = c1v + c2w + c3vw + c4;

y = c5v + c6w + c7vw + c8;

（v， w）和（x， y）分別是輸入圖像和參考圖像中約束點(diǎn)的坐標(biāo)。如果在兩幅圖像中有四對(duì)相應(yīng)的約束點(diǎn)，則可以解出8個(gè)未知參數(shù)。這樣構(gòu)成簡單模型，從而可以把一幅圖像的像素變換為另一幅圖像的像素位置。也可以選擇更復(fù)雜的模型，如最小均方算法等。

6、向量和矩陣操作

多光譜圖像處理是使用向量和矩陣操作的典型領(lǐng)域。

如：RGB圖像的每個(gè)像素都有三個(gè)分量（z1：紅色圖像中的亮度；z2：綠色圖像中的亮度；z3：藍(lán)色圖像中的亮度）形成三維向量

多光譜需要n幅分量圖像，形成n維向量【可以使用向量矩陣?yán)碚摴ぞ摺?/p>

7、圖像變換：

之前的圖像處理方法都是直接在圖像像素上進(jìn)行操作，但是某些情況下，通過變換輸入圖像來表達(dá)圖像處理任務(wù)，在變化域執(zhí)行指定任務(wù)，之后再用反變換返回到空間域會(huì)更好。

變換對(duì) ：T（u，v） ---正變換核; R［T（u，v）］----反變換核；

8、概率方法：有很多應(yīng)用，此處不一一列舉。