前些日子在學(xué)習(xí)圖像降噪的算法，自然而然的發(fā)現(xiàn)了這篇里程碑式的作品，“BM3D”3D塊匹配降噪算法，想來時間也久，趕緊再寫下來，以免過后忘記。

在學(xué)習(xí)的過程中，由于沒學(xué)過數(shù)字圖像處理，學(xué)起來還是挺墨跡的，前前后后得有四五天吧，才算整個大差不差，期間看了許多前輩的博客和代碼，也總算有些許的進(jìn)步和理解，特此感謝，并將算法原文、參考博客和文獻(xiàn)附文末。

從“頭”開始

圖像去噪是非常基礎(chǔ)也是非常必要的研究，去噪常常在更高級的圖像處理之前進(jìn)行，是圖像處理的基礎(chǔ)。圖像中噪聲的來源有許多種，種類也各不相同，比如椒鹽噪聲、高斯噪聲等。對于輸入的帶有噪聲的圖像v(x),其加性噪聲可以用一個方程來表示:

如果能夠精確地獲得噪聲，用輸入圖像減去噪聲就可以恢復(fù)出原始圖像。但實(shí)際中除非明確地知道噪聲生成的方式，否則噪聲很難單獨(dú)求出來。由此，便誕生了一堆的圖像降噪算法，從傳統(tǒng)算法到現(xiàn)在的機(jī)器學(xué)習(xí)的算法，降噪算法得到了很大的發(fā)展。

那么傳統(tǒng)的想法是什么呢，我們主要分為以下兩大類。

對于我們來講，一個自然而然地想法就是，能不能把空間域和變換域的降噪方法結(jié)合起來，在對圖像進(jìn)行降噪處理，我們能想到，自然也有人想得到，NL-means應(yīng)運(yùn)而生。

非局部均值算法的主要想法在于它充分利用了自然圖像的“空間相似性”，將圖像分成一個個的小塊，在以圖像為單位對圖像進(jìn)行降噪，簡單來講，假設(shè)我們?nèi)?1*11的窗口作為處理的小圖像塊，我們在圖像上選取幾個類似的圖像斑塊，例如上述的q1、q2和q3，但是q1和q2明顯比q3近一點(diǎn)，根據(jù)空間相似性我們很容易知道q1q2應(yīng)該和p更為相似，故我們在對P圖像斑塊進(jìn)行處理的時候，我們可以對q1q2q3分別賦予不同的權(quán)重，再把他們“摞起來”，求個加權(quán)平均。形象來講，假設(shè)存在一個每一層結(jié)構(gòu)都完全相同的大樓，那么在進(jìn)行加權(quán)平均的時候，我們這樣想，我們把P想象為其中的一層，我們最終是要P圖像斑塊里面每一個像素的值，p若是一層樓，那么里面的每一個像素就是這層樓中的每一個房間，P為3樓，q1q2為1層和4層，q3為5層，那么p像素的值的大小就應(yīng)該為q1q2q3每個與p對應(yīng)房間（像素）值的加權(quán)平均，這樣就對P圖像斑塊完成了降噪的過程，類似一個基于大斑塊的高斯濾波算法。此外，從這個舉例中我們也大概摸索出了BM3D里面3D的來歷.......

至此，非局部均值算法以經(jīng)表現(xiàn)不錯了，但是它體現(xiàn)在簡單的加權(quán)平均，并且仍然在空間域處理圖像，科技并非停滯不前，BM3D來了......

BM3D（Block-matching and 3D filtering，3維塊匹配濾波）是當(dāng)前效果最好的算法之一。該算法通過相似判定找到與參考塊相近的二維圖像塊，并將相似塊按照組合成三維群組，對三維群組進(jìn)行協(xié)同濾波處理，再將處理結(jié)果聚合到原圖像塊的位置。該算法的思想跟NL-Means有點(diǎn)類似，也是在圖像中尋找相似塊的方法進(jìn)行濾波，但是相對于NL-Means要復(fù)雜許多。總體可以分為兩步：

在這兩大步中，分別又有三小步：

相似塊分組（Grouping）→協(xié)同濾波（Collaborative Filtering） →聚合（Aggregation）

我們細(xì)看每一個小步驟，編組的過程類似于NL-means：

接下來，第二小步，像上面講述的房子一樣，我們把分好的圖像斑塊“摞起來”，形成一個3D的“塊”（Block）,在每一層中進(jìn)行二維變換，變換到頻率域，此外，在第三個維度，也就是每一層的對應(yīng)的房間（像素）上進(jìn)行一維變換，變換之后，按照非局部均值的思想，對斑塊在頻率域進(jìn)行降噪處理，（其實(shí)是對像素值的加權(quán)平均），再對經(jīng)過變換之后圖像斑塊，進(jìn)行“硬閾值”處理，處理剔除不合格像素值，在經(jīng)過反三維變換變換為空間域，再對圖像進(jìn)行塊匹配，聚合至原來每個塊的位置，這樣整個圖像就從一維變?nèi)S再變回一維了。至此，第一步完成。

Aggregation：此時，每個二維塊都是對去噪圖像的估計。這一步分別將這些塊融合到原來的位置，每個像素的灰度值通過每個對應(yīng)位置的塊的值加權(quán)平均。

第二步與第一步類似

Step2：最終估計

(1)Grouping：第二步中的聚合過程與第一步類似，不同的是，這次將會得到兩個三維數(shù)組：噪聲圖形成的三維矩陣和基礎(chǔ)估計結(jié)果的三維矩陣。

(2)Collaborative Filtering：兩個三維矩陣都進(jìn)行二維和一維變換。用維納濾波將噪聲圖形成的三維矩陣進(jìn)行系數(shù)放縮，該系數(shù)通過基礎(chǔ)估計的三維矩陣的值以及噪聲強(qiáng)度得出。

Aggregation：與Step1中一樣，只是此時加權(quán)的權(quán)重取決于維納濾波的系數(shù)和噪聲強(qiáng)度。

至此，算法完成，效果還是很好的，我們來看一些示例：

參考文獻(xiàn)：

詳盡過程

圖解噪聲與去噪 之二：從『均值濾波』到『BM3D』

阿達(dá)瑪變換詳盡

轉(zhuǎn)：X264中SATD實(shí)現(xiàn)分析 - Mr.Rico - 博客園

克內(nèi)羅內(nèi)積

克羅內(nèi)克積_百度百科

小波變換

小波變換（wavelet transform）的通俗解釋（一）

blog.csdn.net/zizi7/art

頻域空域細(xì)致講解

blog.csdn.net/zdh198210

審核編輯 ：李倩