來(lái)源：AI公園

作者：Nico Klingler

編譯：ronghuaiyang

導(dǎo)讀

在許多計(jì)算機(jī)視覺(jué)應(yīng)用中（例如機(jī)器人運(yùn)動(dòng)和醫(yī)學(xué)成像），需要將多個(gè)圖像的相關(guān)信息整合到單一圖像中。這種圖像融合可以提供更高的可靠性、準(zhǔn)確性和數(shù)據(jù)質(zhì)量。

多視圖融合可以提高圖像分辨率，并恢復(fù)場(chǎng)景的三維表示。多模態(tài)融合則是將來(lái)自不同傳感器的圖像結(jié)合起來(lái)，也稱為多傳感器融合。其主要應(yīng)用包括醫(yī)學(xué)影像、監(jiān)控和安全等領(lǐng)域。

圖像融合的層級(jí)工程師根據(jù)融合實(shí)現(xiàn)的階段將圖像融合 (IF) 分為三個(gè)層級(jí)。

像素級(jí) IF。這是一種低級(jí)別的圖像融合方法，操作簡(jiǎn)單。它包含了兩個(gè)輸入圖像的特征，并生成一個(gè)平均的、單一的結(jié)果圖像。

特征級(jí) IF。它從多個(gè)來(lái)源提取圖像特征（如大小、顏色），并在特征提取后生成增強(qiáng)的圖像。

塊（區(qū)域）級(jí) IF。這是一種高級(jí)技術(shù)。它利用多階段表示法，并根據(jù)區(qū)域計(jì)算測(cè)量值。

圖像融合的層次圖像融合的類型

單傳感器 IF

單傳感器圖像融合捕捉真實(shí)世界的一系列圖像。算法將一組圖像組合起來(lái)，生成一個(gè)新的具有最佳信息含量的圖像。例如，在不同的光照條件下，人類操作員可能無(wú)法檢測(cè)到物體，但在融合后的圖像中卻能突出顯示這些物體。

這種方法的缺點(diǎn)是所使用的成像傳感器在某些傳感區(qū)域存在局限性。在傳感器能力限制系統(tǒng)功能（如動(dòng)態(tài)范圍、分辨率等）的情況下。例如，某些傳感器適合光照環(huán)境（如白天），但不適合夜間和霧天條件。

多傳感器 IF

多傳感器圖像融合方法將來(lái)自多個(gè)傳感器的圖像合并形成復(fù)合圖像。例如，紅外相機(jī)和單獨(dú)的數(shù)碼相機(jī)各自產(chǎn)生它們自己的圖像，通過(guò)合并，最終生成融合圖像。這種方法克服了單傳感器的問(wèn)題。

多傳感器圖像融合

這種方法從多個(gè)圖像中生成合并的信息。數(shù)碼相機(jī)適合于白天條件；紅外相機(jī)在弱光環(huán)境下表現(xiàn)良好。因此，這種方法在軍事領(lǐng)域以及對(duì)象檢測(cè)、機(jī)器人和醫(yī)療成像中都有應(yīng)用。

多視圖 IF

在這種方法中，圖像具有多個(gè)或不同的視圖。這種方法利用了來(lái)自不同條件下的圖像，如可見(jiàn)光、紅外、多光譜和遙感圖像。常見(jiàn)的圖像融合方法包括對(duì)象級(jí)融合、加權(quán)像素融合和變換域融合。

多焦點(diǎn) IF

這種方法處理來(lái)自 3D 視角的圖像及其焦距。它將原始圖像分成若干區(qū)域，使得每個(gè)區(qū)域在圖像的一個(gè)通道中都是清晰的。

如何實(shí)現(xiàn)圖像融合？

研究人員以多種方式實(shí)現(xiàn)圖像融合，這里我們介紹最常見(jiàn)的幾種方法。

卷積神經(jīng)網(wǎng)絡(luò)

Zhang 等人 (2021) 創(chuàng)建了一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò) (CNN-based fusion) 的框架，通過(guò)精心設(shè)計(jì)的損失函數(shù)來(lái)提取特征和重建圖像，他們利用卷積神經(jīng)網(wǎng)絡(luò)作為整個(gè)融合框架的一部分來(lái)進(jìn)行活動(dòng)級(jí)別監(jiān)控和特征整合。

在他們的 CNN 融合案例中，他們將損失函數(shù)與分類 CNN 結(jié)合起來(lái)進(jìn)行醫(yī)學(xué)圖像融合。此外，他們將融合層嵌入到訓(xùn)練過(guò)程中。因此，CNN 減少了手動(dòng)設(shè)計(jì)的融合規(guī)則（最大值、最小值或平均值）帶來(lái)的約束。

CNN實(shí)現(xiàn)的圖像融合

此外，研究人員還介紹了其他方法：

• 基于卷積神經(jīng)網(wǎng)絡(luò)的端到端融合框架，以避免手動(dòng)規(guī)則的缺點(diǎn)。
• 他們的卷積神經(jīng)網(wǎng)絡(luò)定義了更精確且能更好地保留紋理結(jié)構(gòu)的圖像融合的目標(biāo)函數(shù)。
• Zhang 等人通過(guò)梯度保留來(lái)建模圖像融合，從而為多種融合任務(wù)設(shè)計(jì)了一個(gè)通用的損失函數(shù)。

多尺度變換

Ma 等人 (2023) 使用多尺度變換進(jìn)行了 融合過(guò)程：

他們分別分解圖像，以獲得不同的頻率層次，即高頻和低頻子帶。

團(tuán)隊(duì)設(shè)計(jì)了最優(yōu)融合計(jì)算方法作為融合策略。他們利用了高頻和低頻子帶的不同特性。

為了生成融合圖像，他們反轉(zhuǎn)了最終的融合系數(shù)。

使用多尺度變換的圖像融合

研究人員在多個(gè)尺度和多個(gè)方向上應(yīng)用了小波變換和幾何變換，而無(wú)需進(jìn)行子采樣。

他們的基于多尺度變換的融合方法根據(jù)不同子帶的特性引入了融合策略。因此，融合圖像富含詳細(xì)信息且冗余較低。

• 分解方法的選擇和融合規(guī)則是融合過(guò)程的重要組成部分。它們決定了融合圖像是否能包含比原始圖像更多的信息。

基于稀疏表示的圖像融合模型

與傳統(tǒng)的多尺度變換相比，稀疏表示有兩個(gè)主要區(qū)別。多尺度融合方法使用預(yù)設(shè)的基礎(chǔ)函數(shù)，這忽略了源圖像的一些重要特征。稀疏表示則是在一個(gè)完整的特征集上進(jìn)行學(xué)習(xí)，可以更好地表達(dá)和提取圖像。

此外，基于多尺度變換的融合方法將圖像分解為多層，但對(duì)噪聲和配準(zhǔn)的要求相當(dāng)嚴(yán)格。稀疏表示使用滑動(dòng)窗口技術(shù)將圖像分割為多個(gè)重疊段，從而提高了魯棒性。

使用稀疏表示模型的圖像融合圖像融合的應(yīng)用

圖像融合的主要應(yīng)用場(chǎng)景有四個(gè)：

機(jī)器人視覺(jué)

機(jī)器人的運(yùn)動(dòng)利用了紅外和可見(jiàn)光圖像的融合。機(jī)器人使用紅外圖像來(lái)區(qū)分目標(biāo)和背景，因?yàn)樗鼈冎g的熱輻射差異。因此，光照和天氣條件不會(huì)影響融合。然而，紅外圖像并不提供紋理細(xì)節(jié)。

對(duì)于他們的計(jì)算機(jī)視覺(jué)任務(wù)，機(jī)器人使用可見(jiàn)光圖像。由于受到數(shù)據(jù)收集環(huán)境的影響，可見(jiàn)光圖像可能無(wú)法顯示重要的目標(biāo)。紅外和可見(jiàn)光融合方法克服了單個(gè)圖像的這一缺點(diǎn)，從而提取信息。

融合圖像通常比紅外圖像更清晰。此外，機(jī)器人會(huì)進(jìn)行可見(jiàn)光和紅外圖像的融合，比如用于自動(dòng)駕駛和面部識(shí)別。

醫(yī)學(xué)影像

如今，醫(yī)學(xué)影像產(chǎn)生了多種類型的醫(yī)學(xué)圖像，以幫助醫(yī)生診斷疾病或傷害。每種類型的圖像都有其特定的強(qiáng)度。因此，圖像融合在醫(yī)學(xué)影像模式領(lǐng)域具有很高的臨床應(yīng)用價(jià)值。

醫(yī)學(xué)影像研究人員將來(lái)自不同醫(yī)學(xué)圖像的冗余信息和相關(guān)信息結(jié)合起來(lái)，創(chuàng)建融合醫(yī)學(xué)圖像。這樣他們?yōu)獒t(yī)學(xué)檢查提供了高質(zhì)量的信息啟發(fā)式圖像診斷。

醫(yī)學(xué)影像中的圖像融合

該圖展示了通過(guò)結(jié)合計(jì)算機(jī)斷層掃描 (CT) 和磁共振成像 (MRI) 進(jìn)行醫(yī)學(xué)診斷的圖像融合示例。數(shù)據(jù)來(lái)自一個(gè)結(jié)合了斷層掃描和磁共振成像的大腦圖像數(shù)據(jù)集（MedPix 數(shù)據(jù)集）。

醫(yī)生使用 CT 來(lái)分析具有高空間域分辨率的骨骼結(jié)構(gòu)，并使用 MRI 來(lái)檢測(cè)軟組織，如心臟、眼睛和大腦。通過(guò)圖像融合技術(shù)將 MRI 和 CT 結(jié)合起來(lái)，以提高準(zhǔn)確性和醫(yī)學(xué)適用性。

工業(yè)中的缺陷檢測(cè)

由于工業(yè)生產(chǎn)條件的限制，工件缺陷難以避免。典型的缺陷包括工件內(nèi)部的碎屑、孔隙和裂紋。

這些缺陷在工件使用過(guò)程中會(huì)增加，影響其性能。因此，它們會(huì)導(dǎo)致工件失效，縮短其使用壽命，并威脅到機(jī)器的安全。

工業(yè)中的圖像融合做缺陷檢測(cè)

當(dāng)前的缺陷檢測(cè)算法一般分為兩大類：

缺陷區(qū)域分割，其中所有潛在的缺陷區(qū)域從單一圖像中被分割出來(lái)。

1. 為了檢測(cè)不同類型缺陷 —— 應(yīng)用人工設(shè)計(jì)的特征。這些特征只適用于特定的缺陷檢測(cè)，例如缺陷的大小、多樣的形狀和復(fù)雜的背景區(qū)域。

農(nóng)業(yè)遙感

圖像融合技術(shù)也被廣泛應(yīng)用于農(nóng)業(yè)遙感領(lǐng)域。通過(guò)使用農(nóng)業(yè)遙感技術(shù)，農(nóng)民可以選擇適合植物生長(zhǎng)的環(huán)境并對(duì)植物疾病進(jìn)行檢測(cè)。

現(xiàn)有的融合技術(shù)，包括測(cè)距和光學(xué)檢測(cè)設(shè)備、合成雷達(dá)以及中分辨率成像光譜儀等，都在圖像融合中有所應(yīng)用。

農(nóng)業(yè)遙感圖像的融合

研究人員利用基于區(qū)域的融合方案來(lái)結(jié)合全色、多光譜和合成孔徑雷達(dá)圖像。此外，一些農(nóng)民還會(huì)結(jié)合光譜信息、雷達(dá)距離數(shù)據(jù)和光學(xué)檢測(cè)。圖像融合的優(yōu)點(diǎn)和缺點(diǎn)

圖像融合的優(yōu)點(diǎn)

圖像融合的好處包括：

• 圖像融合減少了數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)傳輸?shù)男枨蟆?/li>
• 圖像融合的成本相對(duì)較低，執(zhí)行融合步驟簡(jiǎn)單。
• 團(tuán)隊(duì)使用圖像融合進(jìn)行圖像識(shí)別和配準(zhǔn)。
• 可以從多尺度的霧狀圖像中產(chǎn)生高分辨率輸出。
• 融合結(jié)果圖像易于解釋，可以是彩色的。
• 它增加了情境和條件感知。
• 圖像融合使人們能夠從不同圖像中讀取小的符號(hào)（應(yīng)用）。
• 從不同視角進(jìn)行圖像增強(qiáng)可以帶來(lái)更好的對(duì)比度。

圖像融合的缺點(diǎn)

圖像融合存在一定的局限性，例如：

• 當(dāng)圖像模糊時(shí)，數(shù)據(jù)處理速度較慢。
• 由于特征提取和整合步驟，融合有時(shí)會(huì)變得復(fù)雜且成本高昂。
• 為每個(gè)應(yīng)用場(chǎng)景定義和選擇合適的特征需要時(shí)間和精力。
• 在圖像融合過(guò)程中，有很大概率會(huì)發(fā)生信息丟失。
• 在單傳感器融合中，圖像在惡劣天氣條件下可能會(huì)變得模糊。
• 在夜間條件下拍攝的照片中，進(jìn)行圖像融合較為困難。

為了獲得良好的圖像可視化效果，通常需要多傳感器或多視圖融合。

總結(jié)

圖像融合是一項(xiàng)重要的技術(shù)，用于集成和評(píng)估來(lái)自多個(gè)來(lái)源（傳感器）的數(shù)據(jù)。它在計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)影像和遙感等領(lǐng)域有著廣泛的應(yīng)用。帶有復(fù)雜非線性失真的圖像融合有助于提高最復(fù)雜的計(jì)算機(jī)視覺(jué)方法的魯棒性。