來源：AI公園

作者：Nico Klingler

編譯：ronghuaiyang

導讀

在許多計算機視覺應用中（例如機器人運動和醫學成像），需要將多個圖像的相關信息整合到單一圖像中。這種圖像融合可以提供更高的可靠性、準確性和數據質量。

多視圖融合可以提高圖像分辨率，并恢復場景的三維表示。多模態融合則是將來自不同傳感器的圖像結合起來，也稱為多傳感器融合。其主要應用包括醫學影像、監控和安全等領域。

圖像融合的層級工程師根據融合實現的階段將圖像融合 (IF) 分為三個層級。

像素級 IF。這是一種低級別的圖像融合方法，操作簡單。它包含了兩個輸入圖像的特征，并生成一個平均的、單一的結果圖像。

特征級 IF。它從多個來源提取圖像特征（如大小、顏色），并在特征提取后生成增強的圖像。

塊（區域）級 IF。這是一種高級技術。它利用多階段表示法，并根據區域計算測量值。

圖像融合的層次圖像融合的類型

單傳感器 IF

單傳感器圖像融合捕捉真實世界的一系列圖像。算法將一組圖像組合起來，生成一個新的具有最佳信息含量的圖像。例如，在不同的光照條件下，人類操作員可能無法檢測到物體，但在融合后的圖像中卻能突出顯示這些物體。

這種方法的缺點是所使用的成像傳感器在某些傳感區域存在局限性。在傳感器能力限制系統功能（如動態范圍、分辨率等）的情況下。例如，某些傳感器適合光照環境（如白天），但不適合夜間和霧天條件。

多傳感器 IF

多傳感器圖像融合方法將來自多個傳感器的圖像合并形成復合圖像。例如，紅外相機和單獨的數碼相機各自產生它們自己的圖像，通過合并，最終生成融合圖像。這種方法克服了單傳感器的問題。

多傳感器圖像融合

這種方法從多個圖像中生成合并的信息。數碼相機適合于白天條件；紅外相機在弱光環境下表現良好。因此，這種方法在軍事領域以及對象檢測、機器人和醫療成像中都有應用。

多視圖 IF

在這種方法中，圖像具有多個或不同的視圖。這種方法利用了來自不同條件下的圖像，如可見光、紅外、多光譜和遙感圖像。常見的圖像融合方法包括對象級融合、加權像素融合和變換域融合。

多焦點 IF

這種方法處理來自 3D 視角的圖像及其焦距。它將原始圖像分成若干區域，使得每個區域在圖像的一個通道中都是清晰的。

如何實現圖像融合？

研究人員以多種方式實現圖像融合，這里我們介紹最常見的幾種方法。

卷積神經網絡

Zhang 等人 (2021) 創建了一個基于卷積神經網絡 (CNN-based fusion) 的框架，通過精心設計的損失函數來提取特征和重建圖像，他們利用卷積神經網絡作為整個融合框架的一部分來進行活動級別監控和特征整合。

在他們的 CNN 融合案例中，他們將損失函數與分類 CNN 結合起來進行醫學圖像融合。此外，他們將融合層嵌入到訓練過程中。因此，CNN 減少了手動設計的融合規則（最大值、最小值或平均值）帶來的約束。

CNN實現的圖像融合

此外，研究人員還介紹了其他方法：

• 基于卷積神經網絡的端到端融合框架，以避免手動規則的缺點。
• 他們的卷積神經網絡定義了更精確且能更好地保留紋理結構的圖像融合的目標函數。
• Zhang 等人通過梯度保留來建模圖像融合，從而為多種融合任務設計了一個通用的損失函數。

多尺度變換

Ma 等人 (2023) 使用多尺度變換進行了 融合過程：

他們分別分解圖像，以獲得不同的頻率層次，即高頻和低頻子帶。

團隊設計了最優融合計算方法作為融合策略。他們利用了高頻和低頻子帶的不同特性。

為了生成融合圖像，他們反轉了最終的融合系數。

使用多尺度變換的圖像融合

研究人員在多個尺度和多個方向上應用了小波變換和幾何變換，而無需進行子采樣。

他們的基于多尺度變換的融合方法根據不同子帶的特性引入了融合策略。因此，融合圖像富含詳細信息且冗余較低。

• 分解方法的選擇和融合規則是融合過程的重要組成部分。它們決定了融合圖像是否能包含比原始圖像更多的信息。

基于稀疏表示的圖像融合模型

與傳統的多尺度變換相比，稀疏表示有兩個主要區別。多尺度融合方法使用預設的基礎函數，這忽略了源圖像的一些重要特征。稀疏表示則是在一個完整的特征集上進行學習，可以更好地表達和提取圖像。

此外，基于多尺度變換的融合方法將圖像分解為多層，但對噪聲和配準的要求相當嚴格。稀疏表示使用滑動窗口技術將圖像分割為多個重疊段，從而提高了魯棒性。

使用稀疏表示模型的圖像融合圖像融合的應用

圖像融合的主要應用場景有四個：

機器人視覺

機器人的運動利用了紅外和可見光圖像的融合。機器人使用紅外圖像來區分目標和背景，因為它們之間的熱輻射差異。因此，光照和天氣條件不會影響融合。然而，紅外圖像并不提供紋理細節。

對于他們的計算機視覺任務，機器人使用可見光圖像。由于受到數據收集環境的影響，可見光圖像可能無法顯示重要的目標。紅外和可見光融合方法克服了單個圖像的這一缺點，從而提取信息。

融合圖像通常比紅外圖像更清晰。此外，機器人會進行可見光和紅外圖像的融合，比如用于自動駕駛和面部識別。

醫學影像

如今，醫學影像產生了多種類型的醫學圖像，以幫助醫生診斷疾病或傷害。每種類型的圖像都有其特定的強度。因此，圖像融合在醫學影像模式領域具有很高的臨床應用價值。

醫學影像研究人員將來自不同醫學圖像的冗余信息和相關信息結合起來，創建融合醫學圖像。這樣他們為醫學檢查提供了高質量的信息啟發式圖像診斷。

醫學影像中的圖像融合

該圖展示了通過結合計算機斷層掃描 (CT) 和磁共振成像 (MRI) 進行醫學診斷的圖像融合示例。數據來自一個結合了斷層掃描和磁共振成像的大腦圖像數據集（MedPix 數據集）。

醫生使用 CT 來分析具有高空間域分辨率的骨骼結構，并使用 MRI 來檢測軟組織，如心臟、眼睛和大腦。通過圖像融合技術將 MRI 和 CT 結合起來，以提高準確性和醫學適用性。

工業中的缺陷檢測

由于工業生產條件的限制，工件缺陷難以避免。典型的缺陷包括工件內部的碎屑、孔隙和裂紋。

這些缺陷在工件使用過程中會增加，影響其性能。因此，它們會導致工件失效，縮短其使用壽命，并威脅到機器的安全。

工業中的圖像融合做缺陷檢測

當前的缺陷檢測算法一般分為兩大類：

缺陷區域分割，其中所有潛在的缺陷區域從單一圖像中被分割出來。

1. 為了檢測不同類型缺陷 —— 應用人工設計的特征。這些特征只適用于特定的缺陷檢測，例如缺陷的大小、多樣的形狀和復雜的背景區域。

農業遙感

圖像融合技術也被廣泛應用于農業遙感領域。通過使用農業遙感技術，農民可以選擇適合植物生長的環境并對植物疾病進行檢測。

現有的融合技術，包括測距和光學檢測設備、合成雷達以及中分辨率成像光譜儀等，都在圖像融合中有所應用。

農業遙感圖像的融合

研究人員利用基于區域的融合方案來結合全色、多光譜和合成孔徑雷達圖像。此外，一些農民還會結合光譜信息、雷達距離數據和光學檢測。圖像融合的優點和缺點

圖像融合的優點

圖像融合的好處包括：

• 圖像融合減少了數據存儲和數據傳輸的需求。
• 圖像融合的成本相對較低，執行融合步驟簡單。
• 團隊使用圖像融合進行圖像識別和配準。
• 可以從多尺度的霧狀圖像中產生高分辨率輸出。
• 融合結果圖像易于解釋，可以是彩色的。
• 它增加了情境和條件感知。
• 圖像融合使人們能夠從不同圖像中讀取小的符號（應用）。
• 從不同視角進行圖像增強可以帶來更好的對比度。

圖像融合的缺點

圖像融合存在一定的局限性，例如：

• 當圖像模糊時，數據處理速度較慢。
• 由于特征提取和整合步驟，融合有時會變得復雜且成本高昂。
• 為每個應用場景定義和選擇合適的特征需要時間和精力。
• 在圖像融合過程中，有很大概率會發生信息丟失。
• 在單傳感器融合中，圖像在惡劣天氣條件下可能會變得模糊。
• 在夜間條件下拍攝的照片中，進行圖像融合較為困難。

為了獲得良好的圖像可視化效果，通常需要多傳感器或多視圖融合。

總結

圖像融合是一項重要的技術，用于集成和評估來自多個來源（傳感器）的數據。它在計算機視覺、醫學影像和遙感等領域有著廣泛的應用。帶有復雜非線性失真的圖像融合有助于提高最復雜的計算機視覺方法的魯棒性。