本文介紹了由北交大、UT Austin、A*Star團隊提出的基于擴散模型的可控低光增強方法，論文被ACM MM 2023收錄。

CLE Diffusion: Controllable Light Enhancement Diffusion Model 論文：arxiv.org/abs/2308.06725 代碼：github.com/YuyangYin/CLEDiffusion 主頁：yuyangyin.github.io/CLEDiffusion/ 在CVer微信公眾號后臺回復：CLE，可以下載本論文pdf Introduction

低光圖像增強技術近年來受到了廣泛的關注，目前的方法通常假設一個理想的增亮程度，對圖像整體進行均勻的增強，同時也限制了用戶的可控性。為了解決這個問題，本文提出了可控光照增強擴散模型（Controllable Light Enhancement Diffusion Model），可以讓用戶輸入所需的增亮級別，并利用SAM模型，來實現交互友好的區域可控增亮。如圖演示效果，用戶可以通過簡單的點擊來指定增亮的區域。

Method

本文提出了新型的可控光照增強框架，主要采用了條件擴散模型來控制任意區域的任意亮度增強。通過亮度控制模塊（Brightness Control Module)將亮度信息信息融入Diffusion網絡中，并且設計了和任務適配的條件控制信息和損失函數來增強模型的能力。同時本文使用了Mask輸入和SAM模型(Segment-Anything Model)來進一步增強可控性，使得用戶可以通過簡單的點擊形式實現任意區域的增亮。整體的框架如下圖所示：

條件控制擴散模型

亮度控制板塊

為了高效的控制亮度信息，本文采用了classifier-free guidance(CFG)方法。CFG采用同時訓練條件擴散模型(conditional diffusion model)和無條件擴散模型(unconditional diffusion model)的方式來實現。在本任務中，將亮度值(brightness level)視作class label，由于亮度具有連續性，我們的class label也是連續的，可以實現更精細的亮度調節。對于條件擴散模型，本文通過計算normal-light image的平均亮度λ，然后通過orthogonal matrix將其在編碼成illumintion embedding。然后通過FiLM layer將其注入到UNet的feature map中。對于無條件擴散模型，本文將illumintion embedding的值設置為0。實驗中為了提升采樣速度，采用DDIM采樣的辦法，因此總體的算法流程可以總結為:

區域控制增亮

在實際增亮過程中，用戶相比于全局增亮圖片其實更加關注區域的亮度控制，本文采用了Mask-CLE Diffusion來解決這個問題。首先采樣了一批羽化邊緣的隨機mask，通過將normal-light image和mask混合得到了一個新的合成數據集。然后將mask信息拼接到擴散模型的輸入中，訓練得到新的增亮模型。SAM(Segment-Anything Model)可以實現任意圖片的分割。在SAM的幫助下，Mask-CLE Diffusion提供了更好的用戶交互體驗，可以讓用戶通過點擊的形式獲得指定區域的mask并進行增亮。

輔助損失函數

Expriment

New Metric

目前的大部分指標通常假設理想的亮度值，但對于不同亮度的圖片質量比較困難。如下圖所示，PSNR和SSIM通常隨著亮度變化呈現V字形的變換，而LPIPS會呈現倒V型。因此本文希望提出一個新的指標，可以衡量不同亮度下的圖片質量。

本文發現可以用color map來對亮度進行歸一化，之后通過Canny邊緣提取算子來衡量細節信息，最后采用LPIPS函數來衡量高頻質量。新的指標可以命名為Light-IndependentLPIPS，表示為：

LOL和Mit-Adobe FiveK數據集上的表現

評測指標的比較：

LOL數據集上的可視化比較：

Mit-Adobe FiveK數據集上的可視化比較：

區域亮度增強

給定用戶感興趣的區域，可以實現任意亮度的增強。對比于過往低光增強方法MAXIM(CVPR 2022 Oral)，具有更強的可控性和增亮效果。

全局亮度增強

和其他亮度可控方法的比較

ReCoRo只能實現在low-light到well-light之間的亮度增強，而CLE Diffusion有更廣的編輯空間。

在VE-LOL數據集上的比較

在正常光照數據集上的比較

在分割模型上的表現

總結

CLE Diffusion提出了一種新型的擴散模型框架來實現可控的光照增強。方法主要將亮度信息編碼，利用條件擴散模型來實現可控的亮度增強。并且借助SAM模型，讓用戶可以選擇感興趣的區域進行增亮。大量的實驗表明，方法在定量和定性上都有優異的表現。