完整搜尋頁面 →

DLCV 09C・低光影像增強

電腦視覺深度學習進階33 分鐘更新於 2026年11月6日

先備知識:DLCV 09・深度影像復原:低階視覺、IP 03・強度轉換與空間濾波、IP 06・色彩影像處理

導覽:本頁與本系列: 導覽:本頁與本系列

本頁內容

補充資料 · 14

  1. CLAHE:區域等化但不放大雜訊
  2. 更多深度 LLIE 方法
  3. 解析度、運算與記憶體計數
  4. 雙邊網格實驗
  5. 實作並檢查三線性 LUT
  6. 雙邊網格的擬合與切片細說
  7. 可學習 LUT 變體細說
  8. 結構重參數化逐步說明
  9. 理解無參考低光指標
  10. 高效率網路元件
  11. 色階、暈邊與時間穩定性
  12. 雙邊網格與色表數學
  13. 從修圖到低光
  14. 光度順序練習

論文導讀 · 13

  1. KinD:修復反射率,另外控制照明
  2. Retinex-Net:分解、調光、去雜訊
  3. EnlightenGAN:未配對外觀與內容約束
  4. Zero-DCE/Zero-DCE++:沒有參考影像的曲線學習
  5. RUAS:搜尋展開模型中的先驗
  6. SCI:訓練校準,部署一個照明區塊
  7. Retinexformer:以照明引導復原
  8. IAT:局部仿射圖與全域相機式轉換
  9. Multinex:以解析先驗融合出 Retinex 殘差
  10. CPGA-Net:通道先驗、gamma 估計與學習式融合
  11. CPGA-Net+:注意力、BDSF 與較強版本
  12. HDRNet:Deep bilateral learning for real-time image enhancement
  13. 影像自適應 3D LUT(Zeng 等人,TPAMI 2022)

電腦視覺深度學習

  1. 02 · 深度影像分類
  2. 03 · 物件偵測:從 R-CNN 到 DETR
  3. 09 · 深度影像復原:低階視覺
查看完整課程樹 →
用實驗理解本章 2 個互動實驗

模擬帶有光子雜訊與讀出雜訊的昏暗照片,比較增加光量、增加數位增益與使用去雜訊器的差別。

你將學到

  • 區分色調校正,以及雜訊、細節與色彩復原。
  • 比較直方圖、gamma、Retinex 與攝影變換方法。
  • 分別依監督訊號與架構分類學習方法。
  • 選擇能揭露曝光、色彩與雜訊失敗的評估協定。
  • 量測全解析度成本,並評估下游任務適用性。

先看全貌

在暗處拍到的照片,並不只是「把亮度調低的正常照片」。感測器收到的光子非常少,所以影像又暗、又有雜訊,還常常帶著色偏。低光影像增強的目標,是產生「如果當時光線充足,你會拍到的那張照片」:曝光正確、顏色自然、細節乾淨,而且不引入新的假影。

為什麼重要:手機每天都在暗處拍照,車輛與機器人必須在夜間看得見,監視系統、科學影像與醫療內視鏡也都在跟同樣的物理限制奮戰。低光也會傷害下游模型:用白天照片訓練的偵測器,到了晚上準確率會下降。因此 LLIE 既是畫質問題,也是電腦視覺的強健性問題。

相關章節。 DLCV 09 提供一般復原背景;DLCV 10 合併多張影像的互補證據。本章將品質與效率放在每個家族旁一起討論。

目的與難點

白話版。 低光增強結合色調調整,以及含雜訊細節與色彩的復原;單靠變亮無法兼顧兩者。

精確版。 LLIE 和影像轉換(image-to-image translation)不同:後者會改變影像的屬性(夏天變冬天、照片變畫作),LLIE 則應該完整保留場景與內容,只把光線不足造成的破壞還原。原文 [1] 把這些破壞分成兩個難點:

  1. 色調強化。 在全域與局部提高曝光,同時不壓垮亮部、也不把對比壓平。燈具這類亮區必須維持明亮,暗區要被打開,而且區域之間的明暗順序應該保留。
  2. 細節還原。 找回埋在雜訊與量化誤差裡的紋理與顏色,同時抑制雜訊而不是放大它。

在深度學習裡,只要網路被訓練成輸出乾淨的影像,細節還原本來就是它在做的事,因此多數方法的設計重點放在色調(要把哪些影像性質或物理模型放進網路)與學習機制(用什麼監督方式與損失函數),而不是另外設計一個專門的細節模組。

為什麼不是單純調亮

線性增益 y=c xy = c\,x(c>1c > 1)會在四個地方失敗,全都可以在圖 1 看到:

  • 雜訊。 光子到達是隨機的。光子很少時,訊噪比很低,而增益會把訊號和雜訊一起放大。影像變亮了,卻沒有變乾淨。
  • 色偏。 低光環境的光常帶有顏色(鎢絲燈、鈉燈路燈),相機的白平衡與三個色彩通道的雜訊程度也不同。三通道等比例放大會保留色偏;分別放大又可能產生奇怪的顏色。
  • 飽和與過曝。 已經接近上限的像素(燈、窗戶、螢幕)會在 1 被截斷。大到足以照亮暗部的全域增益,會毀掉亮部。
  • 量化。 一張暗的 8 位元影像可能只用到 20 到 40 個灰階。把它們拉開,就會出現明顯的色階斷層(banding)。

低光拍攝的模型

明確寫出退化模型很有幫助,一方面便於理解,另一方面可用來合成訓練資料。請在線性光(數值正比於光子數)上操作,而不是在經過 gamma 編碼的像素上(gamma 請見 IP 03)。常用的是 Foi 等人的 Poisson–Gaussian 模型 [2]:

z=1η P ⁣(η k x)+n,n∼N(0,σr2),z = \frac{1}{\eta}\,\mathcal{P}\!\left(\eta\,k\,x\right) + n, \qquad n \sim \mathcal{N}(0, \sigma_r^2),

其中 x∈[0,1]x \in [0, 1] 是乾淨的線性影像,k∈(0,1]k \in (0, 1] 是到達感測器的光量比例,η\eta 是把強度換算成光子數的尺度(η\eta 越大代表光子越多、相對雜訊越小),P(⋅)\mathcal{P}(\cdot) 是模擬散粒雜訊(shot noise)的 Poisson 隨機變數,nn 是標準差 σr\sigma_r 的高斯讀出雜訊(read noise)。之後相機再套上色調曲線並量化。zz 的變異數約為 kx/η+σr2k x/\eta + \sigma_r^2,會隨訊號增加,也就是說雜訊是與訊號相關的;這就是為什麼「加高斯雜訊」很難代表真實的低光。

程式碼 · Python · 15 行
import numpy as np
from skimage import data, img_as_float

rng = np.random.default_rng(0)
clean = img_as_float(data.coffee())            # H x W x 3, sRGB-encoded, in [0, 1]

def synth_low_light(x, k=0.05, peak=2000.0, read_std=8e-4, gamma=2.2):
    lin = k * x ** gamma                           # 1) less light, in linear units
    lin = rng.poisson(lin * peak) / peak           # 2) shot noise (Poisson)
    lin = lin + rng.normal(0, read_std, lin.shape) # 3) read noise (Gaussian)
    out = np.clip(lin, 0, 1) ** (1 / gamma)        # 4) re-encode for display
    return np.round(out * 255) / 255               # 5) 8-bit quantization

dark = synth_low_light(clean)
print(clean.mean(), dark.mean())                   # about 0.39 -> 0.10
四張咖啡杯影像,下方是亮度直方圖:乾淨照片的直方圖分布很寬;只剩 5% 光量的版本非常暗,直方圖被擠到 0.25 以下;加上 Poisson-Gaussian 雜訊後肉眼幾乎看不出差別;把有雜訊的影像在線性空間乘以 20 後又變亮了,但明顯有顆粒,暗角尤其嚴重。
圖 1 — 合成的低光影像。拿掉 95% 的光,直方圖被擠進最下方四分之一。在暗影像裡很難看到雜訊,但用完美的增益把曝光還原後(最右),雜訊就現形了:調亮與去噪是兩個獨立的問題。

最右邊那張是本篇最重要的一張圖:即使是理想的亮度校正,雜訊依然存在。這就是為什麼 LLIE 是一個復原問題(請見 DLCV 09・影像復原),而不只是色調對應問題。

非深度學習的 LLIE 與低光影像的特性

白話版。 直方圖方法重新分配強度,Retinex 方法估計並調整照明;各自的統計假設決定處理行為。

低光影像在色彩空間上的特性

許多色彩空間會把「有多亮」的通道和「是什麼顏色」的通道分開。不同空間稱它為明度(value)、強度(intensity)、亮度(luma)或明亮度(lightness),定義也各不相同。設 R,G,B∈[0,1]R, G, B \in [0, 1](色彩空間本身請見 IP 06):

HSV:V=max⁡(R,G,B),HSI:I=13(R+G+B),YCbCr (BT.601):Y′=0.299 R′+0.587 G′+0.114 B′,CIELAB:L∗=116 f ⁣(Ylin/Yn)−16.\begin{aligned} \text{HSV:}\quad & V = \max(R, G, B), \\ \text{HSI:}\quad & I = \tfrac{1}{3}(R + G + B), \\ \text{YCbCr (BT.601):}\quad & Y' = 0.299\,R' + 0.587\,G' + 0.114\,B', \\ \text{CIELAB:}\quad & L^{*} = 116\, f\!\left(Y_{\text{lin}}/Y_n\right) - 16 . \end{aligned}

其中 R′,G′,B′R', G', B' 是經 gamma 編碼的值;YlinY_{\text{lin}} 是線性光的亮度,YnY_n 是參考白的亮度;f(t)f(t) 在一個小門檻以上為 t1/3t^{1/3},以下為線性。幾點說明:

  • VV 就是「亮通道」(bright channel)。 它是逐像素的最大值,與去霧中使用的暗通道(dark channel,逐區塊的最小值)[3] 相對。在暗影像中,VV 是被黑暗破壞最少的通道,這也是 LIME [4] 用它來初始化光照的原因。
  • 亮度權重。 ITU-R BT.601 [5] 定義亮度為 Y′=0.299R′+0.587G′+0.114B′Y' = 0.299R' + 0.587G' + 0.114B',這個全範圍(full range)形式就是 JPEG/JFIF 使用的版本。8 位元的有限範圍(limited range,又稱 studio range)影片中,BT.601 把黑色放在 16、白色放在 235:Y=16+219 Y′Y = 16 + 219\,Y'。若 R′,G′,B′∈[0,255]R', G', B' \in [0, 255],就變成 Y=16+0.257R′+0.504G′+0.098B′Y = 16 + 0.257R' + 0.504G' + 0.098B',因為 219/255×(0.299,0.587,0.114)≈(0.257,0.504,0.098)219/255 \times (0.299, 0.587, 0.114) \approx (0.257, 0.504, 0.098)。兩個公式描述的是同一個亮度,只差在範圍與偏移量。
  • L∗L^* 被設計成感知上均勻,相同的數值差在人眼看來差不多大,因此很適合拿來做對比增強。

實務上的結論是:既然亮度可以和顏色拆開,就可以只增強亮度通道並保留色度。圖 2 顯示,選哪個通道影響很大。

程式碼 · Python · 6 行
R, G, B = dark[..., 0], dark[..., 1], dark[..., 2]
V = dark.max(axis=2)                          # HSV value
I = dark.mean(axis=2)                         # HSI intensity
Y = 0.299 * R + 0.587 * G + 0.114 * B         # BT.601 luma, full range (JPEG/JFIF)
Y_limited = 16 + 219 * Y                      # 8-bit limited ("studio") range, 16..235
print(np.allclose(Y_limited, 16 + (65.481 * R + 128.553 * G + 24.966 * B)))  # True
上排是暗咖啡圖與 V、I、Y、L* 亮度圖,下排比較對各通道套 gamma 0.4。V/I 保留鮮明橘色,Y/L* 較灰。
圖 2 — 相同 gamma 在不同色彩空間效果不同。V/I 以共同倍率縮放 RGB,裁切前保色相及 HSV 飽和度,但感知色彩豐富度仍可能改變。固定色度只增 Y/L* 會顯得較淡。

共同縮放 RGB 保留通道比例及色相,裁切前 HSV 飽和度不變,感知色彩卻可能隨亮度增加。固定 Cb/Cr 或 a/b 只增加 Y′Y'/L∗L^*,可能顯得褪色。HVI-CIDNet [6] 以學得色彩表示處理這種色調耦合。

直方圖等化與 CLAHE

白話版。 直方圖等化把強度重新分配到可用範圍,展開暗影像集中的數值,也可能放大雜訊。

精確版。 對 LL 個灰階、正規化直方圖 pr(rk)=nk/(MN)p_r(r_k) = n_k / (MN) 的影像,HE 以縮放後的累積分布函數(CDF)作為對應:

sk=T(rk)=(L−1)∑j=0kpr(rj),k=0,…,L−1,s_k = T(r_k) = (L - 1) \sum_{j=0}^{k} p_r(r_j), \qquad k = 0, \dots, L - 1,

其中 nkn_k 是灰階 rkr_k 的像素數,MNMN 是影像大小。TT 的斜率正比於直方圖,所以像素很多的灰階會被拉開。推導請見 IP 03。對彩色影像,常見做法是先轉到有亮度通道的色彩空間,只等化該通道,再轉回來,例如 RGB → Lab → 等化 L∗L^* → RGB。

全域 HE 在低光下有兩個問題:它會過度拉伸大片平坦區域(連同其中的雜訊),而且單一對應無法同時照顧暗角與明亮的燈。自適應 HE(adaptive HE)為每個區塊計算對應;CLAHE(contrast-limited AHE)在計算 CDF 前先把每個區塊的直方圖在某個上限截斷,藉此限制 TT 的斜率,也就限制了雜訊增益,最後在相鄰區塊間內插以避免接縫 [7], [8]。

選讀:CLAHE:區域等化但不放大雜訊(見「補充資料」頁)。以公式寫出截斷與區塊混合兩個步驟,並用小實驗看雜訊增益。

Gamma 校正

冪次律 s=rγs = r^{\gamma} 在 γ<1\gamma \lt 1 時對暗部的提升大於亮部;它的斜率 γrγ−1\gamma r^{\gamma - 1} 在 r=0r = 0 附近很大。它便宜又單調,但屬於全域操作:整張圖只有一個 γ\gamma、不會去噪,而且依套用的空間不同,同樣面臨上述「褪色或過飽和」的選擇。

程式碼 · Python · 10 行
from skimage import color, exposure

gamma_out = dark ** 0.4                                     # power-law curve on every channel
lab = color.rgb2lab(dark)
L = lab[..., 0] / 100                                       # L* scaled to [0, 1]
he = lab.copy();    he[..., 0] = 100 * exposure.equalize_hist(L)
clahe = lab.copy(); clahe[..., 0] = 100 * exposure.equalize_adapthist(L, clip_limit=0.01)
he_out, clahe_out = color.lab2rgb(he), color.lab2rgb(clahe)
for name, im in [("gamma", gamma_out), ("HE", he_out), ("CLAHE", clahe_out)]:
    print(f"{name:6s} mean {im.mean():.3f}   std {im.std():.3f}")
有雜訊的暗咖啡杯影像的六個版本:輸入;gamma 0.4,變亮但有雜訊且偏橘;在 Y 上做全域直方圖等化,對比高但有顆粒且褪色;在 L star 上做 CLAHE,局部對比強、顆粒明顯;單尺度 Retinex,明亮偏白,暗角有大量彩色雜訊;多尺度 Retinex,結果類似但色調平衡略好。
圖 3 — 傳統增強方法作用在圖 1 的有雜訊輸入上。全部都變亮了,但沒有一個去除雜訊;在輸入最暗的地方,Retinex 的輸出出現強烈的彩色雜訊。

Retinex 理論

白話版。 Retinex 認為,眼睛(或相機)接收到的影像是「物體本身的顏色」乘上「照在它上面的光」。如果能估計出光,就能把它除掉,看到物體真正的樣子,再換上一個更好的光。

精確版。 Land 的 Retinex 理論 [9] 把觀察到的影像 SS 表示為

S(x)=R(x)∘L(x),S(\mathbf{x}) = R(\mathbf{x}) \circ L(\mathbf{x}),

x\mathbf x 是位置,R∈[0,1]R\in[0,1] 是簡化模型中跨配對光照一致的反射率,LL 是除陰影邊界外通常平滑的照明,∘\circ 是逐元素乘。照明不是色彩空間的輝度;模型分量也不保證唯一物理可識別。

從一個乘積解出兩個未知數是病態問題(ill-posed),因此每個 Retinex 方法都會加上先驗。最經典的是「照度是平滑的」。

單尺度 Retinex(SSR) [10] 用高斯模糊 GσG_\sigma 估計 LL,並在對數域運算,讓乘法變成加法:

log⁡Rc(x)=log⁡Sc(x)−log⁡(Gσ∗Sc)(x),\log R_c(\mathbf{x}) = \log S_c(\mathbf{x}) - \log\big(G_\sigma * S_c\big)(\mathbf{x}),

對每個色彩通道 cc 計算,∗* 為卷積,σ\sigma 為周圍(surround)尺度。σ\sigma 小,局部對比強但邊緣出現光暈(halo);σ\sigma 大,色調較好但細節較弱。多尺度 Retinex(MSR) [11] 以權重 wnw_n 平均多個尺度(通常三個)的 SSR 輸出:

log⁡RcMSR=∑n=1Nwn[log⁡Sc−log⁡(Gσn∗Sc)].\log R_c^{\text{MSR}} = \sum_{n=1}^{N} w_n \left[\log S_c - \log(G_{\sigma_n} * S_c)\right].

由於 SSR 與 MSR 逐通道運算,顏色容易變灰。MSRCR(帶色彩還原的 MSR)[11] 將結果乘上一個色彩還原因子,依據是各通道佔 R+G+BR + G + B 的比例;其他變體則只對強度通道做 MSR,並保留輸入的色度。

程式碼 · Python · 10 行
from scipy import ndimage as ndi

def ssr(img, sigma=40.0, eps=1e-3):
    log_s = np.log(img + eps)
    log_l = np.log(ndi.gaussian_filter(img, sigma=(sigma, sigma, 0)) + eps)  # L ~ Gaussian blur
    r = log_s - log_l                                       # log R = log S - log L
    lo, hi = np.percentile(r, [1, 99])                      # robust stretch for display
    return np.clip((r - lo) / (hi - lo), 0, 1)

msr = np.mean([ssr(dark, s) for s in (15, 80, 250)], axis=0)   # MSR, equal weights (simplified)

做增強時,我們通常不只要 RR,因為單獨的 RR 看起來平板又不自然。我們要的是把 LL 調亮再組合回去:S^=R∘L^\hat{S} = R \circ \hat{L},例如 L^=Lγ\hat{L} = L^{\gamma}、γ<1\gamma \lt 1。這個「分解、調整 LL、重組」的模式,就是大多數 Retinex 深度網路的範本。

五張圖:暗的輸入;逐像素最大通道,一張清晰的灰階圖;將它平滑後作為照度 L;反射率 S 除以 L,明亮、飽和且局部對比強的影像;以及 R 乘上 L 的 0.35 次方,一張自然且較亮的影像。
圖 4 — LIME 風格的 Retinex 分解。照度以 max(R, G, B) 初始化後再平滑;反射率為 S / L。把 L 以 gamma 0.35 調亮再乘回去,得到自然的結果;單獨的 R 則顯得平板而過度飽和。

LIME:把 Retinex 寫成最佳化問題

LIME [4] 以亮通道 T^(x)=max⁡cSc(x)\hat T(\mathbf x)=\max_c S_c(\mathbf x) 初始化,再結構感知平滑,保持主要邊緣。增強為 S/TγS/T^\gamma;若 R=S/TR=S/T,等價 RT1−γRT^{1-\gamma},和前面重組指數慣例須區分。除法放大雜訊,因此可另去雜訊。它展示物理模型、手工先驗及最佳化的經典流程。

另一個模型:對反轉影像去霧

Retinex 並不是唯一的成像模型。去霧使用的是大氣散射模型(atmospheric scattering model),其寫法見 DLCV 09:有霧的觀測影像 II 是無霧的場景輻射 JJ 經透射率 tt 衰減後,再加上全域大氣光 AA。這個模型不能直接套用在暗影像上,因為暗影像看起來並不像有霧的影像。

Dong 等人觀察到,反轉後的低光影像 1−S1 - S 確實像有霧:暗區變成明亮、低對比的區域,就像霧一樣。因此他們先反轉影像,套用去霧演算法(精神上與暗通道先驗 [3] 相同),再把結果反轉回來 [12]。令 IhazeI_{\text{haze}} 為有霧影像、JhazeJ_{\text{haze}} 為無霧結果,兩次反轉為

Ihaze=1−SRetinex,Jhaze=1−S^enhanced.I_{\text{haze}} = 1 - S_{\text{Retinex}}, \qquad J_{\text{haze}} = 1 - \hat{S}_{\text{enhanced}} .

從「哪些資訊可靠」的角度看:去霧假設暗通道代表無霧的內容;但在低光影像裡,暗通道大多是被破壞的像素,所以重點轉向亮通道,也就是受黑暗影響最少的區域。LIME 論文 [4] 分析了這種反轉做法,並說明它可以改寫成 Retinex 的形式,所以兩個模型本質上是同一個假設,只是 Retinex 的表述較簡單。

統計方法

許多傳統方法在這些模型之上再加入統計量或先驗:保持場景明暗順序的自然度約束(NPE [13])、分層或二維直方圖模型(DICM 資料集背後的方法 [14]),以及融合多張合成曝光。它們都是手工設計、不需要訓練資料,泛化行為可預期;弱點則是雜訊,通常被忽略或交給另一個去噪器處理。

深度學習 LLIE

兩個軸:學習訊號與設計家族

架構與監督是不同選擇。依 Li 等人 [15]:SL 用配對,RL 用調整動作獎勵,UL 用未配對暗/正常圖,ZSL 在該綜述指只用低光、甚至逐測試圖最佳化,SSL 指半監督、結合配對與未配對。此處 SSL 不是自監督;其他論文用詞不同,要看實際資料需求。

設計軸問預測什麼:曲線、照明、影像殘差、生成去雜訊軌跡或精簡修圖轉換。Retinex 可搭多種訓練,擴散是模型家族,不是監督類別。

方法設計與學習訊號品質機制原文成本與範圍
Retinex-Net [16]配對分解/照明,無固有影像標籤反射一致、結構平滑多階段加可選去雜訊,要計完整流程
EnlightenGAN [17]未配對影像生成全域/局部對抗、自我特徵判別器只在訓練
Zero-DCE [18]無參考、空間曲線曝光、色彩、對比、參數平滑79,416 參數,1200 × 900 84.99 G,見 [19] 表 4
Zero-DCE++ [19]低解析共用曲線類似先驗、較小表達10,561 參數,同尺寸 0.115 G
RUAS [20]搜尋展開照明/去雜訊、無參考分開亮度與雜訊表 2 四捨五入 0.001 M/0.003 M
SCI [21]無監督校準串接訓練校準、推論單塊表 4 四捨五入 0.0003 M,校準器不部署
Retinexformer [22]配對照明 Transformer照明引導復原1.61 M、256 × 256 時 15.57 G
LLFlow/擴散 [23]、[24]、[25]、[26]、[27]條件生成,監督各異條件分布/先驗須計所有網路評估與編解碼
HDRNet [28]配對修圖、局部仿射網格局部/全域預測轉換縮圖網路加全解析度 guide/slicing/套用
自適應 3D LUT [29]配對/未配對修圖每圖全域色彩表Titan RTX、3840 × 2160 1.66 ms,表 7

各列解析度、計數與硬體不同,用來解釋設計,不能直接當速度榜。LUT 修圖時間也不代表暗手機圖的去雜訊效果。初學先跑 gamma、光子實驗及曲線玩具,再讀架構。

兩組獨立列表:SL、RL、UL、ZSL、SSL 學習訊號,以及曲線、照明、復原影像、條件分布、修圖轉換等設計輸出。
圖 5 — 分開監督與架構。同一設計可用不同資料訊號;擴散是家族,Retinex 是建模選擇。

監督式方法(成對資料)

以低光與正常光影像對 (xi,yi)(x_i, y_i) 訓練,沿用 DLCV 09 的一般做法:用重建損失擬合 fθf_\theta,通常是 L=∥fθ(x)−y∥1\mathcal{L} = \lVert f_\theta(x) - y\rVert_1 再加上感知或結構項(這些損失請見 DLCV 09)。成對資料取得成本高(同一靜態場景拍兩種曝光,或用合成的),而且網路會學到參考影像特定的亮度與色彩風格,這一點在後面談評估時很重要。

代表性的例子:LLNet [30](2017)是最早的深度 LLIE 模型之一,以去噪自編碼器同時學習調亮與去噪;Tao 等人 [31](2017)先用 CNN 去噪,再以亮通道模型增強對比;MIRNet [32](2020)是一個多解析度的通用復原骨幹;SNR-aware [33](2022)估計逐像素的訊噪比圖,在局部鄰域雜訊太大、不可信的地方改用長距離注意力;HVI-CIDNet [6](2025)則學習一個把色彩與強度解耦的色彩空間,處理圖 2 的問題。

選讀:更多深度 LLIE 方法(見「補充資料」頁)。這五個網路各自如何建構。

高效率端到端設計

直接網路可同時學復原和色調,成本隨空間特徵增長。IAT [34] 結合局部乘加圖與全域色彩矩陣/gamma;薄卷積、depthwise 及小全域分支省計算,仍受未見雜訊限制。

結構重參數化 [35] 訓練多線性分支、部署合併成單卷積;權重共享則省儲存參數。兩者不保證每台裝置都快,應測完整匯出圖。

選讀:高效率網路元件、結構重參數化逐步推導(見「補充資料」)。元件與實際合併等價檢查。

以 Retinex 為基礎的網路

Retinex-Net [16] 讓低光與正常圖各有 R,LR,L,先分解、調整 L→L^L\to\hat L、再重組,也提出 LOL。配對訓練限制重建、反射一致與結構平滑;沒有量測的固有分量標籤,因此不是唯一物理解。另有照明網路調色調、反射去雜訊處理放大雜訊。

選讀:Retinex-Net(見「論文導讀」)。交叉重建目標、完整架構及視覺消融。

這個模式很快就流行起來。KinD [36](2019)與 KinD++ [37](2021)加入反射率還原步驟,因為暗影像的反射率帶有雜訊與色偏;Retinexformer [22](2023)在 Retinex 模型中加入代表雜訊與假影的擾動項,採單階段訓練,並用照度估計引導自注意力,後來成為常見的比較基準;RetinexMamba [38](2024 年預印本)把注意力換成 Mamba 狀態空間模組。「Retinex 分解+新骨幹」多年來一直是很穩定的設計模式。另一條較少見的路線則以大氣散射模型為基礎,建構輕量網路(CPGA-Net [39]、CPGA-Net+ [40])。

選讀:更多深度 LLIE 方法(見「補充資料」頁)。Retinexformer 的擾動 Retinex 模型,以及先驗引導的 CPGA-Net 路線的細節。

在同一家族內比較品質與成本

先在縮圖預測平滑轉換、再套原像素,可保留原解析細節,但不會恢復裁切或雜訊消失的資訊。固定逐點轉換不足以完整去雜訊/模糊;若參數由鄰域網路預測,整個曲線系統仍可使用空間上下文。

小照明值除法同時放大細節與雜訊;反射復原另需成本。以下比較放大照明圖和放大已增強影像,參考是同一玩具算子全解析執行,不是實拍真值。

以 LIME [4] 初始亮通道加普通 Gaussian 平滑估照明,不做完整結構最佳化。分別在全解析及每軸小八倍的 1/64 像素上估計,再比較兩種放大。

程式碼 · Python · 26 行
import numpy as np
from scipy.ndimage import gaussian_filter
from skimage import data, img_as_float
from skimage.metrics import peak_signal_noise_ratio as psnr
from skimage.transform import resize

dark = (0.15 * img_as_float(data.coffee()) ** 2.2) ** (1 / 2.2)   # 400 x 600, 15% of the light

def illumination(x, sigma):
    """A simple illumination estimate: the bright channel (max of R, G, B), smoothed."""
    return np.clip(gaussian_filter(x.max(axis=-1), sigma), 0.02, 1)

def relight(x, L, gamma=0.4):
    """Retinex relighting: O = R * L**gamma = I * L**(gamma - 1)."""
    return np.clip(x * L[..., None] ** (gamma - 1), 0, 1)

reference = relight(dark, illumination(dark, sigma=15))           # estimate L at full resolution
small = resize(dark, (50, 75), anti_aliasing=True)                # 8x smaller in each direction
L_small = illumination(small, sigma=15 / 8)                       # estimate L on 1/64 of the pixels
results = {
    "L at 1/8 size, resized up": relight(dark, resize(L_small, dark.shape[:2], order=1)),
    "relight at 1/8 size, resize output": resize(relight(small, L_small), dark.shape, order=1),
}
print(f"mean brightness {dark.mean():.2f} -> {reference.mean():.2f}")
for name, out in results.items():
    print(f"{name:36s} PSNR vs full-resolution estimate {psnr(reference, out, data_range=1):5.2f} dB")

輸出

mean brightness 0.16 -> 0.35
L at 1/8 size, resized up            PSNR vs full-resolution estimate 54.57 dB
relight at 1/8 size, resize output   PSNR vs full-resolution estimate 22.87 dB

放大平滑照明圖與全解析估計相近,玩具超過 54 dB;放大結果圖少約 31.7 dB,因細節已丟失。有銳利陰影的照明圖更難,可能需保邊上取樣。

Retinex 啟發的展開式網路

展開(unrolling,或 unfolding)是把 Retinex 問題的迭代最佳化演算法,每一次迭代變成一個帶有可學習參數的網路階段。網路架構繼承了演算法的結構與可解釋性,而訓練取代了手工調整的先驗。

  • RUAS [20](2021)展開照度估計與去噪的最佳化模型,搜尋先驗模組的架構,並以協同式的無參考(reference-free)策略訓練,所以它同時也屬於非監督那一欄。它非常小也非常快。
  • URetinex-Net [41](2022)把 Retinex 分解的最佳化展開成網路,包含初始化、RR 與 LL 的展開更新,以及照度調整等學習模組。

非配對訓練:EnlightenGAN

EnlightenGAN [17](2021)使用生成對抗網路(GAN),只需要一組暗影像和另一組不相關的明亮影像。生成器是 U-Net,並以輸入照度推得的自正則化注意力圖引導,產生增強影像。全域判別器評估整張影像,局部判別器評估隨機小區塊,讓輸出在整體與細節上都像光線充足的照片。由於沒有真值,自特徵保持(self-feature-preserving)損失比較輸入與輸出的 VGG 特徵,讓內容維持不變。

零參考方法與曲線估計

白話版。 Zero-DCE 不直接輸出新影像,而是替每個像素輸出一條調亮曲線,套用它,再用不需要任何參考照片的損失來評分:「曝光好不好?顏色平不平衡?曲線平不平滑?局部對比有沒有保留?」

LE 曲線。 Zero-DCE [18](2020)定義了一條二次的光增強曲線(light-enhancement curve)

LE(x;α)=x+α x (1−x),α∈[−1,1],\mathrm{LE}(x;\alpha) = x + \alpha\, x\,(1 - x), \qquad \alpha \in [-1, 1],

x∈[0,1]x\in[0,1] 是像素。LE(0)=0\mathrm{LE}(0)=0、LE(1)=1\mathrm{LE}(1)=1 保範圍;∣α∣≤1|\alpha|\le1 下導數 1+α(1−2x)≥01+\alpha(1-2x)\ge0,固定曲線保序,但不同位置不同參數不保證像素間保序。它可微、可反傳,反覆套用增加表達:

LEn(x)=LEn−1(x)+An(x) LEn−1(x)(1−LEn−1(x)),\mathrm{LE}_n(\mathbf{x}) = \mathrm{LE}_{n-1}(\mathbf{x}) + \mathcal{A}_n(\mathbf{x})\, \mathrm{LE}_{n-1}(\mathbf{x})\big(1 - \mathrm{LE}_{n-1}(\mathbf{x})\big),

其中 LE0\mathrm{LE}_0 是輸入,n=1,…,8n = 1, \dots, 8,而 An\mathcal{A}_n 是逐像素、逐通道的參數圖,而非單一的 α\alpha。一個七層的 CNN(DCE-Net,每層 32 個通道、約 79k 個參數、沒有降取樣)以 tanh 輸出 8×3=248 \times 3 = 24 張參數圖。每個像素因此都有自己的高階曲線,局部調整就是這樣從看似全域的公式中產生的。

左:一族二次曲線,從 alpha 等於負一(彎在對角線下方)到 alpha 等於正一(彎在對角線上方),全部通過 (0,0) 與 (1,1)。右:alpha 為 1 與 0.4 時迭代 1、2、4、8 次的曲線;alpha 為 1 且迭代 8 次時,曲線在 0 附近幾乎垂直跳到 1。
圖 6 — LE 曲線。左:α 從 −1 到 1 的單次迭代。右:迭代讓曲線變陡;α = 1、n = 8 時,0.02 這個值已經被對應到將近 1,所以暗部裡微小的雜訊值會被極度放大。
程式碼 · Python · 10 行
def le_iterate(x, alphas):
    """Zero-DCE curve: LE_n = LE_{n-1} + a_n * LE_{n-1} * (1 - LE_{n-1})."""
    y = x.copy()
    for a in alphas:              # a can be a scalar or a per-pixel map
        y = y + a * y * (1 - y)
    return y

x = np.array([0.0, 0.02, 0.1, 0.3, 0.6, 1.0])
print(le_iterate(x, [1.0] * 8).round(3))   # [0. 0.994 1. 1. 1. 1.]
print(le_iterate(x, [0.4] * 8).round(3))   # [0. 0.245 0.695 0.93 0.985 1.]

第一行輸出顯示了危險之處:對很小的 xx,每一步大約乘上 1+α1 + \alpha,所以 α=1\alpha = 1 迭代八次的增益接近 28=2562^8 = 256。暗部裡的雜訊也會被放大同樣的倍數。

無參考損失。 四項先驗維持局部對比、推動區塊平均曝光、減少全域 RGB 不平衡及平滑參數。它們都不是真實正常曝光標籤,灰世界可能破壞彩色場景,平滑曲線也會放大雜訊。原文曝光目標 0.6、8 次迭代 [18]。

選讀:Zero-DCE/Zero-DCE++(見「論文導讀」)。架構、精確損失、量化消融與空間保序限制。

後續方法改良了這個想法:

  • Zero-DCE++ [19](2022)改用深度可分離卷積(depthwise separable convolution),只預測 3 張曲線參數圖並在所有迭代中重複使用,而且在降取樣後的輸入上估計,再縮放回原尺寸。模型因此縮小到約 10k 個參數,即使在 CPU 上也跑得相當快。
  • SCI [21](2022)以權重共享的多階段串接學習照度,並用自校正(self-calibrated)模組讓各階段的輸出在訓練時收斂到相同狀態,因此測試時只需要一個基本模組。它以非監督損失訓練。
  • CLIP-LIT [42](2023)針對逆光影像。它使用視覺-語言模型 CLIP,學習一對文字提示(prompt),一個代表逆光、一個代表光線良好,再迭代地精修提示與增強網路,讓輸出與「光線良好」提示的 CLIP 相似度成為訓練訊號。

用 PyTorch 寫一個零參考小玩具

為了看看這些損失函數如何運作,下面的程式碼在 CPU 上訓練一個迷你的 Zero-DCE 風格網路約半分鐘。它用四張 skimage 影像的隨機裁切訓練,每塊都在線性光中以隨機倍率變暗;測試則用訓練時從沒看過的咖啡杯影像。全程不使用任何真值。(損失權重與論文不同,因為各項的正規化方式不同:曝光誤差用平方而非絕對值,梯度用平均而非加總。)

程式碼 · Python · 58 行
import numpy as np
import torch
torch.set_num_threads(1)
import torch.nn as nn
import torch.nn.functional as F
from skimage import data, img_as_float
from skimage.transform import resize

torch.manual_seed(0); rng = np.random.default_rng(0)
darken = lambda x, k: (k * x ** 2.2) ** (1 / 2.2)          # less light, in linear units
train = [resize(img_as_float(f()), (256, 256), anti_aliasing=True)
         for f in (data.astronaut, data.chelsea, data.rocket, data.immunohistochemistry)]

def batch(n=4, size=64):                                  # random crops, random darkness
    xs = []
    for _ in range(n):
        img = train[rng.integers(len(train))]
        i, j = rng.integers(0, 256 - size, 2)
        xs.append(darken(img[i:i + size, j:j + size], rng.uniform(0.02, 0.3)))
    return torch.tensor(np.stack(xs), dtype=torch.float32).permute(0, 3, 1, 2)

class TinyDCE(nn.Module):
    def __init__(self, n_iter=8, w=16):
        super().__init__()
        self.n_iter = n_iter
        self.body = nn.Sequential(
            nn.Conv2d(3, w, 3, padding=1), nn.ReLU(), nn.Conv2d(w, w, 3, padding=1), nn.ReLU(),
            nn.Conv2d(w, w, 3, padding=1), nn.ReLU(), nn.Conv2d(w, 3 * n_iter, 3, padding=1), nn.Tanh())
    def forward(self, x):
        alphas = self.body(x).chunk(self.n_iter, dim=1)    # 8 maps of shape B x 3 x H x W
        y = x
        for a in alphas:
            y = y + a * y * (1 - y)                         # the LE curve
        return y, torch.cat(alphas, 1)

def L_exp(y, E=0.6, p=16):   # mean brightness of 16x16 patches should be near E
    return (F.avg_pool2d(y.mean(1, keepdim=True), p) - E).pow(2).mean()
def L_col(y):                # gray-world: channel means should agree
    r, g, b = y.mean((2, 3)).unbind(1)
    return ((r - g) ** 2 + (r - b) ** 2 + (g - b) ** 2).mean()
def L_tv(a):                 # curve parameters should vary smoothly in space
    return (a[..., 1:, :] - a[..., :-1, :]).pow(2).mean() + (a[..., :, 1:] - a[..., :, :-1]).pow(2).mean()
def L_spa(y, x, p=4):        # keep the contrast between neighbouring 4x4 regions
    Y, X = (F.avg_pool2d(t.mean(1, keepdim=True), p) for t in (y, x))
    return sum(((torch.diff(Y, dim=d) - torch.diff(X, dim=d)) ** 2).mean() for d in (2, 3))

net = TinyDCE()
opt = torch.optim.Adam(net.parameters(), lr=1e-3)
for step in range(600):                                   # small CPU training experiment
    x = batch()
    y, a = net(x)
    loss = L_spa(y, x) + 10 * L_exp(y) + 5 * L_col(y) + 200 * L_tv(a)
    opt.zero_grad(); loss.backward(); opt.step()

test = darken(img_as_float(data.coffee()), 0.05)          # an image never used in training
with torch.no_grad():
    out, _ = net(torch.tensor(test, dtype=torch.float32).permute(2, 0, 1)[None])
print(f"mean brightness: {test.mean():.3f} -> {out.mean():.3f}")   # about 0.10 -> 0.50

拖動滑桿,比較暗的輸入與小玩具的輸出:

暗的咖啡杯影像與小網路的輸出:輸出亮得多,木紋清晰可見,顏色比原照片淺、略偏綠且飽和度較低。
暗的輸入零參考小玩具
上排:無雜訊的暗輸入;小網路的輸出,明亮但褪色,咖啡偏綠;乾淨的參考影像,呈深紅與橘色。下排:有雜訊的暗輸入;同一個網路的輸出,暗部有強烈的彩色斑點;以及損失曲線,600 步內從約 1 降到約 0.1。
圖 7 — 零參考損失做得到與做不到的事。曝光損失給出好的亮度,但灰色世界的色彩損失把紅褐色場景往灰色拉(上排中間對比上排右邊);遇到真實雜訊時,逐像素曲線會把雜訊放大(下排中間)。

這個小玩具在一張圖裡同時展示了零參考想法的優點與極限。沒有任何一張參考影像,網路就學到了合理的調亮方式,而且能遷移到沒看過的照片。但每一個損失都是一種先驗,而先驗可能是錯的:場景本來就偏紅或偏褐時,灰色世界假設就失效;固定的曝光目標 EE 會把刻意保留的暗區拉平;而損失中沒有任何一項要求去噪。真正的零參考方法用多得多的影像訓練,有些還加入了明確的雜訊處理,但這些失敗模式在已發表的結果中同樣看得到。

正規化流與擴散模型

LLFlow [23](2022)觀察到:同一張暗影像有許多種可接受的明亮版本,而逐像素損失會把它們平均成一個模糊的折衷。它學習一個條件式正規化流(normalizing flow):一個可逆網路,在以暗輸入特徵為條件下,把正常光影像對應到高斯分布。這些特徵由呼應傳統方法的先驗引導:輸入的直方圖等化版本、色彩圖(接近 Retinex 的反射率),以及雜訊圖。

2023 年起,擴散模型(diffusion model)大量進入 LLIE。它們以暗影像為條件,從隨機雜訊逐步去噪來生成輸出,因此能合成回歸式網路會模糊掉的合理細節。Diff-Retinex [24] 用擴散模型生成 Retinex 的反射率與照度,LightenDiffusion [26] 在潛在空間中分解並以非配對資料訓練,Reti-Diff [27] 只用潛在擴散產生精簡的先驗來引導一個復原 Transformer,GSAD [25] 則以影像結構正則化擴散軌跡。代價是運算量與保真度:多步去噪讓推論變慢,生成的細節可能看起來對,卻不一定真實。

選讀:更多深度 LLIE 方法(見「補充資料」頁)。每個擴散模型各自增加了什麼,以及這個子領域的一種綜述分類。

即時攝影修圖轉換

HDRNet [28] 與自適應 LUT [29] 起源於修圖,從縮圖預測精簡轉換再套原像素。能高解析調色調,不等於完整低光雜訊復原。

雙邊網格儲存空間仿射,guide 為第三座標,讓邊緣兩側選不同轉換。內插八節點,對 RGB 加常數套 3 × 4。HDRNet 學預測;選讀實驗用加權最小平方擬合,不是原網路重現。

3D LUT 以 RGB 索引而非位置,在 M×M×MM\times M\times M 晶格各存三輸出,三線性混合八角。自適應模型預測係數 ana_n,合成基底 Φn\Phi_n:

Φ=∑n=1NanΦn.\Phi=\sum_{n=1}^{N}a_n\Phi_n.

NN 是基底數,Φ\Phi 為此圖色表。內插對表值線性,因此先合表後查一次,等於逐表查再合。全域 LUT 在同圖把相同 RGB 映成相同輸出,不能獨立照亮其中一區。

預設三個 33 節點基底 [29],值數 3M33M^3。細晶格以記憶體換暗部陡曲線精度;非均勻及空間/上下文變體改變取捨 [43]、[44]、[45]、[46]、[47]。

選讀:雙邊網格與色表數學、雙邊網格實驗、實作並檢查三線性 LUT(見「補充資料」)。定義、玩具程式與內插檢查。

Raw 域的低光

以上方法都作用在處理過的 sRGB 影像上,而相機的處理流程(去馬賽克、白平衡、去噪、色調曲線、壓縮)早已丟掉部分資訊。Learning to See in the Dark [48](2018)改把 raw 感測器資料送進 U-Net,用它取代整條處理流程。它的 SID 資料集有 5,094 張短曝光 raw 影像,對應 424 張不同的長曝光參考影像,來自 Sony α7S II(Bayer 感測器)與 Fujifilm X-T2(X-Trans 感測器),曝光比為 ×100、×250 與 ×300。Raw 資料保留光子數與數值之間的線性關係,位元數也更多,因此在 sRGB 中毫無希望的極暗場景也能被救回來。代價是模型綁定在單一感測器上。

All-in-one 復原

低光增強也是 all-in-one 復原模型中的一項任務,例如 InstructIR [49](2024),它依自然語言指令(例如「把這張照片調亮」)復原影像。all-in-one 這一整類方法請見 DLCV 09。

面向下游任務的低光處理

如果目標是偵測而非好看的照片,常見的基準做法是「先增強、再偵測」(請見 DLCV 03・物件偵測)。但為人眼調校的增強,不一定是偵測器需要的。MAET [50](2021)以物理方式模擬低光退化,並訓練偵測器同時預測退化參數,讓特徵能感知退化。FeatEnHancer [51](2023)則在網路內部增強階層式特徵,直接用下游任務的損失訓練,而不是增強像素。

2017 到 2025 年的時間軸,每年上方列出方法名稱,依家族上色:2017 LLNet 與 LIME;2018 Retinex-Net 與 LOL、SID;2019 KinD;2020 Zero-DCE 與 MIRNet;2021 EnlightenGAN、RUAS、KinD++、MAET;2022 URetinex-Net、SNR-aware、SCI、LLFlow、Zero-DCE++;2023 Retinexformer、Diff-Retinex、GSAD、CLIP-LIT、FeatEnHancer;2024 RetinexMamba、LightenDiffusion、InstructIR、NTIRE 2024;2025 HVI-CIDNet、Reti-Diff、GT-Mean loss、NTIRE 2025。
圖 8 — 本篇提到的方法時間軸(依發表年份)。顏色標示以 Retinex 為基礎或展開式的設計、非配對或零參考訓練、flow 與擴散模型,以及挑戰賽。

誠實地量測效率

白話版。 效率的主張很容易提出,卻很難比較。公平的比較輕量設計,會說明確切計算了什麼、在哪個解析度、用哪種硬體,並且涵蓋從輸入影格到輸出影格的每一個步驟。

Dehghani 等人指出,參數量、FLOPs、吞吐量與延遲可能彼此矛盾,只回報其中一項會給出誤導的印象 [52]。針對增強:

  • 在部署的解析度下計數,並且回報每百萬像素的 MAC,讓讀者可以換算。對全解析度網路來說,256 × 256 的 FLOP 數完全說不出 4K 的情況;對以縮圖為基礎的設計則相反。
  • 要包含全解析度的步驟。 切片、LUT 內插、曲線迭代、導引濾波器上取樣與縮放,常是自訂運算子,自動的 FLOP 計數器會略過它們。它們正是「預測再套用」設計中隨解析度成長的部分。
  • 說明「參數」包含什麼。 一張 33 節點的 3D LUT 約有 10.8 萬個值,比整個 Zero-DCE++ 約 1 萬個參數 [19] 或 IAT 約 9 萬個 [34] 都多。
  • 在目標裝置上為整條路徑計時:固定並回報裝置、執行環境、數值精度、批次大小 1、解析度與執行緒數,先暖機、回報百分位數、停表前先同步 GPU,並把色彩轉換與記憶體傳輸都算進去(協定見 ML 11)。在真實手機上計時的挑戰賽讓這件事更具體:例如 Mobile AI 2022 的學習式 ISP 挑戰賽,在 Snapdragon 8 Gen 1 GPU 上用 TensorFlow Lite 量測執行時間 [53]。論文中的 GPU 數字(例如上面的 Titan RTX 或 V100 計時)只告訴你在那張 GPU 上的相對速度,而不是你的手機上的速度。
  • 在全解析度下評斷品質,使用 DLCV 09 的指標與 DLCV 09C 中低光特有的評估方式,因為粗網格或粗表造成的光暈與色帶,在輸出為了評分而縮小之後可能消失。

選讀:解析度、運算與記憶體計數(見「補充資料」)。三個玩具架構的數值比較。剪枝、量化與蒸餾另見 DLCV 01C。

失效模式

症狀原因檢查
亮顆粒/假紋理暗部增益放大感光雜訊平坦區與雜訊感知復原
色階斷層少量暗階被大幅拉開位元深度及近黑漸層
暈邊粗照明/網格跨強邊界全解析邊緣、網格與 guide
不自然顏色灰世界、裁切、稀疏 LUT 訓練膚色、霓虹和彩色光
影片閃爍逐幀參數變動時間參數及移動場景
高分卻難辨識指標與任務不同明示任務規則及視覺檢查

全域 LUT 不能依位置區分相同 RGB,固定逐點轉換也不會平均空間獨立雜訊。但參數預測網路可用鄰居,因此要檢查完整系統,而不是假設所有曲線模型限制完全一樣。

選讀:色階、暈邊與時間穩定性(見「補充資料」)。位元深度實驗與失敗分析。

評估

白話版。 通用的評估工具箱(全參考與無參考指標、學習式與視覺語言評估器、使用者研究,以及隨之而來的陷阱與回報規範)只在 DLCV 09 完整說明一次,本節不再重複,而是談暗影像有什麼不同:為什麼無參考分數在這裡特別重要、常見指標在曝光與色彩上如何誤導、專為增強設計的量測、GT-mean 陷阱,以及以任務為導向的評估。

全參考指標

在成對資料集上,LLIE 論文報告的 PSNR、SSIM [54] 與 LPIPS [55],定義與 DLCV 09 完全相同。唯一與低光有關的提醒是亮度:與參考影像之間一點點整體曝光差異,就會讓 PSNR 掉很多,這正是下面 GT-mean 陷阱的主題。

無參考指標:為什麼低光評估離不開它

白話版。 無參考(no-reference, NR)指標只看一張影像,就猜它的品質好不好,沒有「標準答案」可以比對。低光論文需要這類指標,因為最貼近真實的測試照片根本沒有標準答案;就算有,那也只是眾多可接受亮度中的其中一種。

精確版。 有兩個事實把 LLIE 推向無參考評估:

  1. 真實測試集是非配對的。 LIME [4]、MEF [56]、NPE [13]、DICM [14] 與 VV [57] 都是小規模的真實照片集,常有不均勻的光照,沒有真值。LOL [16] 這類成對資料集雖然存在,但它們是在受控條件下拍攝的(靜態場景、兩種曝光),模型可能在上面表現很好卻無法泛化(即 [15] 所報告的泛化落差)。因此幾乎每篇 LLIE 論文都會展示非配對測試集上的結果,而能替這些結果打分數的,只有無參考指標與人的判斷。
  2. 「正確」的亮度本身就有歧義。 即使有參考影像,正常光照的照片也只是某位攝影師對曝光與色彩的一種選擇。稍微亮一點或暖一點的輸出可能一樣好看,PSNR 卻會掉好幾 dB(這正是下面 GT-mean 協定出現的原因)。無參考指標至少不會懲罰一個不同但合理的曝光。

代價是:無參考指標本身是一個人類偏好的模型,而每個模型都有盲點。無參考影像品質評估(image quality assessment, IQA)的一般理論,包括 NIQE、BRISQUE、MUSIQ 與 CLIP-IQA 的建構方式,以及 NR 指標如何以人類意見驗證,請見 DLCV 09。以下各小節不再重複,而是聚焦在每一類指標面對增強後的低光影像時的表現。

經典的自然場景統計指標:NIQE、BRISQUE 與 PI

NIQE [58]、BRISQUE [59] 與感知指標(Perceptual Index, PI)[60], [61] 都是自然場景統計(NSS)指標:它們量測影像的統計量(MSCN 係數)離乾淨照片的統計量有多遠,三者都是越低越好。MSCN 係數與 BRISQUE、NIQE 的建構方式在 DLCV 09 中說明,並附有可執行的程式碼,展示模糊、雜訊與過度銳化如何移動這些特徵;PI 的定義則在 DLCV 09 補充資料中。低光論文大量使用這些指標;例如 Zero-DCE [18] 就在非配對測試集上回報 PI,並搭配使用者研究。

它們獎勵什麼,以及在曝光問題上如何誤導。 這三個指標都是為結構性失真(模糊、雜訊、壓縮、振鈴)設計的,不是為曝光或色彩:

  • MSCN 正規化在定義上就把局部平均與對比除掉了,所以整體亮度的改變幾乎不會影響特徵。增強不足的影像與曝光良好的影像可能拿到相近的分數。
  • 灰階特徵忽略色偏與飽和度,而這正是圖 2 裡的錯誤。
  • 雜訊與過度銳化會增加高頻能量,對這些統計量來說,一張雜訊被放大、紋理「豐富」的輸出,可能比一張乾淨但略柔的輸出更「自然」。強烈局部對比的 HE 與 CLAHE 輸出就是典型例子。
  • 用來定義「高品質」的影像集與訓練用的失真裡,很少有暗景、夜景或逆光場景,所以「自然」其實等於「像白天」。

無參考評估需要互補檢查

LOE [13] 看亮度順序變動,不檢查夠不夠亮;色彩豐富度 [62] 可能因色雜訊上升;雜訊估計 [63] 須區分真紋理。學得品質模型也受訓練域限制,可能少見極暗圖。

結合不同指標家族、全解析裁切,明示前處理和實作。人類比較要隨機順序、說明環境與問題;喜好和任務用途不同。測試時雖有來源圖,來源亮度並非目標亮度。

選讀:理解無參考低光指標(見「補充資料」)。LOE、色彩、雜訊精確定義、反例與報告規則。

GT-mean 陷阱

白話版。 在成對基準上,整體亮度的一點點差異就會大幅改變 PSNR。有些論文在評分前,會把每張輸出重新縮放,讓它的平均亮度與真值一致。但實際使用時,你永遠拿不到這個資訊。

精確版。 「GT-mean」評估把輸出乘上 λ=E[y]/E[f(x)]\lambda = \mathbb{E}[y]/\mathbb{E}[f(x)],再對 λf(x)\lambda f(x) 計算指標,E[⋅]\mathbb{E}[\cdot] 為影像平均。由於 LLIE 的「正確」亮度本來就有歧義,這樣做可以大幅提高 PSNR。Retinexformer 的作者在程式碼中提供了這個模式,以便與 LLFlow、KinD 及近期擴散模型等方法比較,但明確表示不建議使用,因為它用真值來修正輸出 [22]。Liao 等人 [64](2025)研究輸出與參考之間的亮度不匹配,提出用於訓練的 GT-mean 損失函數,並同時回報標準與 GT-mean 指標。讀表格時:先確認使用哪一種設定,絕不混用兩者,並優先選擇在標準協定下表現好的方法。

以任務為導向的評估

由於 LLIE 常是前處理步驟,另一種檢驗方式是在增強後的影像上跑偵測或分割模型(例如在 ExDark [65] 上)並回報準確率。Liu 與 Fan 2025 年的綜述 [66] 發現兩者脫節:監督式方法常產生感知品質高的影像,對視覺任務的提升卻有限;零樣本(zero-shot)方法雖然畫質分數較低,在各種任務上的提升反而更一致。Liu 等人的基準 [67] 也評估了低光下的人臉偵測。完整的評估應該回報保真度、無參考品質、任務表現與執行時間。

基準資料集

白話版。 資料集的差別在於:有沒有成對、暗是真實的還是合成的、是 raw 還是 sRGB,以及有沒有偵測用的標註。

資料集類型內容與用途
LOL (v1) [16]成對、真實、sRGB改變曝光拍攝的 500 組低光/正常光影像(485 組訓練/15 組測試),400×600。最常用的 LLIE 基準;測試集很小。
LOL-v2 [68]成對,真實+合成子集較大的 Real 子集(實拍成對)與合成成對資料的 Synthetic 子集。兩個子集要分開回報。
LSRW [69]成對、真實5,650 組,來自 Nikon D7500(3,170 組)與 Huawei P40 Pro(2,480 組);5,600 組訓練、50 組測試。測試跨裝置泛化。
SDSD [70]成對影片以機電系統對齊、拍攝兩次的動態室內與室外場景;常拆成影格做影像測試。
SID [48]成對、raw5,094 張短曝光 raw 影像,搭配 424 張長曝光參考(Sony 與 Fuji)。極低光、raw 到 sRGB。
MIT-Adobe FiveK [71]成對、修圖5,000 張 raw 照片,每張由五位專家修圖。用於色調與色彩增強(照片修圖)。
SICE [72]多重曝光序列每個場景從曝光不足到過曝的多張拍攝與一張參考;用來訓練曝光校正(例如 Zero-DCE)。
VE-LOL [67]成對+偵測VE-LOL-L 用於增強,VE-LOL-H 附有人臉標註,用於高階任務評估。
ExDark [65]非配對、有標註7,363 張低光影像、12 個物件類別、10 種光照條件。以任務為導向的評估(偵測)。
LIME [4]、MEF [56]、NPE [13]、DICM [14]、VV [57]非配對測試集小型的真實低光或光照不均照片集,用於視覺比較與無參考指標。

挑戰賽:NTIRE 2024 與 2025

CVPR 的 NTIRE workshop(這個系列的整體介紹見 DLCV 09)連續兩年舉辦 LLIE 挑戰賽。NTIRE 2024 挑戰賽 [73] 涵蓋超高解析度(4K 以上)、不均勻照明、逆光、極暗與夜景等情境,共有 428 人註冊、22 隊有效提交。NTIRE 2025 挑戰賽 [74] 有 762 人註冊、28 隊有效提交。這些報告整理了勝出隊伍的設計,是「在固定且公平的協定下什麼方法有效」的一個好切面。

現代觀點

Li 等人 [15] 的共同規則整理訓練策略、泛化、成本及真實手機資料,提醒配對基準不必然轉移到手機。Zheng [75] 補混合曝光/影片,VE-LOL [67] 與任務研究 [66] 區分外觀和用途;擴散綜述 [76] 按條件、表示與程序分六家族。綜述是有日期的地圖,新方法仍看原文。

2026 高效率增強。 NTIRE [77] 以模型大小約束及多品質排名聚合,檔案小不等於手機延遲低。報告呈現精簡編解碼、色彩/照明先驗及重參數化;HDRNet/LUT 的修圖結果則需另驗證低光用途。

目前的最先進技術(2023–2026)。 主要有三個方向。第一,Retinex 引導的骨幹網路:保留「光與反射率」結構的 Transformer(Retinexformer [22])與狀態空間模型(RetinexMamba [38])。第二,生成模型:擴散模型(Diff-Retinex [24]、GSAD [25]、LightenDiffusion [26]、Reti-Diff [27])與 flow(LLFlow [23])。第三,更好的表示法與評估協定:學習出來的色彩空間(HVI-CIDNet [6])、考慮亮度不匹配的訓練與評估(GT-Mean loss [64])、語言引導與 all-in-one 復原(CLIP-LIT [42]、InstructIR [49]),以及任務感知的增強(MAET [50]、FeatEnHancer [51])。

尚未解決的問題。

  • 真實雜訊: 合成 sRGB 與感光處理後不一定相符,需改善模型 [2]、RAW [48] 或聯合復原。
  • 時間一致性: 逐幀閃爍,SDSD 配對 [70] 稀少,生成模型尤其難。
  • 評估: 目標亮度不唯一、GT-mean、NR 與任務落差都影響比較。
  • 裝置效率: Zero-DCE++ [19]、SCI [21]、小先驗網路 [39] 展示可行方向;擴散須計所有步驟。
  • 泛化: 跨相機、過曝/欠曝、背光與彩色光仍困難 [15]。

選讀:KinD(見「論文導讀」頁)。先理解反射率清理與可控制的照明調整。

選讀:IAT、Multinex(見「論文導讀」頁)。比較輕量參數預測與解析先驗的殘差融合。

選讀:CPGA-Net、CPGA-Net+(見「論文導讀」頁)。再檢查通道先驗、gamma 融合,以及 BDSF/較強版本的效果與效率取捨。

重點整理

  • 變亮只改變色調,復原還須處理雜訊、受損細節與色彩。
  • 亮度通道選擇會影響色彩與飽和度,應註明編碼及數值範圍。
  • Retinex 分解依賴照明/反射假設,不是唯一可觀測的物理分離。
  • 把監督方式與設計分開:配對、非配對或零參考訓練可搭配不同架構。
  • 空間變化的增強可能改變像素排序;曝光與平滑先驗在雜訊或鮮豔場景中可能失效。
  • 分開報告 GT-mean 與標準協定,並評估下游任務,不假設越亮越好。
  • 搭配互補品質指標與使用者研究,單一分數無法涵蓋曝光、色彩、雜訊與忠實度。

練習

  1. 單調曲線。 證明 LE(x;α)=x+αx(1−x)\mathrm{LE}(x;\alpha) = x + \alpha x(1-x) 在 [0,1][0, 1] 上單調不減,若且唯若 ∣α∣≤1|\alpha| \le 1。α=1.5\alpha = 1.5 時會出什麼問題?
提示

導數為 1+α(1−2x)1 + \alpha(1 - 2x),對 xx 是線性的,所以在 [0,1][0, 1] 上的最小值出現在端點:x=0x = 0 時為 1+α1 + \alpha,x=1x = 1 時為 1−α1 - \alpha。兩者都 ≥0\ge 0 恰好等價於 ∣α∣≤1|\alpha| \le 1。α=1.5\alpha = 1.5 時,x=1x = 1 處的斜率為 −0.5-0.5,接近白色的像素會隨輸入變亮而變暗,明暗順序反轉,在亮部造成假影。

  1. 迭代曲線的增益。 對很小的輸入 xx,證明以固定 α\alpha 迭代八次大約會把 xx 乘上 (1+α)8(1 + \alpha)^8。用這個結果解釋為什麼零參考曲線方法會放大暗部雜訊,並提出一個能減輕問題的損失函數或架構修改。
提示

xx 很小時 x(1−x)≈xx(1 - x) \approx x,所以每一步都是 x↦(1+α)xx \mapsto (1 + \alpha)x。α=1\alpha = 1 時就是 28=2562^8 = 256,標準差為 σ\sigma 的雜訊變成 256σ256\sigma。可能的修正:加入去噪分支或考慮雜訊的損失、在估計訊噪比低的地方限制 α\alpha(類似 SNR-aware 的精神),或懲罰輸出中、平滑後的輸入所沒有的高頻能量。

  1. 兩個亮度公式。 一個 8 位元像素為 (R′,G′,B′)=(200,100,50)(R', G', B') = (200, 100, 50)。計算它的 BT.601 全範圍亮度與有限範圍亮度,並說明兩者編碼的是同一個量。
提示

全範圍:0.299⋅200+0.587⋅100+0.114⋅50=124.20.299 \cdot 200 + 0.587 \cdot 100 + 0.114 \cdot 50 = 124.2。有限範圍:16+0.257⋅200+0.504⋅100+0.098⋅50≈122.716 + 0.257 \cdot 200 + 0.504 \cdot 100 + 0.098 \cdot 50 \approx 122.7。換算回去:(122.7−16)⋅255/219≈124.2(122.7 - 16) \cdot 255/219 \approx 124.2。唯一的差別是比例 219/255219/255 與偏移量 16。

  1. 沒有真值的 Retinex 損失。 在 Retinex-Net 中,為什麼需要 Lir=∥Rlow−Rnormal∥1\mathcal{L}_{ir} = \lVert R_{\text{low}} - R_{\text{normal}}\rVert_1?描述一個能讓 Lrecon\mathcal{L}_{\text{recon}} 的自我重建項與 Lis\mathcal{L}_{is} 都變成零、卻毫無用處的分解,並說明 Lir\mathcal{L}_{ir} 如何排除它。
提示

令 Ii≡1I_i \equiv 1(完全平滑)且 Ri=SiR_i = S_i。每張影像都能被完美重建,平滑損失也為零,但根本沒有做任何分解。由於 Slow≠SnormalS_{\text{low}} \neq S_{\text{normal}},這會讓 Rlow≠RnormalR_{\text{low}} \neq R_{\text{normal}},所以 Lir\mathcal{L}_{ir} 很大。要求兩者反射率相等,就迫使兩張影像之間的亮度差異被放進照度裡。

  1. 手算 GT-mean。 你的模型輸出平均為 0.40,真值平均為 0.50,除了這個整體倍率之外輸出完美無缺。GT-mean 的縮放因子是多少?如果影像是常數,縮放前後的 PSNR 各是多少?為什麼縮放後的數字無法公平地與正常評估的方法比較?
提示

λ=0.50/0.40=1.25\lambda = 0.50/0.40 = 1.25。縮放前:MSE =0.12=0.01= 0.1^2 = 0.01,PSNR =20= 20 dB。縮放後輸出等於參考,誤差為 0,PSNR 趨於無窮大。實際使用時方法永遠拿不到真值的平均,所以 GT-mean 數字獎勵的是正確的結構,卻忽略了任務中最難的部分:決定亮度。

  1. 更換色彩先驗。 在 PyTorch 小玩具中,把灰色世界損失換成保留輸入色度的損失,例如 ∥y/∑cyc−x/∑cxc∥1\lVert y / \sum_c y_c - x / \sum_c x_c \rVert_1。重新訓練,並把咖啡杯的結果與圖 7 比較。兩種先驗各在什麼情況下較好?
提示

分母要加上一個小 epsilon。保留輸入色度能讓紅褐色的杯子維持紅色,但也會保留光源的色偏(例如鈉燈)。灰色世界能去除色偏,卻會讓真正色彩鮮豔的場景褪色。實際的方法常結合較弱的色彩先驗,與從資料學到的色彩校正。

補充資料

14 則補充資料,各自成頁;主線不依賴它們。

打開補充資料 →

論文導讀

13 篇論文導讀,各自成頁。

打開論文導讀 →

參考文獻

  1. Shyandram, “簡介Deep Learning Low-Light Image Enhancement (LLIE)” (Introduction to deep-learning low-light image enhancement, in Chinese), Medium post, 2024; updated 2026. link
  2. A. Foi, M. Trimeche, V. Katkovnik and K. Egiazarian, “Practical Poissonian-Gaussian noise modeling and fitting for single-image raw-data,” IEEE Transactions on Image Processing, vol. 17, no. 10, pp. 1737–1754, 2008. doi
  3. K. He, J. Sun and X. Tang, “Single image haze removal using dark channel prior,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 12, pp. 2341–2353, 2011. doi
  4. X. Guo, Y. Li and H. Ling, “LIME: Low-light image enhancement via illumination map estimation,” IEEE Transactions on Image Processing, vol. 26, no. 2, pp. 982–993, 2017. doi
  5. ITU-R, “Recommendation BT.601-7: Studio encoding parameters of digital television for standard 4:3 and wide-screen 16:9 aspect ratios,” 2011. ITU
  6. Q. Yan, Y. Feng, C. Zhang, et al., “HVI: A new color space for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2025. arXiv
  7. S. M. Pizer, E. P. Amburn, J. D. Austin, et al., “Adaptive histogram equalization and its variations,” Computer Vision, Graphics, and Image Processing, vol. 39, no. 3, pp. 355–368, 1987. doi
  8. K. Zuiderveld, “Contrast limited adaptive histogram equalization,” in Graphics Gems IV, Academic Press, 1994, pp. 474–485. doi
  9. E. H. Land, “The retinex theory of color vision,” Scientific American, vol. 237, no. 6, pp. 108–128, 1977. doi
  10. D. J. Jobson, Z. Rahman and G. A. Woodell, “Properties and performance of a center/surround retinex,” IEEE Transactions on Image Processing, vol. 6, pp. 451–462, 1997. doi
  11. D. J. Jobson, Z. Rahman and G. A. Woodell, “A multiscale retinex for bridging the gap between color images and the human observation of scenes,” IEEE Transactions on Image Processing, vol. 6, no. 7, pp. 965–976, 1997. doi
  12. X. Dong, Y. Pang and J. Wen, “Fast efficient algorithm for enhancement of low lighting video,” ACM SIGGRAPH 2010 Posters, 2010. SIGGRAPH history doi
  13. S. Wang, J. Zheng, H.-M. Hu and B. Li, “Naturalness preserved enhancement algorithm for non-uniform illumination images,” IEEE Transactions on Image Processing, vol. 22, no. 9, pp. 3538–3548, 2013. doi
  14. C. Lee, C. Lee and C.-S. Kim, “Contrast enhancement based on layered difference representation of 2D histograms,” IEEE Transactions on Image Processing, vol. 22, no. 12, pp. 5372–5384, 2013. doi
  15. C. Li, C. Guo, L. Han, J. Jiang, M.-M. Cheng, J. Gu and C. C. Loy, “Low-light image and video enhancement using deep learning: A survey,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 12, pp. 9396–9416, 2022. arXiv
  16. C. Wei, W. Wang, W. Yang and J. Liu, “Deep retinex decomposition for low-light enhancement,” in Proc. British Machine Vision Conference (BMVC), 2018. arXiv project
  17. Y. Jiang, X. Gong, D. Liu, et al., “EnlightenGAN: Deep light enhancement without paired supervision,” IEEE Transactions on Image Processing, vol. 30, pp. 2340–2349, 2021. arXiv
  18. C. Guo, C. Li, J. Guo, et al., “Zero-reference deep curve estimation for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2020, pp. 1777–1786. arXiv
  19. C. Li, C. Guo and C. C. Loy, “Learning to enhance low-light image via zero-reference deep curve estimation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 8, 2022. arXiv
  20. R. Liu, L. Ma, J. Zhang, X. Fan and Z. Luo, “Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2021, pp. 10556–10565. arXiv
  21. L. Ma, T. Ma, R. Liu, X. Fan and Z. Luo, “Toward fast, flexible, and robust low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2022, pp. 5627–5636. arXiv
  22. Y. Cai, H. Bian, J. Lin, H. Wang, R. Timofte and Y. Zhang, “Retinexformer: One-stage Retinex-based transformer for low-light image enhancement,” in Proc. IEEE/CVF ICCV, 2023. arXiv code
  23. Y. Wang, R. Wan, W. Yang, H. Li, L.-P. Chau and A. C. Kot, “Low-light image enhancement with normalizing flow,” in Proc. AAAI Conference on Artificial Intelligence, vol. 36, no. 3, pp. 2604–2612, 2022. arXiv
  24. X. Yi, H. Xu, H. Zhang, L. Tang and J. Ma, “Diff-Retinex: Rethinking low-light image enhancement with a generative diffusion model,” in Proc. IEEE/CVF ICCV, 2023. arXiv
  25. J. Hou, Z. Zhu, J. Hou, H. Liu, H. Zeng and H. Yuan, “Global structure-aware diffusion process for low-light image enhancement,” in Advances in Neural Information Processing Systems (NeurIPS), 2023. arXiv
  26. H. Jiang, A. Luo, X. Liu, S. Han and S. Liu, “LightenDiffusion: Unsupervised low-light image enhancement with latent-Retinex diffusion models,” in Proc. European Conference on Computer Vision (ECCV), 2024. arXiv
  27. C. He, C. Fang, Y. Zhang, et al., “Reti-Diff: Illumination degradation image restoration with Retinex-based latent diffusion model,” in Proc. International Conference on Learning Representations (ICLR), 2025. proceedings
  28. M. Gharbi, J. Chen, J. T. Barron, S. W. Hasinoff and F. Durand, “Deep bilateral learning for real-time image enhancement,” ACM Transactions on Graphics (Proc. SIGGRAPH), vol. 36, no. 4, art. 118, 2017. doi arXiv
  29. H. Zeng, J. Cai, L. Li, Z. Cao and L. Zhang, “Learning image-adaptive 3D lookup tables for high performance photo enhancement in real-time,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 44, no. 4, 2022. doi arXiv
  30. K. G. Lore, A. Akintayo and S. Sarkar, “LLNet: A deep autoencoder approach to natural low-light image enhancement,” Pattern Recognition, vol. 61, pp. 650–662, 2017. doi
  31. L. Tao, C. Zhu, J. Song, T. Lu, H. Jia and X. Xie, “Low-light image enhancement using CNN and bright channel prior,” in Proc. IEEE International Conference on Image Processing (ICIP), 2017, pp. 3215–3219. doi
  32. S. W. Zamir, A. Arora, S. Khan, et al., “Learning enriched features for real image restoration and enhancement,” in Proc. European Conference on Computer Vision (ECCV), 2020, pp. 492–511. arXiv
  33. X. Xu, R. Wang, C.-W. Fu and J. Jia, “SNR-aware low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2022, pp. 17693–17703. doi
  34. Z. Cui, K. Li, L. Gu, S. Su, P. Gao, Z. Jiang, Y. Qiao and T. Harada, “You only need 90K parameters to adapt light: A light weight transformer for image enhancement and exposure correction,” in Proc. British Machine Vision Conference (BMVC), 2022. paper arXiv
  35. X. Ding, X. Zhang, N. Ma, J. Han, G. Ding and J. Sun, “RepVGG: Making VGG-style ConvNets great again,” in Proc. IEEE/CVF CVPR, 2021, pp. 13728–13737. doi arXiv
  36. Y. Zhang, J. Zhang and X. Guo, “Kindling the darkness: A practical low-light image enhancer,” in Proc. ACM International Conference on Multimedia (ACM MM), 2019, pp. 1632–1640. doi
  37. Y. Zhang, X. Guo, J. Ma, W. Liu and J. Zhang, “Beyond brightening low-light images,” International Journal of Computer Vision, vol. 129, no. 4, pp. 1013–1037, 2021. doi
  38. J. Bai, Y. Yin, Q. He, Y. Li and X. Zhang, “RetinexMamba: Retinex-based Mamba for low-light image enhancement,” arXiv:2405.03349, 2024. arXiv
  39. S.-E. Weng, S.-G. Miaou and R. Christanto, “A lightweight low-light image enhancement network via channel prior and gamma correction,” International Journal of Pattern Recognition and Artificial Intelligence, vol. 39, no. 12, art. 2554013, 2025. doi code manuscript
  40. S.-E. Weng, C.-Y. Hsiao, L.-W. Lu, et al., “Rethinking theoretical illumination for efficient low-light image enhancement” (CPGA-Net+), arXiv:2409.05274, 2024. arXiv
  41. W. Wu, J. Weng, P. Zhang, X. Wang, W. Yang and J. Jiang, “URetinex-Net: Retinex-based deep unfolding network for low-light image enhancement,” in Proc. IEEE/CVF CVPR, 2022, pp. 5891–5900. doi
  42. Z. Liang, C. Li, S. Zhou, R. Feng and C. C. Loy, “Iterative prompt learning for unsupervised backlit image enhancement,” in Proc. IEEE/CVF ICCV, 2023. arXiv
  43. C. Yang, M. Jin, X. Jia, Y. Xu and Y. Chen, “AdaInt: Learning adaptive intervals for 3D lookup tables on real-time image enhancement,” in Proc. IEEE/CVF CVPR, 2022, pp. 17522–17531. CVF arXiv
  44. C. Yang, M. Jin, Y. Xu, R. Zhang, Y. Chen and H. Liu, “SepLUT: Separable image-adaptive lookup tables for real-time image enhancement,” in Proc. European Conference on Computer Vision (ECCV), 2022, pp. 201–217. doi arXiv
  45. T. Wang, Y. Li, J. Peng, Y. Ma, X. Wang, F. Song and Y. Yan, “Real-time image enhancer via learnable spatial-aware 3D lookup tables,” in Proc. IEEE/CVF ICCV, 2021, pp. 2471–2480. CVF arXiv
  46. C. Liu, H. Yang, J. Fu and X. Qian, “4D LUT: Learnable context-aware 4D lookup table for image enhancement,” IEEE Transactions on Image Processing, vol. 32, pp. 4742–4756, 2023. doi arXiv
  47. W. Kim and N. I. Cho, “Image-adaptive 3D lookup tables for real-time image enhancement with bilateral grids,” in Proc. European Conference on Computer Vision (ECCV), 2024, pp. 91–108. doi ECCV
  48. C. Chen, Q. Chen, J. Xu and V. Koltun, “Learning to see in the dark,” in Proc. IEEE/CVF CVPR, 2018, pp. 3291–3300. arXiv
  49. M. V. Conde, G. Geigle and R. Timofte, “InstructIR: High-quality image restoration following human instructions,” in Proc. European Conference on Computer Vision (ECCV), 2024. arXiv
  50. Z. Cui, G.-J. Qi, L. Gu, S. You, Z. Zhang and T. Harada, “Multitask AET with orthogonal tangent regularity for dark object detection,” in Proc. IEEE/CVF ICCV, 2021. arXiv
  51. K. A. Hashmi, G. Kallempudi, D. Stricker and M. Z. Afzal, “FeatEnHancer: Enhancing hierarchical features for object detection and beyond under low-light vision,” in Proc. IEEE/CVF ICCV, 2023. arXiv
  52. M. Dehghani, A. Arnab, L. Beyer, A. Vaswani and Y. Tay, “The efficiency misnomer,” in Proc. International Conference on Learning Representations (ICLR), 2022. ICLR arXiv
  53. A. Ignatov, R. Timofte, S. Liu, et al., “Learned smartphone ISP on mobile GPUs with deep learning, Mobile AI & AIM 2022 challenge: Report,” in Proc. European Conference on Computer Vision (ECCV) Workshops, 2023, pp. 44–70. doi arXiv
  54. Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, 2004. doi
  55. R. Zhang, P. Isola, A. A. Efros, E. Shechtman and O. Wang, “The unreasonable effectiveness of deep features as a perceptual metric,” in Proc. IEEE/CVF CVPR, 2018. arXiv
  56. K. Ma, K. Zeng and Z. Wang, “Perceptual quality assessment for multi-exposure image fusion,” IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3345–3356, 2015. doi
  57. V. Vonikakis, “Datasets” (source of the VV test images), personal web page. link
  58. A. Mittal, R. Soundararajan and A. C. Bovik, “Making a ‘completely blind’ image quality analyzer,” IEEE Signal Processing Letters, vol. 20, no. 3, pp. 209–212, 2013. doi
  59. A. Mittal, A. K. Moorthy and A. C. Bovik, “No-reference image quality assessment in the spatial domain,” IEEE Transactions on Image Processing, vol. 21, no. 12, pp. 4695–4708, 2012. doi
  60. Y. Blau, R. Mechrez, R. Timofte, T. Michaeli and L. Zelnik-Manor, “The 2018 PIRM challenge on perceptual image super-resolution,” in Proc. European Conference on Computer Vision (ECCV) Workshops, 2018. arXiv
  61. C. Ma, C.-Y. Yang, X. Yang and M.-H. Yang, “Learning a no-reference quality metric for single-image super-resolution,” Computer Vision and Image Understanding, vol. 158, pp. 1–16, 2017. doi arXiv
  62. D. Hasler and S. E. Süsstrunk, “Measuring colorfulness in natural images,” in Proc. SPIE 5007, Human Vision and Electronic Imaging VIII, 2003. doi
  63. J. Immerkær, “Fast noise variance estimation,” Computer Vision and Image Understanding, vol. 64, no. 2, pp. 300–302, 1996. doi
  64. J. Liao, S. Hao, R. Hong and M. Wang, “GT-Mean loss: A simple yet effective solution for brightness mismatch in low-light image enhancement,” in Proc. IEEE/CVF ICCV, 2025. arXiv
  65. Y. P. Loh and C. S. Chan, “Getting to know low-light images with the Exclusively Dark dataset,” Computer Vision and Image Understanding, vol. 178, pp. 30–42, 2019. arXiv
  66. F. Liu and L. Fan, “A review of advancements in low-light image enhancement using deep learning,” Neurocomputing, vol. 652, art. 131052, 2025. arXiv
  67. J. Liu, D. Xu, W. Yang, M. Fan and H. Huang, “Benchmarking low-light image enhancement and beyond,” International Journal of Computer Vision, vol. 129, no. 4, pp. 1153–1184, 2021. doi project
  68. W. Yang, W. Wang, H. Huang, S. Wang and J. Liu, “Sparse gradient regularized deep Retinex network for robust low-light image enhancement,” IEEE Transactions on Image Processing, vol. 30, pp. 2072–2086, 2021. doi
  69. J. Hai, Z. Xuan, R. Yang, et al., “R2RNet: Low-light image enhancement via Real-low to Real-normal Network,” Journal of Visual Communication and Image Representation, vol. 90, art. 103712, 2023. arXiv
  70. R. Wang, X. Xu, C.-W. Fu, et al., “Seeing dynamic scene in the dark: A high-quality video dataset with mechatronic alignment,” in Proc. IEEE/CVF ICCV, 2021, pp. 9680–9689. doi code
  71. V. Bychkovsky, S. Paris, E. Chan and F. Durand, “Learning photographic global tonal adjustment with a database of input/output image pairs,” in Proc. IEEE CVPR, 2011, pp. 97–104. dataset
  72. J. Cai, S. Gu and L. Zhang, “Learning a deep single image contrast enhancer from multi-exposure images,” IEEE Transactions on Image Processing, vol. 27, no. 4, pp. 2049–2062, 2018. doi
  73. X. Liu, Z. Wu, A. Li, et al., “NTIRE 2024 challenge on low light image enhancement: Methods and results,” in Proc. IEEE/CVF CVPR Workshops, 2024. arXiv
  74. X. Liu, Z. Wu, F.-A. Vasluianu, et al., “NTIRE 2025 challenge on low light image enhancement: Methods and results,” in Proc. IEEE/CVF CVPR Workshops, 2025. arXiv
  75. S. Zheng, Y. Ma, J. Pan, C. Lu and G. Gupta, “Low-light image and video enhancement: A comprehensive survey and beyond,” arXiv:2212.10772, 2022. arXiv
  76. E. Adhikarla, Y. Liu and B. D. Davison, “Diffusion models for low-light image enhancement: A multi-perspective taxonomy and performance analysis,” arXiv:2510.05976, 2025. arXiv
  77. J. Yan, C. Tu, W. Zhang, Z. Wang, P. Cao, Q. Lin, Y. Fang, X. Liu, Z. Wu, Z. Zhou and R. Timofte, “NTIRE 2026 challenge on efficient low light image enhancement: Methods and results,” NTIRE 2026 workshop report, arXiv:2605.02212, 2026. arXiv
  78. O. Ronneberger, P. Fischer and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” in Proc. Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2015, pp. 234–241. doi arXiv
  79. J. Chen, A. Adams, N. Wadhwa and S. W. Hasinoff, “Bilateral guided upsampling,” ACM Transactions on Graphics (Proc. SIGGRAPH Asia), vol. 35, no. 6, 2016. doi project
  80. K. He, J. Sun and X. Tang, “Guided image filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 6, pp. 1397–1409, 2013. doi
  81. C. Chen and J. Mo, “IQA-PyTorch: PyTorch toolbox for image quality assessment,” software (pip package pyiqa). GitHub
  82. J. Ke, Q. Wang, Y. Wang, P. Milanfar and F. Yang, “MUSIQ: Multi-scale image quality transformer,” in Proc. IEEE/CVF ICCV, 2021. arXiv
  83. J. Wang, K. C. K. Chan and C. C. Loy, “Exploring CLIP for assessing the look and feel of images,” in Proc. AAAI Conference on Artificial Intelligence, 2023. arXiv
  84. V. Kannan, S. Malik, N. C. Babu and R. Soundararajan, “Quality assessment of low-light restored images: A subjective study and an unsupervised model,” IEEE Access, vol. 11, pp. 68216–68230, 2023. doi arXiv
  85. ITU-R, “Recommendation BT.500-15: Methodologies for the subjective assessment of the quality of television images,” 2023. ITU
  86. R. A. Bradley and M. E. Terry, “Rank analysis of incomplete block designs: The method of paired comparisons,” Biometrika, vol. 39, no. 3–4, pp. 324–345, 1952. doi
  87. H. Talebi and P. Milanfar, “NIMA: Neural image assessment,” IEEE Transactions on Image Processing, 2018. arXiv
  88. S. Yang, T. Wu, S. Shi, et al., “MANIQA: Multi-dimension attention network for no-reference image quality assessment,” in Proc. IEEE/CVF CVPR Workshops, 2022, pp. 1190–1199. doi arXiv
  89. H. Wu, Z. Zhang, W. Zhang, C. Chen, et al., “Q-Align: Teaching LMMs for visual scoring via discrete text-defined levels,” in Proc. International Conference on Machine Learning (ICML), PMLR 235, 2024. arXiv
  90. A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto and H. Adam, “MobileNets: Efficient convolutional neural networks for mobile vision applications,” arXiv:1704.04861, 2017. arXiv
  91. M. Sandler, A. Howard, M. Zhu, A. Zhmoginov and L.-C. Chen, “MobileNetV2: Inverted residuals and linear bottlenecks,” in Proc. IEEE/CVF CVPR, 2018, pp. 4510–4520. doi arXiv
  92. W.-S. Lai, J.-B. Huang, O. Wang, E. Shechtman, E. Yumer and M.-H. Yang, “Learning blind video temporal consistency,” in Proc. European Conference on Computer Vision (ECCV), 2018, pp. 179–195. doi arXiv
  93. S. W. Hasinoff, D. Sharlet, R. Geiss, A. Adams, J. T. Barron, F. Kainz, J. Chen and M. Levoy, “Burst photography for high dynamic range and low-light imaging on mobile cameras,” ACM Transactions on Graphics (Proc. SIGGRAPH Asia), vol. 35, no. 6, 2016. doi
  94. J. Chen, S. Paris and F. Durand, “Real-time edge-aware image processing with the bilateral grid,” ACM Transactions on Graphics (Proc. SIGGRAPH), vol. 26, no. 3, art. 103, 2007. doi
  95. C. Tomasi and R. Manduchi, “Bilateral filtering for gray and color images,” in Proc. IEEE International Conference on Computer Vision (ICCV), 1998, pp. 839–846. doi
  96. S. Paris and F. Durand, “A fast approximation of the bilateral filter using a signal processing approach,” International Journal of Computer Vision, vol. 81, no. 1, pp. 24–52, 2009. doi
  97. H. Wu, S. Zheng, J. Zhang and K. Huang, “Fast end-to-end trainable guided filter,” in Proc. IEEE/CVF CVPR, 2018, pp. 1838–1847. doi arXiv
  98. R. Wang, Q. Zhang, C.-W. Fu, X. Shen, W.-S. Zheng and J. Jia, “Underexposed photo enhancement using deep illumination estimation,” in Proc. IEEE/CVF CVPR, 2019, pp. 6842–6850. doi CVF
  99. Y. Lin, Z. Fu, K. Wen, T. Ye, S. Chen, G. Meng, Y. Wang, et al., “DPLUT: Unsupervised low-light image enhancement with lookup tables and diffusion priors,” in Proc. AAAI Conference on Artificial Intelligence, vol. 39, no. 5, pp. 5316–5324, 2025. doi arXiv
  100. K. Dabov, A. Foi, V. Katkovnik and K. Egiazarian, “Image denoising by sparse 3-D transform-domain collaborative filtering,” IEEE Transactions on Image Processing, 2007. doi
  101. K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” ICLR, 2015. arXiv
  102. J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li and L. Fei-Fei, “ImageNet: A large-scale hierarchical image database,” CVPR, 2009. doi
  103. A. Brateanu, T. Mu, C. O. Ancuti and C. Ancuti, “Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex,” in Proc. IEEE/CVF CVPR, 2026. paper supplement

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 DLCV 10・影像融合:互補來源與有用輸出 · 42 分鐘