DLCV 09C・3D 查找表要多大才夠?
進階DLCV 09C・低光影像增強影像實驗
題目說明
把一個平滑的色彩增強烘焙進 M × M × M 的表中,分別以最近節點查表與三線性內插套用,並與精確轉換比較。
試試看:預設(M = 9、平滑漸層)下,最近節點查表出現明顯的色帶,三線性的結果則看起來與精確結果一樣。把誤差圖切換成三線性:誤差最大的地方在哪裡?為什麼在那裡?接著把最近節點查表的 M 調到 33:色帶消失了嗎?最後把 M 設為 3,比較兩種內插。
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
最近節點查表會把每個顏色換成某個節點儲存的顏色,所以輸出是階梯狀:即使 M = 33,每階仍有好幾個階高,在平滑漸層上就成了色帶。三線性內插把階梯變成連續、分段線性的曲面,即使只有 9 個節點,也能緊貼平滑的轉換。在漸層上,M = 33 的最近節點查表平均誤差為 2.46 階、最大為 7;M = 9 的三線性查表平均誤差為 0.32 階、最大為 4。
實驗 · DLCV 09C・3D 查找表要多大才夠?
正在載入影像…
試試看:預設(M = 9、平滑漸層)下,最近節點查表出現明顯的色帶,三線性的結果則看起來與精確結果一樣。把誤差圖切換成三線性:誤差最大的地方在哪裡?為什麼在那裡?接著把最近節點查表的 M 調到 33:色帶消失了嗎?最後把 M 設為 3,比較兩種內插。
真實的增強轉換寫在程式碼裡(src/lib/playground/labs/lut-trilinear.ts),是這個實驗自己的玩具範例:對每個通道 t,先做色調曲線 g = t^0.9,再套用 S 曲線 (1 − a) g + a (3g² − 2g³)(a = 0.5);接著把每個顏色到其亮度灰點(亮度 0.299 R + 0.587 G + 0.114 B)的距離乘上 1.15 的飽和度增益;然後做 8° 的色相轉動(RGB 立方體繞灰軸旋轉);最後裁切到 [0, 1]。查找表在 RGB 立方體上對 M × M × M 格點的每個節點存一個項目:節點 (i, j, k) 存放顏色 (i/(M−1), j/(M−1), k/(M−1)) 經精確轉換後的結果,因此共有 3M³ 個數字。最近節點查表回傳最接近節點所儲存的顏色。三線性內插則以偏移量的乘積為權重,混合顏色所在格子的 8 個角點,與章節相同。兩種結果與精確轉換在量測誤差之前,都先四捨五入成 8 位元階(0 到 255),誤差圖放大 8 倍。照片是縮小為 256 × 256 的 astronaut 測試影像;漸層是在實驗中計算出的四個角落顏色的平滑混合,沒有紋理可以遮住色帶。
方法與影像來源
- Hui Zeng, Jianrui Cai, Lida Li, Zisheng Cao & Lei Zhang, Learning Image-adaptive 3D Lookup Tables for High Performance Photo Enhancement in Real-time, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022
- scikit-image test images (skimage.data): camera is CC0 by Lav Varshney; coins is from the Brooklyn Museum collection, no known copyright restrictions; astronaut is a NASA photograph in the public domain