IP 08・可以丟掉多少係數?
中階IP 07・小波與其他影像轉換影像實驗
題目說明
用 8 × 8 區塊 DCT 或 Haar 小波轉換一張真實照片,把每個係數捨入到較粗的步長,觀察遺失的資訊出現在哪裡。
試試看:把 DCT 的步長設為 0.6,看放大框裡的天空。接著在相同步長下切換成 Haar:階梯狀方塊消失了嗎?在 PSNR 差不多時,哪一種轉換保留的非零係數較少?最後把放大框移到草地:還剩下多少紋理?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
平滑的小區塊幾乎只靠平均值就能描述,所以在那裡捨入的代價很小。邊緣或紋理會把能量分散到許多係數,其中很多比半個步長還小,因此變成零,它們攜帶的細節也就消失了。在預設設定(DCT,步長 0.2)下,最平滑的一半像素平均絕對誤差為 2.8 個灰階,最繁雜的一半為 7.5,約為 2.7 倍。平滑的一半並非沒有誤差:捨入仍會讓每個區塊的平均值稍微偏移,這就是步長較粗時出現 8 × 8 接縫的原因。
實驗 · IP 08・可以丟掉多少係數?
正在載入影像…
試試看:把 DCT 的步長設為 0.6,看放大框裡的天空。接著在相同步長下切換成 Haar:階梯狀方塊消失了嗎?在 PSNR 差不多時,哪一種轉換保留的非零係數較少?最後把放大框移到草地:還剩下多少紋理?
使用 camera 測試影像的真實 256 × 256 版本(skimage.data.camera 以 2 × 2 平均縮小),灰階值在 [0, 1]。兩種轉換都是正交的:8 × 8 區塊 DCT(每個區塊各自編碼)與 5 層二維 Haar 小波轉換。量化器是均勻的:每個係數 c 變成 round(c / 步長) × 步長,所有係數(包含區塊平均值)使用相同步長,因此只有 |c| 至少為步長的一半時係數才會留下。這比 IP 08 中 JPEG 隨頻率變化的量化表更簡單,所以畫面呈現的是轉換與捨入本身造成的效果。「非零」是計算留下的係數。這不是位元率:此處沒有實作熵編碼,真正的成本還取決於哪些係數留下以及如何編碼。PSNR 的峰值為 1,並使用截斷前的解碼輸出。因為兩種轉換都是正交的,像素的平方誤差等於係數的平方誤差:量化器移除的部分正是誤差,而解碼器無法把它找回來,因為許多不同的影像會得到相同的量化係數。瓶頸自編碼器(ML 06A)以同樣的方式遺失細節,差別只在它的基底是從資料學得,而不是固定的。誤差影像顯示(重建 − 原始)× 10,以中間灰色為零。「最平滑」與「最繁雜」兩半是指原始影像 Sobel 梯度較小與較大的像素。Haar 是最簡單的小波,由分段常數組成,所以它也會產生方塊,只是大小不一;較平滑的小波(例如 IP 08 小波比較中所用的)則是變模糊。
方法與影像來源
- Rafael C. Gonzalez & Richard E. Woods, Digital Image Processing, 4th ed., Pearson, 2018 (compression, transforms)
- N. Ahmed, T. Natarajan and K. R. Rao, Discrete Cosine Transform, IEEE Transactions on Computers, C-23(1), 1974
- Alfred Haar, Zur Theorie der orthogonalen Funktionensysteme, Mathematische Annalen 69(3), 1910
- Gregory K. Wallace, The JPEG still picture compression standard, IEEE Transactions on Consumer Electronics 38(1), 1992
- scikit-image test images (skimage.data): camera is CC0 by Lav Varshney; coins is from the Brooklyn Museum collection, no known copyright restrictions; astronaut is a NASA photograph in the public domain