ML 08・網路預測雜訊、影像或速度時,看到的是什麼?
進階ML 08・擴散模型與流匹配影像實驗
題目說明
把太空人照片與固定雜訊混合,並排檢視雜訊、乾淨影像與速度三種目標,再讓網路帶一點誤差,看看哪一種轉換回乾淨影像的方式承受得住。
試試看:從 −20 dB、雜訊輸出誤差 0.05 開始。把訊號強度往上拉到 0 dB:三種還原方式在哪裡一樣好?再拉到 +20 dB:現在哪一種目標對誤差最敏感?為什麼答案反過來了?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
轉換是精確的,但對誤差並不一視同仁。雜訊路徑要除以 √ᾱ,所以 ε̂ 的誤差會被乘上 √(1−ᾱ)/√ᾱ,在 −20 dB 時是 10.0;乾淨影像路徑原封不動地傳遞誤差(×1),速度路徑則乘上 √(1−ᾱ),也就是 0.995。同樣是 0.05 的誤差,雜訊路徑還原出的影像 PSNR 為 13.5 dB,乾淨影像路徑是 32.4 dB,速度路徑也是 32.4 dB。耐人尋味的是,在這個程度下雜訊反而是最容易從畫面上「讀出來」的目標:ε 幾乎就是 x_t 的複本(相關係數 0.998),而 v 幾乎是乾淨影像的負片(相關係數 −0.988)。而且排名在接近乾淨的那一端會翻轉:在 +20 dB 時,乾淨影像路徑最敏感(32.4 dB,另外兩種是 52.3 dB)。
實驗 · ML 08・網路預測雜訊、影像或速度時,看到的是什麼?
正在載入影像…
試試看:從 −20 dB、雜訊輸出誤差 0.05 開始。把訊號強度往上拉到 0 dB:三種還原方式在哪裡一樣好?再拉到 +20 dB:現在哪一種目標對誤差最敏感?為什麼答案反過來了?
影像:太空人照片(256 × 256、RGB),像素值如章節所述對應到 [-1, 1]。混合式為 x_t = √ᾱ x₀ + √(1−ᾱ) ε,其中 ε 是固定種子的標準常態雜訊,v = √ᾱ ε − √(1−ᾱ) x₀ 是 ML 08 章節的速度(擴散的速度,不是流匹配的傳輸速度)。滑桿設定的是 x_t 的訊雜比 ᾱ/(1−ᾱ)(單位 dB)。網路並未訓練:它的輸出是精確目標加上固定種子的誤差,且不論預測哪一種目標,都使用相同大小的誤差(以 [-1, 1] 像素尺度為單位)。真實的網路對每種目標的誤差並不相同,所以這個實驗隔離的是轉換本身,而不是學習。x̂₀ 會像影像解碼器一樣裁切到 [-1, 1],PSNR 是把 x₀ 與 x̂₀ 都對應到 [0, 1](峰值 1)後相對於 x₀ 計算。所有面板使用同一個灰階對應(灰階 = 0.5 + u/2.5)。
方法與影像來源
- Jonathan Ho, Ajay Jain & Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS 2020 (forward mix x_t and noise prediction)
- Tim Salimans & Jonathan Ho, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR 2022 (the velocity target v)
- scikit-image test images (skimage.data): camera is CC0 by Lav Varshney; coins is from the Brooklyn Museum collection, no known copyright restrictions; astronaut is a NASA photograph in the public domain