完整搜尋頁面 →

ML 08・網路預測雜訊、影像或速度時,看到的是什麼?

進階ML 08・擴散模型與流匹配影像實驗

題目說明

把太空人照片與固定雜訊混合,並排檢視雜訊、乾淨影像與速度三種目標,再讓網路帶一點誤差,看看哪一種轉換回乾淨影像的方式承受得住。

試試看:從 −20 dB、雜訊輸出誤差 0.05 開始。把訊號強度往上拉到 0 dB:三種還原方式在哪裡一樣好?再拉到 +20 dB:現在哪一種目標對誤差最敏感?為什麼答案反過來了?

先預測

x_t 幾乎只剩雜訊(−20 dB)。不論預測哪一種目標,網路都犯同樣的小誤差 0.05。把每個預測轉換回乾淨影像 x̂₀ 之後,哪一種對誤差最敏感?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

轉換是精確的,但對誤差並不一視同仁。雜訊路徑要除以 √ᾱ,所以 ε̂ 的誤差會被乘上 √(1−ᾱ)/√ᾱ,在 −20 dB 時是 10.0;乾淨影像路徑原封不動地傳遞誤差(×1),速度路徑則乘上 √(1−ᾱ),也就是 0.995。同樣是 0.05 的誤差,雜訊路徑還原出的影像 PSNR 為 13.5 dB,乾淨影像路徑是 32.4 dB,速度路徑也是 32.4 dB。耐人尋味的是,在這個程度下雜訊反而是最容易從畫面上「讀出來」的目標:ε 幾乎就是 x_t 的複本(相關係數 0.998),而 v 幾乎是乾淨影像的負片(相關係數 −0.988)。而且排名在接近乾淨的那一端會翻轉:在 +20 dB 時,乾淨影像路徑最敏感(32.4 dB,另外兩種是 52.3 dB)。

實驗 · ML 08・網路預測雜訊、影像或速度時,看到的是什麼?

先預測

x_t 幾乎只剩雜訊(−20 dB)。不論預測哪一種目標,網路都犯同樣的小誤差 0.05。把每個預測轉換回乾淨影像 x̂₀ 之後,哪一種對誤差最敏感?

正在載入影像…

x_t,網路的輸入:它唯一看得到的畫面
ε,被加入的雜訊
x₀,乾淨影像
v = √ᾱ·ε − √(1−ᾱ)·x₀,速度
由網路對所選目標的不完美輸出還原出的 x̂₀
誤差 x̂₀ − x₀(增益 ×3,中灰 = 0)

試試看:從 −20 dB、雜訊輸出誤差 0.05 開始。把訊號強度往上拉到 0 dB:三種還原方式在哪裡一樣好?再拉到 +20 dB:現在哪一種目標對誤差最敏感?為什麼答案反過來了?

影像:太空人照片(256 × 256、RGB),像素值如章節所述對應到 [-1, 1]。混合式為 x_t = √ᾱ x₀ + √(1−ᾱ) ε,其中 ε 是固定種子的標準常態雜訊,v = √ᾱ ε − √(1−ᾱ) x₀ 是 ML 08 章節的速度(擴散的速度,不是流匹配的傳輸速度)。滑桿設定的是 x_t 的訊雜比 ᾱ/(1−ᾱ)(單位 dB)。網路並未訓練:它的輸出是精確目標加上固定種子的誤差,且不論預測哪一種目標,都使用相同大小的誤差(以 [-1, 1] 像素尺度為單位)。真實的網路對每種目標的誤差並不相同,所以這個實驗隔離的是轉換本身,而不是學習。x̂₀ 會像影像解碼器一樣裁切到 [-1, 1],PSNR 是把 x₀ 與 x̂₀ 都對應到 [0, 1](峰值 1)後相對於 x₀ 計算。所有面板使用同一個灰階對應(灰階 = 0.5 + u/2.5)。

方法與影像來源

在互動實驗頁開啟 →