完整搜尋頁面 →

VAE 如何取捨重建與先驗一致性

中階ML 06A・線性因子模型與自編碼器互動圖表

題目說明

移動並調整高斯後驗寬度,計算期望解碼損失與精確 KL 懲罰。

試試看:將 q(z|x) 設為先驗。為何 KL 為零,但 x=1 的重建仍差?縮小 σ 能否改善一項卻使另一項惡化?

實驗 · VAE 如何取捨重建與先驗一致性

期望解碼負對數概似
0.806
KL(q || 先驗)(nat)
0.638
負對數概似 + β KL
1.444

重建偏好接近 x=1 的潛在值與較窄後驗。KL 同時懲罰平均偏離零及變異數偏離一。只符合先驗不保證有用的重建。

試試看:將 q(z|x) 設為先驗。為何 KL 為零,但 x=1 的重建仍差?縮小 σ 能否改善一項卻使另一項惡化?

單一觀察 x=1、q=N(μ,σ²)、先驗=N(0,1),固定解碼器 p(x|z)=N(z,0.5²)。期望負對數概似以解析式計算,不抽樣也不訓練網路。β=1 時是此模型的負證據下界;其他 β 是加權目標。

方法來源

在互動實驗頁開啟 →