VAE 如何取捨重建與先驗一致性
中階ML 06A・線性因子模型與自編碼器互動圖表
題目說明
移動並調整高斯後驗寬度,計算期望解碼損失與精確 KL 懲罰。
試試看:將 q(z|x) 設為先驗。為何 KL 為零,但 x=1 的重建仍差?縮小 σ 能否改善一項卻使另一項惡化?
實驗 · VAE 如何取捨重建與先驗一致性
- 期望解碼負對數概似
- 0.806
- KL(q || 先驗)(nat)
- 0.638
- 負對數概似 + β KL
- 1.444
重建偏好接近 x=1 的潛在值與較窄後驗。KL 同時懲罰平均偏離零及變異數偏離一。只符合先驗不保證有用的重建。
試試看:將 q(z|x) 設為先驗。為何 KL 為零,但 x=1 的重建仍差?縮小 σ 能否改善一項卻使另一項惡化?
單一觀察 x=1、q=N(μ,σ²)、先驗=N(0,1),固定解碼器 p(x|z)=N(z,0.5²)。期望負對數概似以解析式計算,不抽樣也不訓練網路。β=1 時是此模型的負證據下界;其他 β 是加權目標。
方法來源
- Ian Goodfellow, Yoshua Bengio & Aaron Courville, Deep Learning, MIT Press, 2016
- Ashish Vaswani et al., Attention Is All You Need, NeurIPS, 2017
- Jonathan Ho, Ajay Jain & Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS, 2020
- Tim Salimans & Jonathan Ho, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR, 2022