拉伸空間會改變密度:Jacobian 的作用
入門ML 01B・機率與資訊理論互動圖表
題目說明
將高斯分布通過可逆非線性映射,利用導數保持機率質量。
試試看:增加零附近的非線性拉伸。為何零仍映射到零,該處輸出密度卻下降?
實驗 · 拉伸空間會改變密度:Jacobian 的作用
- 零點導數
- 2
- 零點輸出密度
- 0.199
- 數值面積(基底 ±4σ)
- 0.99988
pₓ(f(z)) = p_z(z) / |f′(z)|。局部拉伸將相同機率分散到更大的輸出空間;省略 Jacobian 會改變總機率質量。
試試看:增加零附近的非線性拉伸。為何零仍映射到零,該處輸出密度卻下降?
一維正規化流 x=az+b tanh(z),其中 a>0、b≥0。導數始終為正,因此映射可逆。曲線由精確變數變換公式計算,不擬合模型。
方法來源
- Ian Goodfellow, Yoshua Bengio & Aaron Courville, Deep Learning, MIT Press, 2016
- Ashish Vaswani et al., Attention Is All You Need, NeurIPS, 2017
- Jonathan Ho, Ajay Jain & Pieter Abbeel, Denoising Diffusion Probabilistic Models, NeurIPS, 2020
- Tim Salimans & Jonathan Ho, Progressive Distillation for Fast Sampling of Diffusion Models, ICLR, 2022