PR 08・你最小化的是哪個方向的 KL?
進階PR 08・近似推論與貝氏模型複雜度互動圖表
題目說明
移動並放寬雙峰目標的 Gaussian 近似,比較漏掉機率質量與填滿峰間谷地的懲罰。
試試看:當兩個峰分開時,比較集中在單一峰的窄近似與涵蓋兩個峰的寬近似。哪個方向的 KL 偏好哪一種?
解析
請先回答預測問題,或在準備好時再打開解析。
顯示解析
反向 KL 會懲罰 q 把機率放在 p 沒有質量的地方,因此窄的 q 會落在單一峰上(偏向單一模式)。前向 KL 則懲罰 q 漏掉 p 的任何質量,所以最佳的 q 又寬又涵蓋兩個峰。在這個設定下,前向最佳解的平均為 0、σ 約 2.1;反向最佳解落在 ±2 的峰上,σ 約 0.7。
實驗 · PR 08・你最小化的是哪個方向的 KL?
- KL(p ‖ q)
- 8.777
- KL(q ‖ p)
- 0.69
KL(p‖q) 依目標的機率質量加權差異;KL(q‖p) 依近似分布配置的質量加權差異。單一 Gaussian 可能涵蓋兩個峰,也可能集中在一個峰,取決於目標函數。
試試看:當兩個峰分開時,比較集中在單一峰的窄近似與涵蓋兩個峰的寬近似。哪個方向的 KL 偏好哪一種?
目標 p 為 N(−a,0.65²) 與 N(a,0.65²) 的等權混合,近似 q 為 N(μ,σ²)。兩者在 [−12,12] 上以 0.02 間距數值正規化;KL 為網格近似,單位是 nat。這是可調整的分布族,不是最佳化器。