完整搜尋頁面 →

PR 08・你最小化的是哪個方向的 KL?

進階PR 08・近似推論與貝氏模型複雜度互動圖表

題目說明

移動並放寬雙峰目標的 Gaussian 近似,比較漏掉機率質量與填滿峰間谷地的懲罰。

試試看:當兩個峰分開時,比較集中在單一峰的窄近似與涵蓋兩個峰的寬近似。哪個方向的 KL 偏好哪一種?

先預測

目標分布有兩個分開的峰,q 是單一高斯。只落在其中一個峰上的 q,哪一種散度比較小?

提示

使用這個實驗的章節段落:

解析

請先回答預測問題,或在準備好時再打開解析。

顯示解析

反向 KL 會懲罰 q 把機率放在 p 沒有質量的地方,因此窄的 q 會落在單一峰上(偏向單一模式)。前向 KL 則懲罰 q 漏掉 p 的任何質量,所以最佳的 q 又寬又涵蓋兩個峰。在這個設定下,前向最佳解的平均為 0、σ 約 2.1;反向最佳解落在 ±2 的峰上,σ 約 0.7。

實驗 · PR 08・你最小化的是哪個方向的 KL?

先預測

目標分布有兩個分開的峰,q 是單一高斯。只落在其中一個峰上的 q,哪一種散度比較小?

KL(p ‖ q)
8.777
KL(q ‖ p)
0.69

KL(p‖q) 依目標的機率質量加權差異;KL(q‖p) 依近似分布配置的質量加權差異。單一 Gaussian 可能涵蓋兩個峰,也可能集中在一個峰,取決於目標函數。

試試看:當兩個峰分開時,比較集中在單一峰的窄近似與涵蓋兩個峰的寬近似。哪個方向的 KL 偏好哪一種?

目標 p 為 N(−a,0.65²) 與 N(a,0.65²) 的等權混合,近似 q 為 N(μ,σ²)。兩者在 [−12,12] 上以 0.02 間距數值正規化;KL 為網格近似,單位是 nat。這是可調整的分布族,不是最佳化器。

方法來源

在互動實驗頁開啟 →