完整搜尋頁面 →

支撐隨參數移動時

選讀・IT 07・統計證據、最大熵與成長 的補充資料(第 1/1 則)。主線不依賴這則補充;引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

只在密度支撐內取導數,可能漏掉移動邊界帶來的資訊。此時不能套用正則的 Cramér–Rao 計算 [5]。

令 X1,…,XnX_1,\ldots,X_n 為 [0,θ][0,\theta] 上的獨立均勻觀測,未知參數為 θ>0\theta>0。區間內的單筆分數函數是 −1/θ-1/\theta,其期望並非零。支撐也隨 θ\theta 改變,因此不能沿用正則的分數恆等式與資訊可加性論證。

對最大值 M=max⁡iXiM=\max_i X_i,獨立性給出 Pr⁡(M≤m)=(m/θ)n\Pr(M\leq m)=(m/\theta)^n,其中 0≤m≤θ0\leq m\leq\theta。積分這個分布可得

E[M]=nθn+1,T=n+1nM,Var⁡(T)=θ2n(n+2).\mathbb E[M]=\frac{n\theta}{n+1},\qquad T=\frac{n+1}{n}M,\qquad \operatorname{Var}(T)=\frac{\theta^2}{n(n+2)}.

這裡 nn 是樣本數,mm 是可能的最大值,TT 是 θ\theta 的不偏估計器。它的變異數小於把單筆分數平方機械式代入正則公式所得的錯誤下界 θ2/n\theta^2/n。這沒有反駁定理,而是定理假設不成立。

程式碼 · Python · 12 行
import numpy as np

rng = np.random.default_rng(47)
theta, n = 3.0, 12
maximum = rng.uniform(0, theta, size=(50000, n)).max(axis=1)
estimate = (n+1)*maximum/n
exact_variance = theta**2/(n*(n+2))
assert abs(estimate.mean()-theta) < 0.01
assert abs(estimate.var()-exact_variance) < 0.005
assert exact_variance < theta**2/n
print("Estimator mean / target:", estimate.mean(), theta)
print("Estimator variance / exact:", estimate.var(), exact_variance)

精確動差支持數學結論;模擬用來檢查實作。這個例子提醒我們先檢查支撐是否依賴參數,再使用資訊界限,並不保證所有估計問題都以這種速率改善。

參考文獻

  1. T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, Chapters 6, 11–12 and 16. 出版社書頁與目錄。

  2. T. Weissman, “Method of Types,” Stanford EE276 Lecture 15 notes, 2024. 第一手講義。

  3. F. Hellström, G. Durisi, B. Guedj and M. Raginsky, “Generalization Bounds: Perspectives from Information Theory and PAC-Bayes,” Foundations and Trends in Machine Learning, 18(1), 1–223, 2025. 出版社資訊,作者版本。

  4. A. El Gamal, “Information Theory and Statistical Learning,” proposed textbook chapter, arXiv preprint, 2026. 草稿與出版狀態。

  5. MIT OpenCourseWare, “Lecture 6: Efficient Estimators, Rao-Cramer Bound,” 14.381 Statistical Method in Economics, Fall 2018, pp. 3–6。第一手講義.