完整搜尋頁面 →

Logistic 分離與有限估計

選讀・OPT 05・近似、統計估計與實驗設計 的補充資料(第 1/1 則)。主線不依賴這則補充;引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

凸概似可以沿某個參數方向持續改善,卻沒有有限的最小化點。Logistic 分離是 OPT 01 所介紹存在性差異的實際例子。軟體文件也明確區分有限估計與分離資料 [6]。

考慮沒有截距的兩筆純量觀測 (x,y)=(−1,0)(x,y)=(-1,0)、(1,1)(1,1),模型為 Pr⁡(Y=1∣x)=1/(1+e−wx)\Pr(Y=1\mid x)=1/(1+e^{-wx})。係數 ww 增加時,兩筆已觀測標籤的機率都提高。它們的負對數概似總和是

ℓ(w)=2log⁡(1+e−w),ℓ′(w)=−21+ew.\ell(w)=2\log(1+e^{-w}),\qquad \ell'(w)=-\frac{2}{1+e^w}.

這裡 w∈Rw\in\mathbb R 是擬合係數,xx 是固定特徵,yy 是二元標籤。任一有限 ww 的目標值都為正,當 w→+∞w\to+\infty 時趨近零。因此是參數發散,但目標具有未取到的有限下確界,不是目標向下無界。

加入 λw2/2\lambda w^2/2、λ>0\lambda>0,會使這個純量目標強凸,且在兩端都持續增長,因此有唯一有限最小化點。這改變了估計器,不是找回不存在的未正則化估計。較大模型若有未受懲罰的方向,仍須另外檢查存在性 [1]。

程式碼 · Python · 14 行
import numpy as np
from scipy.optimize import brentq
from scipy.special import expit

loss = lambda w: 2*np.logaddexp(0, -w)
values = loss(np.array([0., 2., 10., 20.]))
assert np.all(values > 0) and np.all(np.diff(values) < 0)
lam = 0.2
derivative = lambda w: -2*expit(-w) + lam*w
solution = brentq(derivative, 0, 2/lam)
curvature = 2*expit(solution)*expit(-solution) + lam
assert abs(derivative(solution)) < 1e-12 and curvature >= lam
print("Unregularized losses:", values)
print("Penalized coefficient / gradient:", solution, derivative(solution))

未正則化梯度縮小,不能證明存在有限參數估計。除了損失,也要檢查係數是否持續增長,以及存在性假設。OPT 06 的正則化 Newton 例子則明確採用正的二次懲罰。

參考文獻

  1. Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004. 閱讀:第 6 章第 6.1–6.5 節;第 7 章第 7.1–7.5 節。 官方書頁,免費 PDF。

  2. SciPy developers, “scipy.optimize.minimize” and “scipy.optimize.minimize_scalar,” SciPy API documentation, accessed 2026. 多變數介面,純量介面。

  3. SciPy developers, “scipy.optimize.linprog,” SciPy API documentation, accessed 2026. 官方文件。

  4. Sebastian Pokutta, “The Frank-Wolfe Algorithm: A Short Introduction,” Jahresbericht der Deutschen Mathematiker-Vereinigung, 126, 2024. 開放綜述。

  5. Michael Schaller, Alberto Bemporad and Stephen Boyd, “Learning Parametric Convex Functions,” manuscript, 2025. 官方手稿頁。

  6. SAS Institute, “Existence of Maximum Likelihood Estimates,” SAS/STAT 12.1 User’s Guide, 查閱日期:2026-11-05。官方文件.