完整搜尋頁面 →

OPT 05・近似、統計估計與實驗設計

最佳化進階17 分鐘更新於 2026年11月5日

先備知識:OPT 04・對偶性、KKT 條件與證明憑證、ML 01B・機率與資訊理論

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 1 個互動實驗

移動一筆觀測,比較平方、絕對值與 Huber 損失擬合常數的結果。

你將學到

  • 依重要的誤差選擇殘差範數,而非只沿用習慣。
  • 區分參數正則化、穩健殘差損失與不確定量測模型。
  • 使用線性不等式,讓擬合函數保持單調或凸。
  • 辨認凸的概似與機率估計表示法。
  • 設計隨機化偵測器,理解以動差建立的風險上界。
  • 使用資訊矩陣與明確準則,配置量測資源。

先看全貌

最佳化模型可以替觀測擬合曲線、估計分布,或決定接下來收集哪些觀測。它們有共同模式:選擇表示方式、說明如何衡量不一致,再指定允許哪些選擇。

Boyd 與 Vandenberghe 的第 6–7 章 [1] 連結近似與統計估計。適合一起閱讀:同一個平方殘差,可以是幾何近似誤差、雜訊模型下的概似,或受限制設計目標的一部分。即使數值公式相同,解釋仍帶有不同假設。

成功求解器回答的是你寫下的最佳化問題。它不會證明量測假設正確、曲線能預測新資料,或感測器配置可以實際執行。本章把這些問題與數學一起保留。

例子使用合成觀測與小型量測模型,展示各部分如何運作,不在程式裡隱藏下載、預訓練系統或特定應用假設。

殘差範數表達優先順序

白話說。 殘差是預測與觀測的差。選擇哪種範數,會決定哪些誤差模式特別昂貴。

線性模型為

r=Ax−b,min⁡x∥Ax−b∥.r=Ax-b,\qquad \min_x\|Ax-b\|.

A∈Rm×nA\in\mathbb R^{m\times n} 是固定設計矩陣,b∈Rmb\in\mathbb R^m 是觀測,x∈Rnx\in\mathbb R^n 是參數,r∈Rmr\in\mathbb R^m 是殘差向量。所選範數作用於殘差,不是直接作用於參數。

歐幾里得範數或其平方,透過平方貢獻強調大殘差。絕對值範數加總殘差大小。最大值範數則最小化最大的絕對殘差,適合要求每個量測誤差都不超過一致容許值的場合 [1,第 6.1 節]。

∥r∥22=∑iri2,∥r∥1=∑i∣ri∣,∥r∥∞=max⁡i∣ri∣.\|r\|_2^2=\sum_i r_i^2,\qquad \|r\|_1=\sum_i|r_i|,\qquad \|r\|_\infty=\max_i|r_i|.

rir_i 是第 ii 個殘差座標。當 rr 對 xx 仿射,三者都是凸目標。把非負歐幾里得範數平方不會改變最小化解,但會改變目標值、導數,以及與其他懲罰項的取捨。

絕對值殘差可以引入 ti≥rit_i\geq r_i、ti≥−rit_i\geq-r_i,再最小化 ∑iti\sum_i t_i。一致容許值則引入一個純量 tt,要求 −t≤ri≤t-t\leq r_i\leq t。若額外限制只有仿射式,兩者都是 LP 表示法。

最佳常數的三種意思

只擬合一個數字,就能看出殘差目標的差別。取合成觀測 b=(0,1,8)b=(0,1,8),對三者都預測同一個純量 cc。對應設計矩陣是一欄全為一的向量。

對平方損失,微分 c2+(c−1)2+(c−8)2c^2+(c-1)^2+(c-8)^2 得到 6c−18=06c-18=0,所以 c=3c=3。對絕對損失,離開資料點時,斜率等於低於 cc 的觀測數減去高於 cc 的觀測數。斜率在中位數由負轉正,因此 c=1c=1 最小化總和。對最大絕對損失,平衡兩端誤差:c=8−cc=8-c,因此 c=4c=4。

其中 cc 是擬合常數、bb 是固定觀測。在各自最佳解處,平方殘差和為 3838、絕對殘差和為 88、最大殘差為 44。它們是不同單位的不同量,直接比較數值大小沒有意義。真正要比較的是回傳預測:平均擬合選三、中位數擬合選一、均勻誤差擬合選四。觀測八大幅拉動平均數,卻不會使中位數超過中間觀測 [1]。

實際任務須先問哪種誤差模式昂貴。儀器的統一容許誤差適合最大誤差;指定高斯量測模型可導向平方誤差;受污染的反應值可促使選用影響力有界的殘差損失。這些選擇都不能只由求解器方便與否決定。

單位與加權誤差

不同單位的量測,沒有指定縮放慣例就不能合理相加。一像素殘差與一秒殘差,不會自動具有可比性。

加權最小平方目標可以寫為

(Ax−b)⊤W(Ax−b),W⪰0.(Ax-b)^\top W(Ax-b),\qquad W\succeq0.

WW 是固定半正定權重矩陣。若 WW 是已知正定雜訊共變異數的反矩陣,目標就有統計意義。若權重代表優先順序,則應明確說明那個意義。

非對角元素可以描述相關量測誤差。把完整共變異數換成對角權重,是模型近似,不只是實作細節。以矩陣因子白化殘差,再擬合時,應保留原本指定的二次形式。

大殘差不會自動代表離群值。它可能揭露錯誤模型、縮放不良的特徵、真正罕見的現象或損壞觀測。在降低某些誤差的影響以前,先看資料生成過程。

最小範數解與正則化

白話說。 符合觀測可能仍留下許多參數選擇。參數範數能從中選解,或在擬合與複雜度間取捨。

最小範數問題為

min⁡x∥x∥subject toAx=b.\min_x\|x\|\quad\text{subject to}\quad Ax=b.

xx 是參數向量,A,bA,b 固定。這不同於殘差範數問題:此處要求精確一致,目標則選擇小的參數向量 [1,第 6.2 節]。

等式不一致時,問題不可行。把它換成軟殘差項會改變問題。在欠定且一致的系統中,歐幾里得最小範數解可由適當偽逆表示,但仍須關心數值秩與奇異值。

正則化近似則平衡兩個目標:

min⁡x12∥Ax−b∥22+λR(x),λ≥0.\min_x\frac12\|Ax-b\|_2^2+\lambda R(x),\qquad \lambda\geq0.

RR 是凸懲罰,λ\lambda 是非負權重。二分之一讓導數較簡潔。改變這個因子卻保持 λ\lambda 不動,會改變取捨。

取 R(x)=12∥x∥22R(x)=\frac12\|x\|_2^2,就是 ridge 或二次正則化模型 [1,第 6.3 節]。正 λ\lambda 使 Hessian A⊤A+λIA^\top A+\lambda I 正定。取 R(x)=∥x∥1R(x)=\|x\|_1,非光滑幾何會鼓勵部分座標精確為零。

截距通常另行處理,因為懲罰它與懲罰特徵效果的意義不同。特徵單位也會改變參數範數。標準化矩陣欄,或採明確縮放的懲罰,可以讓這項選擇可見。

逐方向推導二次收縮

二次正則化減少量測薄弱方向造成的不穩定。對前面定義的 ridge 目標,令梯度為零得到

(A⊤A+λI)x∗=A⊤b.(A^\top A+\lambda I)x^*=A^\top b.

其中 x∗x^* 是最佳解、A,bA,b 是固定設計與觀測、II 是單位矩陣、λ>0\lambda>0 是懲罰權重。令 A=UΣV⊤A=U\Sigma V^\top 為奇異值分解,U,VU,V 包含正交奇異向量,Σ\Sigma 包含奇異值 σi\sigma_i。在方向 viv_i 上,係數為

vi⊤x∗=σiσi2+λ ui⊤b.v_i^\top x^*=\frac{\sigma_i}{\sigma_i^2+\lambda}\,u_i^\top b.

其中 ui,viu_i,v_i 是配對奇異向量。沒有正則化時,非零奇異值會把觀測係數除以 σi\sigma_i;很小的值可能放大量測誤差。加入正則化後,分母不會低於 λ\lambda。在這個所有座標都受懲罰的模型中,零空間方向的係數為零。

對 A=diag⁡(1,0.1)A=\operatorname{diag}(1,0.1) 與 b=(1,0.1)b=(1,0.1),未正則化解為 (1,1)(1,1)。取 λ=0.1\lambda=0.1 後,解變為 (10/11,1/11)(10/11,1/11)。量測薄弱的第二方向被收縮得更多。這同時解釋數值穩定性與引入的偏差:正則化沒有學到第二個真實係數很小,而是在觀測對該方向限制較弱時,施加一種偏好 [1,第 6.3 節]。

限制與懲罰相關,但不同

在 R(x)≤ρR(x)\leq\rho 下最小化 ∥Ax−b∥22\|Ax-b\|_2^2,會直接指定可接受的複雜度預算。在適當條件下,它的拉格朗日乘子可以連到懲罰表示。

這不表示特定數值 λ\lambda 事先就對應明顯的 ρ\rho。非唯一解與未作用的限制,可能讓對應更複雜。應選擇最能表達真正需求的表示法。

正則化可能改善條件數,但數值優勢與預測改善是不同的事。條件數良好卻有偏差的模型,仍可能預測很差。若目標是預測,應用有效評估切分選擇調整參數,並把擬合目標與最後評估指標分開。

穩健損失與穩健量測模型

白話說。 「穩健」可能指減少異常大殘差的影響,也可能指防範量測運算子的變動。兩者是不同模型。

一個凸殘差損失是 Huber 函數:

ϕδ(r)={12r2,∣r∣≤δ,δ∣r∣−12δ2,∣r∣>δ.\phi_\delta(r)= \begin{cases} \frac12r^2,&|r|\leq\delta,\\ \delta|r|-\frac12\delta^2,&|r|>\delta. \end{cases}

rr 是純量殘差,δ>0\delta>0 是轉換尺度。導數在零附近等於 rr,外部大小則飽和於 δ\delta。對仿射殘差加總此損失,就得到凸問題 [1,第 6.1 節]。

轉換尺度具有殘差的單位。把所有觀測乘上一個尺度、卻不改 δ\delta,會改變哪些點減少影響。此損失不能抵抗所有污染;設計矩陣中的高槓桿誤差需要另外處理。

帶有幾個損壞觀測的合成直線,對照平方損失與 Huber 損失擬合。
圖 1 — 原創合成觀測與擬合解。部分反應值刻意向上移動。本示意比較殘差損失,不是基準測試,也不是一般穩健性保證。

程式:用兩種損失擬合直線

資料與偏移在本機生成。平滑最佳化呼叫遵循 SciPy 官方介面 [2]。我們比較解,並驗證穩健目標的梯度,而不宣稱某估計器永遠較好。

程式碼 · Python · 23 行
import numpy as np
from scipy.optimize import minimize

rng = np.random.default_rng(15)
t = np.linspace(-1, 1, 40)
A = np.column_stack([np.ones_like(t), t])
b = 0.4 + 1.5*t + rng.normal(0, 0.08, len(t))
b[[5, 12, 30]] += 2.5
least_squares = np.linalg.lstsq(A, b, rcond=None)[0]
delta = 0.2

def huber_objective(x):
    r = A @ x - b
    loss = np.where(abs(r) <= delta, 0.5*r*r,
                    delta*abs(r) - 0.5*delta**2)
    return loss.sum(), A.T @ np.clip(r, -delta, delta)

fit = minimize(huber_objective, least_squares, jac=True,
               method="BFGS", options={"gtol": 1e-9})
assert np.linalg.norm(huber_objective(fit.x)[1]) < 1e-6
print("squared-loss coefficients:", np.round(least_squares, 4))
print("Huber-loss coefficients:", np.round(fit.x, 4))
print("robust objective:", round(fit.fun, 6))

不確定運算子

假設矩陣本身會在指定集合 A\mathcal A 中變動,最壞情況近似模型是

min⁡xsup⁡A∈A∥Ax−b∥.\min_x\sup_{A\in\mathcal A}\|Ax-b\|.

xx 是決策,bb 是固定目標,A\mathcal A 是允許的量測矩陣。每個固定矩陣範數目標對 xx 為凸,所以逐點上確界仍凸 [1,第 6.4 節]。

凸性不保證容易計算上確界。有限不確定集合可以產生有限個上圖限制。結構化橢球不確定性可能允許錐重寫。模糊描述的「小擾動」,不足以選擇正確對應模型。

期望平方誤差是另一個模型。若 A=Aˉ+UA=\bar A+U 且 E[U]=0\mathbb E[U]=0,

E∥Ax−b∥22=∥Aˉx−b∥22+x⊤Px,P=E[U⊤U].\mathbb E\|Ax-b\|_2^2 =\|\bar Ax-b\|_2^2+x^\top P x,\qquad P=\mathbb E[U^\top U].

Aˉ\bar A 是平均運算子,UU 是隨機變動,PP 是半正定二階動差矩陣。零均值假設使交叉項消失。此處正則化來自指定的不確定模型,而非任意複雜度偏好。

最壞情況與期望保護回答不同問題。不確定集合不是機率分布;共變異數模型也不保證控制每個可能實現。

具有形狀限制的函數擬合

白話說。 我們可以要求擬合函數遞增或凸,同時讓係數最佳化保持凸。

對固定基底函數 ψj(t)\psi_j(t),

f(t)=∑j=1nxjψj(t).f(t)=\sum_{j=1}^n x_j\psi_j(t).

tt 是輸入,ψj\psi_j 是已知基底,xjx_j 是待擬合係數。在固定樣本輸入評估時,預測對 xx 仿射,即使基底對 tt 非線性。

這個區別很重要:對最佳化變數的凸性,不等於對函數輸入的凸性。多項式迴歸可以是凸係數擬合問題,擬合出的多項式卻既不遞增,也不凸。

在有序節點 t1<⋯<tmt_1<\cdots<t_m,令 zi=f(ti)z_i=f(t_i) 為擬合值。單調性可要求 zi+1≥ziz_{i+1}\geq z_i。分段線性內插函數的凸性要求

zi+1−ziti+1−ti≤zi+2−zi+1ti+2−ti+1.\frac{z_{i+1}-z_i}{t_{i+1}-t_i} \leq \frac{z_{i+2}-z_{i+1}}{t_{i+2}-t_{i+1}}.

ziz_i 是變數,節點間距是固定正數。這些斜率順序不等式對擬合值為線性。與取樣任意彈性函數導數不同,它們會保證這個特定內插函數在整段節點區間的形狀。

程式:以 LP 做單調絕對誤差擬合

我們擬合五個有序量測,輔助變數表示絕對殘差上界。SciPy 的 LP 邊界全部明確指定 [3],包括符號不受限的擬合值。

程式碼 · Python · 22 行
import numpy as np
from scipy.optimize import linprog

observed = np.array([0., 2., 1., 3., 4.])
n = len(observed)
I = np.eye(n)
order = np.zeros((n-1, n))
for i in range(n-1):
    order[i, i], order[i, i+1] = 1, -1
G = np.vstack([np.hstack([I, -I]),
               np.hstack([-I, -I]),
               np.hstack([order, np.zeros((n-1, n))])])
h = np.r_[observed, -observed, np.zeros(n-1)]
fit = linprog(np.r_[np.zeros(n), np.ones(n)], A_ub=G, b_ub=h,
              bounds=[(None, None)]*n + [(0, None)]*n,
              method="highs")
assert fit.success
z = fit.x[:n]
assert np.all(np.diff(z) >= -1e-9)
assert np.isclose(abs(z-observed).sum(), fit.fun)
print("monotone fitted values:", z)
print("total absolute residual:", fit.fun)

絕對誤差解可能不唯一。程式驗證性質與目標,不要求某個特定平台值。加入嚴格凸的次要目標可以選定一解,但那會是另一個指定問題。

觀測區間外的限制需要小心。分段線性內插提供明確區間內函數;外插則是額外規則。形狀限制可以增加合理性,但若真實過程違反它們,也會引入偏差。

概似與凸參數化

白話說。 概似模型可以產生凸目標,但是否為凸,取決於所選參數化與定義域。

對自然參數為 θ\theta 的分布,獨立觀測 yiy_i 的模型為

p(y∣θ)=exp⁡(θ⊤T(y)−A(θ)+c(y)).p(y\mid\theta)= \exp\bigl(\theta^\top T(y)-A(\theta)+c(y)\bigr).

T(y)T(y) 是充分統計量向量,A(θ)A(\theta) 是對數配分函數,c(y)c(y) 是與參數無關的基底項。指數族模型的 AA 在自然定義域上為凸。

忽略與 θ\theta 無關的項,負對數概似為

ℓ(θ)=NA(θ)−θ⊤∑i=1NT(yi).\ell(\theta)=N A(\theta)-\theta^\top\sum_{i=1}^N T(y_i).

NN 是觀測數。此式對自然參數為凸。任意非線性參數轉換,不一定保留凸性 [1,第 7.1 節]。

對成功機率 p∈(0,1)p\in(0,1) 的 Bernoulli 觀測,NN 次有 kk 次成功,負對數概似為 −klog⁡p−(N−k)log⁡(1−p)-k\log p-(N-k)\log(1-p)。若兩種結果都有出現,內部最佳點為 p=k/Np=k/N。

若所有觀測都成功或都失敗,開放定義域的最佳值可能只在邊界逼近。允許邊界分布或加入先驗,會改變存在性問題。程式若裁切機率,應把裁切記錄成定義域選擇。

最大後驗估計會加入負對數先驗。若負對數先驗在所選座標為凸,整體凸性就保留。「Bayesian」本身不保證凸最佳化,點估計也不代表完整後驗不確定性。

選讀:Logistic 分離與有限估計(見「補充資料」頁)。用實例區分係數發散與目標向下無界。

非參數機率

對離散結果,在單純形上估計機率向量 qq:

qj≥0,∑jqj=1.q_j\geq0,\qquad \sum_jq_j=1.

qjq_j 是結果 jj 的機率。給定計數 njn_j,負對數概似為 −∑jnjlog⁡qj-\sum_j n_j\log q_j,正計數搭配零機率時,要採適當延伸值慣例。

已知動差形成仿射限制,例如固定結果特徵 aja_j 與已知平均值 μ\mu 的 ∑jqjaj=μ\sum_jq_j a_j=\mu。最大化熵,等價於最小化 ∑jqjlog⁡qj\sum_jq_j\log q_j,可在這些限制下選擇分布 [1,第 7.2 節]。

動差限制應來自與資料相同的母體、使用相同單位。不一致的經驗限制可能使單純形模型不可行。放軟限制,是決定接受多少不確定性的模型選擇,不是修補代數上的麻煩。

以線性規劃設計偵測器

白話說。 看見離散證據後的決策,可以直接最佳化。允許隨機決策,會讓可行集合凸化。

假設 pkjp_{kj} 是假說 jj 下觀測 kk 的已知機率。令 TikT_{ik} 表示看見 kk 後決定假說 ii 的機率。

Tik≥0,∑iTik=1,Dij=∑kTikpkj.T_{ik}\geq0,\qquad \sum_iT_{ik}=1,\qquad D_{ij}=\sum_kT_{ik}p_{kj}.

DijD_{ij} 是 jj 為真時決定 ii 的機率。TT 是決策變數,條件機率 pkjp_{kj} 固定。DD 的每個元素對 TT 都是線性的。

加權錯誤成本、正確偵測下界與錯誤決策上界,都能寫成線性目標和限制 [1,第 7.3 節]。假說先驗可以加權整體期望錯誤,但不應悄悄拿它代替條件錯誤保證。

二元假說的適當最佳偵測器表示法,會產生概似比閾值規則。邊界觀測可能需要隨機化,才能符合精確錯誤預算。確定性規則是受限子集;強制使用它們會引入離散選擇。

最佳偵測器的有效性,取決於條件分布。分布偏移、估計概似與校準不確定性,都應納入判斷。指定機率表下的數值最佳性,不會驗證機率表本身。

偵測器算例:隨機化為什麼有用

偽陽性預算可能落在兩個確定性規則之間。假設觀測為 aa 或 bb。假設 H0H_0 下的機率為 (0.8,0.2)(0.8,0.2),H1H_1 下為 (0.2,0.8)(0.2,0.8)。這是合成條件機率表,不是量測頻率。

令 ta,tb∈[0,1]t_a,t_b\in[0,1] 為各觀測後判定 H1H_1 的機率。在偽陽性預算 0.10.1 下最大化真陽性機率,形成 LP:

maximize⁡ta,tb0.2ta+0.8tbsubject to0.8ta+0.2tb≤0.1,0≤ta,tb≤1.\begin{aligned} \operatorname{maximize}_{t_a,t_b}\quad&0.2t_a+0.8t_b\\ \text{subject to}\quad&0.8t_a+0.2t_b\leq0.1,\\ &0\leq t_a,t_b\leq1. \end{aligned}

其中目標為 H1H_1 下的偵測機率,第一限制為 H0H_0 下的錯誤機率。在 bb 花一單位錯誤預算,可得四單位偵測機率;在 aa 花同樣預算,只得四分之一單位。因此把預算給 bb:ta=0t_a=0、tb=1/2t_b=1/2,真陽性機率為 0.40.4。

在 bb 做確定性判定會消耗 0.20.2,超過預算。在這個離散觀測集合中,任何非平凡的確定性規則都違反預算,因此唯一可行確定性規則是永遠選 H0H_0,完全不偵測。隨機化填入確定性規則之間的凸空間,達到需要的操作點 [1,第 7.3 節]。這是在已知觀測後隨機決策,不是把未知機率當成決策變數。

動差與指數風險上界

白話說。 有時我們知道動差,卻不知道整個分布。明確列出假設後,上界可以保守控制尾端事件。

對均值 μ\mu、有限變異數 σ2\sigma^2 的純量隨機變數 YY,Chebyshev 不等式為

Pr⁡(∣Y−μ∣≥a)≤σ2a2,a>0.\Pr(|Y-\mu|\geq a)\leq\frac{\sigma^2}{a^2},\qquad a>0.

aa 是偏離閾值。這個上界只使用前兩階動差,可能很鬆。大於一的上界可以換成一;它不是估計的事件機率 [1,第 7.4 節]。

對閾值 bb,指數或 Chernoff 上界使用

Pr⁡(Y≥b)≤inf⁡s>0exp⁡(−sb) E[exp⁡(sY)].\Pr(Y\geq b)\leq \inf_{s>0}\exp(-sb)\,\mathbb E[\exp(sY)].

ss 是正輔助參數,使用處的期望必須有限。最佳化其對數,得到 inf⁡s>0{log⁡E[exp⁡(sY)]−sb}\inf_{s>0}\{\log\mathbb E[\exp(sY)]-sb\}。

對數動差生成函數在定義域上對 ss 為凸。但這不會自動使所有設計與風險的聯合問題,對全部變數為凸。應檢查隨機變數如何依賴決策,以及保留哪些分布假設。

尾端上界可以支援保守設計限制,卻不能代替檢查動差估計是否可靠。厚尾、相依性與有限樣本不確定性,可能讓假定的動差生成函數不適合。

選擇下一批量測

白話說。 估計品質不只取決於怎麼擬合,也取決於量測什麼。凸實驗設計先配置連續量測資源,再處理離散取整。

對候選量測向量 aj∈Rna_j\in\mathbb R^n、獨立單位變異數雜訊與正規化權重 wjw_j,定義

M(w)=∑jwjajaj⊤,wj≥0,∑jwj=1.M(w)=\sum_jw_ja_ja_j^\top,\qquad w_j\geq0,\quad\sum_jw_j=1.

MM 是每單位正規化量測資源的資訊矩陣。矩陣正定、量測模型正確且計入總資源時,相應線性估計器的共變異數會與其反矩陣成比例。

D-optimal 設計最小化 −log⁡det⁡M-\log\det M,針對不確定性體積。A-optimal 設計最小化 tr⁡(M−1)\operatorname{tr}(M^{-1}),針對總座標變異數。E-optimal 設計最大化 MM 的最小特徵值,針對最弱量測方向 [1,第 7.5 節]。

它們是不同的純量摘要。單位與座標轉換對它們解釋的影響可能不同。小的總變異數仍可能藏著量測不良的方向;小不確定體積,也不保證每個座標的界。

在兩個不同強度的正交量測間配置資源,對照兩種解析實驗設計準則。
圖 2 — 原創兩方向解析設計。D-optimal 與 A-optimal 配置不同,因為體積和總座標變異數是不同目標。曲線假設獨立單位變異數雜訊,以及兩方向皆有正資源。

程式:兩種設計準則與精確檢查

候選向量為 (2,0)(2,0) 與 (0,1)(0,1),第一個權重 ww,第二個 1−w1-w。資訊矩陣為對角矩陣 M=diag⁡(4w,1−w)M=\operatorname{diag}(4w,1-w)。任一方向未量測時,兩種準則都發散。

程式碼 · Python · 15 行
import numpy as np
from scipy.optimize import minimize_scalar

def d_loss(w):
    return -np.log(4*w) - np.log(1-w)

def a_loss(w):
    return 1/(4*w) + 1/(1-w)

d = minimize_scalar(d_loss, bounds=(1e-6, 1-1e-6), method="bounded")
a = minimize_scalar(a_loss, bounds=(1e-6, 1-1e-6), method="bounded")
assert np.isclose(d.x, 0.5, atol=1e-5)
assert np.isclose(a.x, 1/3, atol=1e-5)
print("D-optimal first weight:", round(d.x, 6))
print("A-optimal first weight:", round(a.x, 6))

實驗總數固定時,實際次數是整數。連續權重是鬆弛,或隨機取樣策略。取整可能破壞預算,或讓某方向完全未量測;轉成排程後應重新檢查矩陣。

若候選向量無法張成參數空間,任何權重都不能使資訊矩陣正定。加入先驗矩陣可以正則化設計,但意義變成先驗加量測資訊。

推導兩種設計準則為什麼配置不同

兩方向實驗在執行數值程式前就可解出。候選向量為 (2,0)(2,0) 與 (0,1)(0,1),權重為 w,1−ww,1-w,資訊矩陣為 M=diag⁡(4w,1−w)M=\operatorname{diag}(4w,1-w)。令 0<w<10<w<1,確保兩方向都有量測。

D-optimal 目標與導數為

fD(w)=−log⁡(4w)−log⁡(1−w),fD′(w)=−1w+11−w.f_D(w)=-\log(4w)-\log(1-w),\qquad f_D'(w)=-\frac1w+\frac1{1-w}.

其中 fDf_D 是負對數行列式準則。駐點條件給出 w=1/2w=1/2。強度因子四只讓目標改變一個常數,不影響這個體積準則的配置。

對 A-optimal 設計,

fA(w)=14w+11−w,fA′(w)=−14w2+1(1−w)2.f_A(w)=\frac1{4w}+\frac1{1-w},\qquad f_A'(w)=-\frac1{4w^2}+\frac1{(1-w)^2}.

其中 fAf_A 是反資訊矩陣跡準則。分母為正,因此駐點方程化為 1−w=2w1-w=2w,得到 w=1/3w=1/3。兩個純量目標的二階導數都為正,而且在端點發散,因此這些駐點為唯一全域最小解 [1,第 7.5 節]。

解讀是:第一種量測本來就更強,因此最小化總變異數時,會把更多資源送往較弱的第二方向。最小化不確定性體積則平衡方向資訊的乘積,因此給相同資源。若量測成本或雜訊變異數不同,須先在資訊矩陣與預算中納入改變,再重新推導。沒有哪種配置永遠最好;每種都回答自己選定的不確定性問題。

擬合與設計的檢核

先從必須準確的應用量開始,決定它是預測、參數分量、最壞殘差或分布機率。選擇數值損失以前,先寫出表示法與單位。

對每個限制,問它是物理必要、統計估計,還是為計算方便引入。這些角色代表不同的不可行性處理方式。物理限制可能要求修正設計,經驗動差可能需要不確定性,冗餘代數可能需要移除。

擬合後驗證定義域、形狀限制與求解器殘差,再以適當獨立程序評估泛化或不確定性。訓練目標最佳解與可靠未來預測,是不同宣稱。

設計時檢查資訊譜、預算、雜訊假設與排程轉換。連同鬆弛目標一起回報最後可執行排程,讓最重要的近似保持可見。

不確定性橢球真正說明什麼

資訊矩陣的反矩陣,只有在相應量測與估計器假設下才能解讀為共變異數。若要轉成具有指定涵蓋機率的區域,還需要分布論證與正確閾值。只由矩陣畫出橢圓,不會建立信賴水準。

對正定共變異數 CC,橢球可以寫成 (x−x^)⊤C−1(x−x^)≤c(x-\hat x)^\top C^{-1}(x-\hat x)\leq c。x^\hat x 是中心,c>0c>0 是閾值。矩陣指定形狀,閾值指定大小;涵蓋率還取決於估計誤差的實際分布。

先驗共變異數、抽樣共變異數與數值 Hessian 反矩陣,不一定具有相同解釋。特定模型下可能一致,但交換使用前應檢查模型。估計器的最佳化容許誤差與抽樣不確定性,也具有不同單位與來源。

重複量測時,獨立等變異數假設可支持簡單的資訊相加。相關重複可能提供比次數所暗示更少的新資訊。忽略相關性的設計,可能把資源自信地配置到冗餘量測。

這也影響停止精度。求解精度遠低於輸入係數的不確定性,可能實際幫助有限;看似微小的硬物理限制違反,卻仍可能不可接受。應依應用尺度設定最佳化容許誤差,而非只看浮點數能提供幾位數。

最後,不確定性視覺化應說明畫的是解析模型、估計共變異數,或重複合成實驗。本章圖形展示示意擬合與目標曲線,沒有呈現經驗校準的涵蓋區域,也沒有宣稱特定信賴機率。

現代觀點

白話說。 現今研究把結構化凸估計、大規模一階計算與學得的凸元件結合。凸性保證只屬於明確寫出的變數與定義域。

Pokutta 的 2024 年綜述 [4] 以凸可行集合的線性最小化、收斂保證與實用變體,組織 Frank–Wolfe 方法。單純形限制的實驗設計,是這個觀點的自然場合:極端點搜尋可以避免完整投影。但目標仍須滿足要求的平滑性與正定定義域控制。

Schaller、Bemporad 與 Boyd 的 2025 年手稿 [5] 討論學習參數化凸函數,再用於後續最佳化。它以有紀律的曲率規則連結擬合:對合法固定參數,學得元件可以保持對決策變數的凸性。訓練元件是另一個問題,本身未必凸。

兩來源涵蓋互補問題:如何在結構化可行集合中移動,以及如何建立能放入集合內使用的函數。它們都不會代替不確定性建模、保留資料評估或設計的物理可行性。

目前挑戰包括模型失配下的可靠不確定性、資源限制下有資訊的量測、樣本區間外仍合適的形狀限制,以及觀測逐步到來時的可擴充更新。應區分可證明凸的估計器與完整驗證的統計流程。

重點整理

  • 殘差範數、參數範數與評估指標回答不同問題。
  • 正則化權重依賴目標正規化與特徵單位。
  • 穩健殘差損失與不確定運算子模型防範不同誤差。
  • 固定非線性基底仍能產生凸係數擬合。
  • 概似凸性依賴參數化與定義域。
  • 離散證據的隨機偵測器可以寫成 LP。
  • 實驗設計準則不同,連續權重也需要執行方案。

練習

  1. 將最大絕對殘差擬合寫成 LP,包含符號不受限的參數。
提示

使用一個非負殘差上界。

  1. 把觀測與預測乘以十。求 Huber 轉換尺度與二次正則化權重應如何改變,才能保留指定等價目標。
提示

寫出縮放後目標;答案取決於參數與懲罰單位是否也縮放。

  1. 在五節點單調擬合例子加入凸性限制,使用不相等的正節點間距。
提示

排序相鄰斜率。

  1. 推導 Bernoulli 最大概似估計,並解釋開放定義域的邊界情況。
提示

令概似導數為零,再看端點。

  1. 建立具有明確偽陽性預算的雙假說隨機化偵測器 LP。
提示

使用每個觀測的決策機率,把條件錯誤寫成線性式。

  1. 推導程式中兩方向 D-optimal 與 A-optimal 權重,再說明小量測預算取整後為何需要重新檢查。
提示

對純量準則微分;檢查每個取整方向是否有量測。

補充資料

1 則補充資料,各自成頁;主線不依賴它們。

打開補充資料 →

參考文獻

  1. Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004. 閱讀:第 6 章第 6.1–6.5 節;第 7 章第 7.1–7.5 節。 官方書頁,免費 PDF。

  2. SciPy developers, “scipy.optimize.minimize” and “scipy.optimize.minimize_scalar,” SciPy API documentation, accessed 2026. 多變數介面,純量介面。

  3. SciPy developers, “scipy.optimize.linprog,” SciPy API documentation, accessed 2026. 官方文件。

  4. Sebastian Pokutta, “The Frank-Wolfe Algorithm: A Short Introduction,” Jahresbericht der Deutschen Mathematiker-Vereinigung, 126, 2024. 開放綜述。

  5. Michael Schaller, Alberto Bemporad and Stephen Boyd, “Learning Parametric Convex Functions,” manuscript, 2025. 官方手稿頁。

  6. SAS Institute, “Existence of Maximum Likelihood Estimates,” SAS/STAT 12.1 User’s Guide, 查閱日期:2026-11-05。官方文件.

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 OPT 06・梯度下降、牛頓步驟與數值可靠性 · 16 分鐘