完整搜尋頁面 →

OPT 02・凸函數、組合規則與共軛

最佳化中階13 分鐘更新於 2026年10月4日

先備知識:OPT 01・決策建模與凸集合

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 1 個互動實驗

在兩個輸入之間移動並計算 Jensen 差距,負值就是具體反例。

你將學到

  • 用定義域、弦線與上圖集合定義凸性。
  • 在不假設處處可微時使用一階與二階條件。
  • 辨認重要純量、範數與矩陣函數。
  • 以加總、仿射代入、最大值、組合與 perspective 建模。
  • 推導共軛,連結線性下界。
  • 區分凸、強凸、擬凸與對數凹結構。

先看全貌

上一章描述允許的選擇,本章描述分數如何改變。凸目標有一種一致性:混合兩個選擇後,分數不高於兩端分數的同樣混合;局部支撐平面提供全域下界。

但熟悉的損失不一定對每個變數都凸。平方誤差對預測值與線性係數凸,對多層神經網路的全部參數通常不凸。必須說明正在最佳化的變數與定義域。

Boyd 與 Vandenberghe 第 3 章 [1] 提供多種辨認方式。目標不是背大量公式,而是用少量基本函數與有效轉換規則,讓複雜目標有可檢查的凸性理由。

凸性包括定義域。某公式在所有可微處曲率都正,若完整定義域不連通,仍不是該集合上的凸函數。定義域需要和導數同樣仔細檢查。

弦線、定義域與上圖集合

白話版。 連接兩個函數值的直線,在凸函數的所有中間輸入,都不低於真正函數值。

凸定義域 CC 上的 f:C→Rf:C\rightarrow\mathbb R:

f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y),0≤θ≤1.f(\theta x+(1-\theta)y) \leq\theta f(x)+(1-\theta)f(y),\qquad 0\leq\theta\leq1.

x,y∈Cx,y\in C 是任意輸入,θ\theta 是混合權重,所有選擇都成立時 ff 為凸。反向不等式定義凹性;仿射函數等號成立,同時凸與凹。

此條件同時比較輸入與輸出。定義域凸,確保混合輸入可用;不能只對方便的部分端點驗證。

上圖集合(epigraph):

epi⁡f={(x,t):x∈C, f(x)≤t}.\operatorname{epi}f=\{(x,t):x\in C,\ f(x)\leq t\}.

tt 是純量高度,(x,t)(x,t) 位於函數圖形上方或圖形上。ff 凸,若且唯若其 epigraph 是凸集合,連結前章幾何與本章目標。

引入 tt,最小化它且限制 f(x)≤tf(x)\leq t,就是 epigraph formulation。精確改寫不改變最佳值,也可把非平滑目標變成較容易表達的限制。

Jensen 不等式與期望

f(∑iθixi)≤∑iθif(xi),θi≥0,∑iθi=1.f\left(\sum_i\theta_ix_i\right) \leq\sum_i\theta_if(x_i),\qquad \theta_i\geq0,\quad\sum_i\theta_i=1.

xix_i 是輸入,θi\theta_i 是權重。隨機向量 XX 若符合可積分與定義域條件,則 f(E[X])≤E[f(X)]f(\mathbb E[X])\leq\mathbb E[f(X)]。

因此先平均再算凸成本,可能比個別成本平均小。但這不表示平均任意模型參數都改善預測,還需要預測損失對那些參數凸。

非線性轉換後的期望,通常不等於期望後的轉換。偏向哪一側取決於凸或凹,不是「平均一定有代表性」的直覺。

支撐平面:一階條件

白話版。 可微凸函數的切線近似是全域下界,不只是附近的草圖。

開凸定義域上,可微凸性等價於

f(y)≥f(x)+∇f(x)⊤(y−x).f(y)\geq f(x)+\nabla f(x)^\top(y-x).

xx 是近似位置,yy 是任意定義域點,∇f(x)\nabla f(x) 是對最佳化變數的梯度。右側仿射式從下方支撐函數。

對 x+θ(y−x)x+\theta(y-x) 使用弦線條件,整理、除以正的 θ\theta,再令其趨近零,可得到此方向導數界。

若 ∇f(x)=0\nabla f(x)=0,不等式給所有 yy 都有 f(y)≥f(x)f(y)\geq f(x),因此無限制可微凸問題的駐點全域最佳,但未必唯一。

有限制時,非零梯度也可能最佳,因為改善方向被禁止。對偶與受限演算法章會明確表示此事;小梯度不是每種受限問題的合適停止規則。

非平滑支撐向量

角點不破壞凸性。次梯度(subgradient)gg 在 xx 滿足

f(y)≥f(x)+g⊤(y−x)for every y.f(y)\geq f(x)+g^\top(y-x)\quad\text{for every }y.

gg 是提供全域仿射下界的向量,所有這類向量形成次微分 ∂f(x)\partial f(x)。可微點只有梯度;絕對值在零的次梯度為 [−1,1][-1,1]。

絕對殘差、最大值與稀疏懲罰會用到此概念。次梯度不是在角點任選導數,必須滿足全域支撐條件。後面會連到 proximal 方法。

無限制凸函數的 0∈∂f(x)0\in\partial f(x) 保證全域最佳。零梯度與零屬於一組次梯度,都是同一支撐觀念。

二次曲線,上方弦線與下方切線。
Figure 1 — 原創解析示意。凸函數位於端點弦線下方,指定位置的切線則提供全域仿射下界。

曲率:二階條件

白話版。 平滑函數必須在所有方向都向上彎,才是凸;只看各座標可能漏掉向下彎的斜向方向。

開凸定義域上,二次連續可微 ff 的凸性等價於

∇2f(x)⪰0for every x.\nabla^2f(x)\succeq0\quad\text{for every }x.

∇2f(x)\nabla^2f(x) 是對稱 Hessian,半正定表示每個 v⊤∇2f(x)vv^\top\nabla^2f(x)v 都非負。

只有對角元素非負不夠。f(x1,x2)=x1x2f(x_1,x_2)=x_1x_2 的座標二階導數為零,但 Hessian 不定,兩條對角方向分別向上與向下彎。

這是完整定義域上的全域條件,抽查十個位置的特徵值只是診斷。解析 Hessian 的半正定分解才可對所有位置建立證明。

嚴格凸與強凸

嚴格凸要求不同端點與嚴格介於零一的權重下,弦線不等式嚴格成立。凸集合上最小值存在時,嚴格凸可保證唯一。

二範數下的強凸要求某 μ>0\mu>0:

f(y)≥f(x)+∇f(x)⊤(y−x)+μ2∥y−x∥22.f(y)\geq f(x)+\nabla f(x)^\top(y-x) +\frac{\mu}{2}\|y-x\|_2^2.

μ\mu 是統一曲率下界。二次可微時對應 ∇2f(x)⪰μI\nabla^2f(x)\succeq\mu I,II 為單位矩陣。強凸比嚴格凸更強;嚴格凸未必有正的統一下界。

正二次正則化常在受懲罰座標提供強凸。未懲罰截距或限制定義域仍須分別分析,不能由一個正則化項推論全部參數強凸。

Hessian 條件實際量測什麼

多變數曲率測試可以化成每條直線上的純量測試。固定點 xx 與方向 vv,在仍屬於定義域的區間令 q(t)=f(x+tv)q(t)=f(x+tv)。微分兩次得到

q′′(t)=v⊤∇2f(x+tv)v.q''(t)=v^\top\nabla^2 f(x+tv)v.

其中 tt 是直線座標、qq 是限制在直線上的純量函數、vv 是任意方向。半正定 Hessian 讓每個直線限制都凸。每條線段都屬於某條直線,因此可推出弦線定義。反過來,每條直線都凸,就要求其二階導數非負。這說明測試為何檢查所有方向的二次型,而不是個別矩陣元素 [1]。

嚴格凸與強凸可以用具體例子區分。純量函數 f(x)=x4f(x)=x^4 在 R\mathbb R 上嚴格凸,因為導數 4x34x^3 嚴格遞增。但 f′′(0)=0f''(0)=0,所以不存在正的全域 μ\mu 滿足強凸 Hessian 下界。其最小解唯一,卻不能使用 OPT 06 的強凸停止上界。加入 μ2x2\frac\mu2x^2,其中選定 μ>0\mu>0,可補足曲率下界,同時也改變目標。

有用函數的基本目錄

白話版。 少數基本函數涵蓋很多實務目標,使用方式取決於其定義域與正負號。

仿射 a⊤x+ba^\top x+b 同時凸與凹。範數由齊次性與三角不等式建立凸性;平方二範數平滑,二範數本身在原點不平滑。

f(x)=12x⊤Qx+c⊤x+d.f(x)=\frac12x^\top Qx+c^\top x+d.

QQ 是對稱曲率矩陣,cc 是線性係數向量,dd 是純量。此函數凸若且唯若 Q⪰0Q\succeq0;正定 QQ 的最小特徵值提供強凸界。

指數處處凸,負對數在正輸入凸。冪次必須說清楚指數與定義域,「所有冪次都凸」是錯的;平方根在非負輸入凹,其負值則凸。

最大座標或仿射分數的最大值凸且通常非平滑;仿射函數的最小值凹,不普遍凸。正負號不能忽略。

矩陣定義域

對正定對稱 XX,−log⁡det⁡X-\log\det X 是凸函數 [1,第 3.1 節]。變數是矩陣,定義域排除奇異矩陣。

對稱擾動 HH 的二階方向導數:

tr⁡(X−1HX−1H)≥0.\operatorname{tr}(X^{-1}HX^{-1}H)\geq0.

HH 是對稱矩陣方向,tr⁡\operatorname{tr} 為 trace。Congruence 轉換後成為平方 Frobenius 範數,說明曲率非負。

對稱矩陣最大特徵值凸:

λmax⁡(X)=sup⁡∥v∥2=1v⊤Xv.\lambda_{\max}(X)=\sup_{\|v\|_2=1}v^\top Xv.

λmax⁡\lambda_{\max} 表示最大特徵值,vv 遍歷單位向量。固定 vv 時二次型對 XX 元素仿射,逐點上確界因此凸,展示「誰是變數」的重要性。

程式碼:二次函數與反例的 Hessian

以下 Hessian 固定,因此特徵值檢查適用所有輸入,並驗證一次支撐平面不等式。

程式碼 · Python · 14 行
import numpy as np

Q = np.array([[3.0, 1.0], [1.0, 2.0]])
bad = np.array([[0.0, 1.0], [1.0, 0.0]])
assert np.linalg.eigvalsh(Q).min() > 0
assert np.linalg.eigvalsh(bad).min() < 0
x, y = np.array([0.4, -0.6]), np.array([-1.0, 0.8])
f = lambda z: 0.5 * z @ Q @ z
support = f(x) + (Q @ x) @ (y - x)
gap = f(y) - support
assert np.isclose(gap, 0.5 * (y - x) @ Q @ (y - x))
print("quadratic Hessian eigenvalues:", np.linalg.eigvalsh(Q))
print("product Hessian eigenvalues:", np.linalg.eigvalsh(bad))
print("supporting-plane gap:", gap)

加總、代入與逐點最大值

白話版。 以保留凸性的運算組合已知函數,運算規則就是證明。

凸函數的非負加權和凸,負係數通常翻轉或破壞性質。固定、與決策變數無關的分布下,定義良好的積分或期望也保留凸性。

仿射代入:

g(x)=f(Ax+b).g(x)=f(Ax+b).

ff 凸,A,bA,b 固定。gg 定義域要求變換後落在 ff 的定義域。此規則建立平方殘差、範數殘差與線性估計正則化的凸性。

fif_i 凸時,共同定義域上的 max⁡ifi(x)\max_i f_i(x) 凸。引入 tt 並限制所有 fi(x)≤tf_i(x)\leq t,可建模最壞殘差、最壞情境與最大座標。

共同凸的輔助變數部分最小化也保留凸性:

g(x)=inf⁡yF(x,y).g(x)=\inf_yF(x,y).

FF 必須對 (x,y)(x,y) 共同凸,yy 是被消去變數;分別對各區塊凸不夠。這連結 epigraph 的座標投影。

哪些運算不自動保留凸性

凸函數相乘、相除,通常不保證凸;取最小值可能形成多個谷地。

x2y2x^2y^2 不會因為是兩個非負凸式的乘積就共同凸。Reciprocal 或指數外層需要正確單調性的組合論證。

固定參數乘變數是仿射,兩個決策變數相乘是 bilinear,通常非凸。把待學或未知量誤當固定資料,是常見建模錯誤。

組合與單調性

白話版。 外層凸函數若以適當方向回應內層參數,就可保留凸性。

F(x)=h(g1(x),…,gk(x)).F(x)=h(g_1(x),\ldots,g_k(x)).

hh 是外層,gig_i 是純量內層。充分規則是:hh 凸,各參數上若內層凸則非遞減,若內層凹則非遞增,或內層為仿射。還須納入定義域與 extended-value 條件 [1,第 3.2 節]。

指數凸且遞增,所以指數作用在凸內層保留凸。負對數凸且遞減,作用在正的凹內層得到凸。

平方不能隨意作用在凸式:負輸入時它遞減,正輸入時遞增。非負凸內層平方是有效組合,任意正負則需要另證。

這些是充分辨認規則,不是判定所有代數式的完整程序。例如 1+x2\sqrt{1+x^2} 改寫成二範數,就能直接看出凸性。

從導數看組合規則

對純量平滑函數,鏈鎖律能看清單調性要求從哪裡出現。令 F(x)=h(g(x))F(x)=h(g(x)),則

F′′(x)=h′′(g(x))[g′(x)]2+h′(g(x))g′′(x).F''(x)=h''(g(x))[g'(x)]^2+h'(g(x))g''(x).

其中撇號表示純量導數、gg 是內層函數、hh 是外層函數。若 hh 凸且非遞減、gg 凸,兩項都非負。若 hh 凸且非遞增、gg 凹,第二項仍非負。組合規則也適用非平滑函數,但這個計算揭露了正負號來源 [1]。

取凸內層式 g(x)=x2−1g(x)=x^2-1 與凸外層函數 h(t)=t2h(t)=t^2。組合為 (x2−1)2(x^2-1)^2,二階導數為 12x2−412x^2-4,在零點為負,所以組合不凸。內層輸出在零附近為負,平方函數在該區域遞減,因此所需符號配合失敗。

若定義域為凸,且凸內層式在整個定義域非負,平方就合法,因為外層在該區域非遞減。因此平方歐氏殘差範數凸,但「任意凸損失式都可再平方」不是一般有效規則。

Log-sum-exp 與穩定計算

白話版。 Log-sum-exp 平滑地從上方近似最大分數,也產生正規化權重。

f(x)=log⁡(∑i=1nexi),pi=exi∑jexj.f(x)=\log\left(\sum_{i=1}^ne^{x_i}\right),\qquad p_i=\frac{e^{x_i}}{\sum_je^{x_j}}.

xix_i 為純量座標,pip_i 是正且總和一的權重。梯度為 pp,Hessian 為

∇2f(x)=diag⁡(p)−pp⊤.\nabla^2f(x)=\operatorname{diag}(p)-pp^\top.

diag⁡(p)\operatorname{diag}(p) 把權重放在對角。任意方向 vv 的二次型是 viv_i 的加權變異數,因此非負,證明凸。

所有座標加相同常數,函數也只平移該常數。因此全一方向曲率零,在完整空間不強凸。

溫度 τ>0\tau>0 下,fτ(x)=τlog⁡∑iexi/τf_\tau(x)=\tau\log\sum_i e^{x_i/\tau}:

max⁡ixi≤fτ(x)≤max⁡ixi+τlog⁡n.\max_i x_i\leq f_\tau(x)\leq\max_i x_i+\tau\log n.

τ\tau 控制平滑與近似差;越小越接近最大值,但可能使數值最佳化更病態。先扣除最大縮放座標,再做指數,能穩定計算。

兩條線性分數的最大值,以及不同溫度的平滑 log-sum-exp。
Figure 2 — 原創解析示意。溫度縮放 log-sum-exp 位於最大分數上方;較小溫度更接近,但轉折更尖。

程式碼:穩定計算與 Jensen 檢查

完整範例避免大輸入溢位,驗證 Hessian 並展示一次有限 Jensen 比較。

程式碼 · Python · 16 行
import numpy as np
from scipy.special import logsumexp

x = np.array([1000.0, 999.0, 997.0])
value = logsumexp(x)
p = np.exp(x - value)
H = np.diag(p) - np.outer(p, p)
assert np.linalg.eigvalsh(H).min() >= -1e-12
assert np.isclose(p.sum(), 1)
u, v = np.array([1., -1., 0.]), np.array([-2., 2., 1.])
theta = 0.3
left = logsumexp(theta * u + (1 - theta) * v)
right = theta * logsumexp(u) + (1 - theta) * logsumexp(v)
assert left <= right + 1e-12
print("stable value:", value, "weights:", p)
print("Jensen gap:", right - left)

Perspective:正規化變數並保留凸性

白話版。 Perspective 把正規化輸入的成本,和使用的尺度相乘,產生看似比值的有用凸式。

g(x,t)=tf(x/t),t>0,x/t∈dom⁡f.g(x,t)=tf(x/t),\qquad t>0,\quad x/t\in\operatorname{dom}f.

ff 凸,xx 是向量,tt 是正尺度,gg 對 (x,t)(x,t) 共同凸。正尺度定義域不可漏。

f(u)=∥u∥22f(u)=\|u\|_2^2 給 g(x,t)=∥x∥22/tg(x,t)=\|x\|_2^2/t,稱 quadratic-over-linear。任意相除不保證凸,但此特定結構凸。

混合 (x1,t1)(x_1,t_1) 與 (x2,t2)(x_2,t_2) 後,正規化輸入的權重與 θt1\theta t_1、(1−θ)t2(1-\theta)t_2 成比例。對 ff 使用凸性,再乘混合尺度,即可證明。

此形式用於正規化速率、分配時間或正質量,也可揭露精確錐表示。未仔細定義閉延伸前,不能任意允許零或負尺度。

Perspective 證明:正規化後權重會改變

普通平均與除以變動尺度不能直接交換。Perspective 仍然凸,是因為正規化產生另一組仍合法的權重。

取兩個定義域點 (x1,t1),(x2,t2)(x_1,t_1),(x_2,t_2),其中 t1,t2>0t_1,t_2>0,混合權重為 θ∈[0,1]\theta\in[0,1]。定義

xˉ=θx1+(1−θ)x2,tˉ=θt1+(1−θ)t2,β=θt1tˉ,xˉtˉ=βx1t1+(1−β)x2t2.\begin{aligned} \bar x&=\theta x_1+(1-\theta)x_2,\qquad \bar t=\theta t_1+(1-\theta)t_2,\\ \beta&=\frac{\theta t_1}{\bar t},\qquad \frac{\bar x}{\bar t} =\beta\frac{x_1}{t_1}+(1-\beta)\frac{x_2}{t_2}. \end{aligned}

其中 xˉ,tˉ\bar x,\bar t 是混合後的分子與尺度;β∈[0,1]\beta\in[0,1] 是正規化權重。對最後一行套用 ff 的凸性,再乘上 tˉ>0\bar t>0。係數變成 tˉβ=θt1\bar t\beta=\theta t_1 與 tˉ(1−β)=(1−θ)t2\bar t(1-\beta)=(1-\theta)t_2,恰好得到 g(x,t)=tf(x/t)g(x,t)=tf(x/t) 的凸弦線界 [1]。

對二次除線性例子,取 (x1,t1)=(2,1)(x_1,t_1)=(2,1)、(x2,t2)=(2,3)(x_2,t_2)=(2,3),且 θ=1/2\theta=1/2。兩成本為 44 與 4/34/3,混合點 (2,2)(2,2) 的成本為 22,低於平均 8/38/3。其正規化輸入為 11:第一個正規化輸入 22 的權重為 β=1/4\beta=1/4,第二個 2/32/3 的權重為 3/43/4。依尺度調整權重是關鍵;直接平均正規化輸入會得到不同結果。

共軛與線性下界

白話版。 共軛問某個線性分數最多能超過函數多少,答案決定該斜率下支撐線的最佳截距。

f∗(y)=sup⁡x∈dom⁡f{y⊤x−f(x)}.f^*(y)=\sup_{x\in\operatorname{dom}f}\{y^\top x-f(x)\}.

yy 是斜率向量,xx 是原變數,f∗(y)f^*(y) 是差值上確界。有限值給下界:

f(x)≥y⊤x−f∗(y).f(x)\geq y^\top x-f^*(y).

這直接來自定義,是 Fenchel 不等式 [1,第 3.3 節],用於對偶與 splitting 演算法。

f(x)=12x⊤Qxf(x)=\frac12x^\top Qx 且 QQ 正定時,最大差的點滿足 Qx=yQx=y:

f∗(y)=12y⊤Q−1y.f^*(y)=\frac12y^\top Q^{-1}y.

QQ 是曲率矩陣。程式用求解 Qx=yQx=y,不用明算反矩陣。

集合 indicator 的共軛是 support function。Extended-value indicator 在允許集合為零、其他地方正無限,可把限制併入目標,但不是有限懲罰。

Proper closed convex 函數取兩次共軛可回到原函數。缺少條件時,double conjugate 對應適當的閉凸包絡,不能任意假設重現原公式。

程式碼:共軛證書

二次 Fenchel 界在 y=Qxy=Qx 等號成立;範例檢查等號與其他斜率的非負 gap。

程式碼 · Python · 13 行
import numpy as np

Q = np.array([[4., 1.], [1., 2.]])
x = np.array([0.5, -0.8])
y = np.array([1.2, 0.3])
f = lambda z: 0.5 * z @ Q @ z
conjugate = lambda slope: 0.5 * slope @ np.linalg.solve(Q, slope)
gap = f(x) + conjugate(y) - x @ y
matching = Q @ x
assert gap >= -1e-12
assert np.isclose(f(x) + conjugate(matching), x @ matching)
print("Fenchel gap:", gap)
print("matching slope:", matching)

具有明確定義域的非平滑共軛

共軛能把非平滑懲罰轉成簡單的斜率限制。令 f(x)=λ∥x∥1f(x)=\lambda\|x\|_1,其中固定 λ>0\lambda>0。在定義中分開各座標,得到

f∗(y)=∑isup⁡xi∈R(yixi−λ∣xi∣)={0,∥y∥∞≤λ,+∞,∥y∥∞>λ.f^*(y)=\sum_i\sup_{x_i\in\mathbb R}(y_i x_i-\lambda|x_i|) =\begin{cases} 0,&\|y\|_\infty\leq\lambda,\\ +\infty,&\|y\|_\infty>\lambda. \end{cases}

其中 xi,yix_i,y_i 是原變數與斜率的座標;∥y∥∞=max⁡i∣yi∣\|y\|_\infty=\max_i|y_i|。當 ∣yi∣≤λ|y_i|\leq\lambda,每個座標的式子至多為零,在 xi=0x_i=0 達到。只要某個斜率量值超過門檻,讓 xix_i 同號並增加量值,就能使式子無界。

因此共軛的定義域是無限範數球。對應下界 y⊤x≤λ∥x∥1y^\top x\leq\lambda\|x\|_1 在非零座標具有匹配斜率 yi=λsign⁡(xi)y_i=\lambda\operatorname{sign}(x_i) 時取等號。一個計算便連起範數幾何、次梯度與對偶可行性 [1,第 3.3 節]。OPT 08 會用同樣的門檻結構推導近端更新。

擬凸性與對數結構

白話版。 有些函數不凸,但低於任何門檻的輸入集合都凸;另一些函數取對數後凸或凹。各自有不同保證。

擬凸(quasiconvex)要求所有下水平集合凸:

Cα={x:f(x)≤α}.C_\alpha=\{x:f(x)\leq\alpha\}.

α\alpha 是任意實數門檻,CαC_\alpha 是其下水平集合。等價地,混合值不超過兩端較大值,比弦線條件弱。

凸函數都擬凸。區間上的單調純量函數,即使曲率非向上,也擬凸。適當形式下,可對門檻二分,每步解凸可行問題 [1,第 3.4、4.2 節]。

正函數 ff 的 log-convex 表示 log⁡f\log f 凸,log-concave 表示 log⁡f\log f 凹。正性與定義域都是定義的一部分。密度的 log density 凹,不代表所有參數化下的估計問題都凸。

某些 geometric program 可對正變數取對數,精確轉成凸問題。這只適用指定類型,不是對任意目標和限制取對數的許可。下一章會推導。

公式的凸性與實作的凸性

數學凸表示式仍可能算得不好。指數溢位、矩陣邊界附近捨入,或意外陣列廣播,都可能使算出的量無效,原本函數卻依然凸。

應把符號曲率論證與數值評估檢查,作為不同證據。少數點的 Hessian 取樣可能找到反例,卻不能證明處處非負曲率。穩定實作也不會證明指定公式凸。

求解時參數固定,凸性宣稱針對的是該參數值下的決策變數。係數改變符號可能使組合規則失效。應記錄哪些參數範圍保留保證,不要無條件稱整個參數化族為凸。

學得函數也一樣。對後來當成決策變數的輸入為凸,不表示對訓練中的權重為凸。曲率規則一次描述一個最佳化問題。

現代觀點

白話版。 資料學習函數時,仍可限制它對決策輸入凸,但訓練參數本身未必凸。

Disciplined convex programming [2] 將組合規則形式化,區分仿射、凸與凹,追蹤單調性與定義域。語法規則失敗可能只需要改寫,不一定否證數學凸性。

Schaller、Bemporad 與 Boyd 的 2025 稿件 [3] 擬合參數化凸函數,要求對有效參數值,函數在決策變數上仍凸且符合 disciplined programming。它連結資料學習與保持凸模型,是原創研究,不是綜述,也不保證任意神經損失。

Pokutta 的 2024 綜述 [4] 依幾何存取組織受限平滑方法,使用凸、平滑與強凸分析更新。全域凸性、統一下曲率與上平滑界有不同角色,應分別檢查。

開放問題包含結構函數類別的表達能力、雜訊參數下的定義域證明、不可微解映射,以及學習模型的泛化。最佳化證書證明擬合目標的性質,不證明它符合未來觀測。

重點整理

  • 凸性同時包含凸定義域與弦線不等式。
  • 切線與次梯度提供全域下界。
  • 半正定 Hessian 建立所有方向的平滑凸性。
  • 嚴格凸、強凸與平滑是不同假設。
  • 組合規則需要單調性、正負號與定義域。
  • Perspective 與共軛揭露比值和限制的結構。
  • 擬凸與對數凸形式需要自己的推理。

練習

  1. 從可微函數的弦線定義推導支撐平面不等式。
提示

整理弦線、除權重,再令其趨零。

  1. 用二變數例子說明 Hessian 對角非負不保證凸。
提示

用 x1x2x_1x_2 的對角方向。

  1. 把 1+x2\sqrt{1+x^2} 改寫成可辨認凸性的範數。
提示

向量 (1,x)(1,x) 的二範數。

  1. 推導平方二範數的 perspective,說明定義域。
提示

代入 x/tx/t 再乘正 tt。

  1. 推導 12∥x∥22\frac12\|x\|_2^2 的共軛與 Fenchel 等號條件。
提示

微分二次差。

  1. 提出區間上擬凸卻非凸的函數,驗證下水平集合。
提示

正區間上的平方根單調且凹,下水平集合仍為區間。

參考文獻

  1. Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004。閱讀:第 3 章;第 4.2 節的擬凸可行性。官方書籍頁、官方免費 PDF。
  2. Michael Grant, Stephen Boyd and Yinyu Ye, “Disciplined Convex Programming,” in Global Optimization: From Theory to Implementation, Springer, 2006。作者出版頁。
  3. Michael Schaller, Alberto Bemporad and Stephen Boyd, “Learning Parametric Convex Functions,” manuscript, June 2025。已驗證稿件頁。
  4. Sebastian Pokutta, “The Frank-Wolfe Algorithm: A Short Introduction,” Jahresbericht der Deutschen Mathematiker-Vereinigung, 126, 2024。開放綜述。

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 OPT 03・線性、二次、錐與幾何規劃 · 12 分鐘