OPT 02・凸函數、組合規則與共軛
先備知識:OPT 01・決策建模與凸集合
導覽:本頁與本系列: 導覽:本頁與本系列
本頁內容
最佳化
你將學到
- 用定義域、弦線與上圖集合定義凸性。
- 在不假設處處可微時使用一階與二階條件。
- 辨認重要純量、範數與矩陣函數。
- 以加總、仿射代入、最大值、組合與 perspective 建模。
- 推導共軛,連結線性下界。
- 區分凸、強凸、擬凸與對數凹結構。
先看全貌
上一章描述允許的選擇,本章描述分數如何改變。凸目標有一種一致性:混合兩個選擇後,分數不高於兩端分數的同樣混合;局部支撐平面提供全域下界。
但熟悉的損失不一定對每個變數都凸。平方誤差對預測值與線性係數凸,對多層神經網路的全部參數通常不凸。必須說明正在最佳化的變數與定義域。
Boyd 與 Vandenberghe 第 3 章 [1] 提供多種辨認方式。目標不是背大量公式,而是用少量基本函數與有效轉換規則,讓複雜目標有可檢查的凸性理由。
凸性包括定義域。某公式在所有可微處曲率都正,若完整定義域不連通,仍不是該集合上的凸函數。定義域需要和導數同樣仔細檢查。
弦線、定義域與上圖集合
白話版。 連接兩個函數值的直線,在凸函數的所有中間輸入,都不低於真正函數值。
凸定義域 上的 :
是任意輸入, 是混合權重,所有選擇都成立時 為凸。反向不等式定義凹性;仿射函數等號成立,同時凸與凹。
此條件同時比較輸入與輸出。定義域凸,確保混合輸入可用;不能只對方便的部分端點驗證。
上圖集合(epigraph):
是純量高度, 位於函數圖形上方或圖形上。 凸,若且唯若其 epigraph 是凸集合,連結前章幾何與本章目標。
引入 ,最小化它且限制 ,就是 epigraph formulation。精確改寫不改變最佳值,也可把非平滑目標變成較容易表達的限制。
Jensen 不等式與期望
是輸入, 是權重。隨機向量 若符合可積分與定義域條件,則 。
因此先平均再算凸成本,可能比個別成本平均小。但這不表示平均任意模型參數都改善預測,還需要預測損失對那些參數凸。
非線性轉換後的期望,通常不等於期望後的轉換。偏向哪一側取決於凸或凹,不是「平均一定有代表性」的直覺。
支撐平面:一階條件
白話版。 可微凸函數的切線近似是全域下界,不只是附近的草圖。
開凸定義域上,可微凸性等價於
是近似位置, 是任意定義域點, 是對最佳化變數的梯度。右側仿射式從下方支撐函數。
對 使用弦線條件,整理、除以正的 ,再令其趨近零,可得到此方向導數界。
若 ,不等式給所有 都有 ,因此無限制可微凸問題的駐點全域最佳,但未必唯一。
有限制時,非零梯度也可能最佳,因為改善方向被禁止。對偶與受限演算法章會明確表示此事;小梯度不是每種受限問題的合適停止規則。
非平滑支撐向量
角點不破壞凸性。次梯度(subgradient) 在 滿足
是提供全域仿射下界的向量,所有這類向量形成次微分 。可微點只有梯度;絕對值在零的次梯度為 。
絕對殘差、最大值與稀疏懲罰會用到此概念。次梯度不是在角點任選導數,必須滿足全域支撐條件。後面會連到 proximal 方法。
無限制凸函數的 保證全域最佳。零梯度與零屬於一組次梯度,都是同一支撐觀念。

曲率:二階條件
白話版。 平滑函數必須在所有方向都向上彎,才是凸;只看各座標可能漏掉向下彎的斜向方向。
開凸定義域上,二次連續可微 的凸性等價於
是對稱 Hessian,半正定表示每個 都非負。
只有對角元素非負不夠。 的座標二階導數為零,但 Hessian 不定,兩條對角方向分別向上與向下彎。
這是完整定義域上的全域條件,抽查十個位置的特徵值只是診斷。解析 Hessian 的半正定分解才可對所有位置建立證明。
嚴格凸與強凸
嚴格凸要求不同端點與嚴格介於零一的權重下,弦線不等式嚴格成立。凸集合上最小值存在時,嚴格凸可保證唯一。
二範數下的強凸要求某 :
是統一曲率下界。二次可微時對應 , 為單位矩陣。強凸比嚴格凸更強;嚴格凸未必有正的統一下界。
正二次正則化常在受懲罰座標提供強凸。未懲罰截距或限制定義域仍須分別分析,不能由一個正則化項推論全部參數強凸。
Hessian 條件實際量測什麼
多變數曲率測試可以化成每條直線上的純量測試。固定點 與方向 ,在仍屬於定義域的區間令 。微分兩次得到
其中 是直線座標、 是限制在直線上的純量函數、 是任意方向。半正定 Hessian 讓每個直線限制都凸。每條線段都屬於某條直線,因此可推出弦線定義。反過來,每條直線都凸,就要求其二階導數非負。這說明測試為何檢查所有方向的二次型,而不是個別矩陣元素 [1]。
嚴格凸與強凸可以用具體例子區分。純量函數 在 上嚴格凸,因為導數 嚴格遞增。但 ,所以不存在正的全域 滿足強凸 Hessian 下界。其最小解唯一,卻不能使用 OPT 06 的強凸停止上界。加入 ,其中選定 ,可補足曲率下界,同時也改變目標。
有用函數的基本目錄
白話版。 少數基本函數涵蓋很多實務目標,使用方式取決於其定義域與正負號。
仿射 同時凸與凹。範數由齊次性與三角不等式建立凸性;平方二範數平滑,二範數本身在原點不平滑。
是對稱曲率矩陣, 是線性係數向量, 是純量。此函數凸若且唯若 ;正定 的最小特徵值提供強凸界。
指數處處凸,負對數在正輸入凸。冪次必須說清楚指數與定義域,「所有冪次都凸」是錯的;平方根在非負輸入凹,其負值則凸。
最大座標或仿射分數的最大值凸且通常非平滑;仿射函數的最小值凹,不普遍凸。正負號不能忽略。
矩陣定義域
對正定對稱 , 是凸函數 [1,第 3.1 節]。變數是矩陣,定義域排除奇異矩陣。
對稱擾動 的二階方向導數:
是對稱矩陣方向, 為 trace。Congruence 轉換後成為平方 Frobenius 範數,說明曲率非負。
對稱矩陣最大特徵值凸:
表示最大特徵值, 遍歷單位向量。固定 時二次型對 元素仿射,逐點上確界因此凸,展示「誰是變數」的重要性。
程式碼:二次函數與反例的 Hessian
以下 Hessian 固定,因此特徵值檢查適用所有輸入,並驗證一次支撐平面不等式。
程式碼 · Python · 14 行
import numpy as np
Q = np.array([[3.0, 1.0], [1.0, 2.0]])
bad = np.array([[0.0, 1.0], [1.0, 0.0]])
assert np.linalg.eigvalsh(Q).min() > 0
assert np.linalg.eigvalsh(bad).min() < 0
x, y = np.array([0.4, -0.6]), np.array([-1.0, 0.8])
f = lambda z: 0.5 * z @ Q @ z
support = f(x) + (Q @ x) @ (y - x)
gap = f(y) - support
assert np.isclose(gap, 0.5 * (y - x) @ Q @ (y - x))
print("quadratic Hessian eigenvalues:", np.linalg.eigvalsh(Q))
print("product Hessian eigenvalues:", np.linalg.eigvalsh(bad))
print("supporting-plane gap:", gap)加總、代入與逐點最大值
白話版。 以保留凸性的運算組合已知函數,運算規則就是證明。
凸函數的非負加權和凸,負係數通常翻轉或破壞性質。固定、與決策變數無關的分布下,定義良好的積分或期望也保留凸性。
仿射代入:
凸, 固定。 定義域要求變換後落在 的定義域。此規則建立平方殘差、範數殘差與線性估計正則化的凸性。
凸時,共同定義域上的 凸。引入 並限制所有 ,可建模最壞殘差、最壞情境與最大座標。
共同凸的輔助變數部分最小化也保留凸性:
必須對 共同凸, 是被消去變數;分別對各區塊凸不夠。這連結 epigraph 的座標投影。
哪些運算不自動保留凸性
凸函數相乘、相除,通常不保證凸;取最小值可能形成多個谷地。
不會因為是兩個非負凸式的乘積就共同凸。Reciprocal 或指數外層需要正確單調性的組合論證。
固定參數乘變數是仿射,兩個決策變數相乘是 bilinear,通常非凸。把待學或未知量誤當固定資料,是常見建模錯誤。
組合與單調性
白話版。 外層凸函數若以適當方向回應內層參數,就可保留凸性。
是外層, 是純量內層。充分規則是: 凸,各參數上若內層凸則非遞減,若內層凹則非遞增,或內層為仿射。還須納入定義域與 extended-value 條件 [1,第 3.2 節]。
指數凸且遞增,所以指數作用在凸內層保留凸。負對數凸且遞減,作用在正的凹內層得到凸。
平方不能隨意作用在凸式:負輸入時它遞減,正輸入時遞增。非負凸內層平方是有效組合,任意正負則需要另證。
這些是充分辨認規則,不是判定所有代數式的完整程序。例如 改寫成二範數,就能直接看出凸性。
從導數看組合規則
對純量平滑函數,鏈鎖律能看清單調性要求從哪裡出現。令 ,則
其中撇號表示純量導數、 是內層函數、 是外層函數。若 凸且非遞減、 凸,兩項都非負。若 凸且非遞增、 凹,第二項仍非負。組合規則也適用非平滑函數,但這個計算揭露了正負號來源 [1]。
取凸內層式 與凸外層函數 。組合為 ,二階導數為 ,在零點為負,所以組合不凸。內層輸出在零附近為負,平方函數在該區域遞減,因此所需符號配合失敗。
若定義域為凸,且凸內層式在整個定義域非負,平方就合法,因為外層在該區域非遞減。因此平方歐氏殘差範數凸,但「任意凸損失式都可再平方」不是一般有效規則。
Log-sum-exp 與穩定計算
白話版。 Log-sum-exp 平滑地從上方近似最大分數,也產生正規化權重。
為純量座標, 是正且總和一的權重。梯度為 ,Hessian 為
把權重放在對角。任意方向 的二次型是 的加權變異數,因此非負,證明凸。
所有座標加相同常數,函數也只平移該常數。因此全一方向曲率零,在完整空間不強凸。
溫度 下,:
控制平滑與近似差;越小越接近最大值,但可能使數值最佳化更病態。先扣除最大縮放座標,再做指數,能穩定計算。

程式碼:穩定計算與 Jensen 檢查
完整範例避免大輸入溢位,驗證 Hessian 並展示一次有限 Jensen 比較。
程式碼 · Python · 16 行
import numpy as np
from scipy.special import logsumexp
x = np.array([1000.0, 999.0, 997.0])
value = logsumexp(x)
p = np.exp(x - value)
H = np.diag(p) - np.outer(p, p)
assert np.linalg.eigvalsh(H).min() >= -1e-12
assert np.isclose(p.sum(), 1)
u, v = np.array([1., -1., 0.]), np.array([-2., 2., 1.])
theta = 0.3
left = logsumexp(theta * u + (1 - theta) * v)
right = theta * logsumexp(u) + (1 - theta) * logsumexp(v)
assert left <= right + 1e-12
print("stable value:", value, "weights:", p)
print("Jensen gap:", right - left)Perspective:正規化變數並保留凸性
白話版。 Perspective 把正規化輸入的成本,和使用的尺度相乘,產生看似比值的有用凸式。
凸, 是向量, 是正尺度, 對 共同凸。正尺度定義域不可漏。
給 ,稱 quadratic-over-linear。任意相除不保證凸,但此特定結構凸。
混合 與 後,正規化輸入的權重與 、 成比例。對 使用凸性,再乘混合尺度,即可證明。
此形式用於正規化速率、分配時間或正質量,也可揭露精確錐表示。未仔細定義閉延伸前,不能任意允許零或負尺度。
Perspective 證明:正規化後權重會改變
普通平均與除以變動尺度不能直接交換。Perspective 仍然凸,是因為正規化產生另一組仍合法的權重。
取兩個定義域點 ,其中 ,混合權重為 。定義
其中 是混合後的分子與尺度; 是正規化權重。對最後一行套用 的凸性,再乘上 。係數變成 與 ,恰好得到 的凸弦線界 [1]。
對二次除線性例子,取 、,且 。兩成本為 與 ,混合點 的成本為 ,低於平均 。其正規化輸入為 :第一個正規化輸入 的權重為 ,第二個 的權重為 。依尺度調整權重是關鍵;直接平均正規化輸入會得到不同結果。
共軛與線性下界
白話版。 共軛問某個線性分數最多能超過函數多少,答案決定該斜率下支撐線的最佳截距。
是斜率向量, 是原變數, 是差值上確界。有限值給下界:
這直接來自定義,是 Fenchel 不等式 [1,第 3.3 節],用於對偶與 splitting 演算法。
且 正定時,最大差的點滿足 :
是曲率矩陣。程式用求解 ,不用明算反矩陣。
集合 indicator 的共軛是 support function。Extended-value indicator 在允許集合為零、其他地方正無限,可把限制併入目標,但不是有限懲罰。
Proper closed convex 函數取兩次共軛可回到原函數。缺少條件時,double conjugate 對應適當的閉凸包絡,不能任意假設重現原公式。
程式碼:共軛證書
二次 Fenchel 界在 等號成立;範例檢查等號與其他斜率的非負 gap。
程式碼 · Python · 13 行
import numpy as np
Q = np.array([[4., 1.], [1., 2.]])
x = np.array([0.5, -0.8])
y = np.array([1.2, 0.3])
f = lambda z: 0.5 * z @ Q @ z
conjugate = lambda slope: 0.5 * slope @ np.linalg.solve(Q, slope)
gap = f(x) + conjugate(y) - x @ y
matching = Q @ x
assert gap >= -1e-12
assert np.isclose(f(x) + conjugate(matching), x @ matching)
print("Fenchel gap:", gap)
print("matching slope:", matching)具有明確定義域的非平滑共軛
共軛能把非平滑懲罰轉成簡單的斜率限制。令 ,其中固定 。在定義中分開各座標,得到
其中 是原變數與斜率的座標;。當 ,每個座標的式子至多為零,在 達到。只要某個斜率量值超過門檻,讓 同號並增加量值,就能使式子無界。
因此共軛的定義域是無限範數球。對應下界 在非零座標具有匹配斜率 時取等號。一個計算便連起範數幾何、次梯度與對偶可行性 [1,第 3.3 節]。OPT 08 會用同樣的門檻結構推導近端更新。
擬凸性與對數結構
白話版。 有些函數不凸,但低於任何門檻的輸入集合都凸;另一些函數取對數後凸或凹。各自有不同保證。
擬凸(quasiconvex)要求所有下水平集合凸:
是任意實數門檻, 是其下水平集合。等價地,混合值不超過兩端較大值,比弦線條件弱。
凸函數都擬凸。區間上的單調純量函數,即使曲率非向上,也擬凸。適當形式下,可對門檻二分,每步解凸可行問題 [1,第 3.4、4.2 節]。
正函數 的 log-convex 表示 凸,log-concave 表示 凹。正性與定義域都是定義的一部分。密度的 log density 凹,不代表所有參數化下的估計問題都凸。
某些 geometric program 可對正變數取對數,精確轉成凸問題。這只適用指定類型,不是對任意目標和限制取對數的許可。下一章會推導。
公式的凸性與實作的凸性
數學凸表示式仍可能算得不好。指數溢位、矩陣邊界附近捨入,或意外陣列廣播,都可能使算出的量無效,原本函數卻依然凸。
應把符號曲率論證與數值評估檢查,作為不同證據。少數點的 Hessian 取樣可能找到反例,卻不能證明處處非負曲率。穩定實作也不會證明指定公式凸。
求解時參數固定,凸性宣稱針對的是該參數值下的決策變數。係數改變符號可能使組合規則失效。應記錄哪些參數範圍保留保證,不要無條件稱整個參數化族為凸。
學得函數也一樣。對後來當成決策變數的輸入為凸,不表示對訓練中的權重為凸。曲率規則一次描述一個最佳化問題。
現代觀點
白話版。 資料學習函數時,仍可限制它對決策輸入凸,但訓練參數本身未必凸。
Disciplined convex programming [2] 將組合規則形式化,區分仿射、凸與凹,追蹤單調性與定義域。語法規則失敗可能只需要改寫,不一定否證數學凸性。
Schaller、Bemporad 與 Boyd 的 2025 稿件 [3] 擬合參數化凸函數,要求對有效參數值,函數在決策變數上仍凸且符合 disciplined programming。它連結資料學習與保持凸模型,是原創研究,不是綜述,也不保證任意神經損失。
Pokutta 的 2024 綜述 [4] 依幾何存取組織受限平滑方法,使用凸、平滑與強凸分析更新。全域凸性、統一下曲率與上平滑界有不同角色,應分別檢查。
開放問題包含結構函數類別的表達能力、雜訊參數下的定義域證明、不可微解映射,以及學習模型的泛化。最佳化證書證明擬合目標的性質,不證明它符合未來觀測。
重點整理
- 凸性同時包含凸定義域與弦線不等式。
- 切線與次梯度提供全域下界。
- 半正定 Hessian 建立所有方向的平滑凸性。
- 嚴格凸、強凸與平滑是不同假設。
- 組合規則需要單調性、正負號與定義域。
- Perspective 與共軛揭露比值和限制的結構。
- 擬凸與對數凸形式需要自己的推理。
練習
- 從可微函數的弦線定義推導支撐平面不等式。
提示
整理弦線、除權重,再令其趨零。
- 用二變數例子說明 Hessian 對角非負不保證凸。
提示
用 的對角方向。
- 把 改寫成可辨認凸性的範數。
提示
向量 的二範數。
- 推導平方二範數的 perspective,說明定義域。
提示
代入 再乘正 。
- 推導 的共軛與 Fenchel 等號條件。
提示
微分二次差。
- 提出區間上擬凸卻非凸的函數,驗證下水平集合。
提示
正區間上的平方根單調且凹,下水平集合仍為區間。
參考文獻
- Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004。閱讀:第 3 章;第 4.2 節的擬凸可行性。官方書籍頁、官方免費 PDF。
- Michael Grant, Stephen Boyd and Yinyu Ye, “Disciplined Convex Programming,” in Global Optimization: From Theory to Implementation, Springer, 2006。作者出版頁。
- Michael Schaller, Alberto Bemporad and Stephen Boyd, “Learning Parametric Convex Functions,” manuscript, June 2025。已驗證稿件頁。
- Sebastian Pokutta, “The Frank-Wolfe Algorithm: A Short Introduction,” Jahresbericht der Deutschen Mathematiker-Vereinigung, 126, 2024。開放綜述。
檢查理解
本篇有 6 題練習。不看提示,你能解出來嗎?
前往練習 ↑下一篇 OPT 03・線性、二次、錐與幾何規劃 · 12 分鐘