完整搜尋頁面 →

ML 07・生成模型:自編碼器、VAE、GAN 與正規化流

機器學習進階26 分鐘更新於 2026年11月6日

先備知識:ML 06・表示學習與自監督

導覽:本頁與本系列: 導覽:本頁與本系列
用實驗理解本章 2 個互動實驗

移動並調整高斯後驗寬度,計算期望解碼損失與精確 KL 懲罰。

你將學到

  • 區分分布建模與標籤預測。
  • 比較基於概似的模型與隱式取樣器。
  • 推導 VAE 下界,理解重參數化。
  • 說明對抗訓練與可逆密度變換。
  • 分別評估概似、真實感、多樣性與條件遵循。

先看全貌

分類器問:「這張影像裡有什麼?」生成模型(generative model)問:「可能出現哪些影像?」如果它學到有用的分布,我們就能取樣出新的例子、補上缺失區域、壓縮資料、偵測異常輸入,或依文字、類別標籤、另一張影像來條件式地生成。

學分布比學標籤難得多。標籤只是一個數字;一張影像有成千上萬個像素,彼此以複雜的方式相互依賴。本章的每個家族,都是對同一個工程問題的不同回答:要怎麼表示一個極高維資料上的分布,才能既從例子訓練它,之後又能從它取樣?

本章採用 Bishop 與 Bishop [1] 以及 Prince [2] 發展的機率觀點。Bond-Taylor 等人的比較綜述 [3] 依照我們將遇到的取捨來整理這些家族——訓練速度、樣本品質、多樣性,以及是否能得到概似;Papamakarios 等人的正規化流綜述 [4] 則特別有助於區分「學到的分布」與「方便的取樣程序」。擴散模型與自迴歸模型各有專章(ML 08 與 ML 09),因為它們的訓練與取樣值得仔細討論;這裡先把它們放上地圖。

用分布描述資料

白話版。 找一個機率模型,讓觀察到的例子在它之下看起來「很可能」,再用這個模型產生看起來像出自同一來源的新例子。

最大概似

假設資料 x1,…,xnx_1,\ldots,x_n 是從未知分布 pdatap_{\mathrm{data}} 獨立抽出的樣本,pθp_\theta 是參數為 θ\theta 的模型。最大概似估計最小化平均負對數概似(negative log-likelihood,NLL):

LNLL(θ)=−1n∑i=1nlog⁡pθ(xi).\mathcal{L}_{\mathrm{NLL}}(\theta) =-\frac1n\sum_{i=1}^n\log p_\theta(x_i).

其中 nn 是訓練樣本數,log⁡pθ(xi)\log p_\theta(x_i) 是模型給第 ii 個樣本的對數密度。

為什麼這是合理的目標?當 nn 變大,平均值會趨近於對資料分布的期望值,而且

Ex∼pdata[−log⁡pθ(x)]=DKL(pdata ∥ pθ)+H(pdata).\mathbb{E}_{x\sim p_{\mathrm{data}}}[-\log p_\theta(x)] = D_{\mathrm{KL}}(p_{\mathrm{data}}\,\|\,p_\theta) + H(p_{\mathrm{data}}).

DKL(p∥q)=Ep[log⁡p−log⁡q]D_{\mathrm{KL}}(p\|q)=\mathbb{E}_p[\log p-\log q] 是 Kullback–Leibler 散度,只有兩個分布相同時才為零;H(pdata)H(p_{\mathrm{data}}) 是資料的熵,與 θ\theta 無關。因此最大概似就等於最小化從資料到模型的前向 KL 散度。

KL 的方向很重要。前向 KL 會重罰「在真實資料所在之處給出接近零的密度」的模型,所以概似訓練是「涵蓋質量(mass-covering)」的:它寧可把機率攤到每一個模態(mode)上,即使因此在模態之間也放了一些機率。請記住這點;稍後會看到 GAN 的行為不同。

密度、離散像素與每維位元數

對連續值而言,pθ(x)p_\theta(x) 是密度,不是「恰好觀察到 xx」的機率;密度可以大於 1。然而真實影像存的是 0–255 這類整數。直接用連續密度去擬合整數是病態問題:模型可以在整數格點上放無限高的尖峰,讓概似趨於無窮大。標準解法是去量化(dequantization)——在擬合連續密度之前,對每個整數值加上 [0,1)[0,1) 的均勻雜訊。Theis 等人 [5] 證明,連續模型在去量化資料上的對數概似,會是對應離散模型對數概似的下界,這讓不同論文的數字可以相互比較。另一種作法是直接使用離散概似(對 256 個值做 softmax,或像下方程式碼一樣對二值像素用 Bernoulli 分布)。

影像的概似通常以每維位元數(bits per dimension)回報:

bpd=LNLLDln⁡2,\mathrm{bpd}=\frac{\mathcal{L}_{\mathrm{NLL}}}{D\ln 2},

其中 DD 是儲存數值的個數(高 × 寬 × 通道數)。對離散模型,LNLL\mathcal{L}_{\mathrm{NLL}} 是每張影像以 nat 表示的負對數機率,bpd 對應每個儲存值的理想編碼成本。連續密度還需要交代去量化慣例:若 8 位元整數 xx 加上獨立均勻雜訊 u∈[0,1)Du\in[0,1)^D 後縮放為 y=(x+u)/256y=(x+u)/256,其每維位元數的去量化界限為 8−Eu[log⁡pθ(y)]/(Dln⁡2)8-\mathbb E_u[\log p_\theta(y)]/(D\ln2)。額外的 8 來自縮放後量化格的體積。這是離散負對數概似的每維上界,不是精確的離散概似 [5]。比較分數前,要交代單位、雜訊分布,以及其他變數變換所需的修正。

條件式與無條件生成

判別式分類器建模 p(y∣x)p(y\mid x)。條件式生成器建模 p(x∣c)p(x\mid c),其中 cc 可以是文字、類別、低解析度影像或已觀察到的像素。貝氏定理把相關的量連在一起,但分類器本身並不提供影像取樣器。

條件化也解釋了一個常見的失敗。最小化像素 MSE 會預測條件平均 E[x∣c]\mathbb{E}[x\mid c]。如果一個模糊的輸入有好幾個合理輸出——例如一張灰階照片裡的襯衫可能是紅色也可能是藍色——平均值會把它們混成褐色。生成模型則嘗試表示整個分布 p(x∣c)p(x\mid c),一次取樣出一個合理的答案。

兩大家族:概似式與隱式

以下每個模型都需要兩種能力:從資料訓練的方法,以及取樣的方法。它們的差別在於能不能計算 pθ(x)p_\theta(x)。

  • 概似式(顯式)模型寫下密度或其界限,再加以最大化。自迴歸模型與正規化流給出精確概似;VAE(以及從變分角度看的擴散模型)最佳化一個下界;能量模型只定義到一個未知正規化常數為止的密度。
  • 隱式模型只定義一個取樣器——「把雜訊推過一個網路」——而沒有 pθ(x)p_\theta(x) 的公式。GAN 是主要例子。因為沒有概似可以最大化,它們必須用別的方式比較樣本與資料來訓練。
樹狀圖:深度生成模型分成概似式模型(精確概似:自迴歸與正規化流;下界:VAE 與擴散模型的變分觀點;未正規化密度:能量模型)與隱式模型(對抗式:GAN、WGAN、StyleGAN)。
圖 1 — 生成模型的教學用分類,採用比較綜述 [3] 的顯式/隱式劃分。實際系統常結合多個分支。

一般自編碼器:有壓縮、沒有先驗

白話版。 把一個例子編碼成精簡的潛在碼,再解碼回來。這對壓縮與表示學習非常好,但它本身並不告訴你怎麼「發明」新的潛在碼。

編碼器 z=fϕ(x)z=f_\phi(x) 與解碼器 x^=gθ(z)\hat x=g_\theta(z) 最小化 ∥x−x^∥2\|x-\hat x\|^2 之類的重建損失。自編碼器、它們的線性親戚(PCA、因子分析)及各種正則化變體,在 ML 06A 中有完整介紹。本章要強調的只有一點:一般自編碼器並不要求潛在碼落在哪裡。訓練資料的潛在碼可能只佔據潛在空間中一塊又薄又怪的區域。若你接著取樣 z∼N(0,I)z\sim\mathcal N(0,I) 再解碼,可能落在解碼器從沒見過的空白區域,得到一團垃圾。因此重建再好,也不保證無條件生成的品質。

VAE 透過「給潛在碼一個先驗分布」,把自編碼器變成機率模型來解決這個問題。

VAE:潛在變數機率模型

白話版。 VAE 透過隨機潛在編碼與解碼器建模觀測;編碼器近似各觀測對應的編碼後驗。

模型

選一個潛在向量 z∈Rkz\in\mathbb{R}^k 的先驗 p(z)p(z),通常是標準高斯 N(0,I)\mathcal N(0,I),以及解碼器 pθ(x∣z)p_\theta(x\mid z)——一個輸出影像分布參數的神經網路(二值像素用 Bernoulli 機率,或高斯平均值)。模型對影像的密度是邊際分布

pθ(x)=∫pθ(x∣z) p(z) dz.p_\theta(x)=\int p_\theta(x\mid z)\,p(z)\,dz.

取樣很容易:先抽 z∼p(z)z\sim p(z),再抽 x∼pθ(x∣z)x\sim p_\theta(x\mid z)。計算 pθ(x)p_\theta(x) 則很難:積分要跑過所有可能的潛在碼,而解碼器是非線性網路,沒有封閉解。真正的後驗 pθ(z∣x)=pθ(x∣z)p(z)/pθ(x)p_\theta(z\mid x)=p_\theta(x\mid z)p(z)/p_\theta(x) 也因此無法計算。

推導證據下界

Kingma 與 Welling [6] 引入一個近似後驗的編碼器(或稱推論網路)qϕ(z∣x)q_\phi(z\mid x)。以下逐步推導。因為 log⁡pθ(x)\log p_\theta(x) 與 zz 無關,我們可以對任何 zz 的分布取期望而不改變它的值:

log⁡pθ(x)=Eqϕ(z∣x)[log⁡pθ(x)]=Eqϕ(z∣x)[log⁡pθ(x,z)pθ(z∣x)]=Eqϕ(z∣x)[log⁡pθ(x,z)qϕ(z∣x)]+Eqϕ(z∣x)[log⁡qϕ(z∣x)pθ(z∣x)]=ELBO⁡(x)+DKL(qϕ(z∣x) ∥ pθ(z∣x)).\begin{aligned} \log p_\theta(x) &=\mathbb{E}_{q_\phi(z\mid x)}\big[\log p_\theta(x)\big]\\ &=\mathbb{E}_{q_\phi(z\mid x)}\left[\log\frac{p_\theta(x,z)}{p_\theta(z\mid x)}\right]\\ &=\mathbb{E}_{q_\phi(z\mid x)}\left[\log\frac{p_\theta(x,z)}{q_\phi(z\mid x)}\right] +\mathbb{E}_{q_\phi(z\mid x)}\left[\log\frac{q_\phi(z\mid x)}{p_\theta(z\mid x)}\right]\\ &=\operatorname{ELBO}(x)+D_{\mathrm{KL}}\big(q_\phi(z\mid x)\,\|\,p_\theta(z\mid x)\big). \end{aligned}

第二行用了 pθ(x)=pθ(x,z)/pθ(z∣x)p_\theta(x)=p_\theta(x,z)/p_\theta(z\mid x);第三行在對數裡同乘、同除 qϕ(z∣x)q_\phi(z\mid x)。因為 KL 散度永遠不為負,第一項是 log⁡pθ(x)\log p_\theta(x) 的下界:證據下界(evidence lower bound,ELBO)。下界與真實對數概似之間的差距,恰好是近似後驗與真實後驗之間的 KL 散度。編碼器越好,下界越緊;完美的編碼器會讓差距歸零。

把 pθ(x,z)=pθ(x∣z)p(z)p_\theta(x,z)=p_\theta(x\mid z)p(z) 展開,得到程式中使用的形式:

ELBO⁡(x)=Eqϕ(z∣x)[log⁡pθ(x∣z)]⏟reconstruction−DKL(qϕ(z∣x) ∥ p(z))⏟stay close to the prior.\operatorname{ELBO}(x) =\underbrace{\mathbb E_{q_\phi(z\mid x)}[\log p_\theta(x\mid z)]}_{\text{reconstruction}} -\underbrace{D_{\mathrm{KL}}(q_\phi(z\mid x)\,\|\,p(z))}_{\text{stay close to the prior}}.

第一項(重建)獎勵能讓解碼器重現 xx 的潛在碼;第二項(貼近先驗)懲罰分布偏離先驗太遠的潛在碼。用 Jensen 不等式(log⁡E≥Elog⁡\log\mathbb{E}\ge\mathbb{E}\log)一行就能得到同樣的下界,但上面的分解更有用,因為它明確指出了差距是什麼。訓練時對 θ\theta 與 ϕ\phi 同時最大化資料上的平均 ELBO,也就是最小化負 ELBO。

當編碼器是對角高斯 qϕ=N(μ,diag⁡(σ2))q_\phi=\mathcal N(\mu,\operatorname{diag}(\sigma^2))、先驗是標準高斯時,KL 項有封閉解:

DKL(qϕ∥p)=12∑j=1k(μj2+σj2−log⁡σj2−1),D_{\mathrm{KL}}(q_\phi\|p) =\frac12\sum_{j=1}^{k}\left(\mu_j^2+\sigma_j^2-\log\sigma_j^2-1\right),

其中 μj\mu_j 與 σj2\sigma_j^2 是編碼器在第 jj 個潛在座標上的平均值與變異數。每一項只有在 μj=0\mu_j=0 且 σj2=1\sigma_j^2=1 時才為零。

重參數化

重建項是對 z∼qϕ(z∣x)z\sim q_\phi(z\mid x) 的期望值,而我們需要它對 ϕ\phi 的梯度。照字面寫的取樣無法微分:隨機抽樣是個黑盒子。重參數化技巧(reparameterization trick) [6] 把隨機性移到一個固定的雜訊變數上:

ϵ∼N(0,I),z=μϕ(x)+σϕ(x)⊙ϵ.\epsilon\sim\mathcal N(0,I),\qquad z=\mu_\phi(x)+\sigma_\phi(x)\odot\epsilon.

⊙\odot 是逐元素相乘。現在 zz 是 ϕ\phi 與獨立雜訊 ϵ\epsilon 的確定性、可微函數,一般的反向傳播就能透過 μ\mu 與 σ\sigma 給出低變異的梯度估計。程式中編碼器預測 logvar =log⁡σ2=\log\sigma^2,再用 exp(.5 * logvar) 當標準差,不需任何限制就能保證為正。

兩張不同影像的高斯後驗密度示意曲線,以及標準高斯先驗。
圖 2 — VAE 以分布表示潛在碼的不確定性,並鼓勵它與共用的先驗相容。曲線為示意。

程式:二值手寫數字的小型 VAE

這個完整的 CPU 範例使用 scikit-learn 內建的 8 × 8 手寫數字,並先二值化,讓 Bernoulli 解碼器成為明確的概似模型。重建項對像素加總、KL 對潛在維度加總,然後兩者都對樣本取平均;若只偷偷對其中一項取平均,就會改變兩者的比重。

程式碼 · Python · 39 行
import torch
from torch import nn
from torch.nn import functional as F
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split

torch.manual_seed(0)
torch.set_num_threads(1)
d = load_digits()
train, test = train_test_split(d.data, test_size=.2, random_state=0,
                              stratify=d.target)
X = torch.tensor((train > 8).astype("float32"))
Xt = torch.tensor((test > 8).astype("float32"))
enc = nn.Sequential(nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, 16))
dec = nn.Sequential(nn.Linear(8, 64), nn.ReLU(), nn.Linear(64, 64))
opt = torch.optim.Adam(list(enc.parameters()) + list(dec.parameters()), lr=.002)

def terms(x):
    mu, logvar = enc(x).chunk(2, dim=-1)
    z = mu + (.5*logvar).exp() * torch.randn_like(mu)
    recon = F.binary_cross_entropy_with_logits(dec(z), x, reduction="none").sum(1)
    kl = .5*(mu.square() + logvar.exp() - logvar - 1).sum(1)
    return recon, kl

for step in range(400):
    x = X[torch.randint(len(X), (64,))]
    recon, kl = terms(x)
    loss = (recon + kl).mean()
    opt.zero_grad()
    loss.backward()
    opt.step()
enc.eval(); dec.eval()
with torch.no_grad():
    recon, kl = terms(Xt)
    samples = dec(torch.randn(4, 8)).sigmoid().reshape(4, 8, 8)
    print("test negative ELBO estimate:", round((recon + kl).mean().item(), 3))
    print("reconstruction / KL:", round(recon.mean().item(), 3),
          round(kl.mean().item(), 3))
    print("sample probability maps:", tuple(samples.shape))

在我們的機器上,它印出測試集負 ELBO 約為每張影像 20.5 nats,其中重建約 17.0 nats、KL 約 3.5 nats。因為 ELBO 是對數概似的下界,20.5 nats 就是測試 NLL 的上界。輸出是 Bernoulli 機率圖;若要得到二值樣本,就依這些機率對每個像素取樣。測試估計帶有隨機性,多取幾次潛在樣本再平均會更穩定。這裡沒有用測試集挑選檢查點。

圖 3 顯示同樣資料上、潛在空間只有兩維的 VAE(由圖檔腳本訓練更久)學到了什麼。即使從沒用到標籤,相同類別的數字仍落在彼此附近;對一個規則網格上的 zz 解碼,數字形狀會平滑地漸變。這正是一般自編碼器缺少的性質:先驗主體附近的每一點,解碼出來都像個數字。

左:測試數字的二維後驗平均值散布圖,依數字標籤著色,呈現類別群聚。右:7×7 的解碼 8×8 數字影像網格,形狀在潛在平面上平滑變化。
圖 3 — 在二值化 8 × 8 數字上訓練、潛在空間為 2 維的 VAE。左:測試影像的編碼器平均值(標籤只用於著色)。右:在潛在值網格上的解碼器輸出。

後驗崩塌、β-VAE 與更深的 VAE

如果解碼器非常強大(例如本身就能建模像素的自迴歸解碼器),提高 ELBO 最便宜的方式可能是完全忽略 zz:令 qϕ(z∣x)=p(z)q_\phi(z\mid x)=p(z) 使 KL 項為零,讓解碼器包辦一切。這就是後驗崩塌(posterior collapse)。Bowman 等人 [7] 在文字 VAE 上觀察到這個現象,並提出 KL 退火(KL annealing):一開始給 KL 項很小的權重,訓練中逐步升到 1,讓模型在懲罰生效前先學會使用潛在碼。監看每個潛在維度的 KL 是最簡單的診斷——KL 接近零的維度不攜帶任何資訊。

Higgins 等人 [8] 則反其道而行:β-VAE 把 KL 項乘上 β>1\beta>1,以犧牲重建為代價,迫使模型學出更分解、更「解纏(disentangled)」的潛在碼。要精確理解這件事:當 β≠1\beta\ne1,目標函數就不再是 ELBO,它的值也不再是 log⁡pθ(x)\log p_\theta(x) 的下界;Kingma 與 Welling 的教學綜述 [9] 討論了這點以及許多其他變體。最後,單層、因子化高斯的 VAE 容易產生模糊影像,部分原因是高斯解碼器會對不確定性取平均。階層式 VAE 疊了好幾層潛在變數;NVAE [10] 顯示,經過精心設計、搭配穩定化正則化的深層階層,可以在高達 256 × 256 像素的自然影像上產生清晰樣本。

選讀:VAE(見「論文導讀」頁)。從原圖理解證據、設計選擇與限制。

GAN:與對手一起學習

白話版。 生成器學習欺騙區分生成樣本與資料的判別器;這種競爭目標能改善樣本,但訓練可能不穩定。

極小極大遊戲

令 GG 把雜訊 z∼p(z)z\sim p(z) 映到樣本 G(z)G(z),其分布記為 pgp_g。令 D(x)∈(0,1)D(x)\in(0,1) 是判別器估計 xx 為真的機率。Goodfellow 等人 [11] 的原始 GAN 目標是

min⁡Gmax⁡D V(D,G)=Ex∼pdata[log⁡D(x)]+Ez∼p(z)[log⁡(1−D(G(z)))].\min_G\max_D\ V(D,G)= \mathbb E_{x\sim p_{\mathrm{data}}}[\log D(x)] +\mathbb E_{z\sim p(z)}[\log(1-D(G(z)))].

判別器最大化 VV:這就是一般的二元交叉熵,真資料標 1、假資料標 0。生成器最小化 VV:它希望 D(G(z))D(G(z)) 越大越好。

這個遊戲在最小化什麼

固定生成器,把 VV 寫成對 xx 的積分:V=∫[pdata(x)log⁡D(x)+pg(x)log⁡(1−D(x))]dxV=\int\big[p_{\mathrm{data}}(x)\log D(x)+p_g(x)\log(1-D(x))\big]dx。對每個 xx 分別來看,當 a,b>0a,b\gt 0,函數 alog⁡D+blog⁡(1−D)a\log D+b\log(1-D) 在 D=a/(a+b)D=a/(a+b) 有最大值(令導數 a/D−b/(1−D)a/D-b/(1-D) 為零即可)。所以最佳判別器是

D∗(x)=pdata(x)pdata(x)+pg(x).D^*(x)=\frac{p_{\mathrm{data}}(x)}{p_{\mathrm{data}}(x)+p_g(x)}.

它就是「若兩者事前機率相同,一個點來自資料而非生成器」的機率。把 D∗D^* 代回並加減 log⁡4\log 4,得到

V(D∗,G)=−log⁡4+2 JSD(pdata ∥ pg),V(D^*,G)=-\log 4+2\,\mathrm{JSD}(p_{\mathrm{data}}\,\|\,p_g),

其中 JSD(p∥q)=12DKL(p∥m)+12DKL(q∥m)\mathrm{JSD}(p\|q)=\tfrac12D_{\mathrm{KL}}(p\|m)+\tfrac12D_{\mathrm{KL}}(q\|m)、m=12(p+q)m=\tfrac12(p+q),稱為 Jensen–Shannon 散度。因此在完美判別器之下,生成器是在最小化資料與模型間的一個對稱散度,全域最佳解是 pg=pdatap_g=p_{\mathrm{data}},此時處處 D∗=1/2D^*=1/2 [11]。注意整個過程從沒計算過概似:判別器扮演一個學出來、會自我調整的「這看起來像資料嗎?」檢定。

非飽和損失與實作方式

訓練初期生成器很差,D(G(z))≈0D(G(z))\approx0,log⁡(1−D(G(z)))\log(1-D(G(z))) 幾乎是平的,生成器的梯度消失。實務上生成器改為最小化 −Elog⁡D(G(z))-\mathbb E\log D(G(z)),也就是同一篇論文 [11] 提出的非飽和(non-saturating)損失:正好在生成器落後時給出強梯度。它的固定點相同,但動態不同。

兩者交替更新。更新 DD 時要把生成樣本 detach,讓梯度不會流到 GG;更新 GG 時讓梯度穿過 DD 流進 GG,但只執行 GG 的最佳化器。用 logits 搭配 binary_cross_entropy_with_logits,在數值上比先套 sigmoid 再取 log 更安全。

程式:在八個高斯上訓練 GAN

測試模態涵蓋的經典場景,是二維平面上排成一圈的八個緊密高斯群。它小到能在 CPU 上一分鐘內訓練完,而且你可以親眼看到每個模態有沒有被涵蓋。

程式碼 · Python · 42 行
import math
import torch
from torch import nn
from torch.nn import functional as F

torch.manual_seed(0)
torch.set_num_threads(1)
angles = torch.arange(8) * (2 * math.pi / 8)
centers = 2.0 * torch.stack([angles.cos(), angles.sin()], dim=1)

def sample_data(n):
    idx = torch.randint(8, (n,))
    return centers[idx] + 0.05 * torch.randn(n, 2)

def mlp(i, o):
    return nn.Sequential(nn.Linear(i, 128), nn.ReLU(),
                         nn.Linear(128, 128), nn.ReLU(), nn.Linear(128, o))

G, D = mlp(8, 2), mlp(2, 1)
opt_g = torch.optim.Adam(G.parameters(), lr=1e-3, betas=(.5, .999))
opt_d = torch.optim.Adam(D.parameters(), lr=1e-3, betas=(.5, .999))
for step in range(3000):
    real = sample_data(256)
    fake = G(torch.randn(256, 8))
    # Discriminator: logits, real -> 1, fake -> 0; detach so G is untouched.
    d_loss = (F.binary_cross_entropy_with_logits(D(real), torch.ones(256, 1))
              + F.binary_cross_entropy_with_logits(D(fake.detach()),
                                                   torch.zeros(256, 1)))
    opt_d.zero_grad(); d_loss.backward(); opt_d.step()
    # Generator: non-saturating loss -log D(G(z)).
    g_loss = F.binary_cross_entropy_with_logits(D(fake), torch.ones(256, 1))
    opt_g.zero_grad(); g_loss.backward(); opt_g.step()

with torch.no_grad():
    x = G(torch.randn(5000, 8))
    dist = torch.cdist(x, centers)
    nearest = dist.min(1)
    good = nearest.values < 0.15          # within 3 std of some mode
    counts = torch.bincount(nearest.indices[good], minlength=8)
print("fraction near a mode:", round(good.float().mean().item(), 3))
print("modes with >= 1% of samples:", int((counts >= 50).sum()))
print("samples per mode:", counts.tolist())

輸出為:

程式碼 · 3 行
fraction near a mode: 0.896
modes with >= 1% of samples: 7
samples per mode: [590, 14, 710, 276, 651, 731, 863, 646]

約 90% 的樣本落在某個模態上,但 45° 方向的模態在 5,000 個樣本中只分到 14 個,另一個模態也明顯偏少。這就是當場抓到的部分模式崩塌。圖 4 呈現生成器的演變:早期是一團沒有結構的點雲,接著是一個涵蓋所有模態、但也涵蓋模態之間空隙的圓環,最後是更銳利的群聚,卻幾乎放棄了一個模態。精確數字會隨亂數種子與套件版本改變,但這個定性現象很典型。

四張散布圖:真實資料為圓上八個緊密群聚;接著是第 200、1000、3000 步的生成器樣本,從擴散的點雲演變成完整圓環,再變成較銳利的群聚,右上方群聚幾乎是空的。
圖 4 — 小型 GAN 學習八個高斯組成的圓環(十字標記真實模態)。到第 3000 步時樣本很清晰,但有一個模態幾乎被丟掉:清晰度與涵蓋度是兩回事。

模式崩塌及其成因

當生成器產生的輸出種類太少,就發生了模式崩塌。生成器得到的獎勵來自「目前的判別器接受的樣本」,而不是多樣性。如果它找到一塊判別器喜歡的區域,就可以把樣本都堆在那裡;判別器接著學會拒絕那塊區域,生成器再跳到另一塊,雙方可能互相追逐而不收斂。與最大概似不同,生成器的逐樣本損失中,沒有任何一項會直接懲罰漏掉某個模態。Salimans 等人 [12] 提出了特徵匹配(feature matching)與小批次判別(minibatch discrimination)等早期對策,讓判別器看整批樣本的統計量,於是多樣性不足就能被察覺。

所以一組清晰、逼真的影像,仍可能只涵蓋資料分布的一小部分。品質與涵蓋度一定要分開量測——我們會在評估一節回到這點。

Wasserstein GAN

當 pdatap_{\mathrm{data}} 與 pgp_g 分布在又薄、又互不重疊的集合上(影像在像素空間中正是如此),JSD 會卡在最大值 log⁡2\log 2,無法提供「兩者相距多遠」的有用梯度。Arjovsky 等人 [13] 改用 Wasserstein-1(推土機)距離:把一個分布的機率質量搬到另一個分布的最小成本。根據 Kantorovich–Rubinstein 定理,它的對偶形式是

W(pdata,pg)=sup⁡∥f∥L≤1 Ex∼pdata[f(x)]−Ex∼pg[f(x)],W(p_{\mathrm{data}},p_g)=\sup_{\|f\|_L\le 1}\ \mathbb E_{x\sim p_{\mathrm{data}}}[f(x)]-\mathbb E_{x\sim p_g}[f(x)],

上確界取遍所有 1-Lipschitz 函數 ff(輸入從 x′x' 變到 xx 時,輸出變化不超過 ∥x−x′∥\|x-x'\|)。網路 ff 這時改稱為評論器(critic):它輸出無上下界的分數,而不是機率。即使兩個支撐集不重疊,生成器樣本越靠近資料,Wasserstein 距離也會平滑地縮小。

難處在於如何落實 Lipschitz 限制。原始 WGAN 把評論器的每個權重裁剪到一個小區間,作法粗糙,可能讓評論器過於簡單。WGAN-GP [14] 改為加上梯度懲罰

λ Ex^[(∥∇x^f(x^)∥2−1)2],\lambda\,\mathbb E_{\hat x}\big[(\|\nabla_{\hat x}f(\hat x)\|_2-1)^2\big],

其中 x^\hat x 是在真實樣本與生成樣本配對之間的直線上均勻抽取,λ\lambda 是權重(論文使用 10)。另外兩個廣泛使用的穩定技巧直接作用在判別器上:頻譜正規化(spectral normalization) [15] 把每個權重矩陣除以它最大的奇異值,逐層限制 Lipschitz 常數;Mescheder 等人 [16] 分析的 R1 懲罰則在真實資料上懲罰 γ2∥∇xD(x)∥2\tfrac{\gamma}{2}\|\nabla_x D(x)\|^2,他們證明這能帶來局部收斂,而未正則化的 GAN 訓練可能會震盪。

架構,以及 GAN 現在用在哪裡

StyleGAN [17] 說明架構與損失同樣重要:它把雜訊映到一個中介潛在空間,再把這個「風格」注入每一個解析度,得到可控制、高品質的人臉合成。GAN 只需一次生成器前向傳遞就能取樣,推論很快。對抗損失也常作為其他系統的元件出現——例如在影像 tokenizer 中用來重建清晰細節。但這不代表每個使用這種 tokenizer 的模型都是 GAN 生成器;分布可能完全由別的東西建模。

選讀:GAN(見「論文導讀」頁)。從原圖理解證據、設計選擇與限制。

正規化流:可逆轉換

白話版。 正規化流透過可逆映射變換簡單密度;追蹤各映射的體積變化,即可計算模型密度。

變數變換

令 z∼p0(z)z\sim p_0(z) 是簡單的基底分布,x=fθ(z)x=f_\theta(z) 是同維度、可逆且可微的映射。則

log⁡pθ(x)=log⁡p0(fθ−1(x))−log⁡∣det⁡∂fθ∂z∣z=fθ−1(x).\log p_\theta(x) =\log p_0\big(f_\theta^{-1}(x)\big) -\log\left|\det\frac{\partial f_\theta}{\partial z}\right|_{z=f_\theta^{-1}(x)}.

∂fθ/∂z\partial f_\theta/\partial z 是映射的 Jacobian 矩陣,它的行列式衡量映射把 zz 附近的小體積放大了多少。機率質量守恆,所以若一塊區域被拉伸成兩倍體積,它的密度就必須減半。在一維中,x=2zx=2z 讓每個區間加倍,對數密度加上 −log⁡2-\log 2。組合映射 f=fK∘⋯∘f1f=f_K\circ\cdots\circ f_1 只要把各步的對數行列式加起來。

標準二維高斯點雲,以及經可逆線性映射後變得細長、傾斜的點雲。
圖 5 — 變數變換保持總機率不變,同時改變密度。這個仿射映射的行列式可以解析計算。

耦合層

公式是精確的,但一般 D×DD\times D 行列式的成本是 O(D3)O(D^3)——對影像來說毫無希望。流的層因此被設計成 Jacobian 為三角矩陣,行列式就只是對角線的乘積。RealNVP [18] 的仿射耦合層把 xx 分成兩半 (x1,x2)(x_1,x_2),計算

y1=x1,y2=x2⊙exp⁡(s(x1))+t(x1),y_1=x_1,\qquad y_2=x_2\odot\exp\big(s(x_1)\big)+t(x_1),

其中 ss 與 tt 是任意神經網路。Jacobian 是區塊三角矩陣:第一塊是單位矩陣,第二塊是 diag⁡(exp⁡s(x1))\operatorname{diag}(\exp s(x_1)),所以 log⁡∣det⁡J∣=∑jsj(x1)\log|\det J|=\sum_j s_j(x_1)。反函數一樣便宜:x2=(y2−t(y1))⊙exp⁡(−s(y1))x_2=(y_2-t(y_1))\odot\exp(-s(y_1))。關鍵在於 ss 與 tt 永遠不需要求逆,所以可以任意複雜。交替切分方式堆疊多層,就能讓每個座標都被轉換。Glow [19] 則在耦合層之間加入學習得到的可逆 1 × 1 卷積,作為廣義的通道排列。

程式:驗證耦合層的對數行列式

下面的程式建立一個仿射耦合層,並把它便宜算出的對數行列式,與 autograd 算出的完整 Jacobian 做比對。

程式碼 · Python · 40 行
import torch
from torch import nn

torch.manual_seed(0)

class AffineCoupling(nn.Module):
    """RealNVP-style layer: keep x1, scale-and-shift x2 using x1."""
    def __init__(self, dim, hidden=32):
        super().__init__()
        self.d = dim // 2
        self.net = nn.Sequential(nn.Linear(self.d, hidden), nn.Tanh(),
                                 nn.Linear(hidden, 2 * (dim - self.d)))

    def forward(self, x):
        x1, x2 = x[..., :self.d], x[..., self.d:]
        s, t = self.net(x1).chunk(2, dim=-1)
        s = torch.tanh(s)                       # keep scales moderate
        y2 = x2 * s.exp() + t
        return torch.cat([x1, y2], -1), s.sum(-1)   # output, log|det J|

    def inverse(self, y):
        y1, y2 = y[..., :self.d], y[..., self.d:]
        s, t = self.net(y1).chunk(2, dim=-1)
        s = torch.tanh(s)
        return torch.cat([y1, (y2 - t) * (-s).exp()], -1)

layer = AffineCoupling(4)
x = torch.randn(4)
y, logdet = layer(x)
J = torch.autograd.functional.jacobian(lambda v: layer(v)[0], x)
print("log|det J| from layer:   ", round(logdet.item(), 5))
print("log|det J| from autograd:", round(torch.linalg.slogdet(J)[1].item(), 5))
print("upper-right block is zero:", bool(torch.allclose(J[:2, 2:], torch.zeros(2, 2))))
print("inverse error:", (layer.inverse(y) - x).abs().max().item() < 1e-6)

# Log density of y under a standard-normal base after one layer:
base = torch.distributions.Normal(0., 1.)
z = layer.inverse(y)
log_px = base.log_prob(z).sum() - layer(z)[1]
print("log p(y):", round(log_px.item(), 4))

兩個對數行列式都印出 0.14867,Jacobian 右上區塊恰好為零(三角結構),反函數也還原了輸入。最後一行就是變數變換公式的實際運作。訓練一個流模型,就是用一疊這樣的層,在資料上最大化這個 log p。

優點、限制與連續流

流模型提供精確概似、精確反演(適合影像編輯,也能把資料映到性質良好的潛在空間),以及一次前向傳遞的取樣。代價在於架構:每一層都必須可逆且行列式便宜,而且潛在空間必須與資料同維度,這會把容量浪費在表示所有像素方向上的雜訊。Rezende 與 Mohamed [20] 最初提出流,是為了讓 VAE 的近似後驗更有彈性,這說明同一個工具既能用於推論,也能用於生成。

連續正規化流把離散的層疊換成常微分方程 dx/dt=vθ(x,t)\mathrm{d}x/\mathrm{d}t=v_\theta(x,t)。Neural ODE [21] 指出,這時對數密度是透過 vθv_\theta 的散度(Jacobian 的跡)而非行列式來演化,於是解除了架構限制,但計算概似需要解一次 ODE。ML 08 介紹的流匹配(flow matching) [22],則用簡單的迴歸而非最大概似來訓練這種向量場。所以「流」這個詞指的是相關的轉換,但訓練目標不一定是概似。

能量模型

白話版。 與其描述怎麼產生影像,不如給每一張可能的影像打一個分數——「能量」——能量越低代表越「像真的」。能量低的地方,機率就高。

能量模型(energy-based model,EBM)定義

pθ(x)=exp⁡(−Eθ(x))Zθ,Zθ=∫exp⁡(−Eθ(x)) dx,p_\theta(x)=\frac{\exp(-E_\theta(x))}{Z_\theta},\qquad Z_\theta=\int\exp(-E_\theta(x))\,dx,

其中 EθE_\theta 是任何輸出純量的網路,ZθZ_\theta 是讓密度積分為一的配分函數(partition function)。EBM 極有彈性——任何架構都行——但在高維中 ZθZ_\theta 無法計算,所以概似與精確樣本都無法直接取得。Goodfellow、Bengio 與 Courville [23] 涵蓋了經典工具(配分函數與近似推論等章節),Song 與 Kingma [24] 則整理了現代的訓練途徑:搭配 MCMC 樣本(例如 Langevin 動力學)的最大概似;分數匹配(score matching),它擬合 ∇xlog⁡pθ(x)=−∇xEθ(x)\nabla_x\log p_\theta(x)=-\nabla_xE_\theta(x),因而完全不需要 ZθZ_\theta;以及雜訊對比類方法。分數匹配正是通往擴散模型的橋樑。

自迴歸模型(簡介)

白話版。 一次產生影像的一小塊,每一塊都以目前已產生的全部內容為條件,就像一個字一個字地寫句子。

對 xx 的 DD 個元素採用任何順序,機率的連鎖律都是精確的:

pθ(x)=∏i=1Dpθ(xi∣x1,…,xi−1).p_\theta(x)=\prod_{i=1}^{D}p_\theta(x_i\mid x_1,\ldots,x_{i-1}).

每個因子都是一般的分類或迴歸問題,所以訓練就是簡單、穩定、具精確概似的最大概似。PixelRNN 與 PixelCNN [25] 就是這樣對原始像素建模,每個子像素用一個 256 類的 softmax。缺點是取樣必須循序進行:DD 個元素要 DD 次網路計算。現代系統改為預測壓縮後的 token、一組組的 token 或整個尺度。ML 09 會詳細介紹這個家族。

擴散模型(簡介)

白話版。 教一個網路從帶雜訊的影像中去掉一點點雜訊。然後從純雜訊出發,反覆套用這個去雜訊器,慢慢雕出一張影像。

擴散模型定義一個固定的前向過程,逐步對資料加入高斯雜訊,直到只剩雜訊;再學習一個逐步還原的反向過程。Ho 等人 [26] 證明,訓練(在權重之外)可以化約成預測被加入的雜訊——一個簡單的迴歸——而且這個目標是重新加權的變分下界,這也是圖 1 把擴散模型放在 VAE 旁邊的原因。與分數匹配的連結(見能量模型一節)提供了第二個等價觀點。Yang 等人的綜述 [27] 整理了眾多變體。擴散模型與流匹配如今主導高品質影像生成,是 ML 08 的主題。

家族地圖

家族基本訓練訊號取樣機制概似主要限制
VAE變分下界(ELBO)取樣潛在變數再解碼(一次傳遞)下界下界取決於近似推論;樣本可能模糊
GAN對抗判別生成器前向傳遞(一次)無遊戲不穩定;模式崩塌
正規化流變數變換概似可逆轉換(一次)精確可逆性與同維度限制
自迴歸條件概似循序條件取樣精確生成時的相依性可能代價高
擴散去雜訊/分數目標反向雜訊過程(多步)下界或基於 ODE品質取決於模型與取樣器
流匹配速度場迴歸對學到的向量場積分需額外計算積分成本
能量模型能量學習(MCMC、分數匹配)常需迭代取樣未正規化正規化與混合可能困難

Bond-Taylor 等人 [3] 把這些取捨總結成一個很難同時滿足的三角:快速取樣、高樣本品質、良好的模態涵蓋。GAN 快又清晰,但可能漏掉模態;概似式模型涵蓋模態,但過去較慢或較模糊;擴散模型以多步取樣為代價,達到高品質與高涵蓋。這張表是教學用的整理,不是互斥的分類。實際模型常結合多個家族:VAE 壓縮影像、Transformer 建模它的潛在分布,再用擴散目標訓練那個 Transformer。

評估生成模型

白話版。 生成器可以在不同面向上「好」:給真實資料高機率、產生個別看來逼真的樣本、涵蓋資料中的所有多樣性,或遵循它的條件。沒有任何單一數字能涵蓋全部,所以要用多個指標,並清楚每個指標漏掉了什麼。

Theis 等人 [5] 把這點講得很透徹:在高維中,平均對數概似、樣本品質,以及 Parzen 窗估計之類的舊代理指標,彼此可以大致獨立。模型可能概似很好但樣本很差,反之亦然。請依你實際的用途來評估。

概似

對概似式模型而言,保留資料上的 NLL(或每維位元數)有理論根據,在去量化與前處理一致時也可以相互比較。GAN 則無法計算它。而且高概似不代表能可靠地偵測分布外資料:Nalisnick 等人 [28] 發現,在 CIFAR-10 上訓練的流模型、VAE 與 PixelCNN,可能給不相關的 SVHN 門牌數字影像更高的概似,因為概似主要受平滑度這類低階統計量主導,而非語意內容。

Inception Score

Salimans 等人 [12] 提出 Inception Score(IS)。把每張生成影像 xx 送進預訓練的 ImageNet 分類器(Inception-v3),得到標籤分布 p(y∣x)p(y\mid x),並令 p(y)=Ex[p(y∣x)]p(y)=\mathbb{E}_x[p(y\mid x)] 為對樣本的平均。則

IS=exp⁡(Ex∼pg DKL(p(y∣x) ∥ p(y))).\mathrm{IS}=\exp\Big(\mathbb{E}_{x\sim p_g}\,D_{\mathrm{KL}}\big(p(y\mid x)\,\|\,p(y)\big)\Big).

當每張影像都被有信心地分類(p(y∣x)p(y\mid x) 尖銳)、整組樣本又涵蓋許多類別(p(y)p(y) 分散)時,IS 就高。它從不看真實資料,所以無法判斷樣本是否像你的資料集,而且只對類似 ImageNet 的內容有意義。

Fréchet Inception Distance

Heusel 等人 [29] 提出的 Fréchet Inception Distance(FID) 在特徵空間中比較真實與生成影像。對兩組影像擷取 Inception-v3 特徵,各自擬合一個高斯——平均值 μr,μg\mu_r,\mu_g 與共變異數 Σr,Σg\Sigma_r,\Sigma_g——再計算兩個高斯之間的 Fréchet 距離:

FID=∥μr−μg∥22+Tr⁡(Σr+Σg−2(ΣrΣg)1/2).\mathrm{FID}=\|\mu_r-\mu_g\|_2^2 +\operatorname{Tr}\Big(\Sigma_r+\Sigma_g-2\big(\Sigma_r\Sigma_g\big)^{1/2}\Big).

越低越好。FID 使用真實資料,對品質與多樣性都敏感,因此成為標準指標。但它不是逐張影像的真實度量:它取決於特徵擷取器、影像縮放方式,特別是樣本數(有限樣本下它有偏差,所以只能比較樣本數相同的 FID),而且它把品質與涵蓋度混成一個數字。

精確率與召回率

為了把兩者分開,Sajjadi 等人 [30] 定義了分布的精確率與召回率:精確率問的是生成樣本中有多少比例落在真實資料所在之處(品質),召回率問的是真實分布有多少比例被生成器涵蓋(多樣性)。Kynkäänniemi 等人 [31] 提出一個簡單又穩健的估計方法,以下就來實作。用一組球的聯集近似每組樣本的流形,每顆球的半徑等於該點到同組中第 kk 個最近鄰的距離。於是

  • 精確率 = 落在某個真實樣本的球內的生成樣本比例;
  • 召回率 = 落在某個生成樣本的球內的真實樣本比例。

在影像上,這些點是深度特徵而非像素。在我們的二維圓環上,可以直接用座標:

程式碼 · Python · 30 行
import numpy as np

rng = np.random.default_rng(0)
angles = np.arange(8) * 2 * np.pi / 8
centers = 2 * np.stack([np.cos(angles), np.sin(angles)], 1)

def ring(n, modes):
    idx = rng.choice(modes, n)
    return centers[idx] + .05 * rng.standard_normal((n, 2))

def knn_radius(a, k):
    d = np.linalg.norm(a[:, None] - a[None], axis=-1)
    return np.sort(d, axis=1)[:, k]          # column 0 is the point itself

def coverage(query, ref, k=3):
    """Fraction of query points inside some reference point's k-NN ball."""
    r = knn_radius(ref, k)
    d = np.linalg.norm(query[:, None] - ref[None], axis=-1)
    return np.mean((d <= r[None]).any(axis=1))

real = ring(1000, range(8))
fakes = {
    "all 8 modes": ring(1000, range(8)),
    "only 2 modes": ring(1000, [0, 4]),
    "8 modes, blurry": ring(1000, range(8)) + .4 * rng.standard_normal((1000, 2)),
}
for name, fake in fakes.items():
    precision = coverage(fake, real)   # are fake samples on the real manifold?
    recall = coverage(real, fake)      # is the real manifold covered by fakes?
    print(f"{name:16s} precision={precision:.2f} recall={recall:.2f}")

輸出

all 8 modes      precision=0.97 recall=0.96
only 2 modes     precision=0.97 recall=0.26
8 modes, blurry  precision=0.07 recall=0.99

模式崩塌的生成器維持很高的精確率——它的每個樣本都很完美——但召回率掉到約 2/8。模糊的生成器恰好相反:它涵蓋每個模態,但大多數樣本偏離資料。像 FID 這樣的單一純量會把兩者都判為「比較差」,卻說不出為什麼。圖 6 呈現這三種情況。

三張散布圖,藍色為圓上八個群聚的真實樣本、橘色為生成樣本:好的生成器落在全部八群上;崩塌的生成器只落在兩群;模糊的生成器散布在所有群聚周圍。每張標題附上精確率與召回率。
圖 6 — 玩具圓環上的 k 近鄰精確率與召回率:模式崩塌降低召回率,模糊降低精確率。

現行指標的已知限制

評估本身就是活躍的研究領域。Stein 等人 [32] 進行了大規模人類實驗,發現沒有任何現有自動指標與人類的真實感判斷有強相關;特別是以 Inception 特徵計算的 FID,低估了擴散模型的感知真實度。他們建議 FID 與精確率/召回率之類的指標改用更豐富的自監督特徵空間(DINOv2 ViT-L/14)。Jayasumana 等人 [33] 主張 FID 的常態假設與 Inception 特徵不適合現代文字生成影像模型,並提出 CMMD:在 CLIP 嵌入上計算的最大平均差異(maximum mean discrepancy),不需要高斯假設。實務建議:回報多個互補指標並附上確切協定(特徵擷取器、樣本數、解析度、參考集)、展示未經挑選的樣本,而當主張涉及「看起來的品質」時,進行人類評估。

條件式任務還要加上對齊度的量測(影像是否符合文字或低解析度輸入?)。在影像復原中,一個漂亮的生成紋理可能沒有觀測資料支持;「看起來合理的樣本」與「量測到的證據」之間的區別,是 DLCV 09 的核心議題。

現代觀點

值得一讀的綜述。 四篇綜述從不同角度涵蓋本章內容。

  • Bond-Taylor 等人 [3](IEEE TPAMI 2022)是 VAE、GAN、正規化流、能量模型與自迴歸模型最好的單篇比較綜述。它依核心技術與已知病徵整理每個家族,並從訓練速度、取樣速度、樣本品質、多樣性與概似加以比較,結論是每個家族都在某處用弱點換來優點,而混合方法是自然的前進方向。
  • Papamakarios 等人 [4](JMLR 2021)是正規化流的統一論述:表達能力、耦合式/自迴歸式/殘差式/連續式流的設計空間,以及在密度估計、推論與模擬上的用途。
  • Kingma 與 Welling [9](Foundations and Trends in ML 2019)是 VAE 發明者撰寫的權威教學綜述:推導、重參數化估計量、更緊的下界、更有彈性的後驗(包括流)、階層式模型,以及加權 β 的變體。
  • Yang 等人 [27](ACM Computing Surveys 2023)綜述擴散模型——取樣加速、概似改進、結構化資料,以及與 VAE、GAN、流和 EBM 的關聯——是通往下一章的橋樑。

Bishop 與 Bishop [1]、Prince [2] 的教科書對所有家族都有一致的推導,Prince 的 notebook 更提供可執行的配套程式。

領域現況(2023–2026)。 擴散與流匹配模型——通常在學到的潛在空間中運作——如今產出了大部分最先進的影像與影片生成結果。這讓自編碼器再次成為承重元件:VQ-VAE [34] 展示了如何學習離散潛在碼,讓另一個先驗模型去建模;潛在擴散 [35] 則證明,把生成模型放在壓縮後的自編碼器潛在空間中執行,能在保留細節的同時大幅降低成本。tokenizer 必須在壓縮率、重建品質,以及潛在空間是否容易建模之間取得平衡;請先評估它的重建,因為下游先驗無法還原編碼器已經丟掉的細節。

GAN 並沒有消失。GigaGAN [36] 把 GAN 擴展到文字生成影像,並凸顯 GAN 仍然最擅長的事:快到足以互動使用的單次傳遞取樣、高解析度上取樣,以及平滑、可編輯的潛在空間。Huang 等人 [37] 重新檢視訓練目標本身,推導出具局部收斂保證的正則化相對式(relativistic)GAN 損失,並顯示一個不依賴傳統技巧大全的極簡現代基準(R3GAN)在標準基準上能超越 StyleGAN2。對抗損失也繼續存在於其他系統中,例如用來讓 tokenizer 的重建更銳利。

在評估方面,2023–2024 年對 FID 的批評 [32]、[33] 推動領域轉向更豐富的特徵擷取器、分開的精確率/召回率式指標與人類評估,但至今仍沒有公認的單一指標。

開放問題。(1)與人類一致、且能區分品質、多樣性與記憶的可靠評估。(2)偵測模型何時在複製訓練影像而非泛化。(3)真正能用於分布外偵測的校準概似 [28]。(4)速度、品質與涵蓋度的三角取捨:在不失去模態的前提下,以 GAN 的速度達到擴散模型的品質。(5)學出同時具備壓縮性、忠實性又容易建模的潛在空間。

重點整理

  • 生成器需要明確分布或取樣程序,只有重建並不足夠。
  • 最大概似擬合觀測資料的機率;高概似與逼真樣本是不同目標。
  • ELBO 是對數概似的下界,差距取決於近似後驗的失配。
  • 對抗目標依賴判別器行為,訓練改進不保證收斂或避免模式崩塌。
  • 可逆流透過 Jacobian 行列式追蹤密度;可計算的變換限制其設計。
  • 回報互補指標,並交代特徵擷取器、樣本數與條件設定協定。

練習

  1. KL 健全性檢查。 把 μ=0\mu=0、σ2=1\sigma^2=1 代入高斯 KL。接著計算一維中 μ=1,σ2=1\mu=1,\sigma^2=1 的 KL。
提示

μ=0,σ2=1\mu=0,\sigma^2=1 時每一項都是零,因為後驗與先驗是同一個分布。μ=1,σ2=1\mu=1,\sigma^2=1 時得到 12(1+1−0−1)=0.5\tfrac12(1+1-0-1)=0.5 nats:把平均值移動一個標準差,代價是半個 nat。

  1. 損失縮放。 把 VAE 的重建項改成對像素取平均而不是加總。若 KL 保持不變,會發生什麼事?
提示

相對於 KL,重建項變小了 64 倍。這等同於對加總損失使用 β=64\beta=64 的 β-VAE:它實際上改變了正則化強度(往往導向後驗崩塌),而不只是改變回報的單位。

  1. 最佳判別器。 在 pdata(x)=0.3p_{\mathrm{data}}(x)=0.3、pg(x)=0.1p_g(x)=0.1 的點 xx 上,D∗(x)D^*(x) 是多少?當 pg=pdatap_g=p_{\mathrm{data}} 時,D∗D^* 處處是多少?此時遊戲的值是多少?
提示

D∗(x)=0.3/(0.3+0.1)=0.75D^*(x)=0.3/(0.3+0.1)=0.75。兩個分布相同時,處處 D∗=1/2D^*=1/2,V=log⁡12+log⁡12=−log⁡4V=\log\tfrac12+\log\tfrac12=-\log 4,與 JSD=0\mathrm{JSD}=0 一致。

  1. 仿射流。 對 x=Az+bx=Az+b、z∼N(0,I)z\sim\mathcal N(0,I),推導密度修正項,並說明為何奇異的 AA 會使它失效。再用已知的高斯 N(b,AA⊤)\mathcal N(b,AA^\top) 檢查你的答案。
提示

減去 log⁡∣det⁡A∣\log|\det A|。因為 det⁡(AA⊤)1/2=∣det⁡A∣\det(AA^\top)^{1/2}=|\det A|,這與 N(b,AA⊤)\mathcal N(b,AA^\top) 的正規化常數一致。奇異映射不可逆,會把體積壓扁,所以同維度的變數變換公式不適用。

  1. 辨認崩塌。 分別為 VAE 後驗崩塌與 GAN 模式崩塌提出不同的檢查方法。接著把 GAN 程式改成 WGAN-GP(評論器不加 sigmoid、梯度懲罰 λ=10\lambda=10、每次生成器更新前做多次評論器更新),並比較各模態的樣本數。
提示

VAE:檢查每個潛在維度的 KL,以及改變 zz 時解碼輸出是否跟著變。GAN:統計每個模態的樣本數(如我們的程式)、計算召回率,並在固定條件下找重複的樣本。這是兩種不同的失敗。WGAN-GP:取樣 x^=αxreal+(1−α)xfake\hat x=\alpha x_{\mathrm{real}}+(1-\alpha)x_{\mathrm{fake}}、α∼U(0,1)\alpha\sim U(0,1),呼叫 torch.autograd.grad 並設 create_graph=True;若訓練震盪就降低學習率。下結論前請比較多個亂數種子。

  1. 指標的盲點。 利用精確率/召回率程式,建構一組生成樣本,使它的精確率與召回率和好的生成器差不多,但一半的樣本只集中在四個模態。這告訴你這個指標有什麼限制?
提示

模態權重不均仍可能得到高召回率,因為召回率只問每個真實點附近是否有某個生成點,而不問模態的頻率是否相符。精確率/召回率量測的是支撐集的重疊,而不是密度;請搭配 FID 這類分布層級的指標或逐模態直方圖。

論文導讀

2 篇論文導讀,各自成頁。

打開論文導讀 →

參考文獻

  1. C. M. Bishop and H. Bishop, Deep Learning: Foundations and Concepts, Springer, 2024. Book
  2. S. J. D. Prince, Understanding Deep Learning, MIT Press, 2023. Book and notebooks
  3. S. Bond-Taylor, A. Leach, Y. Long and C. G. Willcocks, “Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models,” IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022. Paper
  4. G. Papamakarios et al., “Normalizing Flows for Probabilistic Modeling and Inference,” JMLR, 2021. Review
  5. L. Theis, A. van den Oord and M. Bethge, “A note on the evaluation of generative models,” ICLR, 2016. Paper
  6. D. P. Kingma and M. Welling, “Auto-Encoding Variational Bayes,” ICLR, 2014. Paper
  7. S. R. Bowman et al., “Generating Sentences from a Continuous Space,” CoNLL, 2016. Paper
  8. I. Higgins et al., “β-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework,” ICLR, 2017. Paper
  9. D. P. Kingma and M. Welling, “An Introduction to Variational Autoencoders,” Foundations and Trends in Machine Learning, 2019. Review
  10. A. Vahdat and J. Kautz, “NVAE: A Deep Hierarchical Variational Autoencoder,” NeurIPS, 2020. Paper
  11. I. Goodfellow et al., “Generative Adversarial Nets,” NeurIPS, 2014. Paper
  12. T. Salimans et al., “Improved Techniques for Training GANs,” NeurIPS, 2016. Paper
  13. M. Arjovsky, S. Chintala and L. Bottou, “Wasserstein GAN,” ICML, 2017. Paper
  14. I. Gulrajani et al., “Improved Training of Wasserstein GANs,” NeurIPS, 2017. Paper
  15. T. Miyato et al., “Spectral Normalization for Generative Adversarial Networks,” ICLR, 2018. Paper
  16. L. Mescheder, A. Geiger and S. Nowozin, “Which Training Methods for GANs do actually Converge?” ICML, 2018. Paper
  17. T. Karras, S. Laine and T. Aila, “A Style-Based Generator Architecture for Generative Adversarial Networks,” CVPR, 2019. Paper
  18. L. Dinh, J. Sohl-Dickstein and S. Bengio, “Density estimation using Real NVP,” ICLR, 2017. Paper
  19. D. P. Kingma and P. Dhariwal, “Glow: Generative Flow with Invertible 1x1 Convolutions,” NeurIPS, 2018. Paper
  20. D. J. Rezende and S. Mohamed, “Variational Inference with Normalizing Flows,” ICML, 2015. Paper
  21. R. T. Q. Chen, Y. Rubanova, J. Bettencourt and D. Duvenaud, “Neural Ordinary Differential Equations,” NeurIPS, 2018. Paper
  22. Y. Lipman et al., “Flow Matching for Generative Modeling,” ICLR, 2023. Paper
  23. I. Goodfellow, Y. Bengio and A. Courville, Deep Learning, MIT Press, 2016, ch. 18–20. Book
  24. Y. Song and D. P. Kingma, “How to Train Your Energy-Based Models,” arXiv, 2021. Paper
  25. A. van den Oord, N. Kalchbrenner and K. Kavukcuoglu, “Pixel Recurrent Neural Networks,” ICML, 2016. Paper
  26. J. Ho, A. Jain and P. Abbeel, “Denoising Diffusion Probabilistic Models,” NeurIPS, 2020. Paper
  27. L. Yang et al., “Diffusion Models: A Comprehensive Survey of Methods and Applications,” ACM Computing Surveys, 2023. Survey
  28. E. Nalisnick et al., “Do Deep Generative Models Know What They Don’t Know?” ICLR, 2019. Paper
  29. M. Heusel et al., “GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium,” NeurIPS, 2017. Paper
  30. M. S. M. Sajjadi, O. Bachem, M. Lucic, O. Bousquet and S. Gelly, “Assessing Generative Models via Precision and Recall,” NeurIPS, 2018. Paper
  31. T. Kynkäänniemi, T. Karras, S. Laine, J. Lehtinen and T. Aila, “Improved Precision and Recall Metric for Assessing Generative Models,” NeurIPS, 2019. Paper
  32. G. Stein et al., “Exposing flaws of generative model evaluation metrics and their unfair treatment of diffusion models,” NeurIPS, 2023. Paper
  33. S. Jayasumana et al., “Rethinking FID: Towards a Better Evaluation Metric for Image Generation,” CVPR, 2024. Paper
  34. A. van den Oord, O. Vinyals and K. Kavukcuoglu, “Neural Discrete Representation Learning,” NeurIPS, 2017. Paper
  35. R. Rombach et al., “High-Resolution Image Synthesis with Latent Diffusion Models,” CVPR, 2022. Paper
  36. M. Kang et al., “Scaling up GANs for Text-to-Image Synthesis,” CVPR, 2023. Paper
  37. Y. Huang, A. Gokaslan, V. Kuleshov and J. Tompkin, “The GAN is dead; long live the GAN! A Modern GAN Baseline,” NeurIPS, 2024. Paper

檢查理解

本篇有 6 題練習。不看提示,你能解出來嗎?

前往練習 ↑

下一篇 ML 08・擴散模型與流匹配 · 40 分鐘