完整搜尋頁面 →

OSEDiff:LR 潛在起點與變分分數正規化(NeurIPS 2024)

選讀・DLCV 09A.2・單步擴散超解析度 的論文導讀(第 3/8 篇)。引用編號對應本頁底部的參考文獻。

導覽:本頁與本系列: 導覽:本頁與本系列

本頁內容

補充資料 · 2

  1. 潛在起點不等於加雜訊方程式
  2. 分數正規化與逐圖量測一致性

論文導讀 · 8

  1. ResShift:復原條件的短鏈(NeurIPS 2023)
  2. SinSR:蒸餾確定性的影像條件映射(CVPR 2024)
  3. OSEDiff:LR 潛在起點與變分分數正規化(NeurIPS 2024)
  4. S3Diff:退化引導的低秩調適
  5. TSD-SR:目標感知分數正規化(CVPR 2025)
  6. InvSR:學得的影像條件起點(CVPR 2025)
  7. PiSA-SR:分開像素與語意調適(CVPR 2025)
  8. AddSR:預測細化的對抗復原蒸餾

電腦視覺深度學習

  1. 02 · 深度影像分類
  2. 03 · 物件偵測:從 R-CNN 到 DETR
  3. 09 · 深度影像復原:低階視覺
查看完整課程樹 →

挑戰

OSEDiff [1] 想保留大型預訓練先驗,又避免多次擴散。多步先驗復原能補細節但昂貴,配對重建雖快卻可能偏平滑,因此結合直接 LR→HR 映射與訓練時分布正規化。

各元件相互配合:LR 潛在起點、編碼器與去雜訊器 LoRA、凍結解碼器、影像提示,以及配對損失與潛在分數差。每一項的功能與證據不同,不能只用「單步擴散」概括。

方法

影像條件生成器同時接受重建監督與分布匹配正規化;輔助擴散模型用於訓練,並非多步推論鏈。
原論文圖 2 — 影像條件生成器同時接受重建監督與分布匹配正規化;輔助擴散模型用於訓練,並非多步推論鏈。

圖片來源: [1], arXiv:2406.08177v3, PDF 第 4 頁. 原始 PDF.

輸入與表示。 xLx_L 是放大至輸出解析度的低品質圖,xHx_H 為配對目標。預訓練模型提供 VAE 編碼器 EϕE_\phi、文字條件去雜訊器 ϵϕ\epsilon_\phi 及解碼器 DϕD_\phi [29]。512 × 512 圖經八倍壓縮為 64 × 64 多通道潛在網格;不能不放大 LR,就期待任意隱式倍率轉換。

LoRA 調適。 凍結原權重,訓練低秩更新得到 EθE_\theta、ϵθ\epsilon_\theta [11]。ΔW=AB\Delta W=AB 的秩受轉接器秩限制。原設定 VAE 編碼器、生成去雜訊器及調適正規化器的秩皆為 4。小調適不等於小執行模型。

固定解碼器。 Dθ=Dϕ=DD_\theta=D_\phi=D,避免生成潛在向量的像素解釋自由改變,而先驗仍在預訓練座標評估。這維持表示相容,不保證編解碼精確可逆。調適解碼器可能改善像素分數,卻削弱選定的先驗取捨,原文有直接比較。

影像提示。 YY 從低品質輸入擷取條件,主實作使用 SeeSR 的 DAPE [30]。標籤是推估語意,也可能錯誤;部署仍要付出提示成本。原文比較空提示、輕量擷取器及大型多模態描述器 [31]。

固定時間的一次轉換。 定義 zL=Eθ(xL)z_L=E_\theta(x_L)、c=Y(xL)c=Y(x_L),生成器為:

z^H=Fθ(zL,c)=zL−βTϵθ(zL;T,c)αT,x^H=D(z^H).\widehat z_H=F_\theta(z_L,c)=\frac{z_L-\beta_T\epsilon_\theta(z_L;T,c)}{\alpha_T}, \qquad \widehat x_H=D(\widehat z_H).

TT 是固定模型時間,αT,βT\alpha_T,\beta_T 是原文排程係數。部署路徑沒有新加高斯雜訊;舊去雜訊式只是新訓練影像映射的參數化,不主張 LR 潛在向量符合原前向分布。固定執行可重複,仍不證明細節正確。

配對重建。 資料項為:

Ldata=MSE⁡(x^H,xH)+λ1LPIPS⁡(x^H,xH).\mathcal L_{\mathrm{data}}=\operatorname{MSE}(\widehat x_H,x_H)+\lambda_1\operatorname{LPIPS}(\widehat x_H,x_H).

MSE 懲罰像素差異,LPIPS [12] 比較感知特徵,λ1\lambda_1 平衡尺度。合成配對提供該退化下的 HR 監督,不會揭露任意網路照片的原始 HR。

兩個訓練正規化器。 凍結 ϵϕ\epsilon_\phi 作先驗,另以 LoRA 更新 ϵϕ′\epsilon_{\phi'} 追蹤生成分布;後者也不同於生成器 ϵθ\epsilon_\theta。圖中三個去雜訊角色不是三階段推論,而是部署生成器與兩個訓練估計器。

加雜訊的潛在比較。 抽時間 tt 及高斯 ϵ\epsilon,形成 z^t=αtz^H+βtϵ\widehat z_t=\alpha_t\widehat z_H+\beta_t\epsilon,正規化梯度為:

∇θLVSD≈Et,ϵ ⁣[ω(t)(ϵϕ(z^t;t,c)−ϵϕ′(z^t;t,c))∂z^H∂θ].\nabla_\theta\mathcal L_{\mathrm{VSD}}\approx \mathbb E_{t,\epsilon}\!\left[\omega(t) \left(\epsilon_\phi(\widehat z_t;t,c)-\epsilon_{\phi'}(\widehat z_t;t,c)\right) \frac{\partial\widehat z_H}{\partial\theta}\right].

ω(t)\omega(t) 是時間權重,括號與生成潛在向量的參數 Jacobian 形成向量乘積。固定模型提供先驗預測,調適模型描述目前樣本分布。分數差是近似訓練方向,不是明算乾淨密度 KL。VSD [13] 不等於未知退化下的精確後驗取樣。

為何用潛在 VSD。 近似 Eϕ(Dϕ(z^H))≈z^HE_\phi(D_\phi(\widehat z_H))\approx\widehat z_H,省去正規化路徑的反覆編解碼。此近似仰賴潛在向量維持表示相容,不是任意向量皆可精確消去編解碼。

調適正規化器。 用生成潛在樣本與已知新增雜訊訓練 ϵϕ′\epsilon_{\phi'}:

Ldiff=E∥ϵϕ′(αtz^H+βtϵ;t,c)−ϵ∥22.\mathcal L_{\mathrm{diff}}= \mathbb E\|\epsilon_{\phi'}(\alpha_t\widehat z_H+\beta_t\epsilon;t,c)-\epsilon\|_2^2.

此損失更新正規化器,不是部署生成器額外的重建項。生成樣本在這裡當資料,須區分最佳化器及停止梯度邊界;追蹤不準就會讓先驗差方向不準。

訓練與部署。 生成器目標 Ldata+λ2LVSD\mathcal L_{\mathrm{data}}+\lambda_2\mathcal L_{\mathrm{VSD}},原值 λ1=2\lambda_1=2、λ2=1\lambda_2=1。資料為 LSDIR [32] 加 FFHQ 前 10,000 張 [33],以 Real-ESRGAN [27] 合成退化;AdamW [34]、學習率 5×10−55\times10^{-5}、批次 16、四張 A100。部署保留提示、調適編碼器、生成去雜訊器及固定解碼器,移除兩個正規化器。

結果

表 1 使用 3,000 個合成 DIV2K 驗證裁切及實拍 RealSR/DRealSR 配對 [17]、[15]、[16],選列如下:

測試集PSNR ↑LPIPS ↓DISTS ↓FID ↓MUSIQ ↑CLIPIQA ↑
DIV2K-Val23.720.29410.197626.3267.970.6683
RealSR25.150.29210.2128123.4969.090.6693

一些多步模型的無參考分數較佳,復原專用模型也可能有更高 PSNR。結果不是所有指標全面勝出;裁切與退化規則須跟著數字。

表 2:A100、512 × 512 輸入測試,OSEDiff 0.11 秒,StableSR 11.50 秒,SinSR 0.13 秒。可訓練參數 850 萬,總參數 17.75 億;不能只報 850 萬當完整模型。提示擷取另有計時,重現時須釐清包含邊界。

消融實驗

先驗目標,表 3。 RealSR 無 VSD 的 PSNR/LPIPS/MUSIQ/CLIPIQA 為 25.42/0.2934/65.23/0.5876;GAN 25.00/0.2760/67.29/0.6254;像素 VSD 25.05/0.2759/67.90/0.6256;潛在 OSEDiff 25.15/0.2921/69.09/0.6693。潛在 VSD 的兩個無參考分數較好,LPIPS 卻比 GAN 及像素版差,不能說每項皆改善。

提示,表 4。 DRealSR 空提示的四分數 28.51/0.2896/62.13/0.6599,DAPE 27.92/0.2968/64.65/0.6963,大型描述器 27.72/0.3109/65.70/0.7033;時間 0/0.02/3.53 秒。更豐富提示提高無參考分數,卻降低參考保真,且大型描述成本遠高於生成器時間。

秩,表 5–6。 編碼器秩 2 未收斂;秩 4 的 PSNR/MUSIQ 25.15/69.09,秩 8 24.86/68.37。生成去雜訊器秩 2/4/8 的 PSNR 25.28/25.15/24.87,DISTS 0.2154/0.2128/0.2115。選定秩是取捨,更多容量不保證泛化更好。

編解碼器,表 7。 皆不調適的 MUSIQ/CLIPIQA 58.99/0.5303;只調解碼 65.83/0.5604;兩者皆調 65.92/0.5778;只調編碼 69.09/0.6693。兩者皆調的 PSNR 25.59 高於選定版 25.15,因此凍結解碼器支持選定感知/先驗取捨,並非所有指標最佳。

結論

OSEDiff 將潛在擴散骨幹調整為直接復原器:配對項保留訓練目標,兩個訓練分數模型提供自然先驗;編碼器調適與固定解碼使潛在捷徑可用,提示另帶來語意與成本。

限制與問題

預設沒有隨機取樣仍可能虛構語意;合成退化未涵蓋所有相機,提示可能導向錯誤內容,無參考分數提高也可能降保真。潛在 VSD 仰賴近似表示一致與分布追蹤,大型骨幹也未消失。後續退化調適、目標分數與分離控制 [4]、[6]、[8] 是改變系統,不是證明歧義已解決。

參考文獻

  1. R. Wu, L. Sun, Z. Ma, L. Zhang, “One-Step Effective Diffusion Network for Real-World Image Super-Resolution,” NeurIPS, 2024. source
  2. Z. Yue, J. Wang, C. C. Loy, “ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting,” NeurIPS, 2023. source
  3. Y. Wang, W. Yang, X. Chen, et al., “SinSR: Diffusion-Based Image Super-Resolution in a Single Step,” CVPR, 2024. source · supplementary ablations
  4. A. Zhang, Z. Yue, R. Pei, W. Ren, X. Cao, “Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors,” arXiv preprint, 2024. paper
  5. Y. Tai, R. Xie, C. Zhao, K. Zhang, Z. Zhang, J. Zhou, J. Yang, “AddSR: Accelerating diffusion-based blind super-resolution with adversarial diffusion distillation,” Pattern Recognition, 2026. published version · manuscript supplying the discussed tables
  6. L. Dong, Q. Fan, Y. Guo, Z. Wang, Q. Zhang, J. Chen, Y. Luo, C. Zou, “TSD-SR: One-Step Diffusion with Target Score Distillation for Real-World Image Super-Resolution,” CVPR, 2025. paper
  7. Z. Yue, K. Liao, C. C. Loy, “Arbitrary-steps Image Super-resolution via Diffusion Inversion,” CVPR, 2025. paper
  8. L. Sun, R. Wu, Z. Ma, S. Liu, Q. Yi, L. Zhang, “Pixel-level and Semantic-level Adjustable Super-resolution: A Dual-LoRA Approach,” CVPR, 2025. paper
  9. A. Liu, Y. Liu, J. Gu, Y. Qiao, C. Dong, “Blind Image Super-Resolution: A Survey and Beyond,” IEEE TPAMI (early access), 2022. source
  10. B. B. Moser, A. S. Shanbhag, F. Raue, S. Frolov, S. Palacio and A. Dengel, “Diffusion Models, Image Super-Resolution, and Everything: A Survey,” IEEE Transactions on Neural Networks and Learning Systems, vol. 36, no. 7, pp. 11793–11813, 2025. doi · arXiv
  11. E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, W. Chen, “LoRA: Low-Rank Adaptation of Large Language Models,” ICLR, 2022. source
  12. R. Zhang, P. Isola, A. A. Efros, E. Shechtman and O. Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Metric,” in Proc. IEEE/CVF CVPR, 2018, pp. 586–595. doi · arXiv
  13. Z. Wang, C. Lu, Y. Wang, F. Bao, C. Li, H. Su, J. Zhu, “ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation,” NeurIPS, 2023. paper
  14. A. Sauer, D. Lorenz, A. Blattmann, R. Rombach, “Adversarial Diffusion Distillation,” ECCV, 2024. paper
  15. J. Cai, H. Zeng, H. Yong, Z. Cao, L. Zhang, “Toward Real-World Single Image Super-Resolution: A New Benchmark and a New Model,” Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. source
  16. P. Wei, Z. Xie, H. Lu, Z. Zhan, Q. Ye, W. Zuo, L. Lin, “Component Divide-and-Conquer for Real-World Image Super-Resolution,” ECCV, 2020. source
  17. E. Agustsson and R. Timofte, “NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study,” in Proc. IEEE CVPR Workshops, 2017, pp. 1122–1131. doi · CVF
  18. Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, “Image Quality Assessment: From Error Visibility to Structural Similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, 2004. doi
  19. K. Ding, K. Ma, S. Wang, E. P. Simoncelli, “Image Quality Assessment: Unifying Structure and Texture Similarity,” IEEE TPAMI, 2022. source
  20. A. Mittal, R. Soundararajan and A. C. Bovik, “Making a “Completely Blind” Image Quality Analyzer,” IEEE Signal Processing Letters, vol. 20, no. 3, pp. 209–212, 2013. doi
  21. J. Ke, Q. Wang, Y. Wang, P. Milanfar, F. Yang, “MUSIQ: Multi-scale Image Quality Transformer,” ICCV, 2021. source
  22. S. Yang, T. Wu, S. Shi, S. Lao, Y. Gong, M. Cao, J. Wang, Y. Yang, “MANIQA: Multi-dimension Attention Network for No-Reference Image Quality Assessment,” CVPR Workshops, 2022. source
  23. J. Wang, K. C. K. Chan, C. C. Loy, “Exploring CLIP for Assessing the Look and Feel of Images,” AAAI, 2023. source
  24. X. Fan, Z. Wu, H. Wu, L. Cao, “A Survey on Pre-Trained Diffusion Model Distillations,” arXiv preprint, version 2, 2025. paper
  25. Z. Wu, Y. Dong, X. Wei, “TUDSR: Twice Upsampling-Diffusion for Higher Super-Resolution,” CVPR, 2026. paper
  26. P. Esser, R. Rombach, B. Ommer, “Taming Transformers for High-Resolution Image Synthesis,” CVPR, 2021. paper
  27. X. Wang, L. Xie, C. Dong, Y. Shan, “Real-ESRGAN: Training Real-World Blind Super-Resolution With Pure Synthetic Data,” Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021. source
  28. J. Deng, W. Dong, R. Socher, L. Li, Kai Li, Li Fei-Fei, “ImageNet: A large-scale hierarchical image database,” CVPR, 2009. doi
  29. R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer, “High-Resolution Image Synthesis with Latent Diffusion Models,” CVPR, 2022. source
  30. R. Wu, T. Yang, L. Sun, Z. Zhang, S. Li, L. Zhang, “SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. source · supplementary experiments
  31. H. Liu, C. Li, Q. Wu, Y. J. Lee, “Visual Instruction Tuning,” NeurIPS, 2023. source
  32. Y. Li, K. Zhang, J. Liang, et al., “LSDIR: A Large Scale Dataset for Image Restoration,” CVPR Workshops, 2023. paper
  33. T. Karras, S. Laine, T. Aila, “A Style-Based Generator Architecture for Generative Adversarial Networks,” CVPR, 2019. paper
  34. I. Loshchilov, F. Hutter, “Decoupled Weight Decay Regularization,” ICLR, 2019. paper
  35. P. Esser, S. Kulal, A. Blattmann, et al., “Scaling Rectified Flow Transformers for High-Resolution Image Synthesis,” ICML, 2024. paper
  36. J. Ho, T. Salimans, “Classifier-Free Diffusion Guidance,” arXiv preprint, 2022. paper
  37. R. Timofte, E. Agustsson, L. Van Gool, M.-H. Yang, L. Zhang et al., “NTIRE 2017 Challenge on Single Image Super-Resolution: Methods and Results,” in Proc. IEEE CVPR Workshops, 2017, pp. 1110–1121. doi · CVF