OSEDiff:LR 潛在起點與變分分數正規化(NeurIPS 2024)
選讀・DLCV 09A.2・單步擴散超解析度 的論文導讀(第 3/8 篇)。引用編號對應本頁底部的參考文獻。
導覽:本頁與本系列: 導覽:本頁與本系列
挑戰
OSEDiff [1] 想保留大型預訓練先驗,又避免多次擴散。多步先驗復原能補細節但昂貴,配對重建雖快卻可能偏平滑,因此結合直接 LR→HR 映射與訓練時分布正規化。
各元件相互配合:LR 潛在起點、編碼器與去雜訊器 LoRA、凍結解碼器、影像提示,以及配對損失與潛在分數差。每一項的功能與證據不同,不能只用「單步擴散」概括。
方法

圖片來源: [1], arXiv:2406.08177v3, PDF 第 4 頁. 原始 PDF.
輸入與表示。 是放大至輸出解析度的低品質圖, 為配對目標。預訓練模型提供 VAE 編碼器 、文字條件去雜訊器 及解碼器 [29]。512 × 512 圖經八倍壓縮為 64 × 64 多通道潛在網格;不能不放大 LR,就期待任意隱式倍率轉換。
LoRA 調適。 凍結原權重,訓練低秩更新得到 、 [11]。 的秩受轉接器秩限制。原設定 VAE 編碼器、生成去雜訊器及調適正規化器的秩皆為 4。小調適不等於小執行模型。
固定解碼器。 ,避免生成潛在向量的像素解釋自由改變,而先驗仍在預訓練座標評估。這維持表示相容,不保證編解碼精確可逆。調適解碼器可能改善像素分數,卻削弱選定的先驗取捨,原文有直接比較。
影像提示。 從低品質輸入擷取條件,主實作使用 SeeSR 的 DAPE [30]。標籤是推估語意,也可能錯誤;部署仍要付出提示成本。原文比較空提示、輕量擷取器及大型多模態描述器 [31]。
固定時間的一次轉換。 定義 、,生成器為:
是固定模型時間, 是原文排程係數。部署路徑沒有新加高斯雜訊;舊去雜訊式只是新訓練影像映射的參數化,不主張 LR 潛在向量符合原前向分布。固定執行可重複,仍不證明細節正確。
配對重建。 資料項為:
MSE 懲罰像素差異,LPIPS [12] 比較感知特徵, 平衡尺度。合成配對提供該退化下的 HR 監督,不會揭露任意網路照片的原始 HR。
兩個訓練正規化器。 凍結 作先驗,另以 LoRA 更新 追蹤生成分布;後者也不同於生成器 。圖中三個去雜訊角色不是三階段推論,而是部署生成器與兩個訓練估計器。
加雜訊的潛在比較。 抽時間 及高斯 ,形成 ,正規化梯度為:
是時間權重,括號與生成潛在向量的參數 Jacobian 形成向量乘積。固定模型提供先驗預測,調適模型描述目前樣本分布。分數差是近似訓練方向,不是明算乾淨密度 KL。VSD [13] 不等於未知退化下的精確後驗取樣。
為何用潛在 VSD。 近似 ,省去正規化路徑的反覆編解碼。此近似仰賴潛在向量維持表示相容,不是任意向量皆可精確消去編解碼。
調適正規化器。 用生成潛在樣本與已知新增雜訊訓練 :
此損失更新正規化器,不是部署生成器額外的重建項。生成樣本在這裡當資料,須區分最佳化器及停止梯度邊界;追蹤不準就會讓先驗差方向不準。
訓練與部署。 生成器目標 ,原值 、。資料為 LSDIR [32] 加 FFHQ 前 10,000 張 [33],以 Real-ESRGAN [27] 合成退化;AdamW [34]、學習率 、批次 16、四張 A100。部署保留提示、調適編碼器、生成去雜訊器及固定解碼器,移除兩個正規化器。
結果
表 1 使用 3,000 個合成 DIV2K 驗證裁切及實拍 RealSR/DRealSR 配對 [17]、[15]、[16],選列如下:
| 測試集 | PSNR ↑ | LPIPS ↓ | DISTS ↓ | FID ↓ | MUSIQ ↑ | CLIPIQA ↑ |
|---|---|---|---|---|---|---|
| DIV2K-Val | 23.72 | 0.2941 | 0.1976 | 26.32 | 67.97 | 0.6683 |
| RealSR | 25.15 | 0.2921 | 0.2128 | 123.49 | 69.09 | 0.6693 |
一些多步模型的無參考分數較佳,復原專用模型也可能有更高 PSNR。結果不是所有指標全面勝出;裁切與退化規則須跟著數字。
表 2:A100、512 × 512 輸入測試,OSEDiff 0.11 秒,StableSR 11.50 秒,SinSR 0.13 秒。可訓練參數 850 萬,總參數 17.75 億;不能只報 850 萬當完整模型。提示擷取另有計時,重現時須釐清包含邊界。
消融實驗
先驗目標,表 3。 RealSR 無 VSD 的 PSNR/LPIPS/MUSIQ/CLIPIQA 為 25.42/0.2934/65.23/0.5876;GAN 25.00/0.2760/67.29/0.6254;像素 VSD 25.05/0.2759/67.90/0.6256;潛在 OSEDiff 25.15/0.2921/69.09/0.6693。潛在 VSD 的兩個無參考分數較好,LPIPS 卻比 GAN 及像素版差,不能說每項皆改善。
提示,表 4。 DRealSR 空提示的四分數 28.51/0.2896/62.13/0.6599,DAPE 27.92/0.2968/64.65/0.6963,大型描述器 27.72/0.3109/65.70/0.7033;時間 0/0.02/3.53 秒。更豐富提示提高無參考分數,卻降低參考保真,且大型描述成本遠高於生成器時間。
秩,表 5–6。 編碼器秩 2 未收斂;秩 4 的 PSNR/MUSIQ 25.15/69.09,秩 8 24.86/68.37。生成去雜訊器秩 2/4/8 的 PSNR 25.28/25.15/24.87,DISTS 0.2154/0.2128/0.2115。選定秩是取捨,更多容量不保證泛化更好。
編解碼器,表 7。 皆不調適的 MUSIQ/CLIPIQA 58.99/0.5303;只調解碼 65.83/0.5604;兩者皆調 65.92/0.5778;只調編碼 69.09/0.6693。兩者皆調的 PSNR 25.59 高於選定版 25.15,因此凍結解碼器支持選定感知/先驗取捨,並非所有指標最佳。
結論
OSEDiff 將潛在擴散骨幹調整為直接復原器:配對項保留訓練目標,兩個訓練分數模型提供自然先驗;編碼器調適與固定解碼使潛在捷徑可用,提示另帶來語意與成本。
限制與問題
預設沒有隨機取樣仍可能虛構語意;合成退化未涵蓋所有相機,提示可能導向錯誤內容,無參考分數提高也可能降保真。潛在 VSD 仰賴近似表示一致與分布追蹤,大型骨幹也未消失。後續退化調適、目標分數與分離控制 [4]、[6]、[8] 是改變系統,不是證明歧義已解決。
參考文獻
- R. Wu, L. Sun, Z. Ma, L. Zhang, “One-Step Effective Diffusion Network for Real-World Image Super-Resolution,” NeurIPS, 2024. source
- Z. Yue, J. Wang, C. C. Loy, “ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting,” NeurIPS, 2023. source
- Y. Wang, W. Yang, X. Chen, et al., “SinSR: Diffusion-Based Image Super-Resolution in a Single Step,” CVPR, 2024. source · supplementary ablations
- A. Zhang, Z. Yue, R. Pei, W. Ren, X. Cao, “Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors,” arXiv preprint, 2024. paper
- Y. Tai, R. Xie, C. Zhao, K. Zhang, Z. Zhang, J. Zhou, J. Yang, “AddSR: Accelerating diffusion-based blind super-resolution with adversarial diffusion distillation,” Pattern Recognition, 2026. published version · manuscript supplying the discussed tables
- L. Dong, Q. Fan, Y. Guo, Z. Wang, Q. Zhang, J. Chen, Y. Luo, C. Zou, “TSD-SR: One-Step Diffusion with Target Score Distillation for Real-World Image Super-Resolution,” CVPR, 2025. paper
- Z. Yue, K. Liao, C. C. Loy, “Arbitrary-steps Image Super-resolution via Diffusion Inversion,” CVPR, 2025. paper
- L. Sun, R. Wu, Z. Ma, S. Liu, Q. Yi, L. Zhang, “Pixel-level and Semantic-level Adjustable Super-resolution: A Dual-LoRA Approach,” CVPR, 2025. paper
- A. Liu, Y. Liu, J. Gu, Y. Qiao, C. Dong, “Blind Image Super-Resolution: A Survey and Beyond,” IEEE TPAMI (early access), 2022. source
- B. B. Moser, A. S. Shanbhag, F. Raue, S. Frolov, S. Palacio and A. Dengel, “Diffusion Models, Image Super-Resolution, and Everything: A Survey,” IEEE Transactions on Neural Networks and Learning Systems, vol. 36, no. 7, pp. 11793–11813, 2025. doi · arXiv
- E. J. Hu, Y. Shen, P. Wallis, Z. Allen-Zhu, Y. Li, S. Wang, L. Wang, W. Chen, “LoRA: Low-Rank Adaptation of Large Language Models,” ICLR, 2022. source
- R. Zhang, P. Isola, A. A. Efros, E. Shechtman and O. Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Metric,” in Proc. IEEE/CVF CVPR, 2018, pp. 586–595. doi · arXiv
- Z. Wang, C. Lu, Y. Wang, F. Bao, C. Li, H. Su, J. Zhu, “ProlificDreamer: High-Fidelity and Diverse Text-to-3D Generation with Variational Score Distillation,” NeurIPS, 2023. paper
- A. Sauer, D. Lorenz, A. Blattmann, R. Rombach, “Adversarial Diffusion Distillation,” ECCV, 2024. paper
- J. Cai, H. Zeng, H. Yong, Z. Cao, L. Zhang, “Toward Real-World Single Image Super-Resolution: A New Benchmark and a New Model,” Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019. source
- P. Wei, Z. Xie, H. Lu, Z. Zhan, Q. Ye, W. Zuo, L. Lin, “Component Divide-and-Conquer for Real-World Image Super-Resolution,” ECCV, 2020. source
- E. Agustsson and R. Timofte, “NTIRE 2017 Challenge on Single Image Super-Resolution: Dataset and Study,” in Proc. IEEE CVPR Workshops, 2017, pp. 1122–1131. doi · CVF
- Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, “Image Quality Assessment: From Error Visibility to Structural Similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600–612, 2004. doi
- K. Ding, K. Ma, S. Wang, E. P. Simoncelli, “Image Quality Assessment: Unifying Structure and Texture Similarity,” IEEE TPAMI, 2022. source
- A. Mittal, R. Soundararajan and A. C. Bovik, “Making a “Completely Blind” Image Quality Analyzer,” IEEE Signal Processing Letters, vol. 20, no. 3, pp. 209–212, 2013. doi
- J. Ke, Q. Wang, Y. Wang, P. Milanfar, F. Yang, “MUSIQ: Multi-scale Image Quality Transformer,” ICCV, 2021. source
- S. Yang, T. Wu, S. Shi, S. Lao, Y. Gong, M. Cao, J. Wang, Y. Yang, “MANIQA: Multi-dimension Attention Network for No-Reference Image Quality Assessment,” CVPR Workshops, 2022. source
- J. Wang, K. C. K. Chan, C. C. Loy, “Exploring CLIP for Assessing the Look and Feel of Images,” AAAI, 2023. source
- X. Fan, Z. Wu, H. Wu, L. Cao, “A Survey on Pre-Trained Diffusion Model Distillations,” arXiv preprint, version 2, 2025. paper
- Z. Wu, Y. Dong, X. Wei, “TUDSR: Twice Upsampling-Diffusion for Higher Super-Resolution,” CVPR, 2026. paper
- P. Esser, R. Rombach, B. Ommer, “Taming Transformers for High-Resolution Image Synthesis,” CVPR, 2021. paper
- X. Wang, L. Xie, C. Dong, Y. Shan, “Real-ESRGAN: Training Real-World Blind Super-Resolution With Pure Synthetic Data,” Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021. source
- J. Deng, W. Dong, R. Socher, L. Li, Kai Li, Li Fei-Fei, “ImageNet: A large-scale hierarchical image database,” CVPR, 2009. doi
- R. Rombach, A. Blattmann, D. Lorenz, P. Esser, B. Ommer, “High-Resolution Image Synthesis with Latent Diffusion Models,” CVPR, 2022. source
- R. Wu, T. Yang, L. Sun, Z. Zhang, S. Li, L. Zhang, “SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024. source · supplementary experiments
- H. Liu, C. Li, Q. Wu, Y. J. Lee, “Visual Instruction Tuning,” NeurIPS, 2023. source
- Y. Li, K. Zhang, J. Liang, et al., “LSDIR: A Large Scale Dataset for Image Restoration,” CVPR Workshops, 2023. paper
- T. Karras, S. Laine, T. Aila, “A Style-Based Generator Architecture for Generative Adversarial Networks,” CVPR, 2019. paper
- I. Loshchilov, F. Hutter, “Decoupled Weight Decay Regularization,” ICLR, 2019. paper
- P. Esser, S. Kulal, A. Blattmann, et al., “Scaling Rectified Flow Transformers for High-Resolution Image Synthesis,” ICML, 2024. paper
- J. Ho, T. Salimans, “Classifier-Free Diffusion Guidance,” arXiv preprint, 2022. paper
- R. Timofte, E. Agustsson, L. Van Gool, M.-H. Yang, L. Zhang et al., “NTIRE 2017 Challenge on Single Image Super-Resolution: Methods and Results,” in Proc. IEEE CVPR Workshops, 2017, pp. 1110–1121. doi · CVF