高光谱图像的超分复原这两年热度一直在涨,尤其是"盲超分"这个方向——所谓盲,就是你事先不知道退化核(模糊核+噪声水平+下采样方式),算法得自己把退化过程估出来再复原。这个设定比非盲超分难得多,但也更贴近真实场景,因为现实中你拿到的低分辨率高光谱图像,鬼知道它是被什么镜头、什么压缩流程糟蹋过的。IEEE 2025 上这篇 DBSR(Dual-domain Blind Super-Resolution,双域盲超分)算是把空间域和光谱域的信息做了个比较巧的耦合,我前后花了两周把代码跑通、复现了主要指标,中间踩的坑不算少。这篇就把整个复现流程、关键原理、以及那些论文里不会写的实操细节一次性讲清楚,适合已经有一定深度学习基础、想上手高光谱超分复现的读者。
1. 先搞清楚DBSR到底在解决什么退化问题
1.1 高光谱盲超分和普通图像超分的本质区别
普通RGB图像超分,大家熟悉的退化模型基本就是 $y = (x \otimes k) \downarrow_s + n$,一个模糊核、一个下采样、一个噪声。高光谱图像(HSI)多了一个光谱维度,数据是 $H \times W \times B$ 的三维立方体,B 通常是 31(如CAVE数据集)到 200 多不等。这个光谱维度的存在,让退化建模变得复杂:空间上的模糊和光谱上的响应函数是耦合的,你不能简单地把每个波段当独立图像处理,否则光谱曲线就断了,重建出来的"颜色"(光谱反射率)会失真。
盲超分的"盲"体现在退化核未知。DBSR 的核心思路是:既然空间域估计退化核容易陷入局部最优,那就引入光谱域的约束来辅助。具体来说,它假设高光谱图像在光谱维度上具有低秩特性(相邻波段高度相关),利用这个先验去正则化空间域的核估计。这个双域耦合是它区别于普通盲超分的关键。
1.2 为什么退化核估计是整条链路的命门
我复现时最大的体会是:超分网络本身(重建部分)其实不难,用个残差网络或者Transformer都能出结果,真正决定成败的是退化核估得准不准。核估偏了,后面网络再强也是把错误的东西放大。DBSR 里退化核估计模块输出的不只是一个模糊核,还包括噪声水平和下采样因子,这三者共同构成退化描述子。
论文里给的消融实验很说明问题:把退化核估计换成真实核(非盲设定),PSNR 能涨 2-3 dB;反过来,核估计误差每增加 10%,最终重建 PSNR 掉大约 0.8 dB。所以复现的时候,第一件事就是把核估计模块单独拎出来验证,别急着端到端跑。
1.3 DBSR的网络骨架拆解
整个 DBSR 分三块:退化估计子网、双域特征提取主干、重建头。退化估计子网是个轻量 CNN,输入低分辨率 HSI,输出核参数;主干是空间-光谱交替的注意力模块,空间分支用窗口注意力,光谱分支用波段间自注意力;重建头把融合特征上采样回目标分辨率。代码里这三块是分开的类,方便你单独调试。
提示:复现时建议先把退化估计子网在合成退化数据上单独训练收敛,再冻结它去训主干,这样比端到端一起训稳定得多,我端到端直接训的时候 loss 震荡了整整两天。
2. 环境搭建与数据准备的那些细节
2.1 依赖版本这块必须卡死
高光谱超分的代码对版本极其敏感,尤其是 PyTorch 和 CUDA 的匹配。我用的组合是 PyTorch 2.1.0 + CUDA 11.8 + Python 3.9,这个组合在 3090 和 4090 上都验证过。论文官方 repo 里 requirements 写的是 torch>=1.12,但实测 1.12 跑注意力模块会有奇怪的显存泄漏,升到 2.1 就正常了。
conda cr
3853



被折叠的 条评论
为什么被折叠?



