本发明属于图像处理,具体涉及到一种图像超分辨率重建方法。
背景技术:
1、图像的超分辨率重建是低级计算机视觉领域中经典的逆问题之一,旨在从低分辨率(lr)图像恢复出自然且清晰详细的高分辨率(hr)对应图像,具有广泛的实际应用。随着深度学习的发展,基于模型的深度神经网络在图像超分辨率重建任务上取得了显著发展。然而,现有先进的超分辨率重建方法通常被设计成“黑盒”,缺乏透明性和可解释性。深度展开方法的出现,相较于传统的基于模型和基于学习的方法,不仅保持了计算效率,还显著提高了深度学习的可解释性。
2、多尺度特征融合的设计理念深刻影响着计算机视觉的发展。多尺度指的是在不同粒度下对信号进行采样,不同的尺度下可以观察到不同的特征,适用于不同的任务。特征融合的方式通过有效整合上下文信息,提供更全面、丰富的视觉背景,从而增强模型的鲁棒性和准确性,然而,多尺度融合需要合适的融合策略来提高图像处理的效果。因此,在构建网络时应注重学习到图像特征和上下文信息的能力。
技术实现思路
1、本发明所要解决的技术问题在于克服现有技术的缺点,提供一种能够捕获精细细节信息的基于mgd-dumrn网络的图像超分辨率重建方法。
2、解决上述技术问题所采用的技术方案是:一种基于mgd-dumrn网络的图像超分辨率重建方法,包括以下步骤:
3、步骤1.数据集预处理
4、获取hd图像数据集,按比例划分为训练集x1、验证集x2和测试集x3,对训练集x1进行resize处理,得到图像数据集r1和图像数据集r2,将训练集x1、图像数据集r1、图像数据集r2中的每张图片按照金字塔对照分别进行3次随机裁剪,裁剪成像素大小为r×r、m×m、c×c的图像块,r≠m≠c,并进行归一化处理得到新训练集x11,同时对验证集x2和测试集x3做同样的resize处理、裁剪、归一化处理得到新验证集x21和新测试x31;
5、步骤2.构建mgd-dumrn网络
6、mgd-dumrn网络由特征提取单元、图像插值处理单元、基于动量梯度下降算法的特征重建模块、图像重构器单元构成;
7、所述特征提取单元,用于将低分辨率图像映射到特征空间生成特征图;
8、所述图像插值处理单元,用于对特征图进行插值处理;
9、所述特征重建模块由6个结构相同的特征重建子模块依次迭代构成,每个子模块都利用动量梯度下降算法进行特征重建;
10、所述特征重建子模块包括多尺度特征融合单元、残差结构;所述多尺度特征融合单元,用于原图与不同倍率的图像进行特征融合,生成特征先验;所述残差结构利用残差块代替步长,实现自适应扩展梯度;
11、所述的图像重构器单元用于将特征重建模块输出的深度特征图转换为最终的图像输出;
12、步骤3.训练mgd-dumrn网络
13、1)确定目标函数
14、目标函数包含损失函数loss和评价函数psnr、ssim,按下式确定损失函数loss:
15、
16、其中n为训练补丁对的数量,yi为低分辨率图像样本,xi为真实高分辨率图像样本,f为mgd-dumrn函数;i∈[1,n];
17、按下式确定的评价函数psnr:
18、
19、
20、其中,mse是均方误差,i(i,j)是参考图像在坐标(i,j)处的像素值,k(i,j)是待比较图像在坐标(i,j)处的像素值,m是图像的高度,n是图像的宽度,maxi是参考图像最大像素值;
21、按下式确定的评价函数ssim:
22、
23、式中,μa、μb分别是图像局部块a和图像局部块b的均值,σa、σb分别是图像局部块a和图像局部块b的标准差,σa·σb为图像局部块a和图像局部块b的协方差,c1、c2均为常数;
24、2)训练mgd-dumrn网络
25、将新训练集x11输入到mgd-dumrn网络中进行训练,在训练过程中,mgd-dumrn网络的学习率为γ,优化器采用adam优化方法,迭代训练直至收敛;
26、步骤4.保存权重文件
27、在训练mgd-dumrn网络的过程中,用深度学习框架不断更新权重,保存权重文件;
28、步骤5.验证mgd-dumrn网络
29、将新验证集x21输入到mgd-dumrn网络中进行验证;
30、步骤6.测试mgd-dumrn网络
31、将新测试x31输入到mgd-dumrn网络中进行测试,加载保存的权重文件,得到图像的超分辨率重建结果。
32、作为一种优选的技术方案,在步骤2中所述每个子模块按照下式进行动量梯度下降算法的特征重建;
33、xt+1=xt-at[(xt-y)-st(xt)]-bt[(xt-1-y)-st-1(xt-1)]+ct(xt-1-xt-2)
34、式中,xt+1是第t+1次的特征重建结果,xt是第t次的特征重建结果,y=x0是输入的经过线性插值后的图像,at和bt是步长大小,ct是第t次的动量参数,λ是正则化参数,是在迭代第t次时关于当前估计xt的正则化项φ的梯度,是在迭代第t-1次时关于上一次估计xt-1的正则化项φ的梯度;
35、作为一种优选的技术方案,在步骤2中,所述多尺度特征融合单元由以下公式构成;
36、s(xsr)=s(x)↑4
37、s(x)=g3(x)+e2+e3
38、e2=g1(x)↓4-g3(x↓4)
39、e3=s(x2)↓2-g1(x)↓4
40、s(x2)=g2(x2×)+e1
41、e1=g1(x)↓2-g2(x↓2)
42、式中,s(xsr)是特征先验,g1(φ)、g2(φ)、g3(φ)是从不同特征尺度中学习的深度特征,x是当前子模块的输入图像,g1(x)↓4是输入图像x经过g1处理后再下采样到1/4大小的结果,x↓4是通过下采样将图像x缩小到原来的1/4大小,g1(x)↓2是图像x经过g1处理后再下采样到1/2大小的结果,x↓2是通过下采样将图像x缩小到原来的一半,x2×是输入的另一倍率图像所得的特征图。
43、作为一种优选的技术方案,深度学习模块g1、g2、g3的结构均由3×3的卷积层1、relu激活函数单元1、resblock层、3×3的卷积层2、relu激活函数单元2依次连接构成,深度学习模块g1中的通道数为64,深度学习模块g2中的通道数为128,深度学习模块g3中的通道数为256。
44、本发明的有益效果如下:
45、本发明利用多尺度特征融合和动量梯度下降算法,能够有效地捕获图像中的高频细节,通过逐步迭代优化,能够生成视觉上更清晰、更自然的高分辨率图像,提高图像质量,结合多尺度信息和正则化项,即使在存在噪声或不完美数据的情况下,也能够提供稳健的超分辨率重建结果。
46、本发明与传统的“黑盒”深度学习方法相比,为深度展开网络框架提供了更好的模型可解释性,适应不同的图像内容和条件,减少对计算资源的需求,使得在资源受限的环境中也能进行有效的图像重建,具有更高的泛化能力。
1.一种基于mgd-dumrn网络的图像超分辨率重建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于mgd-dumrn网络的图像超分辨率重建方法,其特征在于:在步骤2中所述每个子模块按照下式进行动量梯度下降算法的特征重建;
3.根据权利要求1所述一种基于mgd-dumrn网络的图像超分辨率重建方法,其特征在于:在步骤2中,所述多尺度特征融合单元由以下公式构成;
4.根据权利要求3所述一种基于mgd-dumrn网络的图像超分辨率重建方法,其特征在于:所述深度学习模块g1、g2、g3的结构均由3×3的卷积层1、relu激活函数单元1、resblock层、3×3的卷积层2、relu激活函数单元2依次连接构成,深度学习模块g1中的通道数为64,深度学习模块g2中的通道数为128,深度学习模块g3中的通道数为256。