本发明属于图像处理、计算机视觉，具体涉及一种基于多尺度特征提取和融合的图像去模糊方法。
背景技术：
1、作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的结构和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何清晰化运动模糊图像，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。
2、针对如何清晰化模糊图像这个问题，人们主要从以下两个方面展开研究：基于传统的方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。
技术实现思路
1、本发明的目的是为了克服现有技术中的不足，通过综合利用对抗生成模型以及结构注意机制，研究并提供一种能够有效减少网络模型大小、满足图像去模糊实时处理需求，解决图像纹理和细节丢失等问题的图像去模糊方法。
2、本发明的目的是通过以下技术方案实现的：
3、一种基于多尺度特征提取和融合的图像去模糊方法，包括以下步骤：
4、(1)准备数据，包括模糊图像和标签图像；搭建生成对抗网络模型并设置参数；
5、(2)设置生成网络和判别网络的网络结构框架；生成网络的网络结构框架采用u型网络结构，生成网络包括编码器和解码器两部分，编码器用以下采样并提取图像中有用的细节特征进行编码，解码器用于上采样并解码图像；所述编码器和解码器之间还设置有多尺度特征提取和融合模块，具体的：
6、将模糊图像送入生成网络中，在生成网络优化训练过程中，对生成网络增加图像语义目标损失函数和图像结构目标损失函数的约束，使得生成图像具有和标签图像一致的语义信息及结构信息；判别网络将判别的结果反馈给生成网络，驱使生成网络生成图像结构趋向完整的生成图像；生成网络根据判别网络的反馈更新生成网络的参数进入下一次的迭代训练，生成网络和判别网络以上述描述的方式不断竞争训练，直到生成对抗网络模型训练收敛；
7、(3)设置生成对抗网络模型的目标损失函数：生成网络中的目标损失函数包括图像语义目标损失函数lcontent、图像结构目标损失函数lgradient；其中，lcontent保证恢复前后的图像能保持相同的语义内容，lgradient约束生成图像与清晰图像在图像结构方面具有一致性；判别网络中的目标损失函数ladv用于完成生成图像与标签图像的判别，以提升判别网络对图像真假的判别学习能力；
8、(4)将模糊图像、标签图像输送到生成对抗网络模型中，判别网络用以判别生成图像和标签图像在内容方面的一致性；判别网络将判断得到的结果反馈给生成网络，生成网络和判别网络之间竞争学习，直到达到纳什均衡，生成对抗网络模型收敛；将模糊图像载入到训练收敛的生成网络中，最终得到结构完整的生成图像。
9、进一步的，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：
10、l(g,d)＝βlcontent+λlgradient+αladv
11、其中，β，λ和α分别是lcontent，lgradient和ladv的权重系数；各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，值越大代表对应部分越重要。
12、进一步的，对于生成网络，所述编码器包括一个卷积层用于将输入图像的维度映射到64×64；五个下采样层用以下采样并编码图像，图像分辨率由256×256递减至16×16；在上述操作完成之后引入一个多尺度特征提取和融合模块msfefm，用于提取更复杂和抽象的特征，以捕捉数据中的潜在模式和关系，减少生成对抗网络模型对训练数据的依赖性，提高泛化能力；对应的，解码器包括五个上采样层用以上采样并解码图像，图像分辨率由16×16递增至256×256；最终，去模糊后的图像由一个tanh层和一个卷积层重建得到；
13、对于判别网络，采用基于块的生成对抗网络作为判别网络的网络结构，包括一个平卷积层、三个下采样卷积层、一个特征重建块；所述下采样卷积层用于降低输入图像的分辨率和编码局部特征；每个卷积层后面都添加了样本标准化层和带泄露修正线性单元激活函数leaky relu，并且每个卷积层的卷积核大小为4×4。
14、进一步的，多尺度特征提取和融合模块分为两个部分，包括两个并行的多尺度特征提取模块，以及一个多尺度特征融合模块；多尺度特征提取模块用于提取输入数据的不同尺度和层次的特征；多尺度特征融合模块通过融合来自不同尺度的特征，形成丰富和全面的特征表示；不同尺度的特征包含不同层次的信息，通过融合，生成对抗网络模型能够同时利用低层次的细节特征和高层次的抽象特征。
15、进一步的，将编码器压缩的特征输入到两个并行的多尺度特征提取模块中，不重叠的补丁在空间维度上根据不同的尺度值进行聚合和位移，具体如下：
16、输入：特征x、补丁；下面将维度为(b,h,w,c)的特征输入到多尺度特征提取模块中，多尺度特征提取模块的工作步骤如下：
17、步骤401.交换特征张量的维度，从(b,h,w,c)到(b,w,c,h)；b,h,w,c分别指批次大小、高度、宽度和通道数；
18、步骤402.获取维度的批次大小、高度、宽度和通道数；
19、步骤403.根据不同的补丁大小p，生成不重叠的补丁,以便对输入特征进行局部处理；
20、步骤404.新整理补丁的维度以统一补丁的维度形式，确保后续操作可以顺利进行；
21、步骤405.对补丁的特征进行平均处理得到均值特征补丁，以提取补丁的整体特征；
22、步骤406.通过多层感知器mlp对补丁的特征进行非线性变换，以提取复杂和抽象的特征；
23、步骤407.对补丁的特征进行层归一化处理，以提高生成对抗网络模型的稳定性和训练效率；
24、步骤408.通过多层感知器mlp对补丁的特征进行进一步的非线性变换以提取更深层次的特征；
25、步骤409.计算注意力分布，通过softmax函数将输入的数值转换为表示概率分布的值；
26、步骤410.对均值特征补丁和步骤409计算得到的注意力分布进行加权乘法的操作，通过注意力机制加权地将均值特征补丁与注意力分布相乘，获得经过加权的特征表示；对于每个均值特征补丁，通过注意力分布给予不同的重要性权重，然后将这些加权后的均值特征补丁相加，从而得到最终的特征表示；
27、步骤411.将输出特征沿最后一个维度进行归一化，使得每个向量的长度为1；
28、步骤412.生成掩码，用于过滤和选择重要的特征信息；
29、步骤413.将生成的掩码应用到输出特征上，每个特征值都会根据掩码值进行缩放；
30、步骤414.调整输出特征的维度。
31、进一步的，多尺度特征融合模块的工作流程如下：
32、步骤501.使用一个1x1的卷积核对输入特征x进行卷积操作，不改变空间尺寸，只改变通道数；
33、步骤502.使用不同的注意力机制和补丁值应用两个多尺度特征提取模块，以捕获更多层次的特征；依次对输入特征x进行三次卷积操作提取特征，并将所有提取到的特征相加融合；
34、步骤503.应用通道注意力模块eca增强重要通道的特征；应用空间注意力模块增强重要空间位置的特征，提升特征表达能力。
35、进一步的，生成对抗网络模型搭载在计算机上运行；其中批量训练图像的个数是2，生成网络和判别网络的学习率是0.0001；激活函数leaky relu的坡度是0.2；生成对抗网络模型使用adam优化器，其动量参数分别是β1＝0.5和β2＝0.999。
36、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述基于多尺度特征提取和融合的图像去模糊方法的步骤。
37、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述基于多尺度特征提取和融合的图像去模糊方法的步骤。
38、与现有技术相比，本发明的技术方案所带来的有益效果是：
39、1.本发明的方法相比现有的图像去模糊算法，能够恢复出具有更清晰结构和更丰富细节的图像。传统方法依赖于从有限的图像中手动提取特征先验知识，而本发明通过对抗生成网络的纯数据驱动重构方式，避免了分开估计模型参数带来的累积误差，从而提高了算法的准确性和鲁棒性。
40、2.本发明方法能够生成结构显著、细节清晰的去模糊图像，显著优于传统方法。多尺度特征提取与融合模块能够有效捕捉图像的不同尺度特征，保证了图像的整体结构和局部细节都能得到充分恢复。
41、3.本发明采用了注意力机制，将多尺度网络结构提取的特征信息进行融合，以促进图像去模糊的性能。注意力机制能够突出图像中的重要特征区域，从而提升去模糊效果，使得恢复后的图像更加清晰和真实。
42、4.通过综合利用对抗生成模型和结构注意机制，本发明方法能够有效减少网络模型的大小，满足图像去模糊实时处理的需求。相较于一些基于深度学习的方法存在网络参数过多、模型过大的问题，本发明在保持高效性能的同时，降低了对硬件配置的要求，使其更加实用和经济。
43、5.本发明的方法不仅适用于合成的模糊图像，在实际的模糊图像中也表现出了较强的泛化性和鲁棒性。这意味着无论在何种模糊环境下，该方法都能有效恢复清晰的图像，具有广泛的应用前景。
44、综上，本发明通过综合利用生成对抗模型、结构注意机制以及多尺度特征提取与融合技术，提出了一种高效、准确、鲁棒的图像去模糊方法，有效克服了现有技术中的不足。
1.一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，步骤(3)中，生成对抗网络模型的目标损失函数加权地表示为：
3.根据权利要求1所述一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，对于生成网络，所述编码器包括一个卷积层用于将输入图像的维度映射到64×64；五个下采样层用以下采样并编码图像，图像分辨率由256×256递减至16×16；在上述操作完成之后引入一个多尺度特征提取和融合模块msfefm，用于提取更复杂和抽象的特征，以捕捉数据中的潜在模式和关系，减少生成对抗网络模型对训练数据的依赖性，提高泛化能力；对应的，解码器包括五个上采样层用以上采样并解码图像，图像分辨率由16×16递增至256×256；最终，去模糊后的图像由一个tanh层和一个卷积层重建得到；
4.根据权利要求1所述一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，多尺度特征提取和融合模块分为两个部分，包括两个并行的多尺度特征提取模块，以及一个多尺度特征融合模块；多尺度特征提取模块用于提取输入数据的不同尺度和层次的特征；多尺度特征融合模块通过融合来自不同尺度的特征，形成丰富和全面的特征表示；不同尺度的特征包含不同层次的信息，通过融合，生成对抗网络模型能够同时利用低层次的细节特征和高层次的抽象特征。
5.根据权利要求4所述一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，将编码器压缩的特征输入到两个并行的多尺度特征提取模块中，不重叠的补丁在空间维度上根据不同的尺度值进行聚合和位移，具体如下：
6.根据权利要求4所述一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，多尺度特征融合模块的工作流程如下：
7.根据权利要求1所述一种基于多尺度特征提取和融合的图像去模糊方法，其特征在于，生成对抗网络模型搭载在计算机上运行；其中批量训练图像的个数是2，生成网络和判别网络的学习率是0.0001；激活函数leaky relu的坡度是0.2；生成对抗网络模型使用adam优化器，其动量参数分别是β1＝0.5和β2＝0.999。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述基于多尺度特征提取和融合的图像去模糊方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述基于多尺度特征提取和融合的图像去模糊方法的步骤。
