本技术涉及图像处理领域，更具体地说，它涉及基于超分辨率的图像去雾方法、装置、设备及程序产品。
背景技术：
1、在理想的天气状况和高视觉质量条件下，目标检测技术已经能够实现较高的准确度，但在雾天等恶劣天气条件下，图像质量的退化给目标检测带来了巨大的挑战。雾天环境中的低能见度和图像对比度的降低，严重影响了目标检测的性能，尤其是在小目标物体的检测上，由于其在图像中的表示不明确，使得检测任务变得更加困难。
2、超分辨率技术(super resolution,sr)是图像处理领域的一个关键技术，它通过神经网络技术对低分辨率图像进行分析和处理，以生成高分辨率图像。这种方法能够有效地改善图像质量，增强图像细节，从而提供比原始传感器分辨率更清晰的视觉效果。它关键在于深度学习模型，通过训练学习低分辨率和高分辨率图像之间的映射关系。在对大量图像对的学习和模拟之后，神经网络能够捕捉到图像分辨率变换的模式，并将其应用于新的图像，实现超分辨率的转换，这种技术能够有效地恢复图像中丢失的高频信息，使得在雾天条件下的目标检测更加准确和可靠。
3、目前，已有现有技术将超分辨率技术和去雾算法相结合实现对雾天场景拍摄的图像的去雾，但在现有技术提供的超分辨率技术中，忽略了图像中高频特征分量对超分辨率重建过程中的影响，从而降低了超分辨率重建过程中对图像细节(例如图像纹理)的捕捉能力，无法有效保留经过超分辨率重建所得的图像的图像细节。其次，在去雾部分，现有技术提供的门控上下文聚合网络(gated context aggregation network,gcanet)是通过直接恢复模糊图像与目标清晰图像之间的残差，实现对模糊图像的有效去雾处理。这种去雾方式未考虑图像的整体结构信息和细节的保留，也就不能够很好的指导门控上下文聚合网络更精确地恢复图像的自然状态，这降低了去雾图像的图像质量。
技术实现思路
1、本技术的目的是提供基于超分辨率的图像去雾方法、装置、设备及程序产品，解决了现有技术提供的超分辨率重建时忽略了图像中高频特征分量导致的无法有效保留图像细节，以及现有技术提供的去雾方式未考虑图像的整体结构信息和图像细节保留的问题。
2、本技术的第一方面，提供了一种基于超分辨率的图像去雾方法，方法包括：
3、获取雾天场景下拍摄的第一图像，其中第一图像为低分辨率图像；
4、根据预先配置的超分辨率增强网络对第一图像进行增强，获得第二图像；其中第二图像为超分辨率图像，且为有雾图像；所述超分辨率增强网络包括依次连接的上下文特征聚合网络、特征提取网络、图像重建网络和边缘增强网络；
5、基于门控上下文聚合网络对第二图像进行去雾，获得无雾图像；其中引入由图像重构损失函数和图像结构相似损失函数加权求和所得的复合损失函数作为门控上下文聚合网络的损失函数。
6、在一种实现方案中，所述上下文特征聚合网络包括依次连接的多个并行连接的空洞卷积、连接层和1*1大小的第一卷积层；所述特征提取网络包括多个级联的频分远距离残差块；所述图像重建网络包括依次连接的3*3大小的卷积层、转置卷积层和1*1大小的第二卷积层；所述边缘增强网络包括依次连接的拉普拉斯算子、线性嵌入操作、多个transformer块和上采样层。
7、在一种实现方案中，根据预先配置的超分辨率增强网络对低分辨率图像进行增强，获得第二图像，具体为：
8、根据多个并行连接的空洞卷积对第一图像进行卷积，获得不同范围的感受野，根据连接层聚合不同范围的感受野，获得聚合特征，根据第一卷积层对聚合特征进行1*1大小的卷积操作，获得第一图像的特征图；
9、根据多个级联的频分远距离残差块提取出第一图像的特征图中的高频特征，并融合高频特征与第一图像的特征图，得到具有高频特征的特征图；
10、根据3*3大小的卷积层、转置卷积层依次对具有高频特征的特征图进行上采样重建，得到重建图像，根据第二卷积层融合重建图像和第一图像的上采样结果，得到中间分辨率图像；
11、根据拉普拉斯算子提取中间分辨率图像的边缘特征，根据线性嵌入操作、多个transformer块和上采样层对边缘特征信息进行增强，获得增强后的边缘特征；
12、去除掉中间分辨率图像的边缘特征，将增强后的边缘特征与去除掉边缘特征的中间分辨率图像进行叠加，获得第二图像。
13、在一种实现方案中，在根据第二卷积层融合重建图像和第一图像的上采样结果，得到中间分辨率图像之前，还包括：采用双三次插值算法对第一图像进行上采样，获得第一图像的上采样结果。
14、在一种实现方案中，所述门控上下文聚合网络包括编码器、上下文聚合模块、门控子网络和解码器。
15、在一种实现方案中，所述图像重构损失函数的表达式为：其中，n为像素点总数,n为像素点位置，i为通道数，ei为无雾图像和雾天图像之间的真实残差，与门控上下文聚合网络推理得到的除雾图像和雾天图像之间残差之间的差距。
16、在一种实现方案中，所述图像结构相似损失函数的表达式为其中，j表示输出的特征层位置,cj、hj、wj分别表示第j层特征图的通道数、高度、宽度,和fj(y)分别为对应预测清晰图和真实清晰图在第j个卷积层后得到的特征图。
17、本技术的第二方面，提供了一种基于超分辨率的图像去雾装置，装置包括：
18、图像获取模块，用于获取雾天场景下拍摄的第一图像，其中第一图像为低分辨率图像；
19、分辨率增强模块，用于根据预先配置的超分辨率增强网络对第一图像进行增强，获得第二图像；其中第二图像为超分辨率图像，且为有雾图像；所述超分辨率增强网络包括依次连接的上下文特征聚合网络、特征提取网络、图像重建网络和边缘增强网络；
20、图像去雾模块，用于基于门控上下文聚合网络对第二图像进行去雾，获得无雾图像；其中引入由图像重构损失函数和图像结构相似损失函数加权求和所得的复合损失函数作为门控上下文聚合网络的损失函数。
21、本技术的第三方面，提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如本技术的第一方面提供的一种基于超分辨率的图像去雾方法。
22、本技术的第四方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本技术的第一方面提供的一种基于超分辨率的图像去雾方法。
23、与现有技术相比，本技术具有以下有益效果：
24、在本技术提供的一种基于超分辨率的图像去雾方法，首先，通过获取的第一图像先输入至上下文特征聚合网络，该特征聚合网络采用多扩张率的空洞卷积设计扩大了第一图像在不同范围的感受野，所得到的特征图，能够使网络能够更全面地学习图像的浅层信息分布。其次，特征提取网络通过多个级联的频分远距离残差块，将高频特征融合与第一图像的特征图，得到具有高频特征的特征图，从而增强网络对图像细节的捕捉能力，再结合图像重建网络和边缘增强网络分别实现超分辨率重建和消除边缘噪声，即可得到第二图像。针对原始的门控上下文聚合网络的损失函数仅考虑去雾图像的像素级特征，忽略了图像内容的整体性，从而导致整体结构信息丢失严重及图像失真的问题，本技术在门控上下文聚合网络引入了一种包含图像重构损失和图像结构相似损失的复合损失函数，该复合损失函数不仅考虑了去雾效果，还兼顾了图像的整体结构信息和细节的保留。这种复合损失函数能够指导网络更精确地恢复图像的自然状态，提高去雾后的图像质量。故此，结合本技术提供的超分辨率增强网络和门控上下文聚合网络对第一图像的处理，可增强图像细节和对比度，从而获得更加自然清晰的无雾图像，保证了图像的去雾效果。
1.一种基于超分辨率的图像去雾方法，其特征在于，方法包括：
2.根据权利要求1所述的方法，其特征在于，所述上下文特征聚合网络包括依次连接的多个并行连接的空洞卷积、连接层和1*1大小的第一卷积层；所述特征提取网络包括多个级联的频分远距离残差块；所述图像重建网络包括依次连接的3*3大小的卷积层、转置卷积层和1*1大小的第二卷积层；所述边缘增强网络包括依次连接的拉普拉斯算子、线性嵌入操作、多个transformer块和上采样层。
3.根据权利要求2所述的方法，其特征在于，根据预先配置的超分辨率增强网络对低分辨率图像进行增强，获得第二图像，具体为：
4.根据权利要求3所述的方法，其特征在于，在根据第二卷积层融合重建图像和第一图像的上采样结果，得到中间分辨率图像之前，还包括：采用双三次插值算法对第一图像进行上采样，获得第一图像的上采样结果。
5.根据权利要求1所述的方法，其特征在于，所述门控上下文聚合网络包括编码器、上下文聚合模块、门控子网络和解码器。
6.根据权利要求1所述的方法，其特征在于，所述图像重构损失函数的表达式为：其中，n为像素点总数,n为像素点位置，i为通道数，ei为无雾图像和雾天图像之间的真实残差，与门控上下文聚合网络推理得到的除雾图像和雾天图像之间残差之间的差距。
7.根据权利要求1所述的方法，其特征在于，所述图像结构相似损失函数的表达式为其中，j表示输出的特征层位置,cj、hj、wj分别表示第j层特征图的通道数、高度、宽度,和fj(y)分别为对应预测清晰图和真实清晰图在第j个卷积层后得到的特征图。
8.一种基于超分辨率的图像去雾装置，其特征在于，装置包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的一种基于超分辨率的图像去雾方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种基于超分辨率的图像去雾方法。
