一种基于任务解耦的有参图像超分辨率方法和系统

1.本发明涉及图像处理技术领域，特别涉及一种基于任务解耦的有参图像超分辨率方法及系统。


背景技术：

2.图像超分辨率的目标是将输入的低分辨率图像重建成为对应的高分辨率图像，图像超分辨率任务在图像增强，视频监控以及遥感成像等领域都有着广泛的应用，因此图像超分辨率无论在学术界还是在工业界都受到了极大关注。
3.近年来深度学习的快速发展使得图像超分的性能达到了新的高度，然而由于超分任务本身的不适定性，现阶段基于深度学习的图像超分方法在高倍数放大时，会有过度平滑的问题，虽然感知损失以及对抗损失能够提高输出图像的视觉效果，但同时也会引入其他的假纹理以及视觉瑕疵。因此有参考的图像超分辨率任务就被提出了，有参考的超分辨率任务相比于传统的超分辨率任务，其有着额外的一张或者多张高清的参考图像输入，其可以为超分过程引入更多真实的高清纹理信息，从而提高图像的主观视觉效果。
4.现阶段的有参超分辨率方法往往分为两个部分，分别为特征匹配以及特征聚合。由于额外输入的高清参考图像与输入图像在空间位置上往往不是相互对应的，需要对两张图像之间进行对齐。对齐方法主要分为两种，第一种为空间上的直接对齐，通过对两张图像进行光流或者偏移量的预测来进行像素级别的对齐。然而空间直接对齐的方法受限于网络感受野的大小而缺乏对长距离内容的建模能力。第二种方法为块层面的匹配对齐，也是现在大多数有参超分方法使用的方法，其对输入图像的每一个块在参考图像中寻找最相似的匹配快，由此来构造两者的空间关系图，该方法相比于第一种直接对齐的方法，有着整张图全局的感受野，因此其性能更加鲁棒。在特征匹配后，需要将两者图像特征进行融合，现阶段方法往往设计巧妙的网络结构来完成对两者特征的聚合，比如注意力机制以及可变卷积等等。虽然有参超分方法相比于传统的图像超分辨率方法在性能上有着明显的提升，然而现阶段的方法对参考图像的利用依然存在着不充分甚至误用的问题，其会导致输出图像变得模糊甚至出现视觉瑕疵。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于任务解耦的有参图像超分辨率方法和系统。
6.根据本发明的一个方面，提供一种基于任务解耦的有参图像超分辨率方法，包括：生成输入图像的超分辨率，将输入的低分辨率图像通过深度卷积网络提取特征，并生成初始缺乏细节纹理的高分辨率图像；
7.提取参考图像的纹理，将输入的参考图像通过深度卷积网络提取特征，并与所述高分辨率图像进行特征对齐，提取所述参考图像中的细节纹理信息；
8.迁移纹理到输出图像，计算所述输入图像和参考图像的相似程度，将所述细节纹
理信息依照所述相似程度迁移到所述高分辨率图像中，生成带有高频纹理细节的高分辨率图像。
9.优选地，使用超分辨率网络执行所述生成输入图像的超分辨率；
10.所述超分辨率网络包括：
11.卷积层，所述卷积层提取所述输入的低分辨率图像的图像特征；
12.上采样模块，所述上采样模块将所述低分辨率图像的图像特征转变高分辨率的图像。
13.优选地，所述超分辨率网络的损失函数为，
[0014][0015]
其中i
hr
代表高分辨率图像的真值，i
sisr
代表超分辨率网络重建的高分辨率图像。
[0016]
优选地，所述提取参考图像的纹理，包括：
[0017]
空间相关计算模块：计算所述参考图像与所述高分辨率图像在特征空间的相似度，得到所述参考图像与输入图像的空间关系图；
[0018]
特征提取模块：提取所述参考图像的视觉特征；
[0019]
特征对齐模块：依照所述空间关系图，将所述视觉特征对齐到输入图像的高分辨率图像中。
[0020]
优选地，所述空间相关计算模块，包括：
[0021]
将输入图像以及参考图像映射到特征空间中；
[0022]
将所述输入图像以及参考图像在块层面进行匹配；
[0023]
所述匹配公式为：
[0024]si,j
＝《pi(φ(i
sisr
)),pj(φ(i
ref
))》
[0025]
其中《,》代表内积计算，pi(
·
)代表图像的第i个块，φ(
·
)代表特征提取网络，i
ref
代表参考图像；
[0026]
得到的s
i,j
为输入图像与参考图像的空间关系图；
[0027]
得到对应的位置索引图si以及位置置信图ci：
[0028]
si＝argmax
j s
i,j
[0029]ci
＝max
j s
i,j
。
[0030]
优选地，所述特征对齐模块以所述位置索引图si以及参考图像特征图作为输入；
[0031]
特征对齐模块中有两支网络，分别为基于可变卷积的特征对齐以及基于光流直接的特征对齐。
[0032]
优选地，所述提取参考图像的纹理的监督为高分辨率真值与所述输出的高分辨率图像的残差，其优化损失函数如下所示：
[0033][0034]
其中i
tex
为网络的输出。
[0035]
优选地，所述迁移纹理到输出图像，包括：
[0036]
以所述高分辨率图像与所述纹理特征信息作为输入；
[0037]
根据输入图像与参考图像的位置置信图ci计算相似度；
[0038]
根据所述相似度将所述纹理特征迁移到高分辨率图像中去；
[0039]
输出带有纹理细节的高分辨率图像；
[0040]
所述迁移纹理到输出图像，其损失函数如下所示：
[0041][0042]
其中l
rec
为重建损失，l
per
为感知损失，l
adv
为对抗损失，λ1以及λ2分别为平衡感知损失权重，对抗损失权重以及其他部分损失权重的超参数。
[0043]
根据本发明的第二个方面，提供一种基于任务解耦的有参图像超分辨率系统，包括：
[0044]
低清图像超分辨率模块，所述低清图像超分辨率模块将输入的低分辨率图像通过深度卷积网络进行特征提取，同时生成初始缺乏细节纹理的高分辨率图像；
[0045]
参考图像纹理提取模块，所述参考图像纹理提取模块将输入的参考图像通过深度卷积网络进行特征提取，与输出的所述高分辨率图像进行特征对齐，提取出所述参考图像中的细节纹理信息；
[0046]
纹理迁移模块，所述纹理迁移模块将所述参考图像中提取的细节纹理信息依据输入图像与参考图像的相似程度迁移到生成的所述高分辨率图像中，输出带有高频纹理细节的高分辨率图像。
[0047]
与现有技术相比，本发明具有如下的有益效果：
[0048]
本发明提供的实施例基于任务解耦的有参图像超分辨率方法及系统，将有参超分解耦为两个任务，分别为输入图像的超分辨率任务以及针对参考图像的纹理迁移任务，对输入图像以及参考图像分别进行处理，在消除无关参考图像负面影响的同时，可以对内容相关的参考图像利用更加充分。
[0049]
本发明提供的实施例基于任务解耦的有参图像超分辨率方法及系统，通过可变卷积以及直接对齐两种特征匹配方法，将参考图像特征对齐到输入图像中，使得网络提取到更多的细节纹理信息，随后通过输入图像与参考图像的相似性来对提取到的纹理信息进行迁移，可以有效抑制无关的内容并突出相关的细节纹理信息，使得输出图像拥有更多真实的画面细节。
附图说明
[0050]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0051]
图1为本发明一实施例的基于任务解耦的有参图像超分辨率方法的流程图；
[0052]
图2为本发明一实施例的基于任务解耦的有参图像超分辨率系统的框图。
具体实施方式
[0053]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0054]
如图1所示，为本发明一实施例的基于任务解耦的有参图像超分辨率方法的流程图，可见其包括：
[0055]
s11，生成输入图像的超分辨率：将输入的低分辨率图像通过深度卷积网络进行特征提取，同时生成初始缺乏细节纹理的高分辨率图像；
[0056]
s12，提取参考图像的纹理：将输入的参考图像通过深度卷积网络进行特征提取，随后与s111输出的高分辨率图像进行特征对齐，提取出参考图像中的细节纹理信息；
[0057]
s13，迁移纹理到输出图像：将参考图像中提取的细节纹理信息依据输入图像与参考图像的相似程度迁移到生成的高分辨率图像中，输出最终的带有高频纹理细节的高分辨率图像。
[0058]
本实施例将有参图像超分解耦成了两个任务，分别为对输入图像的超分辨率任务，以及从参考图像进行的纹理迁移任务。其中s11完成的为对输入图像的超分辨率任务，s12以及s13完成的为纹理迁移任务。在纹理迁移任务中，s12负责对参考图像的纹理提取，s13则将提取的纹理迁移到输出图像中。
[0059]
本发明提供一个优选实施例执行s11。该实施例中，优选了超分辨率网络来执行对输入图像的超分辨率任务，整体的超分辨率网络由卷积层与上采样模块组成，卷积层对输入低分辨率图像进行特征提取，上采样模块负责将低分辨率的图像特征转变为高分辨率的图像。超分辨率网络会提前训练好，其优化损失函数如下所示：
[0060][0061]
其中i
hr
代表高分辨率图像的真值，i
sisr
代表超分辨率网络重建的高分辨率图像。
[0062]
本发明提供一个优选实施例执行s12，进行对参考图像进行纹理提取。本实施例中，纹理提取主要分为三个模块，分别为空间相关计算模块，特征提取模块以及特征对齐模块。其中空间相关计算模块对参考图像以及s11输出的高分辨率图像在特征空间中进行块相似度的计算，得到参考图像与输入图像的空间关系图；特征提取模块对参考图像进行视觉特征的提取，最后在特征对齐模块中，依照空间关系图，将参考图像视觉特征对齐到输入图像特征图中。
[0063]
具体的，空间相关计算模块首先将输入图像以及参考图像映射到特征空间中，并将两者在块层面进行匹配，其匹配的方法如下所示：
[0064]si,j
＝《pi(φ(i
sisr
)),pj(φ(i
ref
))》
[0065]
其中《,》代表内积计算，pi(
·
)代表图像的第i个块，φ(
·
)代表特征提取网络，i
ref
代表参考图像。得到的s
i,j
为输入图像与参考图像的空间关系图，同时也能得到对应的位置索引图si以及位置置信图ci，其计算方式如下所示：
[0066]
si＝argmaxjs
i,j
[0067]ci
＝maxjs
i,j
[0068]
以位置索引图si以及参考图像特征图作为输入，特征对齐模块中有两支网络，分别为基于可变卷积的特征对齐以及基于光流直接的特征对齐。其中基于可变卷积的对齐方式有着更好的性能，但是会偏移量溢出的问题导致输出图像变得模糊，而基于光流的直接对齐方法有着更加稳定的性能，能够在一定程度上缓解可变卷积偏移量溢出的问题，使得输出图像更加清晰。
[0069]
s12会输出使用参考图像重建的高分辨率输入图像，为了使得网络从参考图像中提取出更多的纹理细节信息，参考图像的纹理模块的监督为高分辨率真值与s11输出的高分辨率图像的残差，其优化损失函数如下所示：
[0070][0071]
其中i
tex
为提取参考图像的纹理的网络的输出。
[0072]
基于上述实施例，本发明提供一个优选实施例执行s13,完成纹理迁移。s13将s11输出的高分辨率图像与s12提取的纹理特征信息作为输入，根据输入图像与参考图像的位置置信图ci来将提取的纹理特征迁移到高分辨率图像中去，得到最终带有纹理细节的高分辨率图像。s12与s13步骤的纹理提取以及纹理迁移网络，其损失函数如下所示：
[0073][0074]
其中l
rec
为重建损失，l
per
为感知损失，l
adv
为对抗损失，λ1以及λ2分别为平衡感知损失权重，对抗损失权重以及其他部分损失权重的超参数。
[0075]
基于相同的构思，本发明的其他实施例中，还提供一种基于任务解耦的有参图像超分辨率系统，图2为其对应的框图，具体包括：低清图像超分辨率模块、参考图像纹理提取模块、纹理迁移模块。
[0076]
其中，低清图像超分辨率模块用于将输入的低分辨率图像通过深度卷积网络进行特征提取，同时生成初始缺乏细节纹理的高分辨率图像；
[0077]
参考图像纹理提取模块用于将输入的参考图像通过深度卷积网络进行特征提取，随后与s11输出的高分辨率图像进行特征对齐，提取出参考图像中的细节纹理信息，本步骤完成的是对输入参考图像的纹理提取；
[0078]
纹理迁移模块用于将参考图像中提取的细节纹理信息依据输入图像与参考图像的相似程度迁移到生成的高分辨率图像中，输出最终的带有高频纹理细节的高分辨率图像。
[0079]
上述各个模块所采用的技术可以基于任务解耦的有参图像超分辨率方法的说明，在此不再赘述。
[0080]
综上，上述实施例提供的基于任务解耦的有参图像超分辨率方法及系统，其将有参图像超分解耦成了针对输入图像的超分辨率任务以及针对参考图像的纹理迁移任务，将输入图像与参考图像分开处理，更加适当且充分的利用了参考图像的信息。使用超分辨率网络将输入图像重建为初步缺乏纹理细节的高分辨率图像，使用可变卷积以及直接对齐两种方式来对参考图像以及输入图像进行特征匹配并对齐，以此来提取参考图像中的细节纹理信息。依据输入图像和参考图像的相似程度来将提取的纹理信息迁移到输出高分辨率图像中，得到最终具有丰富画面细节的高分辨率输出图像。
[0081]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。

技术特征：
1.一种基于任务解耦的有参图像超分辨率方法，其特征在于，包括：生成输入图像的超分辨率：将输入的低分辨率图像通过深度卷积网络提取特征，并生成初始缺乏细节纹理的高分辨率图像；提取参考图像的纹理：将输入的参考图像通过深度卷积网络提取特征，并与所述高分辨率图像进行特征对齐，提取所述参考图像中的细节纹理信息；迁移纹理到输出图像：计算所述输入图像和参考图像的相似程度，将所述细节纹理信息依照所述相似程度迁移到所述高分辨率图像中，生成带有高频纹理细节的高分辨率结果。2.根据权利要求1所述的基于任务解耦的有参图像超分辨率方法，其特征在于，使用超分辨率网络执行所述生成输入图像的超分辨率；所述超分辨率网络包括：卷积层，所述卷积层提取所述输入的低分辨率图像的图像特征；上采样模块，所述上采样模块将所述低分辨率图像的图像特征转变高分辨率的图像。3.根据权利要求2所述的基于任务解耦的有参图像超分辨率方法，其特征在于，所述超分辨率网络的损失函数为，其中i
hr
代表高分辨率图像的真值，i
sisr
代表超分辨率网络重建的高分辨率图像。4.根据权利要求1所述的基于任务解耦的有参图像超分辨率方法，其特征在于，所述提取参考图像的纹理的网络，包括：空间相关计算模块：计算所述参考图像与所述高分辨率图像在特征空间的相似度，得到所述参考图像与输入图像的空间关系图；特征提取模块：提取所述参考图像的视觉特征；特征对齐模块：依照所述空间关系图，将所述视觉特征对齐到所述高分辨率图像中。5.根据权利要求4所述的基于任务解耦的有参图像超分辨率方法，其特征在于，所述空间相关计算模块，包括：将所述输入图像和所述参考图像映射到特征空间中；将所述输入图像和所述参考图像在块层面进行匹配；所述匹配公式为：s
i,j
＝<p
i
(φ(i
sisr
)),p
j
(φ(i
ref
))>其中<,>代表内积计算，p
i
(
·
)代表图像的第i个块，φ(
·
)代表特征提取网络，i
ref
代表参考图像，i
sisr
代表输入图像；得到s
i,j
作为所述输入图像与所述参考图像的空间关系图；得到对应的位置索引图s
i
以及位置置信图c
i
：s
i
＝argmax
j
s
i,j
c
i
＝max
j
s
i,j
。6.根据权利要求5所述的基于任务解耦的有参图像超分辨率方法，其特征在于，特征对齐模块包括两支网络，分别为基于可变卷积的特征对齐以及基于光流直接的特征对齐；
所述位置索引图s
i
以及参考图像特征图作为所述特征对齐模块的输出；所述特征对齐模块输出参考图像中的细节纹理信息。7.根据权利要求3所述的基于任务解耦的有参图像超分辨率方法，其特征在于，对所述提取参考图像的纹理的监督，为高分辨率真值与所述高分辨率图像残差，其优化损失函数为：其中i
tex
为提取参考图像纹理网络的输出。8.根据权利要求5所述的基于任务解耦的有参图像超分辨率方法，其特征在于，所述迁移纹理到输出图像，包括：以所述高分辨率图像与所述纹理特征信息作为输入；计算所述输入图像与所述参考图像的位置置信图c
i
的相似度；根据所述相似度将所述纹理特征迁移到高分辨率图像中去；输出带有纹理细节的高分辨率图像。9.根据权利要求8所述的基于任务解耦的有参图像超分辨率方法，其特征在于，所述迁移纹理到输出图像的网络，其损失函数为：其中l
rec
为重建损失，l
per
为感知损失，l
adv
为对抗损失，λ1以及λ2分别为平衡感知损失权重，对抗损失权重以及其他部分损失权重的超参数。10.一种基于任务解耦的有参图像超分辨率系统，其特征在于，包括：低清图像超分辨率模块，所述低清图像超分辨率模块将输入的低分辨率图像通过深度卷积网络进行特征提取，同时生成初始缺乏细节纹理的高分辨率图像；参考图像纹理提取模块，所述参考图像纹理提取模块将输入的参考图像通过深度卷积网络进行特征提取，与输出的所述高分辨率图像进行特征对齐，提取出所述参考图像中的细节纹理信息；纹理迁移模块，所述纹理迁移模块将所述参考图像中提取的细节纹理信息依据输入图像与参考图像的相似程度迁移到生成的所述高分辨率图像中，输出带有高频纹理细节的高分辨率图像。

技术总结
本发明提供基于任务解耦的有参图像超分辨率方法，包括：生成输入图像的超分辨率，将输入图像通过深度卷积网络提取特征，生成缺乏细节纹理的高分辨率图像；提取参考图像的纹理，将输入的参考图像通过深度卷积网络提取特征，与高分辨率图像进行特征对齐，提取参考图像中的细节纹理信息；迁移纹理到输出图像，计算输入图像和参考图像的相似程度，将细节纹理信息依照相似程度迁移到高分辨率图像，生成带有高频纹理细节的高分辨率图像。本发明将有参超分解耦为两个任务，分别为输入图像的超分辨率任务和针对参考图像的纹理迁移任务，对输入图像以及参考图像分别进行处理，在消除无关参考图像负面影响的同时，可以对内容相关的参考图像利用更加充分。利用更加充分。利用更加充分。


技术研发人员：张小云 黄一轩 张娅 王延峰
受保护的技术使用者：上海交通大学
技术研发日：2022.02.18
技术公布日：2022/5/25