基于改进深度迭代协作网络的人脸图像超分辨方法

1.本发明涉及深度学习图像处理的技术领域，尤其是指一种基于改进深度迭代协作网络的人脸图像超分辨方法。


背景技术：

2.图像超分辨是指把低分辨率图像恢复成高分辨率图像，而人脸图像超分辨是图像超分辨技术在人脸领域的特定应用。许多人脸领域相关的技术，比如人脸识别或者人脸美化，应用在低分辨率人脸图像上性能会极度下降。然而在现实场景中，由于拍摄设备、距离和噪音的影响，常常只有低分辨率的人脸图像。因此，人脸图像超分辨对于这些人脸领域相关的技术至关重要。
3.随着深度学习在图像领域大放异彩，近年来基于深度学习的图像超分辨技术成为了研究热点，其中基于深度学习的人脸图像超分辨方法可以大致分为两种：1、朴素的人脸图像超分辨方法，这类方法把人脸图像当成普通图像进行超分辨处理，没有考虑到人脸图像的特殊性，因此这类方法的性能受到了限制；2、利用了人脸先验知识的超分辨方法，这类方法利用了人脸图像的特殊性，比如人脸的特殊结构、人脸的属性信息等，因此这类方法往往能够取得更好的超分辨效果
4.在2020年，有学者提出了用于人脸图像超分辨的深度迭代协作网络，该网络利用两个子网络来分别进行人脸图像的超分辨处理和人脸图像的关键点预测，这两个子网络迭代合作，互相促进，最终产生良好的超分辨图像。但是该网络没充分利用人脸结构信息，并且网络参数较多，空间开销大，同时由于迭代的次数较多，时间开销也比较大。


技术实现要素：

5.本发明的目的在于针对现有的深度迭代协作网络的不足、考虑人脸结构信息未充分利用、模型参数规模大、空间和时间开销等问题，提出了一种基于改进深度迭代协作网络的人脸图像超分辨方法，该方法充分利用人脸结构信息来促进图像的超分辨过程，通过训练可以不断优化网络，提高人脸图像的超分辨效果。
6.为实现上述目的，本发明所提供的技术方案为：基于改进深度迭代协作网络的人脸图像超分辨方法，该方法是基于改进深度迭代协作网络进行单人脸图像的超分辨重建处理，该改进深度迭代协作网络是对原来深度迭代协作网络的图像超分辨子网络和先验信息提取子网络都进行了改进；其中，对图像超分辨子网络的改进是：提出了一种使用空间注意力机制和通道注意力机制的功能模块，以充分利用人脸的先验特征，该模块称为fsau模块，使用通过稠密连接的六个fsau模块和一个卷积层去替换原来图像超分辨子网络的注意力融合模块和循环超分辨模块，以增强图像超分辨子网络的人脸图像超分辨重建能力；对先验信息提取子网络的改进是：在原本的一个后处理模块的基础上，再增加一个后处理模块，两个后处理模块并行地对先验信息提取子网络的中间层特征进行处理，使得先验信息提取子网络能够同时预测人脸关键点热力图和人脸语义解析图，并同时输出人脸关键点热力
图、人脸语义解析图和中间层特征；
7.该人脸图像超分辨方法的具体实施包括以下步骤：
8.1)前期数据处理：将原始数据集进行归一化和标准化，得到处理后的低分辨率人脸图像数据；
9.2)将处理后的低分辨率人脸图像数据输入图像超分辨子网络，通过图像超分辨子网络的浅层特征提取模块对人脸图像进行处理得到浅层特征；
10.3)把浅层特征和先验信息提取子网络在上一次迭代过程的输出送入到图像超分辨子网络的通过稠密连接的六个fsau模块，接着用一个卷积层来压缩这六个fsau模块的输出，得到高分辨率特征，再由图像超分辨子网络的重建模块对高分辨率特征进行重建得到高分辨率图像；
11.4)将高分辨率图像输入到先验信息提取子网络中，该先验信息提取子网络同时输出人脸关键点热力图i
l
、人脸语义解析图i
p
和中间层特征fm，由此完成一次迭代过程；
12.5)重复步骤3)和4)，迭代n次后得到最终的高分辨率图像输出。
13.进一步，在步骤1)中，归一化的公式为：
[0014][0015]
式中，x为原始图像中的像素值，y为归一化后的图像像素值；
[0016]
标准化的公式为：
[0017][0018]
式中，μ为归一化后像素值的平均值，σ为归一化后像素值的方差，z为标准化后的像素值；
[0019]
通过上述两个数据处理过程，能够提高网络在训练时的收敛速度。
[0020]
进一步，在步骤2)中，浅层特征提取模块包括一个卷积层和一个像素重组层。
[0021]
进一步，在步骤3)中，重建模块依次由一个卷积层、一个像素重组层、一个反卷积层和一个卷积层组成；
[0022]
fsau模块由两组平行的残差通道注意力模块组、一个注意力层、一个卷积层、两个残差通道注意力模块、一个反卷积层和一个卷积层组成，其中每组残差通道注意力模块组包含两个残差通道注意力模块，将来自先验信息提取子网络的人脸关键点热力图i
l
和人脸语义解析图i
p
处理后得到两张空间注意力掩模m
l
和m
p
，在每个fsau模块中，给定输入x，fsau模块先用两组残差通道注意力模块组从输入x中提取出两组特征，随后这两组特征分别与空间注意力掩模m
l
和m
p
相乘，从而到人脸的全局特征和局部特征，将人脸的全局特征和局部特征通过相加进行融合后，与来自先验信息提取子网络的中间层特征fm进行拼接，拼接后得到的特征依次经过fsau模块剩余的一个注意力层、一个卷积层、两个残差通道注意力模块、一个反卷积层和一个卷积层，最后与输入x相加得到fsau模块的输出y。
[0023]
进一步，在步骤4)中，把图像超分辨子网络生成的高分辨率图像输入到先验信息提取子网络，得到人脸关键点热力图i
l
、人脸语义解析图i
p
和中间层特征fm，先验信息提取子网络由一个预处理模块、一个沙漏网络模块和两个后处理模块组成，其中的预处理模块依次由一个卷积层、一个残差块、一个最大值池化层和两个残差块组成，后处理模块由一个
残差块和一个卷积层组成，输入的高分辨率图像依次经过预处理模块和沙漏网络模块的处理，得到中间层特征fm，中间层特征fm分别输入到两个后处理模块，分别得到人脸关键点热力图i
l
和人脸语义解析图i
p
，最终，先验信息提取子网络同时输出人脸关键点热力图i
l
、人脸语义解析图i
p
和中间层特征fm。
[0024]
本发明与现有技术相比，具有如下优点与有益效果：
[0025]
1、本发明针对原本深度迭代协作网络的缺点，充分考虑人脸图像的结构信息，在原本深度迭代协作网络的框架上进行改进。首先，对图像超分辨子网络的改进，提出了一种使用空间注意力机制和通道注意力机制的功能模块，称为fsau模块，fsau模块先利用空间注意力机制来提取人脸的全局特征和局部特征，并将二者融合，接着利用通道注意力机制进一步融合来自先验信息提取子网络的中间层特征，提出的fsau模块有效提升网络的超分辨率性能。其次，对先验信息提取子网络进行改进，再增加了一个后处理块，使其能够同时预测人脸关键点热力图和语义解析图，并且也输出了中间层特征。改进后的深度迭代协作网络对人脸图像的超分辨效果更好，并且参数规模更小，时间开销也更小。
[0026]
2、本发明具有广泛的应用前景，把人脸图像超分辨技术应用于人脸检测，给环境条件复杂的人脸识别任务提供有效的帮助，提高人脸识别的精确度。除此之外，本发明还可以应用于其它人脸领域相关的技术，比如人脸美化等，具有一定的市场与前景，值得推广。
附图说明
[0027]
图1为本发明方法的总体框架图；图中upsample方块为上采样操作，pixel shuffle为像素重组层，resblock为残差块，hourglass blcok为沙漏网络模块，softmax方块为softmax函数，为矩阵对应位置的加法操作。
[0028]
图2为fsau模块的结构示意图；图中rcab方块为残差通道注意力模块，ca方块为通道注意力层，为矩阵对应位置的乘法操作，为矩阵对应位置的加法操作，
⊙
为拼接操作。
具体实施方式
[0029]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0030]
如图1和图2所示，本实施例所提供的基于改进深度迭代协作网络的人脸图像超分辨方法，主要是基于改进深度迭代协作网络进行单人脸图像的超分辨重建处理，该改进深度迭代协作网络是对原来深度迭代协作网络的图像超分辨子网络和先验信息提取子网络都进行了改进；其中，对图像超分辨子网络的改进是：提出了一种使用空间注意力机制和通道注意力机制的功能模块，以充分利用人脸的先验特征，该模块称为fsau模块，使用通过稠密连接的六个fsau模块和一个卷积层去替换原来图像超分辨子网络的注意力融合模块和循环超分辨模块，以增强图像超分辨子网络的人脸图像超分辨重建能力；对先验信息提取子网络的改进是：在原本的一个后处理模块的基础上，再增加一个后处理模块，两个后处理模块并行地对先验信息提取子网络的中间层特征进行处理，使得先验信息提取子网络能够同时预测人脸关键点热力图和人脸语义解析图，并同时输出人脸关键点热力图、人脸语义解析图和中间层特征。该方法的具体实施包括以下步骤：
[0031]
1)前期数据处理：将原始数据集进行归一化和标准化，得到处理后的低分辨率人脸图像数据lr；其中，归一化的公式为：
[0032][0033]
式中，x为原始图像中的像素值，y为归一化后的图像像素值；
[0034]
标准化的公式为：
[0035][0036]
式中，μ为归一化后像素值的平均值，σ为归一化后像素值的方差，z为标准化后的像素值；
[0037]
通过上述两个数据处理过程，能够提高网络在训练时的收敛速度。
[0038]
2)将处理后的低分辨率人脸图像数据lr输入图像超分辨子网络，图像超分辨子网络的浅层特征提取模块对人脸图像进行处理得到浅层特征；其中，浅层特征提取模块包括一个卷积层和一个像素重组层。
[0039]
3)把浅层特征和先验信息提取子网络在上一次迭代过程的输出送入到图像超分辨子网络的通过稠密连接的六个fsau模块，接着用一个卷积层来压缩这六个fsau模块的输出，得到高分辨率特征，再由图像超分辨子网络的重建模块对高分辨率特征进行重建得到高分辨率图像hr；其中：
[0040]
重建模块依次由一个卷积层、一个像素重组层、一个反卷积层和一个卷积层组成；
[0041]
fsau模块由两组平行的残差通道注意力模块组、一个注意力层、一个卷积层、两个残差通道注意力模块、一个反卷积层和一个卷积层组成，其中每组残差通道注意力模块组包含两个残差通道注意力模块，将来自先验信息提取子网络的人脸关键点热力图i
l
和人脸语义解析图i
p
处理后得到两张空间注意力掩模m
l
和m
p
，在每个fsau模块中，给定输入x，fsau模块先用两组残差通道注意力模块组从输入x中提取出两组特征，随后这两组特征分别与空间注意力掩模m
l
和m
p
相乘，从而到人脸的全局特征和局部特征，将人脸的全局特征和局部特征通过相加进行融合后，与来自先验信息提取子网络的中间层特征fm进行拼接，拼接后得到的特征依次经过fsau模块剩余的一个注意力层、一个卷积层、两个残差通道注意力模块、一个反卷积层和一个卷积层，最后与输入x相加得到fsau模块的输出y。
[0042]
4)把图像超分辨子网络生成的高分辨率图像输入到先验信息提取子网络，该先验信息提取子网络同时输出人脸关键点热力图i
l
、人脸语义解析图i
p
和中间层特征fm，由此完成一次迭代过程；其中：
[0043]
先验信息提取子网络由一个预处理模块、一个沙漏网络模块和两个后处理模块组成，其中的预处理模块依次由一个卷积层、一个残差块、一个最大值池化层和两个残差块组成，后处理模块由一个残差块和一个卷积层组成，输入的高分辨率图像依次经过预处理模块和沙漏网络模块的处理，得到中间层特征fm，中间层特征fm分别输入到两个后处理模块，分别得到人脸关键点热力图i
l
和人脸语义解析图i
p
，最终，先验信息提取子网络同时输出人脸关键点热力图i
l
、人脸语义解析图i
p
和中间层特征fm。
[0044]
5)重复步骤3)和4)，迭代n次后得到最终的高分辨率图像输出hr。
[0045]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的
限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。