本发明涉及图像处理,尤其涉及一种两阶段训练的深度学习伪造图像检测方法。
背景技术:
1、人脸作为一种用户唯一身份标识的信息,已经被广泛应用于各种场景之中,然而随着计算机技术的发展,一些技术被恶意用于伪造人脸图片。特别是随着深度学习技术的发展,利用深度学习技术进行人脸伪造的方式叫做深度伪造,一些伪造的人脸图片人眼难以辨别,这些伪造的人脸图像被广泛用于生成虚假信息,引导社会舆论,导致不良后果。
2、现有的各种深度伪造图像检测方法中,对于已知深度伪造技术的识别较为成熟,然后面对未知的伪造技术时便难以识别。因此,针对如上问题,本发明提出了一种基于双阶段学习的深度伪造图像检测方法。
技术实现思路
1、本发明的目的在于提供一种基于双阶段学习的深度伪造图像检测方法,提高了深度伪造图像的检测成功率,以及改善了现有技术中识别未知技术伪造图像的成功率。
2、本发明提供的一种基于双阶段学习的深度伪造图像检测方法,采用如下的技术方案:
3、第一阶段、将第一真假图像对输入初始检测模型,基于编码器获取所述第一真假图像对的第一全局特征,基于所述第一全局特征获取第一通用伪造特征信息,基于所述第一通用伪造特征信息检测图像并更新所述初始检测模型的参数获得解纠缠伪造图像检测模型;
4、第二阶段、将第二真假图像对输入所述解纠缠伪造图像检测模型,基于编码器获取所述第二真假图像对的第二全局特征,基于所述第二全局特征获取第二通用伪造特征信息、特定伪造方法、性别以及种族,计算所述第二通用伪造特征信息、特定伪造方法、性别以及种族的特征分类损失,基于所述特征分类损失更新所述解纠缠伪造图像检测模型的参数。
5、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,基于编码器获取所述第一真假图像对的第一全局特征,包括:基于所述编码器将所述第一真假图像对的rgb信息映射到隐空间。
6、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,基于所述第一全局特征获取第一通用伪造特征信息的过程中,包括:基于第一通用伪装特征提取器提取所述第一全局特征中的第一通用伪造特征信息。
7、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,基于所述第一通用伪造特征信息检测图像并更新所述初始检测模型的参数获得解纠缠伪造图像检测模型,包括:
8、基于第一通用伪造特征分类头处理所述第一通用伪造特征信息获得第一检测结果,并计算所述第一检测结果和所述第一真假图像对的真假标签的二元交叉熵损失,基于所述二元交叉熵损失更新所述初始检测模型的参数获得解纠缠伪造图像检测模型;所述初始检测模型的参数包括第一通用伪装特征提取器的参数和第一通用伪造特征分类头的参数。
9、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,基于所述第二全局特征获取第二通用伪造特征信息、特定伪造方法、性别以及种族,包括:
10、基于通用伪装特征提取器获取所述第二通用伪造特征信息,基于第二通用伪造特征分类头处理所述第二通用伪造特征信息获得第二检测结果;
11、基于特定伪造方法特征提取器获取特定伪造方法信息,基于特定伪造方法分类头处理所述特定伪造方法信息获得多种特定伪造方法概率;
12、基于性别特征提取器获取性别信息,基于性别分类头处理所述性别信息获得性别;
13、基于种族特征提取器获取种族信息,基于种族分类头处理所述种族信息获得种族类别。
14、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,计算所述第二通用伪造特征信息、特定伪造方法、性别以及种族的特征分类损失的过程中,包括:
15、所述第二通用伪造特征信息、性别的特征分类损失使用二元交叉熵损失计算,所述特定伪造方法、种族的特征分类损失使用多分类交叉熵损失计算。
16、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,所述第二通用伪造特征信息、性别的特征分类损失使用二元交叉熵损失计算,包括:
17、计算所述第二通用伪造特征信息的特征分类损失公式如下:
18、,
19、其中,为通用伪造特征损失,n为真假图像对的样本总数,为第二真假图像对的真假标签,为所述第二检测结果;
20、计算所述性别的特征分类损失公式如下:
21、,
22、其中,所述为性别特征损失,所述n为真假图像对的样本总数,为第二真假图像对的性别标签,为检测性别。
23、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,所述特定伪造方法、种族的特征分类损失使用多分类交叉熵损失计算,包括:
24、计算所述特定伪造方法的特征分类损失公式如下:
25、,
26、其中,为特定伪造方法特征损失,n为真假图像对的样本总数,为伪造方法种类,为第二真假图像对的特定伪造方法标签,为检测的多种特定伪造方法概率;
27、计算所述种族的特征分类损失公式如下:
28、,
29、其中,为种族特征损失,n为真假图像对的样本总数,为种族种类,为第二真假图像对的种族标签,为检测的种族类别。
30、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,基于所述特征分类损失更新所述解纠缠伪造图像检测模型的参数,包括:
31、基于所述特征分类损失计算隐空间对比损失,基于所述隐空间对比损失更新所述解纠缠伪造图像检测模型的参数;
32、所述计算隐空间对比损失的公式如下:
33、,
34、其中,为隐空间对比损失,为模型学习率,、分别为以真图像作为锚点和以假图像作为锚点计算的对比损失。
35、如上所述的基于双阶段学习的深度伪造图像检测方法,其中,基于所述隐空间对比损失更新所述解纠缠伪造图像检测模型的参数,使用的公式如下:
36、,
37、其中,为解纠缠伪造图像检测模型的所有参数,为模型学习率,为损失函数反向传播得到的梯度。
38、本发明提出的基于双阶段学习的深度伪造图像检测方法有益效果在于:
39、1、本发明的第一阶段通过输入真假图像对进行训练以更新初始检测模型的参数,获得具有先验知识的检测模型。
40、2、本发明的第二阶段能够有效的检测图像的真假、伪造方法、性别及种族,并迭代更新模型参数,提高对未知图像的检测成功率。
1.一种基于双阶段学习的深度伪造图像检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,基于编码器获取所述第一真假图像对的第一全局特征,包括:基于所述编码器将所述第一真假图像对的rgb信息映射到隐空间。
3.根据权利要求1所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,基于所述第一全局特征获取第一通用伪造特征信息的过程中,包括:基于第一通用伪装特征提取器提取所述第一全局特征中的第一通用伪造特征信息。
4.根据权利要求1所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,基于所述第一通用伪造特征信息检测图像并更新所述初始检测模型的参数获得解纠缠伪造图像检测模型,包括:
5.根据权利要求1所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,基于所述第二全局特征获取第二通用伪造特征信息、特定伪造方法、性别以及种族,包括:
6.根据权利要求5所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,计算所述第二通用伪造特征信息、特定伪造方法、性别以及种族的特征分类损失的过程中,包括:
7.根据权利要求6所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,所述第二通用伪造特征信息、性别的特征分类损失使用二元交叉熵损失计算,包括:
8.根据权利要求7所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,所述特定伪造方法、种族的特征分类损失使用多分类交叉熵损失计算,包括:
9.根据权利要求8所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,基于所述特征分类损失更新所述解纠缠伪造图像检测模型的参数,包括:
10.根据权利要求9所述的一种基于双阶段学习的深度伪造图像检测方法,其特征在于,基于所述隐空间对比损失更新所述解纠缠伪造图像检测模型的参数,使用公式如下: