人脸识别方法、人脸识别装置、计算机设备及存储介质与流程

    专利查询2022-07-09  144



    1.本发明涉及计算机视觉技术领域,具体涉及一种人脸识别方法、人脸识别装置、计算机设备及存储介质。


    背景技术:

    2.在机器学习及其在视觉识别的应用中,人脸识别技术有着显著的突破和广泛的应用。在足够丰富的人脸数据上可以提取出有效的信息支撑人脸识别特征空间,但在大多数应用场景中,用于训练的人脸识别模型的训练数据属于人脸长尾数据集,即,用于训练的人脸图像数据呈现长尾分布,部分人脸类别对应的人脸图像数据数量充足,进而该部分人脸类别的人脸图像数据的类内满足多样性需求。但少数人脸类别对应人脸图像数据数量相对匮乏,例如仅包括几张人脸图像数据,进而导致该部分人脸类别的人脸图像数据缺乏类内多样性,在对人脸识别模型进行训练时,容易导致人脸识别模型出现退化或者过拟合的情况。
    3.针对人脸图像数据缺乏类内多样性的缺陷,相关技术中,采用半孪生训练(semi-siamese training,sst)方法训练人脸脸识别模型,进而避免在训练过程中,出现人脸识别模型退化或者过拟合的情况。但该种训练方法并不适用于采用人脸长尾数据集进行训练,若采用人脸长尾数据集进行训练,则容易导致人脸识别模型容易被头部数据(即包含图片数较多的人脸类别)主导在头部发生过拟合,同时尾部数据的数量缺失使得模型在尾部数据特征空间维度塌陷(即特征维度出现大量的0),导致特征学习很难达到理想程度,从而影响整个深度模型的泛化表现,进而导致使用该人脸识别模型进行人脸识别时,识别准确率低,影响用户的使用体验。


    技术实现要素:

    4.因此,本发明要解决的技术问题在于克服现有技术中使用长尾数据训练得到的人脸识别模型在实际使用中识别准确率低的缺陷,从而提供一种人脸识别方法、人脸识别装置、计算机设备及存储介质。
    5.在第一方面,本发明提供一种人脸识别方法,所述方法包括:获取待识别人脸图像。将所述人脸图像输入至预先训练好的人脸识别模型中进行特征提取,通过与多个已知人脸类别的人脸图像特征进行对比,确定所述人脸图像对应的人脸类别。其中,所述人脸识别模型是基于人脸长尾数据集,通过监督模型训练得到的深度网络模型。
    6.在该方式中,基于预置的人脸识别模型对未知人脸类别的人脸图像进行特征提取时,能够充分提取该人脸图像的人脸特征,进而提高人脸识别的准确性,有助于减少误识别的情况发生。
    7.结合第一方面,在第一方面的第一实施例中,所述监督模型包括第一深度网络模型和第二深度网络模型,所述第一深度网络模型与所述第二深度网络模型的模型结构相同但网络参数不同。所述人脸识别模型是基于人脸长尾数据集,通过监督模型训练得到的深
    度网络模型,包括:根据人脸长尾数据集,获取对应同一人脸类别的第一人脸图像数据和第二人脸图像数据。将所述第二人脸图像数据进行增广处理,得到第三人脸图像数据。通过所述第二深度网络模型提取所述第三人脸图像数据的第三图像数据特征。基于所述第三图像数据特征和所述第一深度网络模型预先提取的历史图像数据特征,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,得到所述人脸识别模型,以便后续采用训练好的人脸识别模型进行训练时,能够提高人脸识别准确率。
    8.在该方式中,通过第二深度网络模型生成新的人脸图像数据指导、监督第一深度网络模型学习人脸特征,增强人脸类别用于训练的人脸图像数据数量,进而有助于避免类内多样性缺乏的尾部人脸类别对人脸识别模型优化的阻碍,从而提高模型泛化能力。
    9.结合第一方面的第一实施例,在第一方面的第二实施例中,所述基于所述第三图像数据特征和所述第一深度网络模型预先提取的历史图像数据特征,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,得到所述人脸识别模型,包括:通过所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,并获取根据所述第一深度网络模型提取的所述第一图像数据特征进行分类的第一损失。根据所述第一图像数据特征、第三图像数据特征和所述第一深度网络模型预先提取的历史图像数据特征,确定所述第一深度网络模型对应的三元组损失。根据所述第一损失和所述三元组损失,确定所述第一深度网络模型的总损失。当所述总损失小于指定损失阈值时,则所述第一深度网络模型训练完成,得到所述人脸识别模型。
    10.在该方式中,在对第一深度网络模型进行训练时,能够基于三元组损失函数进行训练,有助于避免当人脸类别的人脸图像数据较少时,因缺乏内类多样性,而导致在特征空间出现维度坍塌的情况发生。
    11.结合第一方面的第二实施例,在第一方面的第三实施例中,所述方法还包括:若所述总损失大于或者等于所述指定损失阈值,则根据所述总损失,通过对所述第一深度网络模型中的第一网络参数中的权重参数进行随机梯度下降处理,调整所述第一网络参数。通过所述第二深度网络模型,根据调整后的第一网络参数,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,直至所述总损失小于所述指定损失阈值。
    12.结合第一方面的第三实施例,在第一方面的第四实施例中,所述通过所述第二深度网络模型,根据调整后的第一网络参数,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,包括:根据所述第一深度网络模型调整后的第一网络参数,对所述第二深度网络模型的第二网络参数的权重参数进行指数移动平均处理,调整所述第二网络参数。根据所述第二深度网络模型调整后的第二网络参数和调整后的第一网络参数,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征。
    13.在该方式中,通过对第一深度网络模型和第二深度网络模型采用不同的方式调整各自对应的网络参数,有助于保证第一网络参数和第二网络参数始终处于不同的状态,进而使得到的第一图像特征数据和第三图像特征数据之间始终存在差异,从而后续对第一深度网络模型进行训练时,能够有效的避免在人脸尾部图像数据集上出现退化现象。
    14.结合第一方面的第二实施例,在第一方面的第五实施例中,所述获取根据所述第一深度网络模型提取的所述第一图像数据特征进行分类的第一损失,包括:通过增加间隔的柔性最大激活函数,获取根据所述第一深度网络模型提取的所述第一图像数据特征进行
    分类的第一损失。
    15.结合第一方面的第一实施例至第五实施例中任一实施例,在第一方面的第六实施例中,所述历史图像数据特征为所述第一深度网络模型预先提取其他人脸类别对应第一人脸图像数据的第一图像数据特征。
    16.在第二方面,本发明该提供一种人脸识别装置,包括:获取单元,用于获取待识别人脸图像。识别单元,用于通过预先训练好的人脸识别模型,在多个已知人脸类别的人脸图像数据中,识别与所述人脸图像数据对应的人脸类别,并将所述人脸类别确定为所述人脸图像数据的类别。其中,所述人脸识别模型是基于人脸长尾数据集,通过监督模型训练得到的深度网络模型。
    17.结合第二方面,在第二方面的第一实施例中,所述监督模型包括第一深度网络模型和第二深度网络模型,所述第一深度网络模型与所述第二深度网络模型的模型结构相同但网络参数不同。所述人脸识别模型采用下述单元基于人脸长尾数据集,通过监督模型训练得到:数据获取单元,用于根据人脸长尾数据集,获取对应同一人脸类别的第一人脸图像数据和第二人脸图像数据。处理单元,用于将所述第二人脸图像数据进行增广处理,得到第三人脸图像数据。提取单元,用于通过所述第二深度网络模型提取所述第三人脸图像数据的第三图像数据特征。训练单元,用于基于所述第三图像数据特征和所述第一深度网络模型预先提取的历史图像数据特征,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,得到所述人脸识别模型。
    18.结合第二方面的第一实施例,在第二方面的第二实施例中,所述训练单元包括:第一损失获取单元,用于通过所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,并获取根据所述第一深度网络模型提取的所述第一图像数据特征进行分类的第一损失。第二损失获取单元,用于根据所述第一图像数据特征、第三图像数据特征和所述第一深度网络模型预先提取的历史图像数据特征,确定所述第一深度网络模型对应的三元组损失。确定单元,用于根据所述第一损失和所述三元组损失,确定所述第一深度网络模型的总损失。第一判定单元,用于当所述总损失小于指定损失阈值时,则所述第一深度网络模型训练完成,得到所述人脸识别模型。
    19.结合第二方面的第二实施例,在第二方面的第三实施例中,还包括:第二判定单元,用于若所述总损失大于或者等于所述指定损失阈值,则根据所述总损失,通过对所述第一深度网络模型中的第一网络参数中的权重参数进行随机梯度下降处理,调整所述第一网络参数。调节单元,用于通过所述第二深度网络模型,根据调整后的第一网络参数,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征,直至所述总损失小于所述指定损失阈值。
    20.结合第二方面的第三实施例,在第二方面的第四实施例中,所述调节单元包括:调节子单元,用于根据所述第一深度网络模型调整后的第一网络参数,对所述第二深度网络模型的第二网络参数的权重参数进行指数移动平均处理,调整所述第二网络参数。训练子单元,用于根据所述第二深度网络模型调整后的第二网络参数和调整后的第一网络参数,训练所述第一深度网络模型提取所述第一人脸图像数据的第一图像数据特征。
    21.结合第二方面的第二实施例,在第二方面的第五实施例中,所述第一损失获取单元包括:第一损失获取子单元,用于通过增加间隔的柔性最大激活函数,获取根据所述第一
    深度网络模型提取的所述第一图像数据特征进行分类的第一损失。
    22.结合第二方面的第一实施例至第五实施例中任一实施例,在第二方面的第六实施例中,所述历史图像数据特征为所述第一深度网络模型预先提取其他人脸类别对应第一人脸图像数据的第一图像数据特征。
    23.根据第三方面,本发明实施方式还提供一种计算机设备,包括存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行第一方面及其可选实施方式中任一项的人脸识别方法。
    24.根据第四方面,本发明实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行第一方面及其可选实施方式中任一项的人脸识别方法。
    附图说明
    25.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
    26.图1是根据一示例性实施例提出的一种人脸识别方法的流程图。
    27.图2是根据一示例性实施例提出的一种人脸识别模型训练方法的流程图。
    28.图3是根据一示例性实施例提出的另一种人脸识别模型训练方法的流程图。
    29.图4是根据一示例性实施例提出的又一种人脸识别模型训练方法的流程图。
    30.图5是根据一示例性实施例提出的一种人脸识别装置的结构框图。
    31.图6是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。
    具体实施方式
    32.下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
    33.相关技术中,采用半孪生训练(semi-siamese training,sst)方法训练人脸识别模型,进而避免在训练过程中,出现人脸识别模型退化或者过拟合的情况。但该种训练方法并不适用于采用人脸长尾数据集进行训练,若采用人脸长尾数据集进行训练,则容易导致人脸识别模型容易被头部数据(即包含图片数较多的人脸类别)主导在头部发生过拟合,同时尾部数据的数量缺失使得模型在尾部数据特征空间维度塌陷(即特征维度出现大量的0),导致特征学习很难达到理想程度,从而影响整个深度模型的泛化表现。
    34.为解决上述问题,本发明实施例中提供一种人脸识别方法,用于计算机设备中,需要说明的是,其执行主体可以是人脸识别装置,该装置可以通过软件、硬件或者软硬件结合的方式实现成为存储设备的部分或者全部,其中,该计算机设备可以是终端或客户端或服务器,服务器可以是一台服务器,也可以为由多台服务器组成的服务器集群,本技术实施例中的终端可以是智能手机、个人电脑、平板电脑、可穿戴设备以及智能机器人等其他智能硬
    件设备。下述方法实施例中,均以执行主体是计算机设备为例来进行说明。
    35.本发明实施例中的计算机设备,应用于对未知人脸类别的人脸图像进行人脸识别检测的使用场景。通过本发明提供的人脸识别方法,预置的人脸识别模型是基于人脸长尾数据集,通过监督模型训练得到的,具有足够的泛化能力,进而在对未知人脸类别的人脸图像进行特征提取时,能够充分提取该人脸图像的人脸特征,从而提高人脸识别的准确性,有助于减少误识别的情况发生。
    36.图1是根据一示例性实施例提出的一种人脸识别方法的流程图。如图1所示,人脸识别方法包括如下步骤s101至步骤s102。
    37.在步骤s101中,获取待识别人脸图像。
    38.在本发明实施例中,待识别人脸图像可以理解为是未明确该人脸图像具体对应人脸类别的图像。不同人的人脸对应不同的人脸类别。例如:a君的人脸与b君的人脸即为两种不同的人脸类别。在一例中,为便于记录,可以采用身份标识号(identity document,id)的形式记录和区分各人脸类别。例如:id1对应第一个人脸类别,id2对应第一个人脸类别。
    39.在步骤s102中,将人脸图像输入至预先训练好的人脸识别模型中进行特征提取,通过与多个已知人脸类别的人脸图像特征进行对比,确定人脸图像对应的人脸类别。
    40.在本发明实施例中,预先训练好的人脸识别模型是基于人脸长尾数据集,通过监督模型训练得到的深度网络模型,在训练的过程中,能够充分学习人脸特征,使得到的人脸识别模型能够避免由于人脸尾部数据不足,进而影响人脸模型泛化性能的缺陷,从而在进行人脸特征识别时,能够充分提取人脸图像的人脸特征,以便与多个已知人脸类别的人脸图像特征进行对比时,能够提高人脸识别的准确性,减少误识别的情况发生。
    41.通过上述实施例,基于预置的人脸识别模型对未知人脸类别的人脸图像进行特征提取时,能够充分提取该人脸图像的人脸特征,进而提高人脸识别的准确性,减少误识别的情况发生。
    42.在本发明中,监督模型包括第一深度网络模型和第二深度网络模型,其中,第一深度网络模型与第二深度网络模型的模型结构相同但网络参数不同,第二深度网络模型用于指导监督第一深度网络模型针对人脸长尾数据集进行训练,进而得到人脸识别模型。在一例中,可以理解为第一深度网络模型是学生模型,第二深度网络模型是与学生模型的模型结构相同但网络参数不同的教师模型。在另一例中,可以理解为第一深度网络模型是判别模型,第二深度网络模型是生成模型。在进行训练时,通过第二深度网络模型生成新的人脸图像数据指导、监督第一深度网络模型学习人脸特征,进而增强人脸类别用于训练的人脸图像数据数量,从而避免类内多样性缺乏的尾部人脸类别对人脸识别模型优化的阻碍,从而提高模型泛化能力,以便后续采用训练好的人脸识别模型进行训练时,能够提高人脸识别准确率。其中,尾部人脸类别可以理解为是用于训练的人脸图像数据较少的人脸类别。
    43.以下实施例将具体说明人脸识别模型的训练过程。
    44.图2是根据一示例性实施例提出的一种人脸识别模型训练方法的流程图。如图2所示,人脸识别模型训练方法包括如下步骤。
    45.在步骤s201中,根据人脸长尾数据集,获取对应同一人脸类别的第一人脸图像数据和第二人脸图像数据。
    46.在本发明实施例中,人脸长尾数据集是用于进行人脸识别训练的数据。在该人脸
    长尾数据集中,不同人脸类别对应的人脸图像数据数量存在差异,部分人脸类别对应的人脸图像数据充足,内类具有多样性;部分人脸类别对应的人脸图像数据匮乏,内类较为单一。若将人脸长尾数据集直接输入至深度网络模型中进行训练,则容易导致人脸识别模型在进行训练时,容易被内类充足的人脸类别主导,使深度网络模型发生过拟合的情况,进而再对内类匮乏的人脸类别进行训练时,特征空间维度塌陷(即特征维度出现大量的0),影响人脸识别模型的最终学习结果。
    47.因此,为避免上述情况的发生,在进行训练时,从各人脸类别包括的多个人脸图像数据中,对应获取各人脸类别对应的第一人脸图像数据和第二人脸图像数据。其中,第一人脸图像数据和第二人脸图像数据可以理解为是针对同一人脸类别的两种不同图像数据。例如:是在不同角度下拍摄得到的两张不同人脸图像数据。
    48.在步骤s202中,将第二人脸图像数据进行增广处理,得到第三人脸图像数据。
    49.在本发明实施例中,为增强第一人脸图像数据与第二人脸图像数据之间的人脸特征差异,则对第二人脸图像数据进行增广处理,进而得到经过增广处理后的第三人脸图像数据,进而有助于在进行特征提取时,得到第三图像数据特征与第一图像数据特征满足一致性原则。其中,增广处理可以包括旋转、平移、缩放、颜色反转、对比度的等任意一种处理方式,在本发明中不进行限定。一致性原则的内容可以包括:对于一个输入,即使受到了扰动,网络仍然可以产生和原来一致的输出,输出结果近似或者结果向量距离较近。
    50.在步骤s203中,通过第二深度网络模型提取第三人脸图像数据的第三图像数据特征。
    51.在本发明实施例中,第二深度网络模型是用于指导、监督第一深度网络模型进行训练的深度网络模型,在训练过程中,与第一深度网络模型同时进行训练。
    52.将第三人脸图像数据输入至第二深度网络模型中进行特征提取,以便得到用于丰富人脸类别内类的第三图像数据特征,从而后续训练第一深度模型时,能够避免类内多样性缺乏的尾部人脸类别对人脸识别模型优化的阻碍。
    53.在步骤s204中,基于第三图像数据特征和第一深度网络模型预先提取的历史图像数据特征,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征,得到人脸识别模型。
    54.在本发明实施例中,历史图像数据特征为第一深度网络模型预先提取其他人脸类别对应第一人脸图像数据的第一图像数据特征。通过历史图像数据特征,有助于第一深度网络模型在提取第一图像数据特征时,能够增大不同人脸类别对应第一图像数据特征之间的特征距离,进而突出不同人脸类别对应的第一图像数据特征之间的差异。通过第三图像数据特征,有助于第一深度网络模型在提取第一图像数据特征时,能够减小同一人脸类别对应第一图像数据特征之间的特征距离,进而弱化同一人脸类别对应的第一图像数据特征之间的差异。
    55.因此,在训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征的过程中,基于历史图像数据特征和第三图像数据特征共同训练,有助于第一深度网络模型在用于训练的人脸图像数据较少的情况下,也可以合理的学习人脸特征,进而增强第一深度网络模型的泛化能力。
    56.通过上述实施例,通过第二深度网络模型生成新的人脸图像数据指导、监督第一
    深度网络模型学习人脸特征,增强人脸类别用于训练的人脸图像数据数量,进而有助于避免类内多样性缺乏的尾部人脸类别对人脸识别模型优化的阻碍,从而提高模型泛化能力。
    57.在一实施场景中,在将第一人脸图像数据输入至第一深度网络模型之前,以及将第三人脸图像数据输入至第二深度网络模型之前,将第一人脸图像数据和第三人脸图像数据分别进行归一化处理,以便第一深度网络模型以及第二深度网络模型能够对人脸特征进行充分提取。
    58.在一实施例中,基于第三图像数据特征和第一深度网络模型预先提取的历史图像数据特征,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征的训练过程可以如图3所示。图3是根据一示例性实施例提出的另一种人脸识别模型训练方法的流程图。
    59.在步骤s301中,通过第一深度网络模型提取第一人脸图像数据的第一图像数据特征,并获取根据第一深度网络模型提取的第一图像数据特征进行分类的第一损失。
    60.在本发明实施例中,第一深度网络模型是用于特征提取的网络模型,通过该第一深度网络模型的输出结果,能够获取提取到的第一图像数据特征,但无法确定对应的人脸类别,因此,也无法确定第一深度网络模型是否完成对当前人脸类别对应的第一图像数据特征的学习。因此,在训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征的过程中,将输出的第一图像数据特征进行分类,计算并确定该分类的第一损失,以便通过第一损失,确定第一深度网络模型的训练进程。
    61.在一实施例中,第一损失通过增加间隔的柔性最大激活函数(am-softmax loss)计算得到。公式如下:
    [0062][0063]
    具体计算过程与现有技术相同,在此不再进行赘述。
    [0064]
    在步骤s302中,根据第一图像数据特征、第三图像数据特征和第一深度网络模型预先提取的历史图像数据特征,确定第一深度网络模型对应的三元组损失。
    [0065]
    在本发明实施例中,为使第一深度网络模型在训练过程中能够充分学习人脸特征的同时,进行合理收敛,则在调整第一深度网络模型的网络参数的过程中,根据获取的第一图像数据特征、第三图像数据特征和第一深度网络模型预先提取的历史图像数据特征,通过三元组损失函数,确定第一深度网络模型对应的三元组损失,并将三元组损失作为一致性损失,进而度量第一深度网络模型和第二深度网络模型之间输出结果的一致性。
    [0066]
    其中,三元组损失函数的公式如下:l=max(d(a,p)-d(a,n) m,0),其中,d(x,y)表示计算x与y之间的特征距离,例如:余弦距离,欧式距离等。若计算欧式距离,则d(x,y)=||x-y||2。a表示第一图像数据特征的特征值,p表示第三图像数据特征的特征值,n表示历史图像数据特征的特征值。m表示间隔margin,一般设置在(0.25-0.5)之间。
    [0067]
    在步骤s303中,根据第一损失和三元组损失,确定第一深度网络模型的总损失。
    [0068]
    在本发明实施例中,第一深度网络模型的总损失是第一损失与三元组损失之和,
    进而在确定第一深度网络模型的网络参数的调整方向时,可以基于总损失对第一深度网络模型进行合理调整,从而再次进行迭代学习时,能够结合历史图像数据特征提取过程进行充分学习。
    [0069]
    在步骤s304中,当总损失小于指定损失阈值时,则第一深度网络模型训练完成,得到人脸识别模型。
    [0070]
    在本发明实施例中,指定损失阈值可以理解为是用于判定第一深度学习模型是否学习完成的最大损失阈值。若总损失小于指定损失阈值,则表征第一深度学习模型提取的第一图像数据特征,能够满足表达其对应人脸类别的特征,进而可以确定该第一深度学习模型的训练完成。若总损失大于或者等于指定损失阈值,则表征第一深度学习模型提取的第一图像数据特征,暂时还不能有效的表达其对应人脸类别的特征,因此,仍需要继续训练。
    [0071]
    因此,当确定总损失小于指定损失阈值时,则可以认为第一深度网络模型训练完成,进而得到用于人脸识别的人脸识别模型。
    [0072]
    通过上述实施例,在对第一深度网络模型进行训练时,能够基于三元组损失函数进行训练,有助于避免当人脸类别的人脸图像数据较少时,因缺乏内类多样性,而导致在特征空间出现维度坍塌的情况发生。
    [0073]
    在一实施例中,若总损失大于或者等于指定损失阈值,则表征第一深度学习模型提取的第一图像数据特征,暂时还不能有效的表达其对应人脸类别的特征,因此,继续训练第一深度网络模型,通过对第一深度网络模型中的第一网络参数进行随机梯度下降(sgd)处理,调整第一网络参数的权重参数。通过第二深度网络模型,根据调整后的第一网络参数,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征,直至总损失小于指定损失阈值,进而保证第一深度网络模型的训练能够顺利进行。
    [0074]
    在另一实施例中,根据调整后的第一网络参数,训练第一深度网络模型时,还包括调整第二深度网络模型的第二网络参数。根据第一深度网络模型调整后的第一网络参数,对第二深度网络模型的第二网络参数权重进行指数移动平均(exponential moving average,ema)处理,调整第二网络参数。在一实施场景中,进行ema处理时所采用的公式为:φ
    t
    =mφ
    t
    (1-m)φs,其中,φ
    t
    、φs分别表示第二深度网络模型的权重参数和第一深度网络模型的网络权重参数。根据第二深度网络模型调整后的第二网络参数和调整后的第一网络参数,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征。通过对第一深度网络模型和第二深度网络模型采用不同的方式调整各自对应的网络参数,有助于保证第一网络参数和第二网络参数始终处于不同的状态,进而使得到的第一图像特征数据和第三图像特征数据之间始终存在差异,从而后续对第一深度网络模型进行训练时,能够有效的避免在人脸尾部图像数据集上出现退化现象。
    [0075]
    在一实施场景中,基于人脸长尾数据集,通过监督模型训练人脸识别模型的过程可以如图4所示。图4是根据一示例性实施例提出的又一种人脸识别模型训练方法的流程图。
    [0076]
    分别获取同一id(人脸类别)对应的第一人脸图像数据和第二人脸图像数据。将第一人脸图像数据经过归一化处理后输入至学生模型中进行特征提取,得到第一图像数据特征,以及通过am-softmax loss,计算根据第一图像数据特征进行分类的第一损失。
    [0077]
    将第二人脸图像数据进行图像增广处理后经过归一化处理,输入至教师模型中进行特征提取,得到第二图像数据特征。
    [0078]
    根据第一图像数据特征、第二图像数据特征以及学生模型预先提取的历史图像数据特征,确定学生模型对应的三元组损失。根据三元组损失和第一损失,确定学生模型对应总损失。
    [0079]
    若总损失小于指定损失阈值,则完成对学生模型的训练,得到人脸识别模型。若总损失大于或者等于指定损失阈值,则对学生模型中第一网络参数中的权重参数进行sgd处理,调整第一网络参数。并根据调整后的第一网络参数,对教师模型中第二网络参数的权重参数进行ema处理,调整第二网络参数。重复上述步骤对学生模型继续进行训练,直至总损失小于指定损失阈值,完成对学生模型的训练,得到人脸识别模型。
    [0080]
    通过上述方式,能够针对人脸长尾数据集,基于一致性原则,通过引入教师模型避免常规人脸识别训练在人脸尾部数据中因为类内多样性的缺乏而出现特征空间坍塌的问题,同时保留增广样本的特征,有助于缓解过拟合风险,从而使得到的人脸识别模型在实际使用中,能够具有高识别准确率。
    [0081]
    基于相同发明构思,本发明还提供一种人脸识别装置。
    [0082]
    图5是根据一示例性实施例提出的一种人脸识别装置的结构框图。如图5所示,人脸识别装置包括获取单元501和识别单元502。
    [0083]
    获取单元501,用于获取待识别人脸图像。
    [0084]
    识别单元502,用于将人脸图像输入至预先训练好的人脸识别模型中进行特征提取,通过与多个已知人脸类别的人脸图像特征进行对比,确定人脸图像对应的人脸类别。
    [0085]
    其中,人脸识别模型是基于人脸长尾数据集,通过监督模型训练得到的深度网络模型。
    [0086]
    在一实施例中,监督模型包括第一深度网络模型和第二深度网络模型,第一深度网络模型与第二深度网络模型的模型结构相同但网络参数不同。人脸识别模型采用下述单元基于人脸长尾数据集,通过监督模型训练得到:数据获取单元,用于根据人脸长尾数据集,获取对应同一人脸类别的第一人脸图像数据和第二人脸图像数据。处理单元,用于将第二人脸图像数据进行增广处理,得到第三人脸图像数据。提取单元,用于通过第二深度网络模型提取第三人脸图像数据的第三图像数据特征。训练单元,用于基于第三图像数据特征和第一深度网络模型预先提取的历史图像数据特征,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征,得到人脸识别模型。
    [0087]
    在另一实施例中,训练单元包括:第一损失获取单元,用于通过第一深度网络模型提取第一人脸图像数据的第一图像数据特征,并获取根据第一深度网络模型提取的第一图像数据特征进行分类的第一损失。第二损失获取单元,用于根据第一图像数据特征、第三图像数据特征和第一深度网络模型预先提取的历史图像数据特征,确定第一深度网络模型对应的三元组损失。确定单元,用于根据第一损失和三元组损失,确定第一深度网络模型的总损失。第一判定单元,用于当总损失小于指定损失阈值时,则第一深度网络模型训练完成,得到人脸识别模型。
    [0088]
    在又一实施例中,还包括:第二判定单元,用于若总损失大于或者等于指定损失阈值,则根据总损失,通过对第一深度网络模型中的第一网络参数中的权重参数进行随机梯
    度下降处理,调整第一网络参数。调节单元,用于通过第二深度网络模型,根据调整后的第一网络参数,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征,直至总损失小于指定损失阈值。
    [0089]
    在又一实施例中,调节单元包括:调节子单元,用于根据第一深度网络模型调整后的第一网络参数,对第二深度网络模型的第二网络参数的权重参数进行指数移动平均处理,调整第二网络参数。训练子单元,用于根据第二深度网络模型调整后的第二网络参数和调整后的第一网络参数,训练第一深度网络模型提取第一人脸图像数据的第一图像数据特征。
    [0090]
    在又一实施例中,第一损失获取单元包括:第一损失获取子单元,用于通过增加间隔的柔性最大激活函数,获取根据第一深度网络模型提取的第一图像数据特征进行分类的第一损失。
    [0091]
    在又一实施例中,历史图像数据特征为第一深度网络模型预先提取其他人脸类别对应第一人脸图像数据的第一图像数据特征。
    [0092]
    上述人脸识别装置的具体限定以及有益效果可以参见上文中对于人脸识别方法的限定,在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
    [0093]
    图6是根据一示例性实施例提出的一种计算机设备的硬件结构示意图。如图6所示,该设备包括一个或多个处理器610以及存储器620,存储器620包括持久内存、易失内存和硬盘,图6中以一个处理器610为例。该设备还可以包括:输入装置630和输出装置640。
    [0094]
    处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接,图6中以通过总线连接为例。
    [0095]
    处理器610可以为中央处理器(central processing unit,cpu)。处理器610还可以为其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
    [0096]
    存储器620作为一种非暂态计算机可读存储介质,包括持久内存、易失内存和硬盘,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本技术实施例中的业务管理方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非暂态软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述任意一种人脸识别方法。
    [0097]
    存储器620可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据、需要使用的数据等。此外,存储器620可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器620可选包括相对于处理器610远程设置的存储器,这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
    [0098]
    输入装置630可接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
    [0099]
    一个或者多个模块存储在存储器620中,当被一个或者多个处理器610执行时,执行如图1-4所示的方法。
    [0100]
    上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,具体可参见如图1-4所示的实施例中的相关描述。
    [0101]
    本发明实施例还提供了一种非暂态计算机存储介质,计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的认证方法。其中,存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)、随机存储记忆体(random access memory,ram)、快闪存储器(flash memory)、硬盘(hard disk drive,缩写:hdd)或固态硬盘(solid-state drive,ssd)等;存储介质还可以包括上述种类的存储器的组合。
    [0102]
    显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
    转载请注明原文地址:https://tc.8miu.com/read-3537.html

    最新回复(0)