模型训练方法、装置、设备及系统与流程

1.本文件涉及计算机技术领域，尤其涉及一种模型训练方法、装置、设备及系统。


背景技术：

2.近年来，生物识别技术在众多领域中得以广泛应用，例如支付领域、考勤领域、门禁认证领域等。当前的生物识别过程中，由于生物特征的采集设备的计算资源有限，不具备识别模型的训练能力且生物特征的识别性能偏低，因此通常是采集设备将采集到的生物特征图像发送给服务端，由服务端进行生物特征识别和图像存储等操作。然而，生物特征图像的跨设备传输往往存在用户隐私泄露的风险。因此，如何在采集设备的计算资源有限的情况下，实现在采集设备侧高效的生物特征识别是当前急需解决的技术问题。


技术实现要素：

3.本说明书一个或多个实施例提供了一种模型训练方法，应用于图像采集设备。该方法包括采集待识别用户的生物特征图像。基于学生模型对所述生物特征图像进行识别处理，得到识别结果。其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得。若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存。确定是否满足所述学生模型的自蒸馏训练条件。若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
4.本说明书一个或多个实施例提供了一种模型训练方法。该方法包括根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将所述生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
5.本说明书一个或多个实施例提供了一种模型训练方法。该方法包括基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将所述生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。生成所述学生模型的训练记录信息并保存至所述区块链系统中。
6.本说明书一个或多个实施例提供了一种模型训练装置，应用于图像采集设备。该装置包括采集模块，采集待识别用户的生物特征图像。该装置还包括识别模块，基于学生模型对所述生物特征图像进行识别处理，得到识别结果。其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得。该装置还包括第一确定模块，若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存。该装置还包括第二确定模块，确定是否满足所述学生模型的自蒸馏训练条件。该装置还包括训练模块，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
7.本说明书一个或多个实施例提供了一种模型训练装置。该装置包括训练模块，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。该装置还包括发送模块，向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
8.本说明书一个或多个实施例提供了一种模型训练装置。该装置还包括训练模块，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。该装置还包括发送模块，向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。该装置还包括保存模块，生成所述学生模型的训练记录信息并保存至所述区块链系统中。
9.本说明书一个或多个实施例提供了一种模型训练系统。该系统包括服务端和图像采集设备。所述服务端，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。向图像采集设备发送所述学生模型；所述训练样本集中的训练样本包括用户的生物特征。所述图像采集设备，采集待识别用户的生物特征图像；基于接收到的所述学生模型对对所述生物特征图像进行识别处理，得到识别结果。若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存。确定是否满足所述学生模型的自蒸馏训练条件。若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
10.本说明书一个或多个实施例提供了一种模型训练系统。该系统包括区块链系统和图像采集设备。所述区块链系统，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。向所述图像
采集设备发送所述学生模型。以及，生成所述学生模型的训练记录信息并保存至所述区块链系统中。所述训练样本集中的训练样本包括用户的生物特征。所述图像采集设备，采集待识别用户的生物特征图像。基于接收到的所述学生模型对对所述生物特征图像进行识别处理，得到识别结果。若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存。确定是否满足所述学生模型的自蒸馏训练条件。若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
11.本说明书一个或多个实施例提供了一种模型训练设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器采集待识别用户的生物特征图像。基于学生模型对所述生物特征图像进行识别处理，得到识别结果。其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得。若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存。确定是否满足所述学生模型的自蒸馏训练条件。若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
12.本说明书一个或多个实施例提供了一种模型训练设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
13.本说明书一个或多个实施例提供了一种模型训练设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使所述处理器基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。生成所述学生模型的训练记录信息并保存至所述区块链系统中。
14.本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时采集待识别用户的生物特征图像。基于学生模型对所述生物特征图像进行识别处理，得到识别结果。其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得。若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标
样本并保存。确定是否满足所述学生模型的自蒸馏训练条件。若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
15.本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
16.本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被处理器执行时基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。所述训练样本集中的训练样本包括用户的生物特征。向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理。在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存。以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。生成所述学生模型的训练记录信息并保存至所述区块链系统中。
附图说明
17.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1为本说明书一个或多个实施例提供的一种模型训练方法的第一种场景示意图；
19.图2为本说明书一个或多个实施例提供的一种模型训练方法的第一种流程示意图；
20.图3为本说明书一个或多个实施例提供的一种模型训练方法的第二种流程示意图；
21.图4为本说明书一个或多个实施例提供的一种模型训练方法的第三种流程示意图；
22.图5为本说明书一个或多个实施例提供的一种模型训练方法的第四种流程示意图；
23.图6为本说明书一个或多个实施例提供的一种模型训练方法的第五种流程示意
图；
24.图7为本说明书一个或多个实施例提供的一种模型训练方法的第六种流程示意图；
25.图8为本说明书一个或多个实施例提供的一种模型训练方法的第二种场景示意图；
26.图9为本说明书一个或多个实施例提供的一种模型训练方法的第七种流程示意图；
27.图10为本说明书一个或多个实施例提供的一种模型训练装置的第一种模块组成示意图；
28.图11为本说明书一个或多个实施例提供的一种模型训练装置的第二种模块组成示意图；
29.图12为本说明书一个或多个实施例提供的一种模型训练装置的第三种模块组成示意图；
30.图13为本说明书一个或多个实施例提供的一种模型训练系统的第一种组成示意图；
31.图14为本说明书一个或多个实施例提供的一种模型训练系统的第二种组成示意图；
32.图15为本说明书一个或多个实施例提供的一种模型训练设备的结构示意图。
具体实施方式
33.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
34.图1为本说明书一个或多个实施例提供的模型训练方法的应用场景示意图，如图1所示，该场景包括：图像采集设备和服务端。其中，图像采集设备可以是具有生物特征采集功能的物联网设备，例如智能考勤设备、智能门禁设备、智能摄像头设备等(图1中仅示出智能摄像头设备)；图像采集设备还可以是具有生物特征采集功能的终端设备，如手机、平板电脑、台式计算机、便携笔记本式计算机等(图1中仅示出手机)。服务端可以是独立的服务器，如云端服务器、普通的服务器等，服务端也可以是由多个服务器组成的服务器集群。
35.具体的，服务端根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；其中，训练样本集中的训练样本包括用户的生物特征；服务端将得到的学生模型发送给图像采集设备。图像采集设备接收到服务端发送的学生模型后，将学生模型部署于图像采集设备中，并在采集到待识别用户的生物特征图像时，基于自身部署的学生模型对该生物特征图像进行识别处理，得到识别结果。图像采集设备若根据识别结果确定该生物特征图像满足预设的样本累积条件，则将该生物特征图像确定为第一目标样本并保存。以及，图像采集设备确定是否满足学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模
型进行自蒸馏训练处理，得到更新后的学生模型。其中，生物特征图像中包括的生物特征可以是人脸、指纹、掌纹、虹膜等中的一个或多个。由此，在服务端基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量也远小于教师模型，具有较快的识别速率，因此，服务端通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行有效的生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
36.基于上述应用场景架构，本技术一个或多个实施例提供了一种模型训练方法。图2为本说明书一个或多个实施例提供的一种模型训练方法的流程示意图，图2中的方法能够由图1中的图像采集设备执行，如图2所示，该方法包括以下步骤：
37.步骤s102，采集待识别用户的生物特征图像；
38.本说明书实施例提供的模型训练方法，可应用于各种需要进行生物特征识别的场景，例如，基于生物特征识别的支付场景，相应的，待识别用户可以是支付的请求用户；又如，基于生物特征识别的考勤场景，相应的，待识别用户可以是待考勤的用户；再如，基于生物特征识别的业务办理场景，相应的，待识别用户可以是业务办理的请求用户等。可以理解的是，对于不同的应用场景，待识别用户可以是不同类型的用户，这里不再一一列举。
39.步骤s104，基于学生模型对生物特征图像进行识别处理，得到识别结果；其中，学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；
40.具体的，服务端首先根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；其中，训练样本集中的训练样本包括用户的生物特征；服务端将得到的学生模型发送给图像采集设备。图像采集设备在采集到待识别用户的生物特征图像时，将生物特征图像输入学生模型中进行识别处理，得到识别结果。其中，服务端根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理的过程可参见后文的相关描述，重复之处这里不再赘述。
41.步骤s106，若根据识别结果确定生物特征图像满足预设的样本累积条件，则将生物特征图像确定为第一目标样本并保存；
42.为了实现在图像采集设备侧的模型训练，从而不断的提升学生模型的生物特征识别性能，实现对学生模型的优化，本说明书实施例中，图像采集设备在确定采集的生物特征图像满足预设的样本累积条件时，将采集的生物特征图像确定为第一目标样本并保存。
43.步骤s108，确定是否满足学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型。
44.可选地，确定是否到达预设的自蒸馏训练周期，若到达预设的自蒸馏训练周期，且确定保存的第一目标样本的数量不少于第一预设数量，则确定满足学生模型的自蒸馏训练条件；基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型。或者，确定保存的第一目标样本的数量是
否到达第二预设数量，若是，则确定满足学生模型的自蒸馏训练条件；基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型。其中，自蒸馏训练处理的过程可参见后文的相关描述。
45.本说明书一个或多个实施例中，在服务端基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型部署在图像采集设备中，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的有效生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
46.为了不断的提升学生模型的识别准确性，本技术一个或多个实施例中，图像采集设备每次得到识别结果之后，确定识别结果的识别分数，并根据该识别分数确定对应的生物特征图像是否满足预设的样本累计条件。具体的，如图3所示，步骤s104之后还可以包括以下步骤s105-2和步骤s105-4：
47.步骤s105-2，获取识别结果对应的生物特征图像的第一图像特征和待识别用户的基准生物特征图像的第二图像特征；
48.具体的，获取在基于学生模型对生物特征图像进行识别处理过程中，学生模型提取的该生物特征图像的第一图像特征；以及从指定的图像库中获取待识别用户的基准生物特征图像的第二图像特征。其中，指定的图像库中包括多个用户的基准生物特征图像。
49.步骤s105-4，根据第一图像特征和第二图像特征确定识别结果的识别分数；
50.具体的，计算第一图像特征和第二图像特征之间的余弦相似度；根据预设的识别分数计算方式，基于余弦相似度计算识别结果的识别分数。识别分数越高，表征识别结果的准确性越高。在一种实施方式中，预设的识别分数计算方式可以为p＝50 50*《f1，f2》，其中，f1为第一图像特征，f2为第二图像特征，《f1，f2》为第一图像特征与第二图像特征的余弦相似度。需要指出的是，识别分数的计算方式不限为该计算方式，其可以在实际应用中根据需要自行设定。
51.与步骤s105-2和步骤s105-4对应的，如图3所示，步骤s106可以包括以下步骤s106-2：
52.步骤s106-2，若确定识别分数位于预设的第一分数区间，则确定生物特征图像满足预设的样本累积条件，将生物特征图像确定为第一目标样本并保存。
53.在一种实施方式中，可以预先设定分数阈值t，当识别结果的分数大于分数阈值t时，表征识别结果的准确性高，反之表征识别结果的准确性偏低；第一分数区间可是为[t-5，t]。由此，通过累计部分识别结果准确偏低的生物特征图像以及累计部分识别结果准确性高的生物特征图像，并将其作为第一目标样本，从而可基于该第一目标样本对学生模型进行自蒸馏训练处理，而无需从外界获取训练样本，因此能够提升自蒸馏训练的训练效率，以及提升学生模型的准确性。
[0054]
可以理解的是，由于识别结果表征对应的生物特征图像所对应的用户身份，因此，可以第一目标样本的识别结果确定为其标签数据，且在自蒸馏训练处理过程中，第一目标
样本中识别结果准确偏低的部分样本可以作为负样本，第一目标样本中识别结果准确性高的部分样本可以作为正样本。
[0055]
本说明书一个或多个实施例中，为了提升学生模型的准确性，图像采集设备基于融合指导和一对多指导的自蒸馏训练方式进行自蒸馏训练处理。具体的，如图4所示，步骤s108可以包括以下步骤s108-2和步骤s108-4：
[0056]
步骤s108-2，确定是否满足所述学生模型的自蒸馏训练条件，若是，则将保存的第一目标样本划分为至少一个训练集；
[0057]
其中，将保存的第一目标样本划分为至少一个训练集可以包括：按照预设的每个训练集包括的样本数量，将保存的各第一目标样本划分为至少一个训练集。
[0058]
步骤s108-4，基于训练集和预设的第一损失函数，对学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0059]
其中，第一损失函数包括：多分类损失函数、第一自蒸馏损失函数和第二自蒸馏损失函数；多分类损失函数，用于对学生模型每一层输出的图像特征进行分类处理；第一自蒸馏损失函数，用于采用对学生模型各层的分类结果进行融合所得的融合分类结果，对学生模型的每一层的分类结果进行指导；第二自蒸馏损失函数，用于采用学生模型的最后一层输出的图像特征，对学生模型的除最后一层之外的每一层的学习过程进行指导。
[0060]
第一损失函数可以表示为：
[0061][0062]
其中，l
total
表征总损失；b表征学生模型；li为学生模型的第i层，lb为学生模型的总层数；l
ce
(f
b-li，y
)为多分类损失函数，表征对学生模型的第i层输出的图像特征f
b-li
进行分类处理的结果为y；l
kd
(p
b-li
，p
b-ensemble
)为第一自蒸馏损失函数，p
b-li
为学生模型的第i层的分类结果，p
b-ensemble
为对学生模型的各层的分类结果进行融合所得的融合分类结果；l
kd-mse
(f
map-b-li
，resize(f
map-b-lb
))为第二自蒸馏损失函数，f
map-b-li
为学生模型的第i层输出的图像特征，resize(f
map-b-lb
)为学生模型的最后一层输出的图像特征。
[0063]
可选地，当基于第一损失函数确定的损失值到达预设损失值时，停止训练，并将对应的模型确定为更新后的学生模型。或者，当迭代训练的次数到达预设次数时，停止训练，并将对应的模型确定为更新后的学生模型。
[0064]
在自蒸馏训练过程中，通过采用对各层的分类结果进行融合所得的融合分类结果对每一层的分类结果进行指导，即融合指导；以及采用最后一层输出的图像特征，对除最后一层之外的每一层的学习过程进行指导，即一对多指导；不仅能够提升训练速度，而且能够提升学生模型的模型精度。再者，由图像采集设备进行学生模型的自蒸馏训练，以优化学生模型，而无需服务端对学生模型进行优化，因此服务端无需对多个版本的学生模型进行管理，降低了学生模型的管理成本。
[0065]
由于图像采集设备在不断的保存新的第一目标样本，因此每经过一次自蒸馏训练处理后，可以将当前自蒸馏训练处理所使用的第一目标样本删除，并在下一次自蒸馏训练
处理时，使用累计保存的新的第一目标样本进行训练。
[0066]
考虑到在学生模型的使用初期，由于其自蒸馏训练的次数偏少，因而性能略低，可能出现识别分数很低的识别结果。或者在学生模型的性能大幅提升后，由于采集的生物特征图像的质量问题或其他因素可能导致出现识别分数很低的识别结果。为了不断的提升学生模型的识别性能，本说明书一个或多个实施例中，在前述累计保存第一目标样本的基础上，还可以累计保存该识别分数很低的识别结果所对应的第二目标样本，该第二目标样本还可以称为难样本。具体的，如图5所示，步骤s105-4之后还可以包括以下步骤s105-6至步骤s105-10：与步骤s105-6至步骤s105-10对应的，步骤s108可以包括以下步骤s108-6至步骤s108-10：
[0067]
步骤s105-6，若确定识别分数小于预设分数、且重新对待识别用户进行识别处理后识别分数连续小于该预设分数的次数到达预设次数，则将最后一次进行识别处理所采集的生物特征图像确定为第二目标样本并保存；
[0068]
具体的，若确定识别分数小于预设分数，则重新采集待识别用户的生物特征图像，并基于学生模型对重新采集的生物特征图像进行识别处理，得到识别结果；按照前述方式确定该识别结果的识别分数，并确定该识别分数是否小于预设分数；若是则继续按照该方式重新对待识别用户进行识别处理并得到对应的识别分数。确定识别分数连续小于预设分数的次数是否到达预设次数，若是，则将最后一次进行识别处理所采集的生物特征图像确定为第二目标样本并保存。其中，预设分数可以为t-10，预设次数可以为3次，相应的，将连续进行的3次识别处理中，第3次进行识别处理所采集的生物特征图像确定为第二目标样本并保存。
[0069]
步骤s105-8，若确定满足预设的标签获取条件，则根据保存的第二目标样本从服务端获取第二目标样本的标签数据；其中，标签数据由教师模型生成。
[0070]
可选的，若确定第二目标样本的数量到达第三预设数量，则确定满足预设的标签获取条件。或者，若确定到达预设的自蒸馏训练周期，则确定满足预设的标签获取条件。以及，在确定满足标签获取条件时，根据第二目标样本向服务端发送标签数据获取请求。服务端接收到标签数据获取请求时，基于教师模型生成第二目标样本的标签数据，并将标签数据发送给图像采集设备。
[0071]
步骤s105-10，将标签数据与第二目标样本关联保存，执行步骤s108-6；
[0072]
步骤s108-6，若确定满足学生模型的自蒸馏训练条件，则确定是否存在第二目标样本和第二目标样本的标签数据，是则执行步骤s108-8，否则执行步骤s108-10；
[0073]
步骤s108-8，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本、确定的第一目标样本的标签数据、第二目标样本和第二目标样本的标签数据对学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0074]
具体的，将携带标签数据的第一目标样本和携带标签数据的第二目标样本确定为待训练样本；将该待训练样本划分为至少一个训练集，基于训练集和预设的第一损失函数，对学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0075]
步骤s108-10，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本和确定的第一目标样本的标签数据对学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0076]
进一步的，在图像采集设备得到更新后的学生模型之后，方法还包括：基于更新后的学生模型对采集的待识别用户的生物特征图像进行识别处理，得到识别结果。也就是说，图像采集设备每次得到更新后的学生模型后，均将先前部署的学生模型替换为更新后的学生模型，并在采集到待识别用户的生物特征图像之后，基于该更新后的学生模型对生物特征图像进行识别处理，以提升识别的准确性。
[0077]
进一步的，为了实现图像采集设备侧的生物识别和模型训练，本说明书一个或多个实施例中，步骤s102之前还包括：接收服务端发送的学生模型，将接收到的学生模型部署于图像采集设备中。
[0078]
本说明书一个或多个实施例中，在服务端基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型部署在图像采集设备中，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0079]
对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供了另一种模型训练方法，图6为本说明书一个或多个实施例提供的另一种模型训练方法的流程示意图，图6中的方法能够由图1中的服务端执行；如图6所示，该方法包括以下步骤：
[0080]
步骤s202，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；其中，训练样本集中的训练样本包括用户的生物特征；
[0081]
具体的，将训练样本集划分为多个训练子集；分别将每个训练子集输入教师模型中进行特征提取处理，得到训练子集中每个训练样本对应的第三图像特征；基于训练子集、第三图像特征和预设的第二损失函数，对待训练的学生网络进行蒸馏训练处理，得到学生模型。
[0082]
更加具体的，服务端按照预设的训练子集包括的样本数量，将训练样本集划分为多个训练子集；分别将每个训练子集输入预先训练的教师模型中进行特征提取处理，得到训练子集中每个训练样本对应的第三图像特征；迭代的将每个训练子集输入到待训练的学生网络中进行训练处理，得到学生网络输出的每个训练样本对应的第四图像特征，基于第三图像特征、第四图像特征和预设第二损失函数计算损失值，根据损失值调节学生网络的参数，直至确定满足预设的停止训练条件，将对应的学生网络确定为学生模型。
[0083]
其中，第二损失函数包括：多分类损失函数、第一蒸馏损失函数和第二蒸馏损失函数；多分类损失函数，用于对学生网络最后一层输出的第四图像特征进行分类处理；第一蒸馏损失函数，用于表征教师模型输出的第三图像特征与学生网络输出的第四图像特征之间的差异程度；第二蒸馏损失函数，用于采用教师模型最后一层输出的第三图像特征，对学生网络的每个中间层的学习过程进行指导。
[0084]
第二损失函数可以表示为：
[0085][0086]
其中，l
total
表征总损失；a表征教师模型，b表征学生网络；li为学生网络的第i层，lb为学生网络的总层数；l
ce
(x，y)为多分类损失函数，表征对学生网络最后一层输出的第二图像特征x进行分类处理的分类结果为y；l
kd
(fa，fb)为第一蒸馏损失函数，fa为教师模型输出的第一图像特征，fb为学生网络输出的第二图像特征；l
kd-mse
(f
map-b-li
，resize(f
map-a-la
))为第二蒸馏损失函数，f
map-b-1i
为学生网络的每个中间层输出的图像特征；resize(f
map-a-la
)为教师模型的最后一层输出的第一图像特征。
[0087]
由此，在蒸馏训练的过程中，可以通过第一蒸馏损失函数约束学生网络输出的第二图像特征与教师模型输出的第一图像特征尽量保持一致。同时，由于教师模型最后一层输出的第一图像特征的信息密度最大，最适合进行蒸馏指导。因此，本说明书中，通过教师模型最后一层输出的第一图像特征对学生网络的每个中间层的学习过程进行指导，即一对多指导；相较于现有的学生模型的训练过程中，采用教师网络的每个中间层输出的图像特征来对应指导学生网络的中间层的学习，即一对一指导；本说明书中的蒸馏训练方式的效果更佳。
[0088]
进一步的，确定满足预设的停止训练条件可以包括：若确定基于第二损失函数计算的损失值到达预设损失值，则确定满足预设的停止训练条件；或者，若确定每个训练子集的训练次数均到达预设次数，则确定满足预设的停止训练条件。教师模型的训练过程，可参考现有的模型训练过程，对此本说明书中不做具体限定。
[0089]
步骤s204，向图像采集设备发送学生模型，以使图像采集设备基于学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0090]
其中，图像采集设备在接收到学生模型之后的处理过程，可参见前文的相关描述，重复之处这里不再赘述。
[0091]
为了提升图像采集设备中部署的学生模型的性能，本说明书一个或多个实施例中，服务端还可以基于教师模型对学生模型难以识别的生物特征图像进行标签数据的生成处理，从而使图像采集设备基于该生物特征图像及其标签数据对学生模型进行自蒸馏训练处理。具体的，如图7所示，方法还可以包括以下步骤s206至步骤s210：
[0092]
步骤s206，接收图像采集设备发送的标签数据获取请求；其中，标签数据请求包括待标注标签数据的第二目标样本；
[0093]
其中，标签数据获取请求中还可以包括每个第二目标样本的样本标识，该样本标识可以是图像采集设备在保存第二目标样本时根据预设方式所确定，样本标识例如为编号等。
[0094]
步骤s208，基于教师模型生成第二目标样本的标签数据；
[0095]
具体的，将第二目标样本输入教师模型中进行识别处理，根据识别结果确定第二目标样本的标签数据；其中，标签数据用于表征第二目标样本中的生物特征对应的用户身
份。
[0096]
步骤s210，将标签数据发送给图像采集设备，以使图像采集设备利用第一目标样本、第一目标样本的标签数据、第二目标样本和第二目标样本的标签数据对学生模型进行自蒸馏训练处理。
[0097]
具体的，将标签数据与对应的第二目标样本的样本标识关联发送给图像采集设备。
[0098]
本说明书一个或多个实施例中，在服务端基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，服务端通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0099]
考虑到区块链具有不可篡改以及智能合约的自动执行等特性，本说明书一个或多个实施例中，还可以通过区块链系统进行学生模型的训练。图8为本说明书一个或多个实施例提供的另一种模型训练的应用场景示意图，如图8所示，该场景可以包括：区块链系统和图像采集设备。其中，区块链系统包括接入区块链的至少一个区块链节点(图8中仅示出一个)。图像采集设备可以是具有生物特征采集功能的物联网设备，例如智能考勤设备、智能门禁设备、智能摄像头设备等(图8中仅是出智能摄像头设备)；图像采集设备还可以是具有生物特征采集功能的终端设备，如手机、平板电脑、台式计算机、便携笔记本式计算机等(图8中仅示出手机)。
[0100]
具体的，区块链节点基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；其中，训练样本集中的训练样本包括用户的生物特征；区块链节点将学生模型发送给图像采集设备，生成学生模型的训练记录信息并保存至区块链中。图像采集设备接收到区块链节点发送的学生模型后，将学生模型部署于图像采集设备中，并在采集到待识别用户的生物特征图像时，基于自身部署的学生模型对该生物特征图像进行识别处理，得到识别结果。图像采集设备若根据识别结果确定该生物特征图像满足预设的样本累积条件，则将该生物特征图像确定为第一目标样本并保存。以及，图像采集设备确定是否满足学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型。其中，生物特征图像中包括的生物特征可以是人脸、指纹、掌纹、虹膜等中的一个或多个。
[0101]
基于图8所示的应用场景架构，对应前述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供了另一种模型训练方法。图9为本说明书一个或多个实施例提供的另一种模型训练方法的流程示意图，图9中的方法能够由图8中的区块链系统执行，如图9所示，该方法包括以下步骤：
[0102]
步骤s302，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；其中，训练样本集中的训
练样本包括用户的生物特征；
[0103]
具体的，在确定满足蒸馏训练条件时(例如，在接收到蒸馏训练指令时)，调用区块链系统中部署的智能合约，基于智能合约根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型。其中，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型的过程，可参见前述相关描述，重复之处这里不再赘述。
[0104]
步骤s304，向图像采集设备发送学生模型，以使图像采集设备基于学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0105]
其中，图像采集设备接收到学生模型之后的操作可参见前文的相关描述，重复之处这里不再赘述。
[0106]
步骤s306，生成学生模型的训练记录信息并保存至区块链系统中。
[0107]
具体的，根据学生模型的训练时间、确定的学生模型的版本信息等生成学生模型的训练记录信息并保存至区块链系统中。其中，训练记录信息的具体内容可以在实际应用中根据需要自行设定，对此本说明书中不做具体限定。
[0108]
本说明书一个或多个实施例中，在区块链系统中基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，区块链系统通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。再者，基于智能合约进行蒸馏训练处理，能够基于智能合约自动执行、无法人为参与等特性，提升蒸馏训练效率以及学生模型的准确性。通过将学生模型的训练记录信息保存至区块链系统中，能够基于区块链的不可篡改等特性对学生模型的蒸馏训练进行追溯处理。
[0109]
对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种模型训练装置，应用于图像采集设备。图10为本说明书一个或多个实施例提供的一种模型训练装置的模块组成示意图，如图10所示，该装置包括：
[0110]
采集模块401，采集待识别用户的生物特征图像；
[0111]
识别模块402，基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；
[0112]
第一确定模块403，若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；
[0113]
第二确定模块404，确定是否满足所述学生模型的自蒸馏训练条件；
[0114]
自蒸馏训练模块405，若所述第二确定模块的确定结果为是，则基于融合指导和一
对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0115]
可选地，所述装置还包括第三确定模块；
[0116]
所述第三确定模块，获取所述识别结果对应的所述生物特征图像的第一图像特征和所述待识别用户的基准生物特征图像的第二图像特征；根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数；
[0117]
相应的，所述第二确定模块404，若确定所述识别分数位于预设的第一分数区间，则确定所述生物特征图像满足预设的样本累积条件。
[0118]
可选地，所述自蒸馏训练模块405，将所述第一目标样本划分为至少一个训练集；以及，
[0119]
基于所述训练集和预设的第一损失函数，对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0120]
其中，所述第一损失函数包括：多分类损失函数、第一自蒸馏损失函数和第二自蒸馏损失函数；所述多分类损失函数，用于对所述学生模型每一层输出的图像特征进行分类处理；所述第一自蒸馏损失函数，用于采用对所述学生模型各层的分类结果进行融合所得的融合分类结果，对所述学生模型的每一层的分类结果进行指导；所述第二自蒸馏损失函数，用于采用所述学生模型的最后一层输出的图像特征，对所述学生模型的除所述最后一层之外的每一层的学习过程进行指导。
[0121]
本说明书一个或多个实施例提供的模型训练装置，利用学生模型对待识别用户的生物特征图像进行识别处理，并在确定满足学生模型的自蒸馏训练条件时，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，学生模型由服务端基于教师模型进行蒸馏训练所得。由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型部署于图像采集设备，使得模型训练装置在图像采集设备有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0122]
对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供另一种模型训练装置，应用于服务端。图11为本说明书一个或多个实施例提供的另一种模型训练装置的模块组成示意图，如图11所示，该装置包括：
[0123]
蒸馏训练模块501，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0124]
发送模块502，向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏
训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0125]
可选地，所述蒸馏训练模块501，将所述训练样本集划分为多个训练子集；以及，
[0126]
分别将每个所述训练子集输入所述教师模型中进行特征提取处理，得到所述训练子集中每个训练样本对应的第三图像特征；
[0127]
基于所述训练子集、所述第三图像特征和预设的第二损失函数，对所述待训练的学生网络进行蒸馏训练处理；
[0128]
其中，所述第二损失函数包括：多分类损失函数、第一蒸馏损失函数和第二蒸馏损失函数；所述多分类损失函数，用于对所述学生网络最后一层输出的第四图像特征进行分类处理；所述第一蒸馏损失函数，用于表征所述教师模型输出的所述第三图像特征与所述学生网络输出的所述第四图像特征之间的差异程度；所述第二蒸馏损失函数，用于采用所述教师模型最后一层输出的所述第三图像特征，对所述学生网络的每个中间层的学习过程进行指导。
[0129]
本说明书一个或多个实施例提供的模型训练装置，基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0130]
对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供另一种模型训练装置，应用于区块链系统。图12为本说明书一个或多个实施例提供的另一种模型训练装置的模块组成示意图，如图12所示，该装置包括：
[0131]
蒸馏训练模块601，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0132]
发送模块602，向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0133]
保存模块603，生成所述学生模型的训练记录信息并保存至所述区块链系统中。
[0134]
本说明书一个或多个实施例提供的模型训练装置，在区块链系统中基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第
一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。再者，基于智能合约进行蒸馏训练处理，能够基于智能合约自动执行、无法人为参与等特性，提升蒸馏训练效率以及学生模型的准确性。通过将学生模型的训练记录信息保存至区块链系统中，能够基于区块链的不可篡改等特性对学生模型的蒸馏训练进行追溯处理。
[0135]
需要说明的是，本说明书中关于模型训练装置的实施例与本说明书中关于模型训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的模型训练方法的实施，重复之处不再赘述。
[0136]
进一步的，对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种模型训练系统。图13为本说明书一个或多个实施例提供的一种模型训练系统的组成示意图，如图13所示，该系统包括：服务端701和图像采集设备702；
[0137]
所述服务端701，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；向图像采集设备702发送所述学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0138]
所述图像采集设备702，采集待识别用户的生物特征图像；基于接收到的所述学生模型对对所述生物特征图像进行识别处理，得到识别结果；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件；若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0139]
本说明书一个或多个实施例提供的模型训练系统，在服务端基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，服务端通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0140]
进一步的，对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种模型训练系统。图14为本说明书一个或多个实施例提供的一种模型训练系统的组成示意图，如图14所示，该系统包括：区块链系统801和图像采集设备802；
[0141]
所述区块链系统801，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；向所述图像采集设备802发送所述学生模型；以及，生成所述学生模型的训练记录信息并保存至所述区块链系统801中；所述训练样本集中的训练样本包括用户的生物特征；
[0142]
所述图像采集设备802，采集待识别用户的生物特征图像；基于接收到的所述学生
模型对对所述生物特征图像进行识别处理，得到识别结果；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件；若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0143]
本说明书一个或多个实施例提供的模型训练系统，在区块链系统中基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，区块链系统通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。再者，基于智能合约进行蒸馏训练处理，能够基于智能合约自动执行、无法人为参与等特性，提升蒸馏训练效率以及学生模型的准确性。通过将学生模型的训练记录信息保存至区块链系统中，能够基于区块链的不可篡改等特性对学生模型的蒸馏训练进行追溯处理。
[0144]
需要说明的是，本说明书中关于模型训练系统的实施例与本说明书中关于模型训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的模型训练方法的实施，重复之处不再赘述。
[0145]
进一步地，对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种模型训练设备，该设备用于执行上述的模型训练方法，图15为本说明书一个或多个实施例提供的一种模型训练设备的结构示意图。
[0146]
如图15所示，模型训练设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器901和存储器902，存储器902中可以存储有一个或一个以上存储应用程序或数据。其中，存储器902可以是短暂存储或持久存储。存储在存储器902的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括模型训练设备中的一系列计算机可执行指令。更进一步地，处理器901可以设置为与存储器902通信，在模型训练设备上执行存储器902中的一系列计算机可执行指令。模型训练设备还可以包括一个或一个以上电源903，一个或一个以上有线或无线网络接口904，一个或一个以上输入输出接口905，一个或一个以上键盘906等。
[0147]
在一个具体的实施例中，模型训练设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型训练设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0148]
采集待识别用户的生物特征图像；
[0149]
基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；
[0150]
若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；
[0151]
确定是否满足所述学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0152]
可选地，计算机可执行指令在被执行时，所述基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型，包括：
[0153]
将所述第一目标样本划分为至少一个训练集；
[0154]
基于所述训练集和预设的第一损失函数，对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0155]
其中，所述第一损失函数包括：多分类损失函数、第一自蒸馏损失函数和第二自蒸馏损失函数；所述多分类损失函数，用于对所述学生模型每一层输出的图像特征进行分类处理；所述第一自蒸馏损失函数，用于采用对所述学生模型各层的分类结果进行融合所得的融合分类结果，对所述学生模型的每一层的分类结果进行指导；所述第二自蒸馏损失函数，用于采用所述学生模型的最后一层输出的图像特征，对所述学生模型的除所述最后一层之外的每一层的学习过程进行指导。
[0156]
本说明书一个或多个实施例提供的模型训练设备，利用学生模型对待识别用户的生物特征图像进行识别处理，并在确定满足学生模型的自蒸馏训练条件时，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，学生模型由服务端基于教师模型进行蒸馏训练所得。由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型部署于模型训练设备，使得模型训练设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0157]
在另一个具体的实施例中，模型训练设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型训练设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0158]
根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0159]
向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模
型。
[0160]
可选地，计算机可执行指令在被执行时，所述根据获取的训练样本和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，包括：
[0161]
将所述训练样本集划分为多个训练子集；
[0162]
分别将每个所述训练子集输入所述教师模型中进行特征提取处理，得到所述训练子集中每个训练样本对应的第三图像特征；
[0163]
基于所述训练子集、所述第三图像特征和预设的第二损失函数，对所述待训练的学生网络进行蒸馏训练处理；
[0164]
其中，所述第二损失函数包括：多分类损失函数、第一蒸馏损失函数和第二蒸馏损失函数；所述多分类损失函数，用于对所述学生网络最后一层输出的第四图像特征进行分类处理；所述第一蒸馏损失函数，用于表征所述教师模型输出的所述第三图像特征与所述学生网络输出的所述第四图像特征之间的差异程度；所述第二蒸馏损失函数，用于采用所述教师模型最后一层输出的所述第三图像特征，对所述学生网络的每个中间层的学习过程进行指导。
[0165]
本说明书一个或多个实施例提供的模型训练设备，基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0166]
在另一个具体的实施例中，模型训练设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对模型训练设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0167]
基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0168]
向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0169]
生成所述学生模型的训练记录信息并保存至所述区块链系统中。
[0170]
本说明书一个或多个实施例提供的模型训练设备，在区块链系统中基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学
生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。再者，基于智能合约进行蒸馏训练处理，能够基于智能合约自动执行、无法人为参与等特性，提升蒸馏训练效率以及学生模型的准确性。通过将学生模型的训练记录信息保存至区块链系统中，能够基于区块链的不可篡改等特性对学生模型的蒸馏训练进行追溯处理。
[0171]
需要说明的是，本说明书中关于模型训练设备的实施例与本说明书中关于模型训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的模型训练方法的实施，重复之处不再赘述。
[0172]
进一步地，对应上述描述的模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一个具体的实施例中，该存储介质可以为u盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
[0173]
采集待识别用户的生物特征图像；
[0174]
基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；
[0175]
若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；
[0176]
确定是否满足所述学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0177]
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型，包括：
[0178]
将所述第一目标样本划分为至少一个训练集；
[0179]
基于所述训练集和预设的第一损失函数，对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0180]
其中，所述第一损失函数包括：多分类损失函数、第一自蒸馏损失函数和第二自蒸馏损失函数；所述多分类损失函数，用于对所述学生模型每一层输出的图像特征进行分类处理；所述第一自蒸馏损失函数，用于采用对所述学生模型各层的分类结果进行融合所得的融合分类结果，对所述学生模型的每一层的分类结果进行指导；所述第二自蒸馏损失函数，用于采用所述学生模型的最后一层输出的图像特征，对所述学生模型的除所述最后一层之外的每一层的学习过程进行指导。
[0181]
本说明书一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，利用学生模型对待识别用户的生物特征图像进行识别处理，并在确定满足学生
模型的自蒸馏训练条件时，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，学生模型由服务端基于教师模型进行蒸馏训练所得。由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型部署于图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0182]
在另一个具体的实施例中，该存储介质可以为u盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
[0183]
根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0184]
向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。
[0185]
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述根据获取的训练样本和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，包括：
[0186]
将所述训练样本集划分为多个训练子集；
[0187]
分别将每个所述训练子集输入所述教师模型中进行特征提取处理，得到所述训练子集中每个训练样本对应的第三图像特征；
[0188]
基于所述训练子集、所述第三图像特征和预设的第二损失函数，对所述待训练的学生网络进行蒸馏训练处理；
[0189]
其中，所述第二损失函数包括：多分类损失函数、第一蒸馏损失函数和第二蒸馏损失函数；所述多分类损失函数，用于对所述学生网络最后一层输出的第四图像特征进行分类处理；所述第一蒸馏损失函数，用于表征所述教师模型输出的所述第三图像特征与所述学生网络输出的所述第四图像特征之间的差异程度；所述第二蒸馏损失函数，用于采用所述教师模型最后一层输出的所述第三图像特征，对所述学生网络的每个中间层的学习过程进行指导。
[0190]
本说明书一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且
实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。
[0191]
在另一个具体的实施例中，该存储介质可以为u盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
[0192]
基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
[0193]
向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；
[0194]
生成所述学生模型的训练记录信息并保存至所述区块链系统中。
[0195]
本说明书一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时，在区块链系统中基于教师模型进行蒸馏训练得到学生模型，而由于学生模型具有与教师模型相近的生物识别性能，但学生模型的结构比教师模型的结构简单，学生模型在识别过程中所需的参数量要远小于教师模型，具有较快的识别速率，因此，通过将学生模型发送给图像采集设备，使得图像采集设备在有限的计算资源的情况下，能够基于该学生模型进行生物识别处理，并基于累计的第一目标样本对学生模型进行自蒸馏训练；不仅实现了图像采集设备侧的生物特征识别，避免了生物特征图像跨设备传输所造成的用户隐私泄露风险；而且实现了图像采集设备侧的周期性模型训练，能够不断的提升学生模型的性能，进而提升图像采集设备侧的生物识别的准确性。再者，基于智能合约进行蒸馏训练处理，能够基于智能合约自动执行、无法人为参与等特性，提升蒸馏训练效率以及学生模型的准确性。通过将学生模型的训练记录信息保存至区块链系统中，能够基于区块链的不可篡改等特性对学生模型的蒸馏训练进行追溯处理。
[0196]
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于模型训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的模型训练方法的实施，重复之处不再赘述。
[0197]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0198]
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件
(programmable logic device，pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0199]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0200]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0201]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0202]
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0203]
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每
一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0204]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0205]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0206]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0207]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0208]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0209]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0210]
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0211]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实
施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0212]
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。

技术特征：
1.一种模型训练方法，应用于图像采集设备，包括：采集待识别用户的生物特征图像；基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。2.根据权利要求1所述的方法，所述基于学生模型对所述生物特征图像进行识别处理，得到识别结果之后，还包括：获取所述识别结果对应的所述生物特征图像的第一图像特征和所述待识别用户的基准生物特征图像的第二图像特征；根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数；所述若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，包括：若确定所述识别分数位于预设的第一分数区间，则确定所述生物特征图像满足预设的样本累积条件。3.根据权利要求2所述的方法，所述根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数，包括：计算所述第一图像特征和所述第二图像特征之间的余弦相似度；根据预设的识别分数计算方式，基于所述余弦相似度计算所述识别结果的识别分数。4.根据权利要求1所述的方法，所述基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型，包括：将所述第一目标样本划分为至少一个训练集；基于所述训练集和预设的第一损失函数，对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，所述第一损失函数包括：多分类损失函数、第一自蒸馏损失函数和第二自蒸馏损失函数；所述多分类损失函数，用于对所述学生模型每一层输出的图像特征进行分类处理；所述第一自蒸馏损失函数，用于采用对所述学生模型各层的分类结果进行融合所得的融合分类结果，对所述学生模型的每一层的分类结果进行指导；所述第二自蒸馏损失函数，用于采用所述学生模型的最后一层输出的图像特征，对所述学生模型的除所述最后一层之外的每一层的学习过程进行指导。5.根据权利要求2所述的方法，所述根据所述第一图像特征和所述第二图像特征确定所述识别结果的识别分数之后，还包括：若确定所述识别分数小于预设分数、且重新对所述待识别用户进行识别处理后所述识别分数连续小于所述预设分数的次数到达预设次数，则将最后一次进行识别处理所采集的生物特征图像确定为第二目标样本并保存；若确定满足预设的标签获取条件，则根据保存的所述第二目标样本从所述服务端获取
所述第二目标样本的标签数据；其中，所述标签数据由所述教师模型生成；将所述标签数据与所述第二目标样本关联保存；所述利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型，包括：确定是否存在所述第二目标样本和所述标签数据；若是，则利用保存的所述第一目标样本、确定的所述第一目标样本的标签数据、所述第二目标样本和所述第二目标样本的标签数据对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。6.根据权利要求1所述的方法，所述得到更新后的学生模型之后，还包括：基于所述更新后的学生模型对采集的待识别用户的生物特征图像进行识别处理，得到识别结果。7.根据权利要求1所述的方法，所述基于学生模型对采集的待识别用户的生物特征图像进行识别处理之前，还包括：接收所述服务端发送的所述学生模型；将所述学生模型部署于所述图像采集设备中。8.一种模型训练方法，包括：根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将所述生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。9.根据权利要求8所述的方法，所述根据获取的训练样本和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，包括：将所述训练样本集划分为多个训练子集；分别将每个所述训练子集输入所述教师模型中进行特征提取处理，得到所述训练子集中每个训练样本对应的第三图像特征；基于所述训练子集、所述第三图像特征和预设的第二损失函数，对所述待训练的学生网络进行蒸馏训练处理；其中，所述第二损失函数包括：多分类损失函数、第一蒸馏损失函数和第二蒸馏损失函数；所述多分类损失函数，用于对所述学生网络最后一层输出的第四图像特征进行分类处理；所述第一蒸馏损失函数，用于表征所述教师模型输出的所述第三图像特征与所述学生网络输出的所述第四图像特征之间的差异程度；所述第二蒸馏损失函数，用于采用所述教师模型最后一层输出的所述第三图像特征，对所述学生网络的每个中间层的学习过程进行指导。10.根据权利要求8所述的方法，所述方法还包括：接收所述图像采集设备发送的标签数据获取请求；所述标签数据请求包括待标注标签
数据的第二目标样本；基于所述教师模型生成所述第二目标样本的标签数据；将所述标签数据发送给所述图像采集设备，以使所述图像采集设备利用所述第一目标样本、所述第一目标样本的标签数据、所述第二目标样本和所述第二目标样本的标签数据对所述学生模型进行自蒸馏训练处理。11.一种模型训练方法，包括：基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将所述生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；生成所述学生模型的训练记录信息并保存至所述区块链系统中。12.一种模型训练装置，应用于图像采集设备，包括：采集模块，采集待识别用户的生物特征图像；识别模块，基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；第一确定模块，若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；第二确定模块，确定是否满足所述学生模型的自蒸馏训练条件；自蒸馏训练模块，若所述第二确定模块的确定结果为是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。13.一种模型训练装置，包括：蒸馏训练模块，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；发送模块，向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将所述生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。14.一种模型训练装置，包括：蒸馏训练模块，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
发送模块，向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将所述生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；保存模块，生成所述学生模型的训练记录信息并保存至所述区块链系统中。15.一种模型训练系统，包括：服务端和图像采集设备；所述服务端，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；向所述图像采集设备发送所述学生模型；所述训练样本集中的训练样本包括用户的生物特征；所述图像采集设备，采集待识别用户的生物特征图像；基于接收到的所述学生模型对对所述生物特征图像进行识别处理，得到识别结果；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件；若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。16.一种模型训练系统，包括：区块链系统和图像采集设备；所述区块链系统，基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；向所述图像采集设备发送所述学生模型；以及，生成所述学生模型的训练记录信息并保存至所述区块链系统中；所述训练样本集中的训练样本包括用户的生物特征；所述图像采集设备，采集待识别用户的生物特征图像；基于接收到的所述学生模型对对所述生物特征图像进行识别处理，得到识别结果；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件；若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。17.一种模型训练设备，包括：处理器；以及，被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：采集待识别用户的生物特征图像；基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，
得到更新后的学生模型。18.一种模型训练设备，包括：处理器；以及，被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。19.一种模型训练设备，包括：处理器；以及，被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；生成所述学生模型的训练记录信息并保存至所述区块链系统中。20.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：采集待识别用户的生物特征图像；基于学生模型对所述生物特征图像进行识别处理，得到识别结果；其中，所述学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得；若根据所述识别结果确定所述生物特征图像满足预设的样本累积条件，则将所述生物特征图像确定为第一目标样本并保存；确定是否满足所述学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。21.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；
向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型。22.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：基于区块链系统中的智能合约，根据获取的训练样本集和预先训练的教师模型对待训练的学生网络进行蒸馏训练处理，得到学生模型；所述训练样本集中的训练样本包括用户的生物特征；向图像采集设备发送所述学生模型，以使所述图像采集设备基于所述学生模型对采集的待识别用户的生物特征图像进行识别处理，在根据识别结果确定所述生物特征图像满足预设的样本累积条件时，将生物特征图像确定为第一目标样本并保存；以及在确定满足所述学生模型的自蒸馏训练条件时，基于融合指导和一对多指导的自蒸馏训练方式，利用保存的所述第一目标样本对所述学生模型进行自蒸馏训练处理，得到更新后的学生模型；生成所述学生模型的训练记录信息并保存至所述区块链系统中。

技术总结
本说明书实施例提供了一种模型训练方法、装置、设备及系统，其中方法包括：图像采集设备采集待识别用户的生物特征图像，基于学生模型对生物特征图像进行识别处理，得到识别结果；若根据识别结果确定生物特征图像满足预设的样本累积条件，则将生物特征图像确定为第一目标样本并保存；确定是否满足学生模型的自蒸馏训练条件，若是，则基于融合指导和一对多指导的自蒸馏训练方式，利用保存的第一目标样本对学生模型进行自蒸馏训练处理，得到更新后的学生模型；其中，学生模型由服务端基于预先训练的教师模型对待训练的学生网络进行蒸馏训练所得。所得。所得。


技术研发人员：曹佳炯 丁菁汀
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2022.02.18
技术公布日：2022/5/25