本发明涉及目标识别及人员追踪,更具体的说是涉及一种融合人脸识别和姿势识别的智能追踪方法及系统。
背景技术:
1、传统的目标人员追踪方法,主要是靠人眼对监控画面中人员的面部特征进行分辨,比对目标人员的头像才能够确定监控画面中人员是否为目标人员。而人工判断的比对效率较低,速度较慢,在人流量较大的地点,人员的更换频率较大。
2、因此为了提高监控视频目标人员追踪效率,基于行人重识别(re-identification,reid)的智能视频分析方法逐渐成为计算机视觉领域的热点。行人重识别技术也称行人再识别,是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。
3、然而由于不同摄像设备之间的差异,同时行人兼具刚性和柔性的特性,面部以及整体外观易受穿着、尺度、遮挡和视角等影响,使得行人重识别在识别效率、准确率等方面仍旧存在不足之处。
4、因此,针对现有技术中仅仅能够对人员面部进行识别等缺陷,如何避免目标人员识别时受穿着、遮挡、视角等因素的影响,提高识别准确性和追踪效率,是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此,本发明提供了一种融合人脸识别和姿势识别的智能追踪方法及系统,旨在提高目标人员的识别准确性,提高追踪效率。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种融合人脸识别和姿势识别的智能追踪方法,包括以下步骤:
4、步骤1、获取目标人员面部资料,通过面部识别,提取目标人员面部特征;
5、步骤2、对搜索区域内的监控视频通过面部识别进行实时目标监测,当监控视频中出现人员与目标人员的面部特征相似度达到预设阈值时,该人员判定为目标人员;
6、步骤3、确定第一追踪信息,发送至指挥中心和/或追踪人员;
7、步骤4、截取目标人员出现在监控视频中的视频片段,对目标人员进行姿势识别,提取目标人员姿势特征;
8、步骤5、对搜索区域内的监控视频进行实时监测,当监控视频中出现人员与目标人员的姿势特征相似度和面部特征相似度至少一项达到预设阈值时,该人员判定为目标人员;
9、步骤6、确定第二追踪信息,发送至指挥中心和/或追踪人员,并返回步骤5进行实时监测。
10、可选的,目标人员面部资料存储在预设的面部资料数据库中,所述面部资料数据库中的面部资料与人员身份信息相对应。
11、可选的,所述第一追踪信息包括:步骤2中出现目标人员的监控视频所在位置信息、目标人员面部资料、步骤2中出现目标人员的监控视频中的目标人员截图;
12、所述第二追踪信息包括:步骤5中出现目标人员的监控视频所在位置信息、目标人员面部资料、步骤5中出现目标人员的监控视频中的目标人员截图。
13、可选的,通过面部识别提取目标人员以及监控视频中人员的面部特征的方法为:
14、面部区域检测:采用轻量级的retinaface网络进行人脸框的检测,该网络的输入为目标人员面部图像或监控视频截图图像,输出人脸框检测结果为:(n,x,y,w,h),其中n为图像中检测到的人脸数量,(x,y,w,h)分别为某一张人脸框的左上角位置坐标(x,y),人脸框的宽度w和高度h;
15、面部特征提取:使用预训练的人脸特征提取模型提取面部特征。
16、可选的,以resnet-101卷积神经网络为基础模型,以人脸图像为输入,以人脸特征为输出,通过人脸图像数据集对resnet-101卷积神经网络进行训练,得到人脸特征提取模型。
17、可选的,所述面部特征相似度和姿势特征相似度的计算方法为:采用余弦相似度算法计算特征之间的相似度。
18、可选的,通过姿势识别提取目标人员或监控视频中其他人员的姿势特征的方法为:
19、将监控视频中的视频片段进行截取,获得目标人员或监控视频中其他人员的若干张连续帧;
20、将若干张连续帧输入预训练的姿势特征提取模型,获取目标人员或监控视频中其他人员的姿势特征。
21、可选的,所述姿势特征提取模型的基础模型为gaitgl网络。
22、一种融合人脸识别和姿势识别的智能追踪系统,包括:
23、面部特征提取模块,用于获取目标人员面部资料,通过面部识别,提取目标人员面部特征;
24、面部特征比较模块,用于对搜索区域内的监控视频通过面部识别进行实时目标监测,当监控视频中出现人员与目标人员的面部特征相似度达到预设阈值时,该人员判定为目标人员;
25、第一追踪信息确定模块,用于确定第一追踪信息,发送至指挥中心和/或追踪人员;
26、姿势特征提取模块,用于截取目标人员出现在监控视频中的视频片段,对目标人员进行姿势识别,提取目标人员姿势特征;
27、双重特征比较模块,用于对搜索区域内的监控视频进行实时监测,当监控视频中出现人员与目标人员的姿势特征相似度和面部特征相似度至少一项达到预设阈值时,该人员判定为目标人员;
28、第二追踪信息确定模块,用于确定第二追踪信息,发送至指挥中心和/或追踪人员,并返回双重特征比较模块进行实时监测。
29、经由上述的技术方案可知,本发明提供了一种融合人脸识别和姿势识别的智能追踪方法及系统,与现有技术相比,具有以下有益效果:
30、本发明首先根据目标人员的面部资料信息,初步确定第一追踪信息,进行初步追踪;进而依据目标人员视频资料,综合面部特征和姿势特征,得到第二追踪信息并进行追踪。本发明在目标人员检测识别的过程中,不仅仅依靠面部特征,还综合了目标人员的姿势特征,进行识别,避免受目标人员穿着、遮挡、视角等因素的影响,提高了目标人员的识别准确率和效率。
31、本发明方案在进行追踪时,不仅仅能够提供目标人员的面部信息和位置信息,还能够通过方案确定出目标人员的外部着装特征以及姿势特征,对目标人员进行追踪,极大提高了追踪的效率和准确性。
1.一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,目标人员面部资料存储在预设的面部资料数据库中,所述面部资料数据库中的面部资料与人员身份信息相对应。
3.根据权利要求1所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,所述第一追踪信息包括:步骤2中出现目标人员的监控视频所在位置信息、目标人员面部资料、步骤2中出现目标人员的监控视频中的目标人员截图;
4.根据权利要求1所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,通过面部识别提取目标人员以及监控视频中人员的面部特征的方法为:
5.根据权利要求4所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,以resnet-101卷积神经网络为基础模型,以人脸图像为输入,以人脸特征为输出,通过人脸图像数据集对resnet-101卷积神经网络进行训练,得到人脸特征提取模型。
6.根据权利要求1所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,所述面部特征相似度和姿势特征相似度的计算方法为:采用余弦相似度算法计算特征之间的相似度。
7.根据权利要求1所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,通过姿势识别提取目标人员或监控视频中其他人员的姿势特征的方法为:
8.根据权利要求7所述的一种融合人脸识别和姿势识别的智能追踪方法,其特征在于,所述姿势特征提取模型的基础模型为gaitgl网络。
9.一种融合人脸识别和姿势识别的智能追踪系统,其特征在于,包括:
