本发明属于轨迹追踪,具体涉及一种基于移动侦测和神经网络的云台机追踪方法及系统。
背景技术:
1、追踪技术是传感器和机器视觉技术的重要任务,特别在越来越普及并且逐渐发挥重要作用的家居和安防领域。一方面,随着物联网技术的不断进步和应用领域的扩大,追踪技术的应用场景也将不断扩展;另一方面,随着人工智能、安防领域的不断成熟和消费者需求的不断升级,云台机使用的追踪技术将发挥更加重要的作用。
2、人工智能不断发展的今天,安防领域相关追踪技术已经取得了显著的进步,但在实际应用时仍面临挑战。例如,基于深度学习的算法虽然准确度高,但计算量大、实时性差;而传统的图像处理方法虽然实时性好,但准确度有限。因此,云台机的追踪技术还存在着一定的可提升空间。
技术实现思路
1、为解决现有技术中存在的上述问题,本发明提供了一种基于移动侦测和神经网络的云台机追踪方法,
2、本发明的目的可以通过以下技术方案实现:
3、s1:通过云台机获取移动侦测的统计图像数据,对统计图像数据进行分帧处理得到图像帧序列,对所述图像帧序列添加时间戳得到时序图像帧序列,根据所述时序图像帧序列通过运动识别模型计算得到运动帧集,根据所述时序图像帧序列通过识别模型计算得到识别帧集;
4、s2:根据所述运动帧集和所述识别帧集通过剔除模型计算得到目标运动帧集,根据所述目标运动帧集通过运动提取模型计算得到运动宏块组集,根据所述目标运动帧集通过人物提取模型计算得到目标人物;
5、s3:根据所述运动宏块组集获取参考坐标集,根据所述目标人物获取目标坐标,根据所述目标坐标对所述参考坐标集进行遍历筛选得到目标宏块组;
6、s4:通过所述云台机获取实时图像帧,根据所述实时图像帧通过所述运动提取模型计算得到实测宏块组集,根据所述目标宏块组和所述实测宏块组集通过匹配算法计算得到移位宏块组,根据所述目标宏块组和所述移位宏块组通过转动角度模型计算得到转动角度,智能终端根据所述转动角度产生自适应信号控制所述云台机进行追踪。
7、作为本发明的一种优选技术方案,所述运动识别模型将所述时序图像帧序列依次进行预处理得到预处理图像序列,然后将所述预处理图像序列进行灰度化得到灰度图序列,根据所述灰度图序列和颜色通道权重计算得到每个灰度图的灰度值,根据所述灰度值计算连续两帧所述灰度图的灰度差值,将所述灰度差值与预设阈值进行比对得到变化帧,将每个所述变化帧进行集合得到所述运动帧集。
8、具体地,所述识别模型是基于卷积神经网络实现的,用于判断所述时序图像帧序列中是否出现人,具体计算步骤如下:
9、s301:对所述时序图像帧序列进行预处理得到预处理图像序列,所述预处理包括图像灰度化、去噪、图像增强;
10、s302:根据所述预处理图像序列进行特征提取得到特征数据,所述特征数据包括对形状特征和纹理特征;
11、s303:根据所述特征数据进行降维处理得到降维特征,所述降维处理包括平均归一化、标准化、零成分分析、降维计算;
12、s304:根据所述降维特征通过分类器计算得到识别结果,根据所述识别结果对所述时序图像帧序列进行标的得到所述识别帧集。
13、具体地,所述剔除模型首先根据所述运动帧集通过光照敏感诊断算法得到误判结果,根据所述误判结果对所述运动帧集进行剔除得到净化帧集,根据所述识别帧集的时间戳对所述净化帧集进行遍历筛选得到所述目标运动帧集,所述光照敏感诊断算法计算公式为:
14、
15、其中,x,y为像素点坐标,a为图像区域,s(x,y,t)为t时刻(x,y)像素点的灰度值,a为时间差,c为调节系数,b为检测区域内的像素数目,n为预设阈值。
16、具体地,所述运动提取模型通过将所述目标帧集进行灰度化得到灰度帧集,根据预设宏块宽度对所述灰度帧集进行宏块划分得到划分帧集,根据所述划分帧集计算连续两帧之间的灰度值差,将所述灰度值差与预设阈值进行比对得到运动宏块判定结果,根据所述运动宏块判定结果对所述宏块进行标的得到运动宏块,将相邻的所述运动宏块进行集合得到所述运动宏块组集。
17、具体地,所述人物提取模型是基于识别模型实现的,根据所述目标运动帧集通过所述识别模型计算得到人物识别结果集,获取所述人物识别结果集的坐标域,将所述坐标域与预设的坐标框阈值进行比对得到比对结果,根据所述比对结果对所述人物识别结果集进行筛选得到所述目标人物。
18、具体地,所述转动角度包括水平转动角和垂直转动角,所述转动角度模型通过计算所述目标宏块组和所述实测宏块组之间的坐标差值确定所述云台机的运动方向,根据所述实测宏块组的坐标计算得到所述水平转动角和所述垂直转动角,所述水平转动角计算公式为:
19、
20、其中,θx为水平转动角,x为实测宏块组横坐标,w为画面宽度,θx0为水平视场角;
21、所述垂直转动角计算公式为:
22、
23、其中,θy为水平转动角,y为实测宏块组纵坐标,h为画面高度,θy0为垂直视场角。
24、一种基于移动侦测和神经网络的云台机追踪方法的基于移动侦测和神经网络的云台机追踪系统,包括:图像获取模块、提取模块、比对模块、追踪模块;
25、所述图像获取模块用于通过云台机获取移动侦测的统计图像数据,对统计图像数据进行分帧处理得到图像帧序列,对所述图像帧序列添加时间戳得到时序图像帧序列,根据所述时序图像帧序列通过运动识别模型计算得到运动帧集,根据所述时序图像帧序列通过识别模型计算得到识别帧集;
26、所述提取模块用于根据运动帧集和所述识别帧集通过剔除模型计算得到目标运动帧集,根据所述目标运动帧集通过运动提取模型计算得到运动宏块组集,根据所述目标运动帧集通过人物提取模型计算得到目标人物;
27、所述比对模块用于根据所述运动宏块组集获取参考坐标集,根据所述目标人物获取目标坐标,根据所述目标坐标对所述参考坐标集进行遍历筛选得到目标宏块组;
28、所述追踪模块用于通过所述云台机获取实时图像帧,根据所述实时图像帧通过所述运动提取模型计算得到实测宏块组集,根据所述目标宏块组和所述实测宏块组集通过匹配算法计算得到移位宏块组,根据所述目标宏块组和所述移位宏块组通过转动角度模型计算得到转动角度,智能终端根据所述转动角度产生自适应信号控制所述云台机进行追踪。
29、一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上述所述的基于移动侦测和神经网络的云台机追踪方法。
30、一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如上述所述的基于移动侦测和神经网络的云台机追踪方法。
31、本发明的有益效果为:
32、(1)在追踪识别阶段采用基于卷积神经网络的识别模型对采集到的图像数据进行人物识别得到含有人物的图像帧,提高了对人物识别的准确性。
33、(2)在追踪阶段,根据人物提取模型得到目标人物,根据目标人物的坐标对参考坐标集进行遍历得到目标宏块组,根据目标宏块组通过运动矢量搜索进行实时追踪,解决了在追踪阶段采用深度学习方法带来的实时性差和计算量大的问题。
34、(3)在追踪时,通过中心区域补偿、反向转动补偿、边缘补偿三个相结合的补偿方式,能够更准确地适应电机转动的特性,提高了追踪的准确性和效率。
1.一种基于移动侦测和神经网络的云台机追踪方法,其特征在于,包括:
2.根据权利要求1所述的基于移动侦测和神经网络的云台机追踪方法,其特征在于,所述运动识别模型将所述时序图像帧序列依次进行预处理得到预处理图像序列,然后将所述预处理图像序列进行灰度化得到灰度图序列,根据所述灰度图序列和颜色通道权重计算得到每个灰度图的灰度值,根据所述灰度值计算连续两帧所述灰度图的灰度差值,将所述灰度差值与预设阈值进行比对得到变化帧,将每个所述变化帧进行集合得到所述运动帧集。
3.根据权利要求1所述的基于移动侦测和神经网络的云台机追踪方法,其特征在于,所述识别模型是基于卷积神经网络实现的,用于判断所述时序图像帧序列中是否出现人,具体计算步骤如下:
4.根据权利要求1所述的基于移动侦测和神经网络的云台机追踪方法,其特征在于,所述剔除模型首先根据所述运动帧集通过光照敏感诊断算法得到误判结果,根据所述误判结果对所述运动帧集进行剔除得到净化帧集,根据所述识别帧集的时间戳对所述净化帧集进行遍历筛选得到所述目标运动帧集,所述光照敏感诊断算法计算公式为:
5.根据权利要求1所述的基于移动侦测和神经网络的云台机追踪方法,其特征在于,所述运动提取模型通过将所述目标帧集进行灰度化得到灰度帧集,根据预设宏块宽度对所述灰度帧集进行宏块划分得到划分帧集,根据所述划分帧集计算连续两帧之间的灰度值差,将所述灰度值差与预设阈值进行比对得到运动宏块判定结果,根据所述运动宏块判定结果对所述宏块进行标的得到运动宏块,将相邻的所述运动宏块进行集合得到所述运动宏块组集。
6.根据权利要求1所述的基于移动侦测和神经网络的云台机追踪方法,其特征在于,所述人物提取模型是基于识别模型实现的,根据所述目标运动帧集通过所述识别模型计算得到人物识别结果集,获取所述人物识别结果集的坐标域,将所述坐标域与预设的坐标框阈值进行比对得到比对结果,根据所述比对结果对所述人物识别结果集进行筛选得到所述目标人物。
7.根据权利要求1所述的基于移动侦测和神经网络的云台机追踪方法,其特征在于,所述转动角度包括水平转动角和垂直转动角,所述转动角度模型通过计算所述目标宏块组和所述实测宏块组之间的坐标差值确定所述云台机的运动方向,根据所述实测宏块组的坐标计算得到所述水平转动角和所述垂直转动角,所述水平转动角计算公式为:
8.一种应用权利要求1所述的基于移动侦测和神经网络的云台机追踪方法的基于移动侦测和神经网络的云台机追踪系统,其特征在于,包括:图像获取模块、提取模块、比对模块、追踪模块;
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的基于移动侦测和神经网络的云台机追踪方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的基于移动侦测和神经网络的云台机追踪方法。
