一种视频目标跟踪方法、装置、电子设备及存储介质与流程

1.本技术涉及视频跟踪技术领域，具体而言，涉及一种视频目标跟踪方法、装置、电子设备及存储介质。


背景技术：

2.视频目标跟踪技术，就是在视频的连续帧中定位目标的技术。
3.视频目标跟踪广泛应用在各个领域中，如智能视频监控，视觉导航、医学诊断、虚拟现实等。
4.现有技术中，视频目标跟踪一般采用boosting、mil、kcf、tld、median flow、goturn、mosse和csrt中的一种算法进行跟踪；这些算法功能、原理、效果、速度不一，跟踪运算速度快的跟踪算法不能获取视频中目标尺寸变化特征（即尺度特征），能获取视频中目标尺寸变化特征的跟踪算法的运算速度快较低。
5.针对上述问题，目前尚未有有效的技术解决方案。


技术实现要素：

6.本技术的目的在于提供一种视频目标跟踪方法、装置、电子设备及存储介质，以在保证目标跟踪运算效率的同时获知目标尺度变化情况。
7.第一方面，本技术提供了一种视频目标跟踪方法，用于跟踪视频中的目标，所述方法包括以下步骤：获取视频信息；根据所述视频信息设定初始跟踪目标信息；基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。
8.本技术的视频目标跟踪方法，利用具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法并仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
9.所述的视频目标跟踪方法，其中，所述基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息的步骤包括：根据所述初始跟踪目标信息获取目标位置信息；利用所述具有滤波特性的追踪算法根据所述目标位置信息分析所述视频信息获取所述位置变化信息。
10.所述的视频目标跟踪方法，其中，所述基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息的步骤包括：根据所述初始跟踪目标信息获取目标尺度信息；利用所述具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法根据所述目标尺度信息在不进行目标位置追踪的情况下分析所述视频信息获取所述尺度变化信息。
11.在该示例的视频目标跟踪方法中，为了配合具有滤波特性的追踪算法的运行效率进行使用并在目标跟踪过程中获取目标的尺度变化情况，仅调用具有滤波特性的追踪算法的比例变化计算功能分析获取视频信息的尺度变化信息，从而使得具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法的运行效率能匹配具有滤波特性的追踪算法进行使用，在确保目标跟踪效率高的情况下实现尺度变化信息的分析获取，即实现了目标尺度变化的追踪。
12.所述的视频目标跟踪方法，其中，所述根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪的步骤包括：跟据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以在所述视频信息中的所有帧或指定的连续帧中生成跟踪目标信息。
13.在该示例的视频目标跟踪方法中，生成的跟踪目标信息为本技术的视频目标跟踪方法的输出结果，其旨在视频信息中增加跟踪目标信息来标志目标的位置移动及尺度变化情况，即跟踪目标信息为目标在视频信息进行目标跟踪后的目标标记。
14.所述的视频目标跟踪方法，其中，所述根据所述视频信息设定初始跟踪目标信息的步骤包括：在所述视频信息中任一帧或任意多个连续帧中根据需要跟踪的所述目标设定所述初始跟踪目标信息。
15.所述的视频目标跟踪方法，其中，所述具有尺度变化追踪特性的跟踪算法为tld算法或median flow算法。
16.所述的视频目标跟踪方法，其中，所述具有滤波特性的追踪算法为kcf算法或csrt算法。
17.第二方面，本技术还提供了一种视频目标跟踪装置，用于跟踪视频中的目标，所述装置包括：获取模块，用于获取视频信息；设定模块，用于根据所述视频信息设定初始跟踪目标信息；第一追踪模块，用于基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；第二追踪模块，用于基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；输出模块，用于根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。
18.本技术的一种视频目标跟踪装置，利用具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法并仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
19.第三方面，本技术还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
20.第四方面，本技术还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
21.由上可知，本技术提供了一种视频目标跟踪方法、装置、电子设备及存储介质，其中，视频目标跟踪方法，在设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
附图说明
22.图1为本技术实施例提供的视频目标跟踪方法的流程图。
23.图2为本技术实施例提供的更优选的视频目标跟踪方法的流程图。
24.图3为一视频信息中两图像帧的目标跟踪示意图。
25.图4为另一视频信息中两图像帧的目标跟踪示意图。
26.图5为本技术实施例提供的视频目标跟踪装置的结构示意图。
27.图6为本技术实施例提供的电子设备的结构示意图。
28.附图标记：201、获取模块；202、设定模块；203、第一追踪模块；204、第二追踪模块；205、输出模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
29.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
31.目标跟踪可以基于视频前一帧检测的位置、运动方向和位移速度来预测下一帧的位置，并围绕预测位置进行小范围搜索以准确定位物体。
32.在手术内窥镜使用场景下，随着器官组织的颤动和内窥镜的移动，可使用目标跟踪技术对体内感兴趣目标进行实时的跟踪定位。
33.但随着内窥镜在体内的深度位置不同，跟踪目标在画面中的尺寸会发生改变（即尺度发生改变），现有技术中，跟踪运算速度快的跟踪算法不能获取视频中目标尺寸变化特征（即尺度特征），如kcf算法，能获取视频中目标尺寸变化特征的跟踪算法的运算速度快较低，如median flow算法。
34.第一方面，请参照图1-图2，图1-图2是本技术一些实施例中的一种视频目标跟踪方法，用于跟踪视频中的目标，方法包括以下步骤：s1、获取视频信息；具体地，视频信息为连续的视频流，可以是移动拍摄的视频流，还可以是定点拍摄且视频内具有运动物体的视频流；本技术实施例的视频目标跟踪方法在获取的是移动拍摄的视频流时，主要应用于视觉导航、医学诊断等应用场景中进行目标跟踪，在获取的是定点拍摄且视频具有运动物体的视频流时，主要应用于视频监控、虚拟现实等应用场景中进行目标跟踪；本技术实施例的视频目标跟踪方法优选为应用在移动拍摄的视频流的目标跟踪中，尤其适用于医学诊断领域使用，如对内窥镜获取的视频进行目标跟踪。
35.更具体地，连续的视频流中各帧图像之间表征了运动物体的关于时间方向的位置变化关系，故能用于目标跟踪。
36.更具体地，本技术实施例的视频目标跟踪方法优选为采用基于opencv软件库配置的追踪算法对视频信息进行分析以实现目标跟踪。
37.s2、根据视频信息设定初始跟踪目标信息；具体地，初始跟踪目标信息为视频信息中需要跟踪的目标，可以是通过人机交互的方式进行设定，还可以是基于学习模型根据预设需求在视频信息中搜索设定；在本技术实施例中，初始跟踪目标信息优选为通过人机交互的方式进行设定，使得本技术实施例的视频目标跟踪方法能根据用户的使用需求设定对应的初始跟踪目标信息以进行目标跟踪，适用于不同医疗诊断场合，尤其是在对内窥镜获取的视频进行目标跟踪时，能根据医护人员需求追踪对应的器官或组织或其他体内物。
38.更具体地，初始跟踪目标信息为在视频信息中一帧或多帧中设定的目标。
39.更具体地，初始跟踪目标信息可以是包括目标位置信息和目标规格信息，即包含表征目标位置的图像坐标和表征目标大小的尺寸，还可以是包括边界框架信息，即利用边界框架限定需要跟踪的区域所包含的图像数据以进行对应图像数据的跟踪；在本技术实施例中，优选为采用后者方式设计初始跟踪目标信息，利用边界框架限定需要跟踪的目标能简化目标输入、追踪过程和目标输出，从而提高整个目标追踪的运算效率。
40.更具体地，边界框架为圆形框、凸多边形框或不规则框等，可以根据使用需求进行设定，其中，利用不规则框能准确地标定目标的大小、位置，使得跟踪过程具有更为精确的图像数据作为输入数据供跟踪算法进行精确地运算跟踪，但存在输出复杂的问题；利用圆形框、凸多边形框能快速便捷地确定跟踪目标，能有效简化跟踪算法的输入、输出；在本技术实施例中，优选为采用矩形边框确定初始跟踪目标信息。
41.s3、基于具有滤波特性的追踪算法根据初始跟踪目标信息获取视频信息中目标的位置变化信息；
具体地，具有滤波特性的追踪算法是基于当前帧的图像信息和之前帧的图像信息训练出一个相关滤波器，然后与在后帧的图像信息进行相关性计算，得到的置信图就是预测的跟踪结果。
42.更具体地，在本技术实施例中，设定初始跟踪目标信息应当理解为具有滤波特性的追踪算法根据初始跟踪目标信息初步部署了相关滤波器，能根据滤波特性进行跟踪结果预测以获取视频信息中目标的位置变化信息。
43.更具体地，位置变化信息为跟踪目标的基准点位置变换的轨迹信息，即初始跟踪目标信息的基准点在视频信息的连续帧中的位置变化轨迹。
44.更具体地，由于初始跟踪目标信息优选为矩形边框，因此，位置变化信息优选为矩形边框的基准点的位置变化轨迹，可以是矩形边框的一边角点或对角线交点的位置变化轨迹。
45.更具体地，具有滤波特性的追踪算法与采用其他原理进行跟踪的跟踪算法相比，具有运算高效的特点。
46.s4、基于具有尺度变化追踪特性及利用l-k(lucas-kanade）光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息；具体地，具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法能基于视频流中不同帧之间的具有光学特性的像素变化关系进行视频目标跟踪，并能根据前后帧具有光学特性的像素距离的前后变换关系获取前后帧图像之间的尺度比例关系，即获取了尺度变化信息，从而实现尺度变化追踪，能确认跟踪目标在视频信息中不同帧上的尺度。
47.更具体地，在本技术实施例中，具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法仅用于利用l-k光流法获取尺度变化信息，并不需要进行目标跟踪，即本技术实施例旨在调用具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法的尺度计算功能来获取尺度变化信息，在不完全执行该跟踪算法的所有功能的情况下能有效减少该跟踪算法的运行时间，从而提高本技术实施例的视频目标跟踪方法的运行效率。
48.更具体地，本技术实施例的方法通过屏蔽尺度比例跟踪以外的其余功能来使用具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法。
49.s5、根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪。
50.具体地，利用位置变化信息能对视频信息中的跟踪目标进行基准点的位置跟踪，利用尺度变化信息能分析出视频信息中的跟踪目标的大小相对于初始跟踪目标信息的大小的变化情况，从而实现视频信息中目标的精确定位跟踪。
51.更具体地，由于本技术实施例的视频目标跟踪方法中的初始跟踪目标信息优选为采用边界框架设定，因此，步骤s5应当理解为根据位置变化信息及初始跟踪目标信息确定边界框架在视频信息中不同帧中的位置，并根据尺度变化信息确定边界框架在视频信息中不同帧中的比例大小，以在视频信息的不同帧中生成合适大小、位置的边界框架，以利用该边界框架完成目标跟踪。
52.本技术实施例的视频目标跟踪方法，在设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法分别对视
频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
53.具体地，步骤s3和s4均为根据步骤s2确定的初始跟踪目标信息对步骤s1获取的视频信息进行跟踪分析以分别获取目标的位置变化信息和尺度变化信息，因此，在本技术实施例实施过程中，步骤s3和s4应当理解为没有必然的先后执行顺序，即步骤s3可以执行在步骤s4之后，也可以执行在步骤s4之前，还可以是与步骤s4同时执行，其中，如图2所示，步骤s3优选为与步骤s4同时启动执行，以提高本技术实施例的方法的跟踪计算速度。
54.在一些优选的实施方式中，基于具有滤波特性的追踪算法根据初始跟踪目标信息获取视频信息中目标的位置变化信息的步骤包括：s31、根据初始跟踪目标信息获取目标位置信息；具体地，目标位置信息为用于标记初始跟踪目标信息位置的标志信息，可以是初始跟踪目标信息中的一个基准点的位置，还可以是拟合初始跟踪目标信息中所有像素数据生成的基准点的位置。
55.更具体地，根据前述内容可知，在初始跟踪目标信息优选为矩形边框时，目标位置信息为该矩形边框的基准点的位置，可以是矩形边框的一边角点或对角线交点的位置，在本技术实施例中还可以是基于具有滤波特性的追踪算法分析滤波获取的滤波数据的中心。
56.更具体地，目标位置信息能标志目标在视频信息的设定帧（设定初始跟踪目标信息的图像帧）中的位置，因此，基于该目标位置信息分析目标在视频信息中其余图像帧中的位置变化情况便能获取目标在视频信息中的位置变化情况以实现目标跟踪。
57.s32、利用具有滤波特性的追踪算法根据目标位置信息分析视频信息获取位置变化信息。
58.具体地，具有滤波特性的追踪算法能根据目标位置信息逐帧分析出在后帧中目标的位置，即位置变化信息，其中，在后帧中的目标的位置为基于该追踪算法根据若干邻近的在前帧的目标的位置或所有在前帧的目标的位置进行预测及识别来确定的，即具有滤波特性的追踪算法为基于对视频信息进行滤波处理生成的滤波图像训练一个目标预测器，利用该目标预测器预测并识别出视频信息中目标的位置。
59.更具体地，在后帧中的目标的位置为基于该追踪算法根据所有在前帧的目标的位置进行预测及识别来确定的，使得该追踪算法的目标预测器在目标跟踪过程中逐步训练更新，提高预测及识别精确度，使得目标跟踪更准确并能逐步提高跟踪效率。
60.在一些优选的实施方式中，具有滤波特性的追踪算法为kcf算法或csrt算法。
61.具体地，kcf算法全称为kernel correlation filter 核相关滤波算法，是一种基于滤波器和跟踪块进行相乘获取相关性，并根据相贯线分析获取目标位置的跟踪算法；csrt算法为具有通道和空间可靠性的判别相关滤波器算法，能对非矩形区域的目标进行跟踪。
62.更具体地，csrt算法的跟踪精度略高于kcf算法的跟踪精度，但运算速度不如kcf算法，且由于本技术实施例的视频目标跟踪方法主要应用于矩形边框的目标跟踪，kcf算法
已具有足够高的跟踪精度，因此，本技术实施例优选为采用kcf算法来执行步骤s3，以在确保具有足够的跟踪精度的前提下进一步提高本技术实施例的视频目标跟踪方法的跟踪运算效率。
63.更具体地，采用kcf算法来执行步骤s3时，kcf算法通过滤波分析矩形边框内的滤波核来跟踪目标的位置。
64.在一些优选的实施方式中，基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息的步骤包括：s41、根据初始跟踪目标信息获取目标尺度信息；具体地，目标尺度信息为用于标记初始跟踪目标信息的大小参数信息，可以是一个长度参数，也可以是一个比例参数，还可以是一个面积参数，用于反映目标在设定帧中的大小。
65.更具体地，在初始跟踪目标信息优选为矩形边框时，目标尺度信息用于表征该矩形边框的大小，为矩形边框的长度参数、宽度参数、对角线长度参数中的一个或多个，在本技术实施例中，优选为长度参数和宽度参数。
66.s42、利用具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法根据目标尺度信息分析视频信息获取尺度变化信息。
67.具体地，具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法能根据初始跟踪目标位置分析出在后帧中目标的位置及比例变化，其中，比例变化一般是基于多个特征点的追踪并根据特征点的距离变换关系进行确定的；这类算法的运行精度一般比具有滤波特性的追踪算法更高，但运行速度较慢；在本技术实施例中，为了配合具有滤波特性的追踪算法的运行效率进行使用并在目标跟踪过程中获取目标的尺度变化情况，仅调用具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法的比例变化计算功能分析获取视频信息的尺度变化信息，从而使得具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法的运行效率能匹配具有滤波特性的追踪算法进行使用，在确保目标跟踪效率高的情况下实现尺度变化信息的分析获取，即实现了目标尺度变化的追踪。
68.更具体地，在初始跟踪目标信息优选为矩形边框时，尺度变化信息为可以是矩形边框的变化比例，还可以是矩形边框的变化后的长度参数及宽度具体参数。
69.更具体地，在目标跟踪过程中，目标在视频信息中会产生放大或缩小的情况，对应的尺度变化信息也用于放大或缩小矩形边框，如图3所示，右侧图像帧中的目标显然比左边图像帧中的目标大，步骤s42分析获取到两帧之间的尺度变化信息，即获取了对应的缩放比例，步骤s5根据步骤s32位置变化信息确定的目标的位置并根据步骤s42获取的尺度变化信息对矩形边框放大，右侧图像帧放大后的矩形边框仍能有效、准确地将左侧图像帧的矩形边框标记范围内的组织图像包含在内，完成两帧之间的目标跟踪；反之，如图4所示，在目标在视频信息中缩小时，步骤s5则根据步骤s32位置变化信息确定的目标的位置并根据步骤s42获取的尺度变化信息对矩形边框缩小。
70.在一些优选的实施方式中，具有尺度变化追踪特性的跟踪算法为tld算法或median flow算法。
71.其中，tld（tracking-learning-detection）算法是一种将传统的跟踪算法和传统
的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡、消失等问题，并通过在线学习机制不断更新检测模块的目标模型及相关系数的追踪算法，该算法能根据l-k光流计算对象的尺度变化；median flow算法则是一种基于l-k光流跟踪算法，并使用fb（正向/反向评估点追踪质量的一种方法）、ncc交叉验证进行反馈以进行目标跟踪的追踪算法。
72.在一些优选的实施方式中，具有尺度变化追踪特性的跟踪算法优选为采用median flow算法，该追踪算法相比其余两种追踪算法具有精度及稳定性更高的特点，能更准确地获取尺度变化信息；另外，median flow算法为基于光流法跟踪的，故其能根据基于稀疏光流快速计算不同帧之间的特征点之间的坐标变化情况以获取不同帧之间的比例变化，即能基于前后帧的一对点或多对点的距离变化获取距离变化比例；本技术实施例的视频目标跟踪方法，旨在利用median flow算法中根据前后帧的一对点或多对点的距离变化获取距离变化比例的手段换算尺度变化信息，而不进行目标跟踪，然后综合该尺度变化信息和位置变化信息实现目标的快速跟踪。
73.在一些优选的实施方式中，根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪的步骤包括：s51、根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以在视频信息中的所有帧或指定的连续帧中生成跟踪目标信息。
74.具体地，生成的跟踪目标信息为本技术实施例的视频目标跟踪方法的输出结果，其旨在视频信息中增加跟踪目标信息来标志目标的位置移动及尺度变化情况，即跟踪目标信息为目标在视频信息进行目标跟踪后的目标标记，因此步骤s51可以理解为：根据位置变化信息及尺度变化信息在视频信息中的所有帧或指定的连续帧中，输出带有跟踪目标信息的视频流。
75.更具体地，跟踪目标信息为与初始跟踪目标信息匹配，即初始跟踪目标信息采用矩形边框进行标记时，跟踪目标信息采用与初始跟踪目标信息匹配的矩形边框进行标记。
76.更具体地，在跟踪目标信息为矩形边框时，步骤s51为根据位置变化信息及尺度变化信息在视频信息中所有帧或指定的连续帧中添加由位置变化信息主导位置、由尺度变化信息主导大小的矩形边框，从而实现目标的跟踪标记。
77.在一些优选的实施方式中，根据视频信息设定初始跟踪目标信息的步骤包括：s21、在视频信息中任一帧或任意多个连续帧中根据需要跟踪的目标设定初始跟踪目标信息。
78.具体地，在完整的视频信息中，需要跟踪的目标未必能存在于整个视频的所有帧中，故本技术实施例的视频目标跟踪方法能根据使用需求在视频信息中需要进行目标跟踪的图像帧中进行初始跟踪目标信息的设定。
79.实施例1为更清楚地产生本技术实施例的视频目标跟踪方法的实施过程，下面以kcf算法结合median flow算法来举例说明整个目标跟踪过程，该跟踪过程包括以下步骤：a1、获取一段视频；a2、在视频中确定需要跟踪的目标的出现帧；a3、在出现帧中，或在出现帧及出现帧的后几帧中，采用矩形边框标记该目标，标
记过程应满足：尽可能将目标标记在矩形边框内，尽可能缩小矩形边框尺寸；a4、记录该矩形边框左上角的角点坐标、长度及宽度；a5、启动kcf算法模块和median flow算法模块逐帧地分析该视频以对出现帧的在后帧中的目标进行跟踪，其中，kcf算法模块用于分析目标跟踪过程中，矩形边框左上角的角点的坐标变化情况，median flow算法模块用于分析目标跟踪过程中矩形边框的长度及宽度变化情况，从而在视频中逐帧地添加用于标记目标位置、大小变化情况的矩形边框。
80.为更详细地解释步骤a5的实施过程，以一帧的分析为例，根据利用kcf算法模块和median flow算法模块分析获取的结果在视频中逐帧地添加用于标记目标位置、大小变化情况的矩形边框的处理过程如下：根据kcf算法模块跟踪分析在前帧获取在后一帧的矩形边框的位置参数(x1,y1,w1,h1)，其中，x1、y1分别为kcf算法获取的后一帧的矩形边框的左上角交点的横坐标和纵坐标，w1、h1分别为kcf算法获取的后一帧的矩形边框的长度和宽度；根据median flow算法模块跟踪分析在前帧获取在后一帧的矩形边框的尺寸参数（w2，h2），其中，w2、h2分别为median flow算法获取的后一帧的矩形边框的长度和宽度，故有后一帧的矩形边框的位置参数为(x3, y3, w2, h2)，其中，x3=x1 (w1–
w2)/2，y3=y1 (h2–
h1)/2。
81.根据上述矩形边框的运算流程便能获取视频中各个时刻的矩形边框以对目标进行跟踪标记。
82.另外，median flow算法模块分析矩形边框的长度及宽度变化情况的过程如下：b1、对矩形框内的点进行追踪，给定一个图像序列s，并定义当前时刻为t，设s=(i[t],i[t 1],
…
,i[t k])，i为图像帧，t k为当前时刻t经过k时间间隔后的时刻；b2、点在t时刻的位置为x[t]，使用lk光流跟踪算法（lucas-kanade），向前跟踪k步，得到一个向前轨迹t[k,f]=( x[t] , x[t 1] ,
ꢀ…ꢀ
, x[t k] )，其中f代表forward，k是向前k个序列；b3、建立一个验证轨迹，点x[t k]使用lk光流跟踪算法向后跟踪到x[t]，产生一个验证轨迹 t[k,b] = (x`[t] , x`[t 1] ,
ꢀ…ꢀ
, x`[t k] )，在这里x`[t k]=x[t k]，x`[t]=x[t]，其中b代表backward，k是向后k个序列；b4、对向前轨迹和验证轨迹进行fb验证（forwardbackward error，正向/反向验证）和ncc验证（normalized cross correlation，归一化互相关），过滤掉矩形边框中质量最差的点的50%，对于剩下的点通过中值计算出t 1时刻物体边界盒的位移估计，其中，物体边界盒为矩形边框，故能获取变化后的矩形边框的长度和宽度。
[0083]
kcf算法模块进行目标跟踪属于现有技术手段，在此不再赘述；在训练kcf算法模块目标检测器的过程中，可通过将一帧内的矩形边框内的图像进行循环移位来获取多个训练样本，使得起始时在一帧中设定矩形边框便具有足够多的训练样本来训练kcf算法模块。
[0084]
第二方面，请参照图5，图5是本技术一些实施例中提供的一种视频目标跟踪装置，用于跟踪视频中的目标，装置包括：获取模块201，用于获取视频信息；设定模块202，用于根据视频信息设定初始跟踪目标信息；第一追踪模块203，用于基于具有滤波特性的追踪算法根据初始跟踪目标信息获取视频信息中目标的位置变化信息；
第二追踪模块204，用于基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息；输出模块205，用于根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪。
[0085]
本技术实施例的一种视频目标跟踪装置，在利用设定模块202设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
[0086]
在一些优选的实施方式中，本技术实施例的视频目标跟踪装置用于执行上述第一方面提供的视频目标跟踪方法。
[0087]
第三方面，请参照图6，图6为本技术实施例提供的一种电子设备的结构示意图，本技术提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
[0088]
第四方面，本技术实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read-only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red-only memory, 简称prom），只读存储器（read-only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
[0089]
综上，本技术实施例提供了一种视频目标跟踪方法、装置、电子设备及存储介质，其中，视频目标跟踪方法，在设定初始跟踪目标信息后，利用具有滤波特性的追踪算法、具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法分别对视频信息进行跟踪以获取关于目标的位置变化信息和尺度变化信息，从而实现目标的精准跟踪；具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法仅用于获取尺度变化信息，能有效节省该跟踪算法的运行时间，结合具有运算高效特点的具有滤波特性的追踪算法获取目标的位置变化信息，能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。
[0090]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连
接，可以是电性，机械或其它的形式。
[0091]
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0092]
再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0093]
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
[0094]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种视频目标跟踪方法，用于跟踪视频中的目标，其特征在于，所述方法包括以下步骤：获取视频信息；根据所述视频信息设定初始跟踪目标信息；基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息；基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。2.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所述视频信息中所述目标的位置变化信息的步骤包括：根据所述初始跟踪目标信息获取目标位置信息；利用所述具有滤波特性的追踪算法根据所述目标位置信息分析所述视频信息获取所述位置变化信息。3.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息的步骤包括：根据所述初始跟踪目标信息获取目标尺度信息；利用所述具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法根据所述目标尺度信息在不进行目标位置追踪的情况下分析所述视频信息获取所述尺度变化信息。4.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪的步骤包括：跟据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以在所述视频信息中的所有帧或指定的连续帧中生成跟踪目标信息。5.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述根据所述视频信息设定初始跟踪目标信息的步骤包括：在所述视频信息中任一帧或任意多个连续帧中根据需要跟踪的所述目标设定所述初始跟踪目标信息。6.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述具有尺度变化追踪特性的跟踪算法为tld算法或median flow算法。7.根据权利要求1所述的视频目标跟踪方法，其特征在于，所述具有滤波特性的追踪算法为kcf算法或csrt算法。8.一种视频目标跟踪装置，用于跟踪视频中的目标，其特征在于，所述装置包括：获取模块，用于获取视频信息；设定模块，用于根据所述视频信息设定初始跟踪目标信息；第一追踪模块，用于基于具有滤波特性的追踪算法根据所述初始跟踪目标信息获取所
述视频信息中所述目标的位置变化信息；第二追踪模块，用于基于具有尺度变化追踪特性及利用l-k光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据所述初始跟踪目标信息获取所述视频信息的尺度变化信息；输出模块，用于根据所述位置变化信息及尺度变化信息分别调节所述初始跟踪目标信息的位置和尺度以对所述视频信息中的目标进行跟踪。9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述方法中的步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述方法中的步骤。

技术总结
本发明涉及视频跟踪技术领域，具体公开了一种视频目标跟踪方法、装置、电子设备及存储介质，其中，方法包括以下步骤：获取视频信息；根据视频信息设定初始跟踪目标信息；基于具有尺度变化追踪特性及利用L-K光流法进行追踪的追踪算法在不进行目标位置追踪的情况下根据初始跟踪目标信息获取视频信息的尺度变化信息；根据位置变化信息及尺度变化信息分别调节初始跟踪目标信息的位置和尺度以对视频信息中的目标进行跟踪；该方法能迅速对视频信息中的目标进行包含尺度、位置参数的准确跟踪。位置参数的准确跟踪。位置参数的准确跟踪。


技术研发人员：黄泽鑫 梁江荣 伍思樾 郭志飞 任均宇 吴春波 安昕
受保护的技术使用者：广东欧谱曼迪科技有限公司
技术研发日：2022.04.21
技术公布日：2022/5/25