基于概率标签的目标跟踪方法、系统、终端及介质

1.本发明涉及目标跟踪技术领域，具体地，涉及一种基于概率标签的目标跟踪方法、系统、终端及介质。


背景技术：

2.目标跟踪是计算机视觉中最重要的研究领域之一，有着诸多广泛的应用，如视频监控，人机交控，医学图像等。在目标跟踪过程中，给定目标在视频序列第一帧中的位置，要求目标跟踪器输出目标在后续帧中的位置。目标跟踪器通常包括五个部分：运动模型、特征提取器、预测模型、模板更新器和后续集成器，其中，运动模型根据上一帧的跟踪结果在当前帧中生成若干可能包含目标的候选区域；特征提取器对生成的候选区域提取特征；预测模型利用训练的分类模型识别出目标；模板更新器利用当前帧的跟踪结果更新目标模板；后续集成器对可能存在的多个跟踪结果进行集成，输出最终的跟踪结果。
3.在非深度学习的算法中，相关滤波算法因其简洁高效，成为最为广泛应用的目标跟踪算法。这种算法通过相关滤波计算图像之间的相似度，选取与模板相似度最大的候选区域作为模板新的位置。在时域的相关滤波运算可通过离散傅里叶变换转变为在频域的点乘运算，从而减低算法的时间复杂度。核化相关滤波器是目标跟踪领域最经典的相关滤波算法。这个算法使用循环矩阵编码目标所有可能的位置移动。循环矩阵最大的特点在于可以被离散傅里叶对角化。核化相关滤波器训练岭回归来识别目标，同时引入核函数将输入输出的非线性问题转化为线性问题。经过离散傅里叶变换优化后，核化相关滤波器跟踪目标只需要进行线性的运算，因而在cpu上的运行速度可以超过100pfs。相关滤波算法使用hog特征，hog是基于灰度图的特征，无法提取出图像的彩色信息；相关滤波算法对目标的预测仅仅是通过简单的预测目标的中心点，没有对目标的尺度变化进行预测。
4.基于深度神经网络和卷积神经网络的算法在计算机视觉的许多领域取得了巨大的成功，例如图像识别、目标检测和语义分割等。但是，对于跟踪器而言，缺少目标的类别信息，因此难以采用类似的识别检测算法来定位目标。孪生神经网络摒弃了对目标的分类，将跟踪任务转化为模板匹配问题，端到端地训练卷积神经网络。训练样本不是单张图像，而是一组图像对，包括目标模板图像和待搜索图像。每组训练样本对是从同一视频序列的不同帧选取的，并且经过填充保证目标在图像的中心位置。孪生神经网络包含两个分支：目标模板分支和搜索区域分支，两个分支采用相同的特征提取网络。目标模板图像大小是127*127，相应的特征图大小是6*6；待搜索图像大小是255*255，相应的特征图大小是22*22。之后将两个特征图进行互相关运算，输出17*17的响应矩阵。矩阵中的每个值表示了相应的候选区域的响应值大小。
5.孪生神经网络采用反向传播算法进行端到端的训练，训练标签的大小同样为17*17。标签上到中心位置的距离小于等于某阈值的元素被设置为1，其余元素为0。因为在目标模板图像和待搜索图像中，目标都处于中心位置，中心位置的响应值应该较大，边缘位置的响应值应该较小。损失函数采用交叉熵损失函数，每个响应值经过sigmoid函数归一化后计
算与标签之间的损失，将所有损失相加取平均后进行反向传播。
6.在跟踪时，目标模板图像通常是目标在第一帧中的图像，待搜索图像通常是待跟踪帧上以目标在上一帧的位置为中心的子区域。目标在新的一帧的位置由响应矩阵最大值决定。为了应对目标在视频序列中的尺度变化，孪生神经网络会考察不同尺度的待搜索图像，将他们缩放到同样大小后输入到网络中，响应值最大的图像的尺度即目标在下一帧的尺度。
7.在孪生神经网络的基础上，研究人员又提出了一些改进的算法。然而，大多数基于孪生神经网络的目标跟踪算法都是使用二值化标签训练网络。这样的训练方法主要有以下两点不足：
8.1、使用sigmoid函数对单个响应值归一化。各个候选区域包含目标，这是互斥事件。若一个候选区域包含目标的概率很大，那么其他候选区域的响应值应该被抑制；如果使用sigmoid函数对单个响应值归一化，则起不到这样的作用。
9.2、二值化的训练标签包含较少的监督信息。二值化标签只能表示正样本和负样本，而目标跟踪与目标识别有所不同，目标跟踪除了要求识别出目标，还要求定位目标；因此，如果目标在候选区域的不同位置，这些样本应该被分配不同的标签。
10.经过检索发现：
11.公开号为cn112085765a的中国发明专利申请《结合粒子滤波及度量学习的视频目标跟踪方法》，首先离线训练可有效获取目标高层抽象特征的卷积神经网络；而后，基于核回归度量学习方法学习加权距离度量矩阵以最小化核回归预测误差，并利用梯度下降法求解所得最优化问题进而获得表征最优候选目标的距离度量矩阵；再者，基于所得最优候选目标预测值计算重构误差以构建目标观测模型；最后，引入短时与长期稳定更新相结合的更新策略，并基于粒子滤波跟踪框架实现目标有效跟踪。
12.公开号为cn113554679a的中国发明专利申请《一种面向计算机视觉应用的无锚框目标跟踪算法》，基于孪生架构的交叉感知网络模型siamcross，在siamcross中，基于孪生网络分支的互监督，设计了全新的孪生交叉感知子网络scan。scan可使得孪生网络提取的特征能够有效感知并区分前景和背景。基于无锚框的区域候选网络将跟踪任务直接定义为对每个像素的分类和回归，网络分支特征可各自聚焦于目标的局部与全局空间信息。该算法具有如下问题：
13.以上两个方法的标注方式均为二值化标签，未能全面地刻画候选区域信息，会影响到深度网络对特征的提取和识别能力；另一方面，算法较为复杂，影响跟踪效率。本发明则巧妙地利用复杂的模板跟踪器来生成概率标签，利用所述含有丰富信息的概率标签训练目标跟踪器，用参数量小的目标跟踪器进行实时跟踪，在发挥复杂网络优势的同时，保证了跟踪效率。


技术实现要素：

14.针对现有技术中的不足，本发明提供了一种基于概率标签的目标跟踪方法、系统、终端及介质，使用概率标签来训练孪生神经网络，使得在包含较少参数的情况下依然可以取得接近模板跟踪器的性能。
15.根据本发明的一个方面，提供了一种基于概率标签的目标跟踪方法，包括：
16.构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练；
17.利用训练后的所述模板跟踪器，产生概率标签；
18.基于所述模板跟踪器，构建目标跟踪器，并采用所述概率标签，对所述目标跟踪器进行训练；
19.利用训练后的所述目标跟踪器对给定目标进行跟踪，并输出目标跟踪结果；
20.其中：
21.训练后的所述模板跟踪器的输出结果经softmax归一化后得到所述概率标签；所述概率标签中的任意一个值均大于0且小于1；所述概率标签中的元素表示搜索图像中相应的候选区域的标签，所述搜索图像中相应的候选区域的标签表示目标出现在所述候选区域中心位置的概率；
22.训练后的所述目标跟踪器的输出结果经softmax归一化后得到所述目标跟踪结果。
23.优选地，所述构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练，包括：
24.采用孪生神经网络构建所述模板跟踪器；
25.利用二值化标签在线或离线对所述模板跟踪器进行训练。
26.优选地，所述利用二值化标签在线或离线对所述模板跟踪器进行训练，包括：
27.获取一组样本对以及二值化标签，其中，所述样本对包括一张目标模板图像和一张搜索范围图像，所述目标模板图像和所述搜索范围图像从同一视频序列的不同帧中截取得到；
28.将所述样本对输入至所述模板跟踪器，通过特征提取分支提取深度卷积特征，并进行互相关运算，则：
29.f(z,x；θ)＝φ(z；θ)*φ(x；θ)+b
30.其中，z表示目标模板图像，x表示搜索范围图像，θ表示特征提取网络的参数，φ表示特征提取分支，*表示互相关运算；b表示偏置参数，f(z,x；θ)表示经过互相关运算后输出的响应矩阵；
31.将损失函数定义为响应矩阵与二值化标签间的交叉熵损失l
ce
(yb,r)，则：
[0032][0033]
其中，σ(
·
)表示sigmoid函数，yb表示二值化标签，r为响应矩阵f(z,x；θ)的简要表示。
[0034]
优选地，所述基于所述模板跟踪器，构建目标跟踪器，包括：
[0035]
基于所述模板跟踪器，通过减小输出通道数和/或使用深度可分离卷积的方式，对所述模板跟踪器进行轻量化处理，构建得到所述目标跟踪器。
[0036]
优选地，所述采用所述概率标签，对所述目标跟踪器进行训练，包括：
[0037]
将所述概率标签作为训练样本，构建训练样本对；
[0038]
将所述训练样本对同时输入至所述模板跟踪器和所述目标跟踪器，获得所述模板跟踪器和所述目标跟踪器的输出结果
[0039]
将所述模板跟踪器和所述目标跟踪器的输出结果同时经过softmax归一化后计算
损失值；
[0040]
采用梯度反向传播方法，基于所述损失值更新所述目标跟踪器的参数，完成对所述目标跟踪器的训练。
[0041]
优选地，在对所述目标跟踪器进行训练的过程中：
[0042]
将训练样本对同时输入至所述模板跟踪器和所述目标跟踪器，得到的输出结果即响应矩阵经过softmax归一化后计算损失值，其中，损失函数为相对熵损失l
re
(y
p
,rn)：
[0043][0044]
其中，y
p
表示softmax归一化后的模板跟踪器的响应矩阵，即概率标签；rn表示softmax归一化后的目标跟踪器的响应矩阵。
[0045]
根据本发明的另一个方面，提供了一种基于概率标签的目标跟踪系统，包括：
[0046]
模板跟踪器模块，该模块用于构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练；利用训练后的所述模板跟踪器，产生概率标签；
[0047]
目标跟踪器模块，该模块基于所述模板跟踪器，构建目标跟踪器，并采用所述概率标签，对所述目标跟踪器进行训练；利用训练后的所述目标跟踪器对给定目标进行跟踪，并输出目标跟踪结果；
[0048]
其中：
[0049]
训练后的所述模板跟踪器的输出结果经softmax归一化后得到所述概率标签；所述概率标签中的任意一个值均大于0且小于1；所述概率标签中的元素表示搜索图像中相应的候选区域的标签，所述搜索图像中相应的候选区域的标签表示目标出现在所述候选区域中心位置的概率；
[0050]
训练后的所述目标跟踪器的输出结果经softmax归一化后得到所述目标跟踪结果。
[0051]
优选地，所述模板跟踪器和所述目标跟踪器均采用孪生神经网络，所述目标跟踪器基于所述模板跟踪器并进行轻量化处理得到。
[0052]
所述模板跟踪器和所述目标跟踪器的参数如下表所示，其中，exsn表示所述模板跟踪器网络结构，efsn表示所述目标跟踪器网络结构：
[0053][0054]
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时可用于执行上述任一项所述的方法，或，运行上述任一项所述的系统。
[0055]
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时可用于执行上述任一项所述的方法，或，运行上述任一项所述的系统。
[0056]
由于采用了上述技术方案，本发明与现有技术相比，具有如下至少一项的有益效果：
[0057]
本发明提供的基于概率标签的目标跟踪方法、系统、终端及介质，克服了现有技术中常规训练孪生神经网络算法的不足，在具有较少参数的前提下依然可以取得接近模板跟踪器的性能。
[0058]
本发明提供的基于概率标签的目标跟踪方法、系统、终端及介质，其训练目标不再是二值化标签，而是概率标签；通过训练，目标跟踪器的输出结果逼近模板跟踪器，因而跟踪性能得到提升。
附图说明
[0059]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0060]
图1为本发明一实施例中基于概率标签的目标跟踪方法的流程图。
[0061]
图2为本发明一优选实施例中基于概率标签的目标跟踪方法的工作示意图。
[0062]
图3为本发明一实施例中基于概率标签的目标跟踪系统的组成结构示意图。
具体实施方式
[0063]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0064]
图1为本发明一实施例提供的基于概率标签的目标跟踪方法的流程图。
[0065]
如图1所示，该实施例提供的基于概率标签的目标跟踪方法，可以包括如下步骤：
[0066]
s100，构建模板跟踪器，并采用传统标签对模板跟踪器进行训练；
[0067]
s200，利用训练后的模板跟踪器，产生概率标签；
[0068]
s300，基于模板跟踪器，构建目标跟踪器，并采用概率标签，对目标跟踪器进行训练；
[0069]
s400，利用训练后的目标跟踪器对给定目标进行跟踪，并输出目标跟踪结果；
[0070]
其中：
[0071]
在该实施例的s200中，训练后的模板跟踪器的输出结果经softmax归一化后得到概率标签；概率标签中的任意一个值均大于0且小于1；概率标签中的元素表示搜索图像中相应的候选区域的标签，搜索图像中相应的候选区域的标签表示目标出现在候选区域中心位置的概率；
[0072]
在该实施例的s400中，训练后的目标跟踪器的输出结果经softmax归一化后得到目标跟踪结果。
[0073]
在该实施例的s100中，作为一优选实施例，构建模板跟踪器，并采用传统标签对模板跟踪器进行训练，可以包括如下步骤：
[0074]
s101，采用孪生神经网络构建模板跟踪器；
[0075]
s102，利用二值化标签在线或离线对模板跟踪器进行训练。
[0076]
在该实施例的s102中，作为一优选实施例，利用二值化标签在线或离线对模板跟踪器进行训练，可以包括如下步骤：
[0077]
s1021，获取一组样本对以及二值化标签，其中，样本对包括一张目标模板图像和一张搜索范围图像，目标模板图像和搜索范围图像从同一视频序列的不同帧中截取得到；
[0078]
s1022，将样本对输入至模板跟踪器，通过特征提取分支提取深度卷积特征，并进行互相关运算，则：
[0079]
f(z,x；θ)＝φ(z；θ)*φ(x；θ)+b
[0080]
其中，z表示目标模板图像，x表示搜索范围图像，θ表示特征提取网络的参数，φ表示特征提取分支，*表示互相关运算；b表示偏置参数，f(z,x；θ)表示经过互相关运算后输出的响应矩阵；
[0081]
s1023，将损失函数定义为响应矩阵与二值化标签间的交叉熵损失l
ce
(yb,r)，则：
[0082][0083]
其中，σ(
·
)表示sigmoid函数，yb表示二值化标签，r为响应矩阵f(z,x；θ)的简要表示。
[0084]
在该实施例的s300中，作为一优选实施例，基于模板跟踪器，构建目标跟踪器，可以包括如下步骤：
[0085]
基于模板跟踪器，通过减小输出通道数和/或使用深度可分离卷积的方式，对模板跟踪器进行轻量化处理，构建得到目标跟踪器。
[0086]
在该实施例的s300中，作为一优选实施例，采用概率标签，对目标跟踪器进行训练，可以包括如下步骤：
[0087]
s301，将概率标签作为训练样本，构建训练样本对；
[0088]
s302，将训练样本对同时输入至模板跟踪器和目标跟踪器，获得模板跟踪器和目标跟踪器的输出结果
[0089]
s303，将模板跟踪器和目标跟踪器的输出结果同时经过softmax归一化后计算损失值；
[0090]
s304，采用梯度反向传播方法，基于损失值更新目标跟踪器的参数，完成对目标跟踪器的训练。
[0091]
进一步地，作为一优选实施例，在对目标跟踪器进行训练的过程中：
[0092]
将训练样本对同时输入至所述模板跟踪器和所述目标跟踪器，得到的输出结果即响应矩阵经过softmax归一化后计算损失值，其中，损失函数为相对熵损失l
re
(y
p
,rn)：
[0093][0094]
其中，y
p
表示softmax归一化后的模板跟踪器的响应矩阵，即概率标签；rn表示softmax归一化后的目标跟踪器的响应矩阵。
[0095]
本发明上述实施例提供的基于概率标签的目标跟踪方法，首先训练一个模板跟踪器，这个模板跟踪器的网络包含较多的卷积层和参数，因此具有较强的判别能力；该模板跟
踪器能够产生概率标签，用来训练目标跟踪器；这种目标跟踪器的网络在模板跟踪器的网络的基础上减少了参数量；在训练目标跟踪器时，将训练样本对同时输入到模板跟踪器和目标跟踪器，使用softmax函数将二者的输出归一化；之后使用相对熵损失函数计算损失值，将梯度进行反向传播，更新目标跟踪器的参数；进而完成对目标跟踪器的训练。训练后的目标跟踪器能够实现对图像中目标的跟踪。
[0096]
图2为本发明一优选实施例提供的基于概率标签的目标跟踪方法的工作示意图。
[0097]
如图2所示，该优选实施例提供的基于概率标签的目标跟踪方法，可以包括如下步骤：
[0098]
步骤1，构建模板跟踪器，并采用传统标签对模板跟踪器进行训练；
[0099]
步骤2，利用模板跟踪器，产生概率标签；
[0100]
步骤3，基于模板跟踪器，构建轻量化的目标跟踪器，并采用概率标签，训练轻量化的目标跟踪器；
[0101]
步骤4，利用目标跟踪器，完成对图像中给定目标的跟踪任务，输出目标跟踪结果。
[0102]
在该优选实施例的步骤1中，可以采用二值化标签在线或离线训练模板跟踪器。
[0103]
在该优选实施例的步骤2中，利用模板跟踪器，产生概率标签，可以包括如下步骤：
[0104]
将模板跟踪器的输出经过softmax归一化后，得到概率标签，概率标签中的任意一个值均大于0且小于1。
[0105]
在该优选实施例的步骤2中，概率标签中的元素表示搜索图像中相应的候选区域的标签，即目标出现在该候选区域中心位置的概率。
[0106]
在该优选实施例的步骤3中，基于模板跟踪器，构建轻量化的目标跟踪器，可以包括如下步骤：
[0107]
采用减小输出通道数和/或使用深度可分离卷积的轻量化手段，对模板跟踪器进行轻量化处理，构建得到轻量化的目标跟踪器。
[0108]
在该优选实施例的步骤3中，采用概率标签，训练轻量化的目标跟踪器，可以包括如下步骤：
[0109]
步骤31，将概率标签作为训练样本，同时输入至模板跟踪器和轻量化的目标跟踪器；
[0110]
步骤32，模板跟踪器和轻量化的目标跟踪器的输出同时经过softmax归一化后计算损失值；
[0111]
步骤33，采用梯度反向传播方法，更新轻量化的目标跟踪器的网络参数，完成对轻量化的目标跟踪器的训练。
[0112]
本发明上述优选实施例提供的基于概率标签的目标跟踪方法，具体为：
[0113]
构建模板跟踪器，这个网络使用传统的二值化标签来训练。训练样本为一组样本对以及二值化标签。输入的样本对为一张目标模板图像和一张搜索范围图像。这两张图像是从同一视频序列的不同帧中截取出来的。经过特征提取分支抽取深度卷积特征后，进行互相关运算，输出响应矩阵。这一过程可以表示为:
[0114]
f(z,x；θ)＝φ(z；θ)*φ(x；θ)+b
[0115]
其中z表示目标模板图像，x表示搜索范围图像，θ表示特征提取网络的参数，φ表示特征提取分支。*表示互相关运算。b表示偏置参数，f(z,x；θ)表示经过互相关运算后输出
的响应矩阵。
[0116]
损失函数定义为响应矩阵与二值化标签间的交叉熵损失：
[0117][0118]
其中σ(
·
)表示sigmoid函数，yb表示二值化标签，r表示响应矩阵。
[0119]
模板跟踪器包含较多的卷积层和参数量，具有较强的判别能力和学习能力。
[0120]
生成概率标签。概率标签为本优选实施例的核心。二值化标签只包含“1”和“0”，分别表示正样本和负样本。对于目标跟踪而言，除了需要区别正负样本，还需要确定目标的位置。因此对于两个都包含目标，但是目标位置不同的候选区域而言，他们的标签应该是不同的。概率标签克服了二值化标签的缺点，标签值大于0且小于1，表示目标在候选区域中心位置的概率。不同于二值化标签是人工设定的，概率标签是由模板跟踪器产生的。概率标签作为一种概率分布，所有标签值的和应为1。概率分布即经softmax归一化后的模板跟踪器的输出。
[0121]
构建轻量化的目标跟踪器。轻量化的目标跟踪器是一种轻量化的孪生神经网络。它是基于模板跟踪器来设计的，但是具有较少的卷积层和参数量。可以采用两种方式构造目标跟踪器：减少通道数和使用深度可分离卷积。在训练目标跟踪器时，所使用的概率标签需要模板跟踪器生成。训练方法为：
[0122]
将训练样本对同时输入至所述模板跟踪器和所述目标跟踪器，得到的输出结果即响应矩阵经过softmax归一化后计算损失值，其中，损失函数为相对熵损失l
re
(y
p
,rn)：
[0123][0124]
其中，y
p
表示softmax归一化后的模板跟踪器的响应矩阵，即概率标签；rn表示softmax归一化后的目标跟踪器的响应矩阵。
[0125]
当y
p
与rn相同时，相对熵最小。因此，使用上述训练算法来训练目标跟踪器，其输出会逼近模板跟踪器的输出，因而学习到相近的判别能力，获得更好的跟踪性能。
[0126]
在本发明上述实施例提供的基于概率标签的目标跟踪方法中：
[0127]
模板跟踪器用来产生概率标签。这个网络使用传统的训练方法训练，是一个较深较宽的网络，包含较多的参数，在离线训练阶段比较耗时，但判别能力较强。由于模板跟踪器的作用是输出概率标签，并不用于在线跟踪，用更多的时间离线训练该网络是可以接受的。
[0128]
概率标签是上述模板跟踪器的输出经softmax归一化后得到的，标签中的任意一个值都大于0且小于1，这是与二值化标签只包含0和1不同的。概率标签中的元素表示搜索图像中相应的候选区域的标签，度量目标出现在该候选区域中心位置的概率。
[0129]
轻量化的目标跟踪器是基于模板跟踪器设计的轻量化网络。采用的轻量化手段主要有两种：减小输出通道数和使用深度可分离卷积。轻量化的目标跟踪器包含更少的卷积层和更少的参数。采用上述概率标签训练，轻量化的目标跟踪器的性能可以接近模板跟踪器，同时可以实时运行。
[0130]
在本发明部分部分实施例中：
[0131]
训练孪生神经网络的标签不是传统的二值化标签而是概率标签。
access memory，缩写：ddr sdram)等；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0148]
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
[0149]
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
[0150]
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
[0151]
本发明上述实施例提供的基于概率标签的目标跟踪方法、系统、终端及介质，首先使用传统训练方法训练模板跟踪器，之后训练目标跟踪器。在训练目标跟踪器时，训练样本对被同时输入至模板跟踪器和目标跟踪器，二者的输出同时经过softmax归一化后计算损失值，之后将梯度反向传播用于更新目标跟踪器的参数，使得其输出可以逼近模板跟踪器。克服了现有技术中常规训练孪生神经网络算法的不足，在具有较少参数的前提下依然可以取得接近模板跟踪器的性能；其训练目标不再是二值化标签，而是概率标签；通过训练，目标跟踪器的输出结果逼近模板跟踪器，因而跟踪性能得到提升。
[0152]
以上对本发明的具体实施方式进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

技术特征：
1.一种基于概率标签的目标跟踪方法，其特征在于，包括：构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练；利用训练后的所述模板跟踪器，产生概率标签；基于所述模板跟踪器，构建目标跟踪器，并采用所述概率标签，对所述目标跟踪器进行训练；利用训练后的所述目标跟踪器对给定目标进行跟踪，并输出目标跟踪结果；其中：训练后的所述模板跟踪器的输出结果经softmax归一化后得到所述概率标签；所述概率标签中的任意一个值均大于0且小于1；所述概率标签中的元素表示搜索图像中相应的候选区域的标签，所述搜索图像中相应的候选区域的标签表示目标出现在所述候选区域中心位置的概率；训练后的所述目标跟踪器的输出结果经softmax归一化后得到所述目标跟踪结果。2.根据权利要求1所述的基于概率标签的目标跟踪方法，其特征在于，所述构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练，包括：采用孪生神经网络构建所述模板跟踪器；利用二值化标签在线或离线对所述模板跟踪器进行训练。3.根据权利要求2所述的基于概率标签的目标跟踪方法，其特征在于，所述利用二值化标签在线或离线对所述模板跟踪器进行训练，包括：获取一组样本对以及二值化标签，其中，所述样本对包括一张目标模板图像和一张搜索范围图像，所述目标模板图像和所述搜索范围图像从同一视频序列的不同帧中截取得到；将所述样本对输入至所述模板跟踪器，通过特征提取分支提取深度卷积特征，并进行互相关运算，则：f(z，x；θ)＝φ(z；θ)*φ(x；θ)+b其中，z表示目标模板图像，x表示搜索范围图像，θ表示特征提取网络的参数，φ表示特征提取分支，*表示互相关运算；b表示偏置参数，f(z，x；θ)表示经过互相关运算后输出的响应矩阵；将损失函数定义为响应矩阵与二值化标签间的交叉熵损失l
ce
(y
b
，r)，则：其中，σ(
·
)表示sigmoid函数，y
b
表示二值化标签，r为响应矩阵f(z，x；θ)的简要表示。4.根据权利要求1所述的基于概率标签的目标跟踪方法，其特征在于，所述基于所述模板跟踪器，构建目标跟踪器，包括：基于所述模板跟踪器，通过减小输出通道数和/或使用深度可分离卷积的方式，对所述模板跟踪器进行轻量化处理，构建得到所述目标跟踪器。5.根据权利要求1所述的基于概率标签的目标跟踪方法，其特征在于，所述采用所述概率标签，对所述目标跟踪器进行训练，包括：将所述概率标签作为训练样本，构建训练样本对；将所述训练样本对同时输入至所述模板跟踪器和所述目标跟踪器，获得所述模板跟踪
器和所述目标跟踪器的输出结果将所述模板跟踪器和所述目标跟踪器的输出结果同时经过sofftmax归一化后计算损失值；采用梯度反向传播方法，基于所述损失值更新所述目标跟踪器的参数，完成对所述目标跟踪器的训练。6.根据权利要求5所述的基于概率标签的目标跟踪方法，其特征在于，在对所述目标跟踪器进行训练的过程中：将训练样本对同时输入至所述模板跟踪器和所述目标跟踪器，得到的输出结果即响应矩阵经过softmax归一化后计算损失值，其中，损失函数为相对熵损失l
re
(y
p
，r
n
)：其中，yp表示sofftmax归一化后的模板跟踪器的响应矩阵，即概率标签；r
n
表示softmax归一化后的目标跟踪器的响应矩阵。7.一种基于概率标签的目标跟踪系统，其特征在于，包括：模板跟踪器模块，该模块用于构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练；利用训练后的所述模板跟踪器，产生概率标签；目标跟踪器模块，该模块基于所述模板跟踪器，构建目标跟踪器，并采用所述概率标签，对所述目标跟踪器进行训练；利用训练后的所述目标跟踪器对给定目标进行跟踪，并输出目标跟踪结果；其中：训练后的所述模板跟踪器的输出结果经softmax归一化后得到所述概率标签；所述概率标签中的任意一个值均大于0且小于1；所述概率标签中的元素表示搜索图像中相应的候选区域的标签，所述搜索图像中相应的候选区域的标签表示目标出现在所述候选区域中心位置的概率；训练后的所述目标跟踪器的输出结果经softmax归一化后得到所述目标跟踪结果。8.根据权利要求7所述的基于概率标签的目标跟踪系统，其特征在于，所述模板跟踪器和所述目标跟踪器均采用孪生神经网络，所述目标跟踪器基于所述模板跟踪器并进行轻量化处理得到。9.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时可用于执行权利要求1-6中任一项所述的方法，或，运行权利要求7-8中任一项所述的系统。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时可用于执行权利要求1-6中任一项所述的方法，或，运行权利要求7-8中任一项所述的系统。

技术总结
本发明提供了一种基于概率标签的目标跟踪方法、系统、终端及介质，包括：构建模板跟踪器，并采用传统标签对所述模板跟踪器进行训练；利用训练后的所述模板跟踪器，产生概率标签；基于所述模板跟踪器，构建目标跟踪器，并采用所述概率标签，对所述目标跟踪器进行训练；利用训练后的所述目标跟踪器对给定目标进行跟踪，并输出目标跟踪结果。概率标签是模板跟踪器经softmax归一化后的输出，其中的每一个值表示的是目标在相应候选区域中心位置的概率。目标跟踪器是在经典神经网络的基础上设计的轻量化网路。其训练目标不再是二值化标签而是概率标签。通过训练，目标跟踪器的输出结果逼近模板跟踪器，因而跟踪性能得到提升。因而跟踪性能得到提升。因而跟踪性能得到提升。


技术研发人员：乔宇 谷月阳 白赞州
受保护的技术使用者：上海交通大学
技术研发日：2022.02.09
技术公布日：2022/5/25