一种基于无人机航拍的单目标车辆跟踪方法

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于无人机航拍的单目标车辆跟踪方法。


背景技术：

2.目标跟踪任务可以分为两类：一类是多目标跟踪，另一类是单目标跟踪。多目标跟踪是指对视频序列中的所有目标或一类目标的所有个体进行跟踪的任务。它不仅涉及对每个目标的连续跟踪，还涉及不同目标之间的识别、自遮挡和相互遮挡的处理，并将检测结果与跟踪结果相关联。与多目标跟踪相比，我们更倾向于单目标跟踪，因为往往在视频序列中，我们更专注于出现的某一个体的运动情况，所以单目标跟踪技术的发展较为火热，也极为迅速。从传统的对视频帧之间的处理方法，有代表性的静态背景、帧差法、光流法、meanshift和camshift算法属于早期的单目标跟踪方法，具有实际应用多、fps高、对设备计算能力要求低等特点。然后，检测和跟踪的结合开始出现。基于机器学习的方法提取图像特征并训练分类器进行分类(如svm)，使训练后的分类器在下一帧中找到最优区域。一种方法是基于生成模型，一种是判别式模型统称为检测跟踪。当前最有代表性的单目标跟踪方法就是核相关滤波方法以及在此基础上与深度学习结合的算法。再次刷新了单目标跟踪的精度和速度，但是因为深度算法运算量大，要求设备算力高，很多跟踪算法都使用了在线微调，所以速度还不是很理想，实际应用比较有局限性，仍有很大的发展空间。
3.近年来基于深度学习的单目标跟踪算法，由cvpr2016中提出的基于孪生网络的siamfc将单目标跟踪推向一个新时代，其利用孪生网络的特点，将模板和图像经过同一网络提取特征之后，将模板的特征向量在搜索图像特征向量上做互相关，得到一张响应图，响应最大的位置就是目标的位置。而后续几乎所有的基于深度学习的单目标跟踪算法的提出都是以该算法为基础。例如siammask算法在互相关的基础上加入了一个简单的通道数为2的1
×
1的卷积核，得到两个分支的输出进行不同的任务处理；另一个具有代表性的siamrpn，以siamfc为基础，将faster-rcnn中的rpn网络的分类和回归，与siamfc进行融合，不仅提升了跟踪的精度速度也得到大幅度提升。以马丁丹尼尔组建实验室发布的最新的dimp(learning discriminative model prediction for tracking)跟踪算法，以siamfc为基础，加入了在线训练分类器并用视频的前后帧信息进行分类器的优化可以实时调整模型，提高了跟踪的精度。
4.虽然目前基于孪生网络的单目标跟踪算法有着比较好的跟踪效果，但是由于网络得到的信息全部由第一帧提供，得到的信息量实在太小。所以针对当前目标跟踪领域样本不足导致的精度不高以及跟踪速度难以满足实时性的问题，


技术实现要素：

5.本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于无人机航拍的单目标车辆跟踪方法，能够快速、准确地在无人机拍摄的视频中对某一车辆目标进行单
目标跟踪，具有很好的通用性和可扩展性。
6.为解决上述技术问题，本发明所采取的技术方案是：
7.一种基于无人机航拍的单目标车辆跟踪方法，包括以下步骤：
8.步骤1：载入需要车辆跟踪的无人机航拍视频，暂停在第一帧，用鼠标手动框选要跟踪的目标车辆，框选的区域为待跟踪区域，待跟踪区域内的目标车辆为跟踪目标；然后从视频的第二帧开始，使用目标检测算法对视频帧中出现的目标车辆进行检测；
9.步骤2：判断当前帧中的目标车辆是否被全遮挡，如果否，则继续步骤3；否则，执行步骤5；
10.步骤3：在跟踪框周围建立k 邻域，使用该k 邻域对冗余的目标检测框进行筛选，留下在k 邻域内出现的可能是跟踪目标的车辆，再计算跟踪框与检测框的iou与中心点的偏移量；
11.步骤4：将筛选后的检测框内的目标提取为图片，与第一帧选择的跟踪目标使用多特征融合的图像匹配算法进行匹配，分别计算跟踪目标与筛选后的目标的图像相似度并排序，再结合步骤3的计算结果综合判定当前帧中哪一个检测出的目标为要跟踪的目标，然后更新跟踪框；执行步骤6；
12.步骤5：跟踪目标发生遮挡的情况，采用基于车辆运动状态估计的抗遮挡算法，要在跟踪开始超过20帧之后，开始每20帧记录一次车辆在视频中移动的平均速度，依据此方式，当目标在视野中消失时，保存消失时坐标，停止记录目标的移动速度并保存在前20帧的移动速度。如果目标消失在50帧以内，正常估计在消失内的移动轨迹及坐标，同时获取当前估计位置的k邻域，并且记录50帧后目标可能出现的位置，在该位置设置k邻域等待捕获目标，如果车辆被重新检测并且被k邻域捕获到，调用步骤4中的图像匹配算法开始进行匹配，若匹配成功则继续进行跟踪，若未匹配成功则开启全图匹配，解除运动速度和坐标的记录，由跟踪器自行寻找，调用步骤3-步骤4的跟踪方式，使用多特征融合匹配算法匹配当前视野中出现的和初始选择的跟踪目标相似度最大的目标，并以该目标的坐标为基础重新建立k 邻域；执行步骤6；
13.步骤6：判断视频是否结束；如果是，则结束检测；否则，接收下一帧，返回步骤2。
14.采用上述技术方案所产生的有益效果在于：本发明提供的基于无人机航拍的单目标车辆跟踪方法，采用基于多特征融合的图像匹配算法、目标预测k 邻域搜索算法和基于车辆运动状态估计的抗遮挡算法实现单目标跟踪。基于多特征融合的图像匹配算法融合了图像颜色直方图特征和hog特征，通过该方法可以显著提高仅使用单一特征对图像的表示程度和在图像匹配过程中的准确率。目标预测k 邻域搜索算法会筛选目标检测的结果有助于减少计算量，并且相较于原始的k邻域搜索算法该算法在邻域内搜索跟踪目标的精度更高，可以更有效地排除出现相似目标产生的干扰。在跟踪过程中出现跟踪目标被全部遮挡的情况时，采用基于车辆运动状态估计的抗遮挡算法，当车辆被遮挡期间运动状态与遮挡前变化不大时，算法会计算出目标在视频中被遮挡之前的移动速度及坐标，预测目标在消失时间段内的运动状态，从而估计出目标驶出遮挡物后可能出现的位置，实现对目标的重新定位。本发明方法能够快速、准确地在无人机拍摄的视频中对某一车辆目标进行单目标跟踪，具有很好的通用性和可扩展性。
附图说明
15.图1为本发明实施例提供的基于无人机航拍的单目标车辆跟踪方法的流程图；
16.图2为本发明实施例提供的选择跟踪目标的方式；其中，图(2a)为错误的框选方式，图(2b)为正确的框选方式；
17.图3为本发明实施例提供的发生少部分遮挡时的跟踪效果；其中，图(3a)、图(3b)和图(3c)分别为第370帧的图像、第400帧的图像和第420帧的图像；
18.图4为本发明实施例提供的出现相似车辆的情况；其中，图(4a)、图(4b)和图(4c)分别为第146帧的图像、第219帧的图像和第241帧的图像；
19.图5为本发明实施例提供的目标被全遮挡的情况；其中，图(5a)、图(5b)和图(5c)分别为第134帧的图像、第140帧的图像和第144帧的图像。
具体实施方式
20.下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
21.目标跟踪是计算机视觉的一个重要任务，从传统的跟踪算法到当代以深度学习为基础的目标跟踪的实现，无数学者和研究人员投入大量时间和精力为目标跟踪任务做出十分重要的贡献。当今的计算机视觉邻域，尤其是基于深度学习的目标跟踪方向发展最为火热，本发明也是从深度学习的目标检测网络yolov4出发，结合图像匹配和目标预测来实现单目标跟踪。对于单目标跟踪，本发明提出的观点是首先我们要检测到该目标并且要知道该目标的种类，然后才要在每一个视频帧之间加入一些手段将帧与帧之间同一个目标联系起来并在它所属的目标类别中找到并标注，从而实现单目标跟踪。所以，本发明研究的主要内容为基于多特征融合的图像匹配算法、目标预测k 邻域搜索算法和一种基于车辆运动状态估计的抗遮挡算法，分为以下三点：
22.(1)多特征融合的图像匹配算法imf。以图像的基本特征入手，测试每种基本特征计算图像的相似度的方式，找出一种适用于无人机拍摄车辆的情况下对目标进行匹配的最佳方式。在得出颜色直方图特征更适用于车辆的跟踪后，又对该特征的相似度计算方法进行了压力测试，选择了车辆拥挤的路段，结果发现单一图像特征并不能很好的对目标进行表示，于是融合了车辆的轮廓特征hog特征，并对得到的相似度加上对应的权重得到最终的相似度得分，综合判断之后，再对目标进行筛选。所以将图像基本特征作为基础，提出了多特征融合的图像匹配算法。
23.(2)目标预测k 邻域搜索算法。首先对分类算法knn进行研究，再引出根据其分类的思想提出的k邻域搜索算法，在其基础上提出k 邻域搜索算法。该算法将k邻域搜索算法和iou的思想以及跟踪框与预测框之间的中心点欧式距离进行融合得到k 邻域搜索算法。经实验该算法比原k邻域搜索算法更能很好的应对当出现与跟踪目标相同车辆的情况，该算法依然可以保证跟踪目标的正确。
24.(2)一种基于车辆运动状态估计的抗遮挡算法aoe。该算法在目标运动超过20帧后开始每20帧记录一次车辆的运动信息，包括平均速度与位移方向，当目标被全部遮挡时保存前20帧的运动信息开始估计目标在车挡期间的运动走向。实验证明aoe抗遮挡算法在一定程度上可以处理对目标全遮挡再出现的情况。
25.如图1所示，本实施例基于无人机航拍的单目标车辆跟踪方法具体如下所述。
26.步骤1：获取无人机航拍视频，视频加载后暂停在第一帧，并在视频的第一帧用鼠标框选要跟踪的目标，框选的区域为待跟踪区域，待跟踪区域内的目标车辆为跟踪目标。然后在后续视频帧中由跟踪算法持续在视频中找出该目标的位置，选择目标时应尽量选择目标本身，如图2(b)所示，不要包含过多的目标以外的信息，这样在提取目标的表观特征时会更加准确，如图2(a)所示，选择了过多目标以外的信息。该部分由opencv实现，通过使用监听鼠标事件进行回调函数。
27.步骤2：判断当前帧中的目标车辆是否被全遮挡，如果否，则继续步骤3；如果是，则执行步骤5。
28.步骤3：适用k 邻域搜索算法对跟踪目标进行位置预测。
29.选定跟踪目标后，就需要目标检测算法对视频第二帧及后续帧中出现的所有车辆进行检测，需要用到k 邻域搜索算法对检测结果进行处理。为了加强目标预测算法的预测效果，需要在已有的k邻域基础上增加更严谨的限制条件，以增加其性能。本实施例结合iou和中心点偏移的思想改进k邻域搜索算法，设计一种k 邻域搜索算法对跟踪目标进行位置预测。
30.k 邻域搜索算法执行过程为：
31.步骤3.1：根据前一帧的跟踪框大小，计算出k＝2时该跟踪框所对应的k邻域范围，并将当前帧检测范围缩小至该k邻域内；k邻域应满足式(1)：
[0032][0033]
其中，wk和hk是k邻域搜索区域的宽和高，w和h是前一帧目标跟踪框的宽和高，k是二者宽高比；
[0034]
步骤3.2：如果当前帧在该k邻域内只有一个目标被检测，即目标的检测框至少有三分之二区域在k邻域范围内，则该目标就是前一帧的目标，更新跟踪框，继续执行步骤4；如果当前帧在该k邻域内出现两个以上目标，则执行步骤3.3；
[0035]
步骤3.3：将k邻域内的目标分别与跟踪目标进行相似度计算，得到相似度得分，并进行排序；
[0036]
步骤3.4：将排好序的相似度得分所对应的目标检测框与前一帧的跟踪框做iou和中心点的欧氏距离；计算iou满足式(2)：
[0037][0038]
其中，gt是前一帧的跟踪框；bb(bounging box)是当前帧在k邻域范围内出现的检测框，用gt和k邻域内的检测框分别进行iou的计算，并选择iou值最大的检测框进行保留，满足式(3)：
[0039]
iou(gt,bb)
max
＝max(iou(gt,bb1),...,iou(gt,bbn))
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0040]
其中，iou为检测框与前一帧跟踪框的交并比，gt为前一帧的跟踪框，bb为当前帧k 邻域内的检测框，n为k 邻域内的检测框个数；
[0041]
计算中心点欧氏距离满足式(4)：
[0042][0043]
其中，d为两点的欧氏距离，c为框的中心点，其坐标为(x,y)；c
gt
为前一帧跟踪框的中心点，c
bb
为当前帧检测框的中心点；取欧氏距离最小的中心点对应的检测框，并和前面的图像匹配所计算出的相似度以及最大的iou相结合，来判断哪一个检测框检测的是跟踪目标。
[0044]
此时的判断顺序为：先比较图像的相似度，然后根据iou排除相似车辆，最后用中心点的欧氏距离选择跟踪目标。
[0045]
步骤4：由步骤3进行检测框筛选后，就要对跟踪目标和筛选之后的检测框内的目标进行匹配，来选择当前帧跟踪目标出现的位置。匹配图像使用多特征融合的图像匹配算法，其执行过程为：
[0046]
步骤4.1：框选完要跟踪的目标之后，对该跟踪目标进行颜色直方图特征和hog特征的提取，并将两种特征转换为特征向量。
[0047]
步骤4.2：在后续帧中，将检测出的同类别目标提取为图片，同样提取各个目标的颜色直方图特征和hog特征，并得到特征向量。其中颜色直方图特征向量的计算方式，考虑如果每种原色都可以取256(0～255)个值，那么整个颜色空间共有1600万种颜色(256的三次方)导致计算量十分巨大，所以选择将这个范围0～255分成四个范围相等的区：[0,63]为0区，[64,127]为1区，[128,191]为2区，[192,255]为3区。每种原色的值有四种取值，则三种原色组成的颜色种类就有64种(四的三次方)。所以，图像中出现的任何一种颜色，肯定都会属于这四个区其中的一个。然后再去统计每个区出现的像素数，这样进行分区后，在最大程度上减少了计算量同时获取了一个64维的特征向量。
[0048]
步骤4.3：分别计算跟踪目标和步骤4.2中得到的所有目标之间的颜色直方图特征相似度与hog特征相似度，并进行加权得分，最后将所有得分排序。其中颜色直方图特征相似度的计算方式为余弦相似度，满足式(5)：
[0049][0050]
空间中两个向量的夹角越小，代表指向方向越趋于相同，证明越相似，相似度就越大，这正对应余弦函数图像的特点角θ越小对应的函数值越大。因此依据上述理论基础，可以通过坐标系空间的向量夹角的大小，来作为向量相似程度的判断依据。夹角越小，夹角对应的余弦值越大就代表它们越相似。相应的，余弦的计算方法对多维向量也成立。假定p和q是两个多维向量，p是[p1,p2,...,pm]，q是[q1,q2,...,qm]，m为向量维数。
[0051]
hog特征相似度使用hog特征描述子即特征向量，最后计算特征向量之间的欧氏距离，距离越小，则证明两幅图片越相似。由于hog特征向量为n维向量，即对应的欧氏距离满足式(6)：
[0052]
[0053]
其中，d为向量的欧式距离，xi、yi为多维空间中向量的两个坐标值。由公式可知，两个特征向量对应索引处的值越接近，距离d就越小，则说明两个图像越相似。
[0054]
分别给予颜色直方图特征的相似度和hog特征的相似度一个激励系数，目的是得到最适合对车辆之间计算相似度的计算方法。本实施例根据实验数据和算法的应用场景，将颜色直方图特征的权重设置为1，hog特征权重设置为2，选择相似度最大的候选框图片作为要跟踪的目标。
[0055]
每个筛选完毕参与计算的候选框，提取特征与跟踪目标进行颜色直方图特征的余弦相似度计算和hog特征的欧式距离相似度计算之后，分别乘以其对应的权重，相加得到最后的相似度得分满足式(7)：
[0056]
si＝w1(s(ci,c
t
)) w2(s(hi,h
t
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0057]
式中，s为括号内参数的相似度计算函数，si为第i个候选框中的图像和跟踪目标的总相似度得分；w1为颜色直方图特征相似度权重系数，值为1；w2为hog特征相似度权重系数，值为2；s(ci,c
t
)为第i个候选框和跟踪目标t的颜色直方图特征相似度，s(hi,h
t
)为第i个候选框和跟踪目标t的hog特征相似度，hi为第i个候选框的hog特征，h
t
为跟踪目标的hog特征；c
t
为前一帧跟踪框的中心点，ci为当前帧检测框的中心点。最后选取相似度总得分最大的候选框作为真正的跟踪对象进行跟踪。
[0058]
融合特征之后，算法提升了对模板对象的表示能力，除了表观颜色特征，有了轮廓特征的加持，可以保证跟踪器能够在车流量大时做出正确判断。
[0059]
步骤4.4：选择步骤4.3中排序后的最大得分值，并结合步骤3中计算的结果，当跟踪框与检测框的iou最大并且它们的中心点欧式距离最短的判定条件，选择对应的目标作为当前帧跟踪目标的出现位置。
[0060]
步骤5：跟踪目标发生遮挡的情况，采用基于车辆运动状态估计的抗遮挡算法，要在跟踪开始超过20帧之后，开始每20帧记录一次车辆在视频中移动的平均速度，依据此方式，当目标在视野中消失时，保存消失时坐标，停止记录目标的移动速度并保存在前20帧的移动速度。如果目标消失在50帧以内(大约3秒)，正常估计在消失内的移动轨迹及坐标，同时获取当前估计位置的k邻域，并且记录3秒后目标可能出现的位置，在该位置设置k邻域等待捕获目标，如果车辆被重新检测并且被k邻域捕获到，调用步骤4中的图像匹配算法开始进行匹配，若匹配成功则继续进行跟踪，若未匹配成功则开启全图匹配，解除运动速度和坐标的记录，由跟踪器自行寻找，调用步骤3-步骤4的跟踪方式，使用多特征融合匹配算法匹配当前视野中出现的和初始选择的跟踪目标相似度最大的目标，更新跟踪框，并以该目标的坐标为基础重新建立k 邻域。
[0061]
步骤6：判断视频是否结束；如果是，则结束检测；否则，接收下一帧，返回步骤2。
[0062]
如图3所示，图(3a)为第370帧的图像，是无遮挡情况下的跟踪效果，图(3b)和图(3c)分别为第400帧和420帧的图像，是交通灯对车辆有部分遮挡的情况下的跟踪情况，本实施例的跟踪算法能够对该情况进行良好的处理。
[0063]
如图4所示，其中图(4a)、图(4b)和图(4c)分别为第146帧、219帧和241帧的图像，可以看出本实施例的图像匹配算法结合k 邻域搜索算法，在目标车辆附近即使出现颜色外形相似的车辆，跟踪算法依然可以很好的应对。
[0064]
如图5所示，其中图(5a)、图(5b)和图(5c)分别为第134帧、140帧和144帧的图像，
第134帧表示车辆即将消失，140帧是aoe抗遮挡算法对车辆被完全遮挡时的运动估计，第144帧当车辆从遮挡物中驶出，此时由估计框生成的k 邻域将再次检测到的目标捕获，并与跟踪目标进行匹配，可以看出aoe抗遮挡算法在一定程度上可以解决目标的全遮挡问题。
[0065]
利用本实施例的方法对城市公路、高速公路、交通拥堵路段进行单目标车辆跟踪检测，其跟踪准确率如表1所示。本实施例的一种基于无人机航拍的单目标车辆跟踪算法对车辆跟踪的平均准确率为91.1％。
[0066]
表1各场景的跟踪准确率
[0067]
场景跟踪准确率城市公路0.887高速公路0.935交通拥堵0.912
[0068]
针对本实施例方法的准确率和tld、siamfc、siamrpn 、dimp跟踪算法的准确率进行对比，结果如表2所示。
[0069]
表2各算法的跟踪准确率对比
[0070]
算法跟踪准确率本发明0.911tld0.735siamfc0.814siamrpn 0.876dimp0.925
[0071]
根据表2，与传统的tld算法和基于孪生网络的单目标跟踪算法相比，本发明的目标跟踪算法精度受检测结果影响，所以综合评定本文跟踪算法跟踪精度平均提高了5.9％。
[0072]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

技术特征：
1.一种基于无人机航拍的单目标车辆跟踪方法，其特征在于：该方法包括以下步骤：步骤1：载入需要车辆跟踪的无人机航拍视频，暂停在第一帧，用鼠标手动框选要跟踪的目标车辆，框选的区域为待跟踪区域，待跟踪区域内的目标车辆为跟踪目标；然后从视频的第二帧开始，执行步骤2，对视频帧中出现的目标车辆进行检测；步骤2：判断当前帧中的目标车辆是否被全遮挡，如果否，则继续步骤3；否则，执行步骤5；步骤3：适用k 邻域搜索算法对跟踪目标进行位置预测；在跟踪框周围建立k 邻域，使用该k 邻域对冗余的目标检测框进行筛选，留下在k 邻域内出现的可能是跟踪目标的车辆，再计算跟踪框与检测框的iou与中心点的偏移量；步骤4：将筛选后的检测框内的目标提取为图片，与第一帧选择的跟踪目标使用多特征融合的图像匹配算法进行匹配，分别计算跟踪目标与筛选后的目标的图像相似度并排序，再结合步骤3的计算结果综合判定当前帧中哪一个检测出的目标为要跟踪的目标，然后更新跟踪框，执行步骤6；步骤5：跟踪目标发生遮挡的情况，采用基于车辆运动状态估计的抗遮挡算法，要在跟踪开始超过20帧之后，开始每20帧记录一次车辆在视频中移动的平均速度，依据此方式，当目标在视野中消失时，保存消失时坐标，停止记录目标的移动速度并保存在前20帧的移动速度；如果目标消失在50帧以内，正常估计在消失内的移动轨迹及坐标，同时获取当前估计位置的k邻域，并且记录50帧后目标可能出现的位置，在该位置设置k邻域等待捕获目标，如果车辆被重新检测并且被k邻域捕获到，调用步骤4中的图像匹配算法开始进行匹配，若匹配成功则继续进行跟踪，若未匹配成功则开启全图匹配，解除运动速度和坐标的记录，由跟踪器自行寻找，调用步骤3-步骤4的跟踪方式，使用多特征融合匹配算法匹配当前视野中出现的和初始选择的跟踪目标相似度最大的目标，并以该目标的坐标为基础重新建立k 邻域；执行步骤6；步骤6：判断视频是否结束；如果是，则结束检测；否则，接收下一帧，返回步骤2。2.根据权利要求1所述的基于无人机航拍的单目标车辆跟踪方法，其特征在于：所述步骤1中框选目标时，只选择目标本身。3.根据权利要求1所述的基于无人机航拍的单目标车辆跟踪方法，其特征在于：所述步骤3的具体方法为：步骤3.1：根据前一帧的跟踪框大小，计算出k＝2时该跟踪框所对应的k邻域范围，并将当前帧检测范围缩小至该k邻域内；k邻域满足式(1)：其中，w
k
和h
k
分别是k邻域搜索区域的宽和高，w和h分别是前一帧目标跟踪框的宽和高，k是二者宽高比；步骤3.2：如果当前帧在该k邻域内只有一个目标被检测，即目标的检测框至少有三分之二区域在k邻域范围内，则该目标就是前一帧的目标，更新跟踪框，继续执行步骤4；如果当前帧在该k邻域内出现两个以上目标，则执行步骤3.3；步骤3.3：将k邻域内的目标分别与跟踪目标进行相似度计算，得到相似度得分，并进行排序；
步骤3.4：将排好序的相似度得分所对应的目标检测框与前一帧的跟踪框做iou和中心点的欧氏距离；取欧氏距离最小的中心点对应的检测框，并和前面的图像匹配所计算出的相似度以及最大的iou相结合，来判断哪一个检测框检测的是跟踪目标，判断顺序为：先比较图像的相似度，然后根据iou排除相似车辆，最后用中心点的欧氏距离选择跟踪目标。4.根据权利要求3所述的基于无人机航拍的单目标车辆跟踪方法，其特征在于：所述步骤3.4中，计算iou满足式(2)：其中，gt是前一帧的跟踪框；bb是当前帧在k邻域范围内出现的检测框；用gt和k邻域内的检测框分别进行iou的计算，并选择iou值最大的检测框进行保留，满足式(3)：iou(gt,bb)
max
＝max(iou(gt,bb1),...,iou(gt,bb
n
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，iou()为检测框与前一帧跟踪框的交并比，gt为前一帧的跟踪框，bb
i
为当前帧在k 邻域内出现的第i个检测框，n为k 邻域内的检测框总个数；计算中心点欧氏距离满足式(4)：其中，d(
·
)为括号中两点的欧氏距离，c1、c2分别为两个框的中心点，其坐标分别为(x1,y1)、(x2,y2)；c
gt
为前一帧跟踪框的中心点，c
bb
为当前帧检测框的中心点。5.根据权利要求1所述的基于无人机航拍的单目标车辆跟踪方法，其特征在于：所述步骤4的具体方法为：步骤4.1：框选完要跟踪的目标之后，对该跟踪目标进行颜色直方图特征和hog特征的提取，并将两种特征转换为特征向量；步骤4.2：在后续帧中，将检测出的同类别目标提取为图片，同样提取各个目标的颜色直方图特征和hog特征，并得到特征向量；步骤4.3：分别计算跟踪目标和步骤4.2中得到的所有目标之间的颜色直方图特征相似度与hog特征相似度，并进行加权得分，最后将所有得分排序；最后选取相似度总得分最大的候选框作为真正的跟踪对象进行跟踪；步骤4.4：选择步骤4.3中排序后的最大得分值，并结合步骤3中计算的结果，当跟踪框与检测框的iou最大并且它们的中心点欧式距离最短的判定条件，选择对应的目标作为当前帧跟踪目标的出现位置。6.根据权利要求5所述的基于无人机航拍的单目标车辆跟踪方法，其特征在于：所述步骤4.1和步骤4.2的颜色直方图特征向量的计算中，将每种原色的取值范围0～255分成四个范围相等的区：[0,63]为0区，[64,127]为1区，[128,191]为2区，[192,255]为3区；每种原色的值在分区后对应有四种取值，图像中出现的任何一种颜色，肯定都会属于这四个区其中的一个，统计每个区出现的像素数，获取一个64维的特征向量。7.根据权利要求5所述的基于无人机航拍的单目标车辆跟踪方法，其特征在于：所述步骤4.3中，颜色直方图特征相似度的计算方式为余弦相似度，满足式(5)：
夹角越小，夹角对应的余弦值越大，就代表它们越相似；p和q是两个多维向量，p是[p1,p2,...,p
m
]，q是[q1,q2,...,q
m
]，m为向量维数；hog特征相似度使用hog特征描述子即特征向量，最后计算特征向量之间的欧氏距离，距离越小，则证明两幅图片越相似；由于hog特征向量为n维向量，即对应的欧氏距离满足式(6)：其中，d为向量的欧式距离，x
i
、y
i
为多维空间中向量的两个坐标值；在进行颜色直方图特征的余弦相似度计算和hog特征的欧式距离相似度计算之后，分别乘以其对应的权重，相加得到最后的相似度得分，满足式(7)：s
i
＝w1(s(c
i
,c
t
)) w2(s(h
i
,h
t
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)式中，s
i
为第i个候选框中的图像和跟踪目标的总相似度得分；w1为颜色直方图特征相似度权重系数；w2为hog特征相似度权重系数；s为括号内参数的相似度计算函数；s(c
i
,c
t
)为第i个候选框和跟踪目标t的颜色直方图特征相似度函数，c
i
为当前帧检测框的中心点，c
t
为前一帧跟踪框的中心点；s(h
i
,h
t
)为第i个候选框和跟踪目标t的hog特征相似度函数，h
i
为第i个候选框的hog特征，h
t
为跟踪目标的hog特征。

技术总结
本发明提供一种基于无人机航拍的单目标车辆跟踪方法，涉及计算机视觉技术领域。本发明在目标检测的结果基础上，采用基于多特征融合的图像匹配算法，融合了图像颜色直方图特征和HOG特征，可以显著提高仅使用单一特征对图像的表示程度和在图像匹配过程中的准确率。为了准确预测目标在视频中的出现位置，设计了K 邻域搜索算法，有助于减少计算量，精度更高，可以更有效地排除出现相似目标产生的干扰。在跟踪过程中出现跟踪目标被全部遮挡的情况，本发明采用基于车辆运动状态估计的抗遮挡算法实现单目标跟踪。本发明方法能够快速、准确地在无人机拍摄的视频中对某一车辆目标进行单目标跟踪，具有很好的通用性和可扩展性。具有很好的通用性和可扩展性。具有很好的通用性和可扩展性。


技术研发人员：吕艳辉 郭向坤 李彬
受保护的技术使用者：沈阳理工大学
技术研发日：2022.02.21
技术公布日：2022/5/25