基于残差回归网络的电力设备跟踪方法及跟踪系统与流程

1.本发明属于电力巡检维护领域，具体涉及一种基于残差回归网络的电力设备跟踪方法及跟踪系统。


背景技术：

2.随着我国电力需求的不断增长，电力系统中的设备越来越多，为了保持这些电力设备的可靠性运行，必须对其进行实时监测。通常，电力系统采用大规模的无人机、机器人、监控摄像头等智能化终端代替人眼对电力设备进行全天候实时监测。通过基于深度学习的计算机视觉技术，对这些智能化设备拍摄到的影像进行目标检测和目标跟踪等视觉方面的处理，从而准确、实时地识出电力设备是否有异常。
3.近年来，基于孪生网络的目标跟踪算法在保持实时速度的同时又能产生很好的跟踪精度，因此受到了广泛的关注。然而，这些跟踪算法分别使用独立的分类网络和回归网络进行前背景预测和目标定位，忽略了分类置信度和回归精度之间的不匹配问题，从而影响目标跟踪的精度。这就导致在实际的跟踪环境中，目标物体可能会受到光照，遮挡，尺度变化等影响。因此，亟需提出一种能有效保证分类置信度和回归精度一致的跟踪方法。


技术实现要素：

4.为解决现有技术中存在的不足，本发明的目的在于，基于孪生网络的跟踪器长期存在的分类回归之间的不匹配问题，提出一种基于残差回归网络的电力设备跟踪方法以及跟踪系统。
5.本发明采用如下的技术方案。
6.一种基于残差回归网络的电力设备跟踪方法，所述跟踪方法用于实现对电力设备巡检图像的目标检测和跟踪，将第一帧图像作为目标模板图像，将后续待跟踪检测的图像依次作为当前帧图像，其特征在于，所述方法包括如下步骤：
7.步骤1，根据所述电力设备的位置信息，分别提取所述目标模板图像与当前帧图像的深度特征作为目标模板的特征与当前帧搜索区域的特征；
8.步骤2，通过图注意力机制，将所述目标模板的特征传递到所述当前帧搜索区域的特征中，以获得响应图；
9.步骤3，对所述响应图分别使用具有4层卷积的分类网络和回归网络进行前背景分类和边界框回归，得到粗分类得分和粗定位结果；
10.步骤4，根据所述粗定位结果，使用关键点特征聚合方法得到聚合特征；
11.步骤5，对所述聚合特征进行分类优化细分类得分，对所述聚合特征进行残差回归优化残差回归结果；
12.步骤6，根据所述细分类得分与所述粗分类得分，通过点乘操作得到最终分类置信度图，根据所述残差回归结果与所述粗定位结果，通过求和操作得到目标定位结果；
13.步骤7，根据所述最终分类置信度图与目标定位结果，计算出所述当前帧图像的跟
踪结果。
14.进一步的，
15.所述深度特征利用预设的inception v3网络进行提取。
16.进一步的，
17.所述步骤1还包括：
18.预先对所述当前帧图像进行裁剪以固定尺寸。
19.进一步的，
20.所述步骤2具体包括：
21.步骤s21：计算相似度：e＝(w
shs
)
t
(w
tht
)，其中s和t分别是当前帧搜索区域的特征与目标模板的特征，w为线性转换矩阵,t代表转置，h
t
和hs分别为目标模板的特征中结点的特征和当前帧搜索区域的特征中结点的特征；
22.步骤s22：将相似度e进行softmax归一化得出目标模板和当前帧搜索区域特征结点之间的注意力a，并得到响应图：fs＝∑((aw
vht
)||(w
vhs
))，其中wv为线性转换矩阵。
23.进一步的，
24.所述步骤4具体包括：
25.步骤s41，利用粗定位结果包含的当前帧搜索区域中的电力设备的四条边界的位置坐标，并使用双线性插值法计算出目标边界特征，公式为：
[0026][0027]
其中(x,y)为边界的位置坐标，f(q
11
)、f(q
12
)、f(q
21
)、f(q
22
)分别为位于点(x,y)上下左右的四个点的特征值，f(x,y)即为求得的目标边界特征；
[0028]
步骤s42：对于每一条边界，计算出目标边界特征f(x,y)最大值，将该最大值对应的位置(x,y)作为目标特征的关键点；
[0029]
步骤s43：将所述关键点与所述响应图进行连接操作，得到聚合后的目标特征：
[0030][0031]
其中c代表第c个通道，ic(i,j)为响应图中宽为i，高为j的第c个通道特征，(x0,y0)、(x1,y1)分别表示粗定位结果对应的目标左上角坐标和右下角坐标，w和h为粗定位结果对应的目标宽和高，n为设定的参数。
[0032]
进一步的，
[0033]
所述设定的参数n为10。
[0034]
进一步的，
[0035]
所述步骤5具体包括：
[0036]
步骤s51：使用聚合特征进行分类得到细分类损失为：
[0037][0038]
其中为结点(i,j)的细分类得分，q
(x,y)
为预设的正负样本标签，l
ce
代表交叉熵损失函数，||(t
(i,j)
)为指示函数。t
(i,j)
代表回归标签，分别是点(i,j)到目标左、上、右、下的距离，所述细分类损失用于优化细分类得分；
[0039]
步骤s52：使用聚合特征进行残差回归得到残差回归结果的损失为：
[0040][0041]
其中为结点(i,j)的残差回归结果，l
iou
代表iou损失函数，所述残差回归结果的损失用于优化残差回归结果。
[0042]
进一步的，
[0043]
所述目标定位结果为：
[0044]
lr＝l+δl,tr＝t+δt
[0045]rr
＝r+δr,br＝b+δb
[0046]
其中(l,t,r,b)和(δl,δt,δr,δb)分别代表粗定位结果和残差回归结果。
[0047]
进一步的，
[0048]
所述步骤7具体包括：
[0049]
步骤s71，计算出所述最终分类置信度图中的最大值；
[0050]
步骤s72，将所述最大值的位置对应的矫正后的目标定位结果绘制边界框作为当前帧的跟踪结果，具体为：
[0051][0052]
其中λ为平衡权重，p
(i,j)
为限制目标大幅变化的尺度惩罚项，h
(i,j)
表示余弦窗。
[0053]
一种基于残差回归定位的电力设备精确跟踪系统，包括：图像获取模块、特征提取模块、图注意力机制计算模块、卷积网络模块、聚合特征模块、残差回归模块与跟踪结果模块；
[0054]
所述图像获取模块用于获取目标模板图像与当前帧图像；
[0055]
所述特征提取模块用于提取深度特征；
[0056]
所述图注意力机制计算模块用于获取响应图；
[0057]
所述卷积网络模块用于根据4层卷积的分类网络和回归网络进行前背景分类和边界框回归，得到粗分类得分和粗定位结果；
[0058]
所述聚合特征模块用于根据聚合特征得到细分类得分；
[0059]
所述残差回归模块用于根据聚合特征得到残差回归结果；
[0060]
所述跟踪结果模块用于根据最终分类置信度图与目标定位结果，计算出当前帧图
像的跟踪结果。
[0061]
本发明的有益效果在于，与现有技术相比，本发明具有以下优点：
[0062]
(1)本公开将残差学习策略应用于回归网络中，在反向传播时残差回归网络对目标定位的变化更加敏感，可以更细微地调整标记目标的跟踪边界框，提升了目标的定位精度。
[0063]
(2)本公开使用目标的粗定位信息对目标特征进行增强，网络提取的特征更加丰富，提升了跟踪的鲁棒性。
附图说明
[0064]
图1为本发明与其他算法在otb100通用数据集上的跟踪效果对比图。
[0065]
图2为本发明在几个电力设备跟踪场景上的跟踪效果比较图。
[0066]
图3是一种基于残差回归定位的电力设备精确跟踪方法的流程图。
具体实施方式
[0067]
下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
[0068]
本发明的目的是为了提供一种基于残差回归定位的电力设备精确跟踪方法。该方法将残差学习策略应用于回归网络中，在反向传播时残差回归网络对目标定位的变化更加敏感，可以更细微地调整标记目标的跟踪边界框，提升了目标的定位精度；并且使用目标的粗定位信息对目标特征进行增强，网络提取的特征更加丰富，提升了跟踪的鲁棒性。
[0069]
本发明的实现过程如下：
[0070]
步骤s1：根据视频序列第i帧图像(i＝1)中的电力设备目标位置信息，截取固定大小的目标区域，利用预先训练好的inception v3网络提取深度特征作为目标模板的特征；在一些实施例中，为了统一目标区域的尺寸，可以将目标区域设置为127*127的大小，由于图像中每一个像素点包含三要素(例如，rgb三要素，或深度、色调、饱和度三要素)，需要说明的是，所述深度特征即为深度要素。因此目标区域的全部信息的宽、高、通道数分别为127*127*3。训练后的目标模板的特征的宽、高、通道数分别可以为13*13*256。
[0071]
步骤s2：读取视频序列的第(i+1)帧图像并裁剪出当前帧搜索区域，利用inception v3网络提取当前帧搜索区域的深度特征，得到当前帧搜索区域的特征；裁剪的目的是使输入到特征提取网络中的图片(当前帧搜索区域)大小固定，因为不同数据集的图像尺寸大小不一样。在一些实施例中，可以使用opencv中的crop函数和resize函数进行裁剪和缩放为固定尺寸。在一些实施例中，当前帧搜索区域的尺寸为287*287，当前帧搜索区域的全部信息的宽、高、通道数分别为287*287*3。训练后的当前帧搜索区域的特征的宽、高、通道数分别为25*25*256。
[0072]
步骤s3：将步骤s1中的目标模板的特征图通过图注意力机制传递到当前帧搜索区域特征中获得响应图；
[0073]
所述步骤s3方法具体为：
[0074]
步骤s31：将目标模板的特征和当前帧搜索区域的特征中的每一格都视为一个结点，对目标模板的特征和当前帧搜索区域的特征中的每个结点使用点乘得到结点间的相似
度：e＝(w
shs
)
t
(w
tht
)。其中s和t分别代表当前帧搜索区域的特征与目标模板的特征，w为线性转换矩阵。t代表转置，h
t
和hs分别为目标模板的特征图中结点的特征和当前帧搜索区域的特征图中结点的特征。
[0075]
步骤s32：将相似度e进行softmax归一化得出目标模板和当前帧搜索区域特征结点之间的注意力a，并且将其与节点特征融合得到响应图：fs＝∑((aw
vht
)||(w
vhs
))。需要说明的是，ws、w
t
与wv这三个线性转换矩阵是有初始值的矩阵，且初始值可以是随机添加的，之后会在网络的训练学习过程中，自动优化调整为合适的参数，这里的“自动优化”是指在网络模型训练过程中，根据步骤s61的细分类损和步骤s62的残差回归结果的损失，使用随机梯度下降方法进行优化。使用随机梯度下降方法(一种常用的标准优化算法，涉及深度学习的基础原理相关知识)对线性转换矩阵内的数值进行改变，使其达到最优；模型训练完成后的跟踪阶段该值是固定的。该“自动优化”方法适用于网络模型训练的过程中的所有会改变的参数，比如下面提到的“分类网络”和“回归网络”中卷积核的参数。训练好后本模型中所有参数都是固定的。由于这些是现有技术，此处不再赘述。||为向量连接符号。
[0076]
步骤s4：对上述响应图分别使用具有4层卷积的分类网络和回归网络进行前背景分类和边界框回归，分别得到粗分类得分和粗定位结果。
[0077]
其中，分类回归网络分别具有4层卷积层，每一层卷积层都是有256维3*3的卷积核组成。每一维3*3的卷积核就是长宽分别为3，具有9个参数，256维就是有256*9个参数。这些参数的数值在训练过程中会优化改变(自动优化)，模型训练好后跟踪过程中参数是固定的。
[0078]
需要说明的是，粗分类得分和粗定位结果的本质都是将目标模板的特征嵌入到当前帧搜索区域的特征中，得到的新的特征。粗分类得分宽、高、通道数分别为25*25*1，也就是只有一层宽为25，高为25的矩阵；用来判断这625(25*25＝625)个位置是目标(前景)还是背景，因此称为“前背景分类。
[0079]
粗定位结果宽、高、通道数分别为25*25*4，也就是4层宽为25，高为25的矩阵；这四层分别代表这625(25*25＝625)个位置对应距离估计出的目标上、下、左、右的距离，(第一层为上、第二层为下
…
)，根据这625个位置每个位置对应的四个距离可以得到目标的粗略位置。
[0080]
步骤s5：使用关键点特征聚合方法根据粗定位结果对特征进行增强，得到增强后的聚合特征，该聚合特征包含有利于目标定位的边界信息。
[0081]
所述步骤s5方法具体为：
[0082]
步骤s51，利用粗定位结果包含的当前帧搜索区域中的电力设备的四条边界的位置坐标，并使用双线性插值法计算出目标边界特征，公式为：
[0083][0084]
其中(x,y)为边界的位置坐标，f(q
11
)、f(q
12
)、f(q
21
)、f(q
22
)分别为位于点(x,y)上下左右的四个点的特征值，f(x,y)即为求得的目标边界特征；需要说明的是，由于当前帧搜索区域的特征的宽、高、通道数分别为25*25*256，因此f(q
11
)、f(q
12
)、f(q
21
)、f(q
22
)均为长度为256的向量。
[0085]
步骤s52：对于每一条边界，计算出目标边界特征f(x,y)最大值，将该最大值对应
的位置(x,y)作为目标特征的关键点。4条边界一共有4个关键点。
[0086]
步骤s53：将关键点与响应图进行连接操作，得到聚合后的目标特征：
[0087][0088]
其中c代表第c个通道，ic(i,j)为响应图中宽为i，高为j的第c个通道特征，(x0,y0)、(x1,y1)分别表示粗定位结果对应的目标左上角坐标和右下角坐标，w和h为粗定位结果对应的目标宽和高，n为设定的参数，n的值可以为10。
[0089]
步骤s6：将步骤s5中的聚合特征进行分类和残差回归，优化细分类得分和残差回归结果；具体包括：
[0090]
步骤s61：使用聚合特征进行分类得到细分类损失为：
[0091][0092]
其中为结点(i,j)的细分类得分，q
(x,y)
表示设置的正负样本标签(正样本为1或负样本为0)，l
ce
为交叉熵损失函数，||(t
(i,j)
)为指示函数。t
(i,j)
代表回归标签，分别是点(i,j)到目标左、上、右、下的距离。需要说明的是，细分类得分初始是0到1之间的随机值，在该步骤中，通过细分类损失l
ra_cls
对细分类得分进行评价，不断缩小细分类得分与正负样本标签的差距，从而使得细分类得分更准确。该目标指的是上述四条边界组成的区域，因此，如果点(i,j)在四条边界组成的区域外，则这四个距离均为负数，否则均为正数。
[0093]
步骤s62：使用聚合特征进行残差回归得到残差回归结果的损失为：
[0094][0095]
其中为结点(i,j)的残差回归结果，l
iou
代表iou损失函数。需要说明的是，此处残差回归结果的损失和残差回归结果之间的关系与上述细分类损失和新分类得分之间的关系类似。
[0096]
如上面问题s2和s5所述，不是直接优化的“残差回归结果”，而是优化的网络模型里的参数，例如特征提取网络inceptionv3中定的卷积层，分类回归网络中的卷积层等包含
的参数。优化的方法为问题s2中提到的“自动优化”方法，根据残差回归结果的损失使用随机梯度下降方法进行优化。
[0097][0098]
步骤s7：把细分类得分与粗分类得分通过点乘操作得出最终分类置信度图，把残差回归结果与粗定位结果通过求和操作得出矫正后的目标定位结果；需要说明的是，最终分类置信度图是大小为25*25的矩阵，里面有625个数值，数值大小在0-1之间，数值越大代表该数值所在位置为目标的概率越大。
[0099]
步骤s7中把残差回归结果与粗定位结果通过求和操作得出矫正后的目标定位结果的方法为：
[0100]
lr＝l+δl,tr＝t+δt
[0101]rr
＝r+δr,br＝b+δb
[0102]
其中(l,t,r,b)和(δl,δt,δr,δb)分别代表粗定位结果和残差回归结果。
[0103]
步骤s8：利用矫正后的目标定位结果绘制边界框作为当前帧的跟踪结果；并令i＝i+1，返回步骤s2，直至遍历完整个视频序列。步骤s8具体包括：
[0104]
步骤s81，计算出最终分类置信度图中的最大值；
[0105]
步骤s82，将该最大值位置对应的矫正后的目标定位结果绘制边界框作为当前帧的跟踪结果，具体为：
[0106]“该最大值位置对应的矫正后的目标定位结果”是指在步骤s7中矫正后的目标定位结果中的625(25*25＝625)个位置里面，与q的位置相同的那一个位置。
[0107][0108]
其中，q为最终分类置信度图中的最大值，λ为平衡权重，p
(i,j)
为限制目标大幅变化的尺度惩罚项，h
(i,j)
表示余弦窗。需要说明的是，该最大值位置对应的矫正后的目标定位结果是指在步骤s7中矫正后的目标定位结果中的625(25*25＝625)个位置里面，与q的位置相同的那一个位置。此处的平衡权重，尺度惩罚项，余弦窗三个参数都是超参数，也就是手动设置的数值，大小范围在0到1之间。不同的跟踪数据集会使用不同的参数值以达到最准确的跟踪效果。
[0109]
本发明实例是使用pytorch框架在一台intel i7-10700cpu和nvdia rtx 2060的计算机上进行实验。在通用数据集otb100上与最近的先进跟踪方法进行了对比，其中还包括在线跟踪器ocean；图1是对实际场景中电力设备跟踪效果的比较，我们的跟踪器优于siamgat等先进的跟踪方法，而且还能保持实时跟踪速度；图2是本发明和几个先进跟踪算法在真实电力设备跟踪场景中的跟踪效果图，可以看出本发明具有更准确的定位精度和更好的鲁棒性，能够高效处理电力设备跟踪任务。
[0110]
图3是一种基于残差回归定位的电力设备精确跟踪方法的流程图，所述跟踪方法用于实现对电力设备巡检图像的目标检测和跟踪，将第一帧图像作为目标模板图像，将后续待跟踪检测的图像依次作为当前帧图像，所述方法包括如下步骤：
[0111]
步骤1，根据所述电力设备的位置信息，分别提取所述目标模板图像与当前帧图像的深度特征作为目标模板的特征与当前帧搜索区域的特征；
[0112]
步骤2，提取所述当前帧图像的深度特征作为当前帧搜索区域的特征；
[0113]
步骤3，通过图注意力机制，将所述目标模板的特征传递到所述当前帧搜索区域的特征中，以获得响应图；
[0114]
步骤4，对所述响应图分别使用具有4层卷积的分类网络和回归网络进行前背景分类和边界框回归，得到粗分类得分和粗定位结果。
[0115]
步骤5，根据所述粗定位结果，使用关键点特征聚合方法得到聚合特征；
[0116]
步骤6，对所述聚合特征进行分类优化细分类得分，对所述聚合特征进行残差回归优化残差回归结果；
[0117]
步骤7，根据所述细分类得分与所述粗分类得分，通过点乘操作得到最终分类置信度图，根据所述残差回归结果与所述粗定位结果，通过求和操作得到目标定位结果；
[0118]
步骤8，根据所述最终分类置信度图与目标定位结果，计算出所述当前帧图像的跟踪结果。
[0119]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

技术特征：
1.一种基于残差回归网络的电力设备跟踪方法，所述跟踪方法用于实现对电力设备巡检图像的目标检测和跟踪，将第一帧图像作为目标模板图像，将后续待跟踪检测的图像依次作为当前帧图像，其特征在于，所述方法包括如下步骤：步骤1，根据所述电力设备的位置信息，分别提取所述目标模板图像与当前帧图像的深度特征作为目标模板的特征与当前帧搜索区域的特征；步骤2，通过图注意力机制，将所述目标模板的特征传递到所述当前帧搜索区域的特征中，以获得响应图；步骤3，对所述响应图分别使用具有4层卷积的分类网络和回归网络进行前背景分类和边界框回归，得到粗分类得分和粗定位结果；步骤4，根据所述粗定位结果，使用关键点特征聚合方法得到聚合特征；步骤5，对所述聚合特征进行分类优化细分类得分，对所述聚合特征进行残差回归优化残差回归结果；步骤6，根据所述细分类得分与所述粗分类得分，通过点乘操作得到最终分类置信度图，根据所述残差回归结果与所述粗定位结果，通过求和操作得到目标定位结果；步骤7，根据所述最终分类置信度图与目标定位结果，计算出所述当前帧图像的跟踪结果。2.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述深度特征利用预设的inception v3网络进行提取。3.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述步骤1还包括：预先对所述当前帧图像进行裁剪以固定尺寸。4.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述步骤2具体包括：步骤s21：计算相似度：e＝(w
s
h
s
)
t
(w
t
h
t
)，其中s和t分别是当前帧搜索区域的特征与目标模板的特征，w为线性转换矩阵，t代表转置，h
t
和h
s
分别为目标模板的特征中结点的特征和当前帧搜索区域的特征中结点的特征；步骤s22：将相似度e进行softmax归一化得出目标模板和当前帧搜索区域特征结点之间的注意力a，并得到响应图：f
s
＝∑((aw
v
h
t
)||(w
v
h
s
))，其中w
v
为线性转换矩阵。5.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述步骤4具体包括：步骤s41，利用粗定位结果包含的当前帧搜索区域中的电力设备的四条边界的位置坐标，并使用双线性插值法计算出目标边界特征，公式为：其中(x,y)为边界的位置坐标，f(q
11
)、f(q
12
)、f(q
21
)、f(q
22
)分别为位于点(x,y)上下左
右的四个点的特征值，f(x,y)即为求得的目标边界特征；步骤s42：对于每一条边界，计算出目标边界特征f(x,y)最大值，将该最大值对应的位置(x,y)作为目标特征的关键点；步骤s43：将所述关键点与所述响应图进行连接操作，得到聚合后的目标特征：其中c代表第c个通道，i
c
(i,j)为响应图中宽为i，高为j的第c个通道特征，(x0,y0)、(x1,y1)分别表示粗定位结果对应的目标左上角坐标和右下角坐标，w和h为粗定位结果对应的目标宽和高，n为设定的参数。6.根据权利要求5所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述设定的参数n为10。7.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述步骤5具体包括：步骤s51：使用聚合特征进行分类得到细分类损失为：其中为结点(i,j)的细分类得分，q
(x,y)
为预设的正负样本标签，l
ce
代表交叉熵损失函数，||(t
(i,j)
)为指示函数。t
(i,j)
代表回归标签，分别是点(i,j)到目标左、上、右、下的距离，所述细分类损失用于优化细分类得分；步骤s52：使用聚合特征进行残差回归得到残差回归结果的损失为：其中为结点(i,j)的残差回归结果，l
iou
代表iou损失函数，所述残差回归结果的损失用于优化残差回归结果。8.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述目标定位结果为：l
r
＝l+δl,t
r
＝t+δt
r
r
＝r+δr,b
r
＝b+δb其中(l,t,r,b)和(δl,δt,δr,δb)分别代表粗定位结果和残差回归结果。9.根据权利要求1所述的一种基于残差回归定位的电力设备精确跟踪方法，其特征在于：所述步骤7具体包括：步骤s71，计算出所述最终分类置信度图中的最大值；步骤s72，将所述最大值的位置对应的矫正后的目标定位结果绘制边界框作为当前帧的跟踪结果，具体为：其中λ为平衡权重，p
(i,j)
为限制目标大幅变化的尺度惩罚项，h
(i,j)
表示余弦窗。10.一种基于残差回归定位的电力设备精确跟踪系统，用于执行权利要求1至权利要求9所述的方法，包括：图像获取模块、特征提取模块、图注意力机制计算模块、卷积网络模块、聚合特征模块、残差回归模块与跟踪结果模块，其特征在于：所述图像获取模块用于获取目标模板图像与当前帧图像；所述特征提取模块用于提取深度特征；所述图注意力机制计算模块用于获取响应图；所述卷积网络模块用于根据4层卷积的分类网络和回归网络进行前背景分类和边界框回归，得到粗分类得分和粗定位结果；所述聚合特征模块用于根据聚合特征得到细分类得分；所述残差回归模块用于根据聚合特征得到残差回归结果；所述跟踪结果模块用于根据最终分类置信度图与目标定位结果，计算出当前帧图像的跟踪结果。

技术总结
一种基于残差回归网络的电力设备跟踪方法及系统，包括获取目标模板图像与当前帧图像，包括：根据所述电力设备的位置信息，分别提取所述目标模板图像与当前帧图像的深度特征作为目标模板的特征与当前帧搜索区域的特征；进行前背景分类和边界框回归，得到粗分类得分和粗定位结果。根据粗定位结果，使用聚合方法得到聚合特征；根据聚合特征优化细分类得分与残差回归结果；通过点乘操作得到最终分类置信度图，根据残差回归结果与所述粗定位结果，通过求和操作得到目标定位结果；根据最终分类置信度图与目标定位结果，计算出所述当前帧图像的跟踪结果。本发明提升了目标的定位精度。本发明提升了目标的定位精度。本发明提升了目标的定位精度。


技术研发人员：郭志民 姜亮 王棨 张焕龙 刘昊 田杨阳 卢明 李哲 梁允 赵健 刘善峰 毛万登 王超 袁少光 王津宇 贺翔 魏小钊 马斌 苗蒙恩 齐企业
受保护的技术使用者：国网河南省电力公司
技术研发日：2022.02.10
技术公布日：2022/5/25