一种面向无人机巡检的输电线金具异常检测方法及系统与流程

1.本发明涉及智能检测的技术领域，更具体地，涉及一种面向无人机巡检的输电线金具异常检测方法。


背景技术：

2.对于高压输电线上的金具的异常检测，传统方法采用人工巡检的方式对其进行异常检测，然而传统的人工巡检效率低、安全性低且劳动成本高，因此近年来无人机成为了高压输电线巡检的常用工具，但无人机只能起到采集数据的作用，要想真正摆脱传统的人工检测，提高检测效率，需要对无人机采集到的数据进行实时检测。
3.采用深度学习的图像识别和检测方式对金具进行检测是一种常用的检测手段，如现有技术文件1(cn109344753a)公开了一种基于深度学习的航拍图像输电线路细小金具识别方法，该方法通过对航拍图像进行防抖去噪处理，并建立细小金具识别图像库；通过旋转、扭曲等方法扩充图像库数据；建立与细小金具识别图像库对应的图像标签库；利用faster r-cnn网络搭建细小金具识别模型，主要包括特征提取网络、区域建议网络和fast r-cnn检测网络；利用图像库中的航拍图像训练该网络，最后根据训练时网络参数是否达到期望值固化深度神经网络模型，并将识别出的图像信息保存到服务器中，以便后期的细小金具故障检测使用。
4.但对于高压输电线上的金具检测来说，金具目标小，野外背景环境复杂，金具被遮挡严重，现有技术文件1无法较好地识别复杂背景下的微小目标，极易被地面或建筑物上的形似干扰物影响检测效果，普遍存在漏检、误检情况。
5.因此研究一种可靠的，可以大批量的对高压输电线上的金具进行异常检测的技术具有非常重要的实用意义。


技术实现要素：

6.为解决现有技术中存在的不足，本发明的目的在于，提供一种面向无人机巡检的输电线金具异常检测方法，适合于输电线路上的小金具目标的异常检测问题，具有良好的准确检测率，改善了复杂场景下的错检情况。
7.本发明采用如下的技术方案。
8.一种面向无人机巡检的输电线金具异常检测方法，包括以下步骤：
9.步骤1，无人机巡检获取高压输电线上的金具缺陷图像；
10.步骤2，对无人机巡检获得的金具缺陷图像进行标注，将经过标注后的金具缺陷图像作为样本集；
11.步骤3，基于faster rcnn模型进行改进，结合自注意力机制构建异常检测模型；
12.步骤4，基于迁移学习的训练方式和样本集对构建的异常检测模型进行训练，得到训练后的异常检测模型；
13.步骤5，使用完成训练的异常检测模型，对无人机巡检获取高压输电线上的金具图
像进行异常检测处理，并输出检测结果。
14.优选地，所述步骤2中，还包括对图像进行尺寸变换，使图像尺寸统一为512*512像素大小。
15.优选地，所述异常检测模型基于faster rcnn网络构建，包括卷积层、rpn网络、roi pooling层和全连接层，全连接层用于分类回归计算。
16.优选地，所述异常检测模型中的卷积层使用resnet101网络作为残差网络。
17.优选地，所述异常检测模型还包括自注意力机制网络，自注意力机制网络设置于roi pooling层之后。
18.优选地，所述步骤4中，对异常检测模型训练的还包括：
19.使用faster r-cnn官方在数据集pasal voc数据集上已训练好的训练参数作为异常检测模型的初始化参数；
20.将样本集输入初始化后的待训练异常检测模型中进行训练；
21.计算异常检测模型的总损失，当总损失的值不再明显下降时表示训练完成，得到训练后的异常检测模型。
22.优选地，所述损失函数包括分类损失和回归损失，其中，分类损失用于判别锚框是积极的还是消极的，回归损失用于边框回归训练。
23.优选地，所述步骤5中，异常检测模型对输入图像的检测过程包括：
24.将残差网络对输入图像进行缺陷特征提取，得到特征图；
25.将特征图输入到rpn网络中得到目标区域；
26.将目标区域经过非极大值抑制得到区域建议框；
27.将区域建议框传入roi pooling层得到感兴趣区域；
28.将感兴趣区域传入自注意力机制框架中进行相似性度量，得到与感兴趣区域特征图大小相同的特征图；
29.自注意力机制网络输出的特征图经过全连接层后进行分类回归，输出金具图像的异常检测结果。
30.优选地，所述异常检测模型能够检测出图像中的金具部分以及该金具对应的置信度，并根据预先设置的置信度阈值判断该金具是否为异常金具，若是则将该异常金具用标注框框出，并在标注框边注明其对应的置信度值，若不是则无需标注。
31.本发明还提出了一种面向无人机巡检的输电线金具异常检测系统，包括：图像获取模块、尺寸变换模块、训练模块和处理模块；
32.其中，图像获取模块用于获取包含金具的输电线图像；
33.尺寸变换模块用于对图像获取模块获取到的图像进行尺寸变换，使输入处理模块的图像为统一尺寸大小的图像；
34.处理模块包括所构建的异常检测模型，用于对输入图像中的金具进行异常检测，并得到检测结果；
35.训练模块能够结合图像获取模块的图像数据对处理模块的异常检测模型进行训练。
36.本发明的有益效果在于，与现有技术相比，本发明包括以下有益效果：
37.1、本发明能够在小样本数据的基础上，使用迁移学习的方法将数据集pasal voc
数据集的训练模型参数迁移到本发明所用数据集的模型中作为初始化的参数，以降低样本量少对模型训练带来的影响，降低训练时样本采集所需成本；
38.2、本发明在异常检测模型中的第一次进行分类判别之前增强对目标物体的特征学习，使用resnet101作为卷积层的特征提取网络，改变检测前期对特征提取的方法，使用网络层数更深且不会出现梯度消失和梯度爆炸等问题的残差网络进行特征提取，减少错检和漏检的现象；
39.3、本发明在异常检测模型中的第二次分类判别之前对得到的候选区域采用自注意力机制进行相似性度量，利用候选区域的关联性来解决复杂环境下的错检问题，提高最终检测的检出率和检测准确度。
附图说明
40.图1为本发明提出的一种面向无人机巡检的输电线金具异常检测方法的整体流程示意图；
41.图2为本发明中异常识别模型中resnet101网络的结构示意图；
42.图3为本发明中异常识别模型中self-attention机制的结构示意图；
43.图4为本发明中改进后faster rcnn网络模型的结构示意图；
44.图5为本发明中异常识别模型的结构示意图；
45.图6为本发明提出的一种面向无人机巡检高压输电线上的金具的异常检测系统的整体结构示意图。
具体实施方式
46.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本技术的保护范围。
47.如图1所示，本发明提出了一种面向无人机巡检的输电线金具异常检测方法，该方法具体包括以下步骤：
48.步骤1，无人机巡检获取高压输电线上的金具缺陷图像；
49.具体的，本实施例中获取到的金具缺陷图像为500张，且图像中应当包含金具不同程度和类型的缺陷。
50.步骤2，对无人机巡检获得的金具缺陷图像进行标注，将经过标注后的金具缺陷图像作为样本集；
51.其中，标注可以采用人工标注或标注工具的方式进行，可选用的标注工具包括labelimg、opencv、labelime等工具，通过标注将无人机巡检获得的金具缺陷图像中的金具部分标注出来。
52.进一步的，为了避免训练时计算量过大，可以对训练的图像先进行尺寸变换，将图像尺寸变换为统一大小，然后再进行标注划分工作，尺寸变换和标注后的样本集图像作为训练数据。
53.优选的，尺寸变化后的图像均为512*512像素大小。
54.步骤3，基于faster rcnn模型进行改进，结合自注意力机制构建异常检测模型；
55.其中，本发明所使用的异常检测模型基于基础faster rcnn模型改进并构建，基础
faster rcnn模型结构包括卷积层、rpn网络、roi pooling层和全连接层，其中，全连接层用于进行分类回归计算。
56.具体的，基础faster rcnn模型的卷积层采用vgg16网络，本发明基于fasterrcnn网络模型构建异常检测模型，且卷积层中使用resnetl01网络作为残差网络，并此基础上加入自注意力(self-attention)机制，分别从提升特征质量和联系图像上下文信息方面减少漏检误检情况。
57.具体的，resnet101网络可以使模型在卷积层很好地学习图像的特征信息，获得丰富的语义信息用于后续的检测过程。基础的残差网络实际上使用跳跃连接的方式进行卷积操作，如图2所示，使用这种方式构建残差单元，结构化地调用残差块，减少了计算量和参数量。resnet101网络的具体结构如下表1所示，可以看出resnet101网络包括5层卷积，4个残差块再加上第一层的卷积和最后的全连接层共101层，该101层不包括池化层。
58.表1 resnet101网络的具体结构
[0059][0060][0061]
计算机视觉中，注意力机制(attention)能够模仿人类观察事物的特点，注意想要的物体，通过学习学会只关注想要的特征，从而忽略无关信息而只关注重点信息。其中卷积过程也能够实现部分注意力机制的效果，例如对于分类网络的高层特征图来说，它所激活的像素点恰好集中在与分类任务相关的区域。但卷积中的卷积单元，不论后期的感受野如何增大，最终实质上还是只进行了局部区域的运算，因为它只关注与其相邻的区域特征，这就导致最后会忽略其他较远的地方对当前区域的贡献。计算机视觉中的self-attention中的non-local blocks则可以捕捉这种长距离的关系：对于2d图像，就是图像中任意像素对当前像素的贡献值；对于3d视频，就是所有帧中的所有像素对当前帧像素的贡献值。
[0062]
进一步的，本发明在异常检测模型roi pooling层后加入自注意力机制，使在同一复杂场景下得到的目标候选区域之间进行相似性的度量，得到某一区域受到其他区域的贡献权重，再将这个权重与自身相乘再相加，就达到了对这个候选区域的得分情况再评价，如果候选区域是需要的目标区域，则其得分会增加，如果不是需要的目标区域，则其得分会降低，最后达到更加精确地检测结果，从而解决复杂场景下的错检情况。
[0063]
本发明加入的self-attention机制借鉴了nlp的思想，如图4所示，图4为self-attention机制网络的基本结构，包括query(查询)、key(键)和value(值)。输入self-attention机制网络的卷积层特征图x为roi pooling层的输出。self-attention机制网络包括三个分支，分别为第一分支wk、第二分支wq和第三分支wv，对于输入x，其经过self-attention机制的具体计算步骤如下：
[0064]
根据query和每个key进行相似性度量计算得到权重，本发明使用点积操作进行相似性度量：
[0065][0066]
其中，wq、为输入的经过卷积后的结果，经过卷积操作进行了相似性度量，dk为输入的特征维度，其作用是限制数值的规模，防止wj出现非0即1的情况。
[0067]
对计算得到的权重进行归一化处理，归一化处理可以使用softmax函数。
[0068]
将归一化得到的权重和key相对应的value进行加权求和，得到最后的w，w的计算式如下：
[0069][0070]
其中，w表示各像素点受到其他像素点的影响权重。
[0071]
将各像素点受到其他像素点的影响权重w与输入x相加，得到一个维度大小与输入相同的输出，输出的计算式如下：
[0072]
out＝wv×
w+x
[0073]
其中，out表示输入x经过self-attention机制后的输出，x为输入值。
[0074]
步骤4，基于迁移学习的训练方式和样本集对构建的异常检测模型进行训练，得到训练后的异常检测模型；
[0075]
具体的，异常检测模型的训练还包括：
[0076]
使用faster r-cnn官方在数据集pasal voc数据集上已训练好的训练参数作为异常检测模型的初始化参数；
[0077]
将样本集输入初始化后的待训练异常检测模型中进行训练；
[0078]
计算异常检测模型的总损失，当总损失的值不再明显下降时表示训练完成，得到训练后的异常检测模型。
[0079]
其中，由于样本集的数据量偏少，为了防止过拟合，加大训练的批次，batch_size设置为3。本发明设置训练100轮，初始学习率为0.001，每25轮学习率损失10％。
[0080]
使用faster r-cnn官方在数据集pasal voc数据集上已训练好的训练参数作为本发明所用异常检测模型的初始化参数，再此基础上继续训练，减少训练时间。将训练数据输
入到模型中进行训练，训练过程包括：使用resnet101网络对输入图像进行特征提取，得到特征图；将特征图输入到rpn网络中得到目标区域；计算rpn网络的分类损失(lcls)与回归损失(lreg)，具体的，异常检测模型的损失l包括分类损失l
cls
与回归损失l
reg
，则总损失l的计算式如下：
[0081][0082]
且：
[0083][0084][0085][0086]
其中，i表示锚框索引，锚框包括区域建议框与真实目标框，pi表示为正类的分类概率，表示对应的真实框值，t代表积极的边界框，
[0087]ncls
表示训练中mini-batch的大小，n
reg
表示锚框的数量，λ表示平衡分类与回归的系数，ti表示积极的锚框，即有目标物体的锚框，则是积极锚框对应的真实目标框；{x，y，w，h}为目标候选区域的位置坐标，目标候选区域指含有目标物体的锚框，{x，y}为锚框坐标，{w，h}为长度和宽度。
[0088]
通过计算第i个锚框与真实框之间的iou(重叠度)，根据iou大小判断该锚框是否积极，当第i个锚框与真实框之间的iou＞0.7，则认为该锚框是积极的，即认为该锚框中为需要识别的物体，此时令当iou＜0.3时，认为该锚框是消极的，此后也不会对其进行关注，此时令当0.3＜iou＜0.7时，其对应的锚框则不参与训练。
[0089]
可以看出，总损失函数l包括两部分：分类损失l
cls
和回归损失l
reg
，其中分类损失l
cls
用于判别锚框是积极的还是消极的；回归损失l
reg
使用soomth l1loss，用于边框回归训练。
[0090]
由于在实际应用中只关心积极锚框，即有目标物体的锚框的回归，因此在损失函数中乘上即若该锚框不是有目标物体的锚框则丢弃。而且在实际应用中，为了使得总损失在计算过程中能够均匀考虑2种损失，使用参数λ来平衡n
cls
和n
reg
之间的差距过大的问题，且参数λ为取整后的值。例如n
cls
＝256，n
reg
＝2500时，设置
[0091]
进一步的，将步骤2得到的样本集作为训练数据对异常检测模型进行训练的过程具体包括：
[0092]
将样本集输入待训练的异常检测模型中，异常检测模型将目标区域经过非极大值抑制得到区域建议框；将区域建议框传入roi pooling层得到感兴趣区域；将感兴趣区域传入自注意力机制框架中，得到与感兴趣区域特征图大小相同的特征图；自注意力机制输出
的特征图经过全连接层后进行分类回归，得到最后建议框再进行分类损失和回归损失的计算，其损失计算公式与rpn网络的分类损失和回归损失计算式相同，将此损失与rpn网络的损失相加后作为训练的总损失进行训练，当总损失的值不再明显下降时表示训练完成，得到训练后的异常检测模型。
[0093]
步骤5，使用完成训练的异常检测模型，对无人机巡检获取高压输电线上的金具图像进行异常检测，并输出检测结果。
[0094]
其中，对无人机巡检获取的金具图像进行尺寸变化，缩放为统一大小的图像，再输入异常检测模型中，优选的，
[0095]
具体的，异常检测模型对输入图像的处理过程包括：
[0096]
将残差网络对输入图像进行缺陷特征提取，得到特征图；
[0097]
将特征图输入到rpn网络中得到目标区域；
[0098]
将目标区域经过非极大值抑制得到区域建议框；
[0099]
将区域建议框传入roi pooling层得到感兴趣区域；
[0100]
将感兴趣区域传入自注意力机制网络中进行相似性度量，得到与感兴趣区域特征图大小相同的特征图；
[0101]
自注意力机制输出的特征图经过全连接层后进行分类回归，输出金具图像的异常检测结果。
[0102]
具体的，异常检测模型能够检测出图像中的金具部分以及该金具对应的置信度，并根据预先设置的置信度阈值判断该金具是否为异常金具，若是则将该异常金具用标注框框出，并在标注框边注明其对应的置信度值，若不是则无需标注。
[0103]
其中，置信度的取值范围为[0，1]，本发明中设置的置信度阈值为0.6，即置信度大于0.6的金具判断为异常金具。
[0104]
置信度的值越大表示该金具为异常的概率越大，因此置信度值可以作为辅助检测人员进行判断的数据。
[0105]
如图6所示，本发明还提出了一种面向无人机巡检高压输电线上的金具的异常检测系统，上述面向无人机巡检的输电线金具异常检测方法能够基于该系统实现，该系统具体包括：图像获取模块、尺寸变换模块、训练模块和处理模块。
[0106]
其中，图像获取模块用于获取包含金具的输电线图像，本实施例中可以为进行高压输电线巡检的无人机；
[0107]
尺寸变换模块用于对图像获取模块获取到的图像进行尺寸变换，使输入处理模块的图像为统一尺寸大小的图像；
[0108]
处理模块包括所构建的异常检测模型，用于对输入图像中的金具进行异常检测，并得到检测结果；
[0109]
训练模块能够结合图像获取模块的图像数据对处理模块的异常检测模型进行训练，使其能够实现准确的检测。
[0110]
仿真实验：
[0111]
为了验证本发明的有益效果，进行如下的仿真实验：分别采用基础faster rcnn模型(方法1)、基于resnet101的faster rcnn模型(方法2)和本发明所构建的异常检测模型(方法3)对无人机巡检获取的高压输电线金具图像进行异常检测，并对比三种方法对相同
的金具图像中目标对象的检出率和检测准确率，得到的结果如下表2所示：
[0112]
表2：不同检测方法下金具的检出率和检测准确率对照表
[0113] 检出率检测准确率方法177.3％74％方法281.3％80.5％方法384.6％83.1％
[0114]
可以看出，基础faster rcnn模型对金具的检测存在较多漏检和错检情况，分析原因包括：
[0115]
1、在输电线路上有很多与金具形状颜色相似的干扰物，导致错检的情况；
[0116]
2、当图像背景复杂时，锈蚀的金具会与背景融为一体，识别过程中不能很好区分，导致漏检的情况；
[0117]
3、当一些输电线路较远时，金具在图像中会变得很小，导致识别过程中出现漏掉小目标的情况。
[0118]
而基于resnet101的faster rcnn模型相对于基础faster rcnn模型改善了漏检和错检的情况，但对于输入图像存在严重干扰时，如目标物体被遮挡、背景复杂、与目标物体结构相似等，仍会导致检测准确率下降。
[0119]
针对有干扰而导致错检的问题，采用联系上下文进行筛选的方式进行排除误报警。本发明所构建的异常检测模型在基于resnet101的faster rcnn模型中进一步加入self-attention机制，错检的候选区域与其进行相似度关联后更新权值，因其与目标物体的形状相比有差异，则在经过self-attention机制的处理后这个候选区域的权值减少，进而在后续检测中不会被错检为目标物体，异常检测模型通过第二次分类预测时排除因干扰导致的错检情况。
[0120]
本发明的有益效果在于，与现有技术相比，本发明构建的异常检测模型在卷积层使用resnet101网络，即在第一次进行分类判别之前增强对目标物体的特征学习，提取更加丰富的语义信息，使得模型在后续的检测中可以更好地识别目标物体。
[0121]
本发明构建的异常检测模型在第二次分类判别之前对得到的候选区域采用self-attention的方法进行相似性度量，利用这些候选区域的关联性来解决复杂环境下的错检问题。
[0122]
本发明构建的异常检测模型在目标检测的不同阶段增强模型的判别能力，实验证明，适用于复杂背景下的金具异常检测问题，能够实现较高的检出率和检测的准确率。
[0123]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

技术特征：
1.一种面向无人机巡检的输电线金具异常检测方法，其特征在于，包括以下步骤：步骤1，无人机巡检获取高压输电线上的金具缺陷图像；步骤2，对无人机巡检获得的金具缺陷图像进行标注，将经过标注后的金具缺陷图像作为样本集；步骤3，基于faster rcnn模型进行改进，结合自注意力机制构建异常检测模型；步骤4，基于迁移学习的训练方式和样本集对构建的异常检测模型进行训练，得到训练后的异常检测模型；步骤5，使用训练后的异常检测模型对无人机巡检获取高压输电线上的金具图像进行异常检测处理，并输出检测结果。2.根据权利要求1所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述步骤2中，还包括对图像进行尺寸变换，使图像尺寸统一为512*512像素大小。3.根据权利要求1所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述异常检测模型基于faster rcnn网络构建，包括卷积层、rpn网络、roi pooling层和全连接层，全连接层用于分类回归计算。4.根据权利要求3所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述异常检测模型中的卷积层使用resnet101网络作为残差网络。5.根据权利要求3或4所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述异常检测模型还包括自注意力机制网络，自注意力机制网络设置于roi pooling层之后。6.根据权利要求1所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述步骤4中，对异常检测模型训练的还包括：使用faster r-cnn官方在数据集pasal voc数据集上已训练好的训练参数作为异常检测模型的初始化参数；将样本集输入初始化后的待训练异常检测模型中进行训练；计算异常检测模型的总损失，当总损失的值不再明显下降时表示训练完成，得到训练后的异常检测模型。7.根据权利要求1所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述损失函数包括分类损失和回归损失，其中，分类损失用于判别锚框是积极的还是消极的，回归损失用于边框回归训练。8.根据权利要求1所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述步骤5中，异常检测模型对输入图像的检测过程包括：将残差网络对输入图像进行缺陷特征提取，得到特征图；将特征图输入到rpn网络中得到目标区域；将目标区域经过非极大值抑制得到区域建议框；将区域建议框传入roi pooling层得到感兴趣区域；将感兴趣区域传入自注意力机制框架中进行相似性度量，得到与感兴趣区域特征图大小相同的特征图；自注意力机制网络输出的特征图经过全连接层后进行分类回归，输出金具图像的异常
检测结果。9.根据权利要求8所述的面向无人机巡检的输电线金具异常检测方法，其特征在于，所述异常检测模型能够检测出图像中的金具部分以及该金具对应的置信度，并根据预先设置的置信度阈值判断该金具是否为异常金具，若是则将该异常金具用标注框框出，并在标注框边注明其对应的置信度值，若不是则无需标注。10.一种面向无人机巡检的输电线金具异常检测系统，其特征在于，包括：图像获取模块、尺寸变换模块、训练模块和处理模块；其中，图像获取模块用于获取包含金具的输电线图像；尺寸变换模块用于对图像获取模块获取到的图像进行尺寸变换，使输入处理模块的图像为统一尺寸大小的图像；处理模块包括所构建的异常检测模型，用于对输入图像中的金具进行异常检测，并得到检测结果；训练模块能够结合图像获取模块的图像数据对处理模块的异常检测模型进行训练。

技术总结
一种面向无人机巡检的输电线金具异常检测方法及系统，包括以下步骤：步骤1，无人机巡检获取高压输电线上的金具缺陷图像；步骤2，对无人机巡检获得的金具缺陷图像进行标注，将经过标注后的金具缺陷图像作为样本集；步骤3，基于Faster RCNN模型进行改进，构建异常检测模型；步骤4，基于样本集对构建的异常检测模型进行训练，得到训练后的异常检测模型；步骤5，使用完成训练的异常检测模型，对无人机巡检获取高压输电线上的金具图像进行异常检测处理，并输出检测结果。本发明通过改变检测前期对特征提取的方法以及利用候选区域的关联性来解决复杂环境下的错检问题，提高对图像中较小的金具目标检测的检出率和检测准确度。具目标检测的检出率和检测准确度。具目标检测的检出率和检测准确度。


技术研发人员：郭志民 刘昊 李哲 田杨阳 卢明 梁允 张小斐 刘善峰 赵健 毛万登 王超 袁少光 王津宇 贺翔 耿俊成 李斌 许丹 陈岑 魏小钊
受保护的技术使用者：国网河南省电力公司
技术研发日：2022.02.09
技术公布日：2022/5/25