基于双目视觉的电缆外观缺陷检测与定位方法与流程

1.本发明属于电缆外观缺陷检测技术领域，更具体地，涉及一种基于神经网络目标检测算法的电缆外观缺陷检自动检测方法。


背景技术：

2.近年来，目前国民生产活动已经与电力密不可分，社会的发展对于用电的安全性和稳定性提出了新的要求。而输电的稳定性很大程度上决定了用电的体验，甚至影响生产活动。架空线路是比较早的大规模输电方式，但是其容易受到气象和环境的影响而引起故障，同时占用大量的土地面积，且容易对周边环境造成电磁干扰，随着电力系统的不断发展，这种输电方式已经不能满足社会对于用电的要求，电缆输电已经成为输送电力的主要形式。但是在电缆生产、运输、安装以及使用过程中会不可避免的产生缺陷，这会严重的影响电网的可靠运行。因此如何及时有效地检测出电缆的外观缺陷显得十分重要。
3.电缆表面缺陷一般有以下几种类型：
4.表面出现熟料粒子(早期硫化橡胶粒子)、塑料层表面存在杂质疙瘩、塑料中分解物堆积在模口位置而造成塑料表面有痕迹；塑料层起皱、表面出现麻花纹、表面不光滑、表面划伤、擦伤以及表面塌陷等缺陷。
5.目前惯用的检测方法包含电气方法以及非电气方法。电气方法运用电气相关专业技术进行缺陷检测。非电气方法主要运用诸如超声波、红外、磁场以及x射线等无损检测方法。
6.对于电气检测方法，中国发明专利说明书cn109557426a中公开了一种基于感应供电的电缆外观缺陷检测系统，通过超声波检测局部放电的压力波信号，并发到处理端进行处理。但是这种方法只能发现较大的缺陷，而对于潜在缺陷无法及时发现并处理。同时需要复杂的供电系统，不适合快速自动检测。中国发明专利说明书cn109814005a中公开了一种基于分析阻抗谱的电缆外观缺陷识别定位方法，该方法通过向电缆注入特定的信号，通过分析每个频率对应的电压电流信号来获取电缆的阻抗谱。虽然可以不拘束电缆长度，可以发现多出缺陷，但是其不能用于在线监测，这极大地限制了其应用。
7.对于非电气方法，中国发明专利说明书cn108490066a中公开了一种利用磁场进行连续无损检测电缆局部缺陷的方法，其通过励磁线圈发生磁场，并通过磁场检测器检测磁场，据此分析电缆的外观缺陷数据。但是此种方法机构复杂，并不适合进行高速检测。中国发明专利说明书cn109557135a中公开了一种基于温度的电缆外观缺陷检测系统，该方法通过特殊晶体感应电缆运行温度进行温度党的检测，从而发现缺陷所在。但是这种方法并不稳定，容易受到环境的影响，由于电缆大都工作在高温高压环境下，电缆运行时的温度差并不容易检测出来。
8.综上所述，目前的检测方法不能够同时满足快速、高效、自动地在线检测电缆外观缺陷的要求，因此亟待一种全新的方法来进行电缆的外观缺陷检测。


技术实现要素：

9.针对上述技术不足，本发明的目的在于提供一种基于神经网络目标检测算法的电缆外观缺陷检测方法，以提电缆外观缺陷检测准确度。
10.本发明解决其技术问题所采用的技术方案是：基于双目视觉的电缆外观缺陷检测与定位方法，用于检测电缆的外观缺陷，包括下列步骤：
11.s1：双目相机分别采集缺陷电缆图像得到缺陷电缆特征，构成缺陷电缆数据集，并对数据集利用标注框进行目标标注，同时划分训练集和测试集；
12.s2：用缺陷电缆数据集中的训练集和测试集对神经网络进行训练，得到用于检测电缆缺陷的网络权重参数；并将用于检测电缆缺陷的网络权重参数部署到边缘设备，用于电缆缺陷的检测；
13.s3：在边缘设备中利用更新权重参数的神经网络模型，对双目摄像头实时采集的双目电缆图像进行目标检测；
14.s4：根据双目电缆图像各自检测目标在图像中的位置求取三维坐标，实现缺陷电缆的检测与定位。
15.所述s1包括以下步骤：
16.根据检测电缆的要求，将双目相机相对固定并设于载体上；启动双目相机并拍摄电缆缺陷区域，不加区分地保存在一起；使用标注框表示缺陷位置，并将缺陷电缆数据集按照设定比例划分训练集、测试集以及验证集。
17.所述s2包括以下步骤：
18.利用步骤s1中训练集对yolov3进行迁移学习，以获得针对电缆缺陷检测的神经网络模型，之后用测试集和验证集分别对模型进行评估与验证；
19.在边缘设备中部署训练后的神经网络模型，通过双目相机读取双目图像用于送入神经网络模型进行识别与定位。
20.所述s3包括以下步骤：
21.在双目相机视频流中每隔设定帧同时读取双目相机中的图像，并作为图像对送入神经网络模型，检测缺陷后标注其位置。
22.所述步骤s4包括以下步骤：
23.根据s3图像对中所标记的位置，求取每个图像标注框的质心作为缺陷在双目相机各自的成像位置，利用此位置计算检测缺陷在双目相机成像平面中的视差，并根据视差以及双目相机参数求取检测缺陷相对于双目相机中主相机的三维位置信息。
24.对于图像对中的两幅图像即图像1和图像2分别有一个标注框时，表示存在单目标缺陷，直接计算图像1和图像2中各个标注框的质心，然后获得在x、y方向的视差；
25.当图像对中的两幅图像即图像1和图像2分别有多个标注框时，表示存在多目标缺陷；取标注框中心像素坐标代表不同的标注框；在图像1和图像2中分别任选一个标注框，若这两个标注框中心坐标差值低于阈值，则认为这两个标注框是成对的，用于表示同一处缺陷；否则，这两个标注框不是一对。对于成对的标注框，计算图像1和图像2中各个标注框的质心，然后获得在x、y方向的视差。
26.所述检测缺陷相对于双目相机中主相机的三维位置如下：
27.z＝(b*f)/d，x＝(x1*z)/f，y＝(y1*z)/f
28.其中，d为缺陷位置在双目相机两个像平面上的视差，b为相机基线长度，f为相机焦距，x1、y1是缺陷位置在主相机中的成像点。
29.基于双目视觉的电缆外观缺陷检测与定位系统，包括：
30.双目相机，用于采集缺陷电缆图像得到缺陷电缆特征，构成缺陷电缆数据集；
31.服务器，用于缺陷电缆数据集中的训练集和测试集对神经网络进行训练，得到用于检测电缆缺陷的网络权重参数；并将用于检测电缆缺陷的网络权重参数部署到边缘设备，用于电缆缺陷的检测；其中，训练集和测试集通过对数据集利用标注框进行目标标注划分得到；
32.边缘设备，用于对双目摄像头实时采集的双目电缆图像进行目标检测，并根据双目电缆图像各自检测目标在图像中的位置求取三维坐标，实现缺陷电缆的检测与定位。
33.与现有技术相比，本发明的有益效果如下：
34.(1)本发明基于神经网络目标检测算法，对图像中的目标位置进行检测，实时且精确得到电缆在视频图像中的位置信息，使得对电缆外观缺陷的的检测更为精确，与现有缺陷检测方式相比，显著提高了检测精度以及环境适应性，同时获得缺陷真实的世界坐标，方便用于定位维修。
35.(2)本发明采用双目测量目标距离，相比于现有的测距方法，精度更高。而且可以灵活的调节双目基线距离来调整测量范围，方便实际应用。
附图说明
36.图1为本发明流程图；
37.图2为双目相机的成像示意图；
38.图3为物点在成像平面上的投影；
39.图4为双目相机恢复景深信息示意图；
40.图5为x、y方向坐标恢复示意图。
具体实施方式
41.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
42.基于神经网络目标检测算法和双目相机的电缆外观缺陷识别方法，具体包括如下步骤：
43.s1：双目摄像头分别采集缺陷电缆图像得到缺陷电缆，并对数据集利用标注框进行目标标注，同时划分训练集和测试集；
44.s2：以yolov3为例，利用缺陷电缆数据集中的训练集和测试集对网络进行训练，得到用于检测电缆外观缺陷的网络权重参数；并将用于检测电缆外观缺陷的网络权重参数部署到边缘设备，用于电缆外观缺陷的检测；
45.s3：利用更新权重参数的神经网络模型，对检测设备摄像头实时采集的电缆图像进行目标检测；
46.s4：根据双目图像各自检测目标在图像中的位置求取三维坐标。
47.作为进一步优选地，对于步骤s1，双目相机安装在巡检机器人的两端，并根据要测量的距离范围调节位置，安装完成后通过标定获得双目相机内参并保存。
48.作为进一步优选地，对于步骤s1，双目相机以右相机为主相机，左相机为副相机，以主相机建立双目相机参考系；同时主相机采集的图像用于显示。
49.作为进一步优选地，对于步骤s1，将双目采集到的图像，不加区别地、按比例划分划分为训练集、测试集和验证集。
50.作为进一步优选地，对于步骤s2，使用制作的数据集，对原有的神经网络模型进行迁移学习，以适应电缆外观缺陷的检测。
51.作为进一步优选地，对于步骤s2，将迁移学习得到的网络模型部署到搭载linux系统的边缘设备，并将双目相机通过网桥连接到设备上。
52.作为进一步优选地，对于步骤s4，选取双目相机中相同时间戳的两幅图片，同时送入神经网络进行目标识别，并且标记位置。
53.作为进一步优选地，对于步骤s4，根据双目图像各自检测目标在图像中的位置求取同一目标在不同成像平面的视差，并根据视差求取三维坐标。
54.图1显示出了一种电缆外观缺陷自动检测的方法的流程图，具体步骤如下：
55.s1:双目摄像头分别采集缺陷电缆图像得到缺陷电缆，并对数据集利用标注框进行目标标注，同时划分训练集和测试集；具体过程如下，
56.根据检测电缆的要求，合理的布置双目相机的位置，以保证测量范围在双目测距最佳精度范围。安装完成后，启动自动检测装置，同时拍摄缺陷区域，不加区分地保存在一起。使用标注软件手动标注缺陷位置，并按照7:2:1划分训练集、测试集以及验证集。
57.s2：以yolov3为例，利用缺陷电缆数据集中的训练集和测试集对神经网络进行训练，得到用于检测电缆外观缺陷的网络权重参数；并将用于检测电缆外观缺陷的网络权重参数部署到边缘设备，用于电缆外观缺陷的检测；具体方式如下，
58.利用步骤s1中训练集对yolov3进行迁移学习，以获得针对电缆外观缺陷检测的精确模型，之后用测试集评估模型准确度，并用验证集进行性能以及精度验证。
59.之后在搭载linux系统的边缘设备中部署神经网络模型所需环境以及相关驱动，并在此基础上导入训练完成的网络模型。双目相机则通过网桥与边缘设备进行连接，设备读取图像后送入神经网络模型进行识别与定位。
60.s3：利用更新权重参数的神经网络模型，对检测设备摄像头实时采集的电缆图像进行目标检测；具体过程如下，
61.在双目相机视频流中每隔30帧同时读取双目相机中的图像，并作为图像对送入网络模型，检测缺陷后标注其位置。
62.s4：根据双目图像各自检测目标在图像中的位置求取三维坐标。具体方式如下，
63.根据s3图像对中所标记的位置，求取所标注框的质心作为缺陷在双目相机各自的成像位置，并利用此位置计算检测缺陷在双目相机成像平面中的视差，并根据视差以及s1中的相机内参求取检测缺陷相对于主相机的三维位置信息。其中，主相机可以自由指定，以指定右相机为例，后续诸如相机标定，以及求取三维坐标都根据主相机中的成像位置进行计算，此时左相机起辅助作用，用来求取深度信息。求取三维坐标的原理为，先由两个相机
求出目标点的深度信息，然后根据其中一个相机的成像信息即可求解另外两维坐标。
64.如图2为双目相机的成像。左右相机焦距、光圈以及曝光时间等参数相同。双目相机安装后距离一定，物体在双目相机各自成像平面成像。图3为物点在成像平面上的投影，i1、i2为各自光心在像素坐标中的位置，m1、m2为以各自光心为参考点坐标系下的成像点，根据m1、m2的坐标差就可以得到缺陷位置在双目相机两个像平面上的视差，记为d，已知左右相机基线长度为b，则
65.m1m2＝b+d
66.如图4所示，为双目相机恢复景深信息示意图。
67.其中，m表示物体位置，m1表示物体在右相机平面中的成像位置，o1、o2分别为右相机光心、左相机(主相机)光心；
68.mo1/mm1＝mo1/(mo1+o1m1)＝b/(b+d)
69.进一步得到
70.mo1/o1m1＝b/d
71.则景深信息z
72.z/o1i1＝mo1/o1m1＝b/d
73.z＝(b*f)/d(f:相机的焦距)
74.如图5所示，为x、y方向坐标恢复示意图。
75.则两方向坐标求解公式为：
76.x/x1＝z/f x＝(x1*z)/f
77.y/y1＝z/f y＝(y1*z)/f
78.则三维坐标求解公式如下,
79.z＝(b*f)/d
80.x＝(x1*z)/f
81.y＝(y1*z)/f
82.其中f为相机焦距，x1、y1是检测目标在主相机中的成像点。所求x、y、z即为电缆缺陷物理位置在主相机坐标系下的三维坐标。
83.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于双目视觉的电缆外观缺陷检测与定位方法，其特征在于，包括下列步骤：s1：双目相机分别采集缺陷电缆图像得到缺陷电缆特征，构成缺陷电缆数据集；s2：服务器用缺陷电缆数据集中的训练集和测试集对神经网络进行训练，得到用于检测电缆缺陷的网络权重参数；并将用于检测电缆缺陷的网络权重参数部署到边缘设备，用于电缆缺陷的检测；s3：边缘设备对双目摄像头实时采集的双目电缆图像进行目标检测；s4：边缘设备根据双目电缆图像各自检测目标在图像中的位置求取三维坐标，实现缺陷电缆的检测与定位。2.根据权利要求1所述的基于双目视觉的电缆外观缺陷检测与定位方法，其特征在于，所述s2包括以下步骤：服务器利用步骤s1中训练集对多目标检测算法yolov3进行迁移学习，以获得针对电缆缺陷检测的神经网络模型，之后用测试集和验证集分别对模型进行评估与验证；服务器在边缘设备中部署训练后的神经网络模型，以使所述神经网络模型对双目相机读取的双目图像进行识别与定位。3.根据权利要求1所述的基于双目视觉的电缆外观缺陷检测与定位方法，其特征在于，所述s3包括以下步骤：边缘设备在双目相机视频流中每隔设定帧同时读取双目相机中的图像，并作为图像对送入神经网络模型，检测缺陷后标注其位置。4.根据权利要求1所述的基于双目视觉的电缆外观缺陷检测与定位方法，其特征在于，所述步骤s4包括以下步骤：边缘设备根据s3图像对中所标注的位置，求取每个图像标注框的质心作为缺陷在双目相机各自的成像位置，利用此位置计算检测缺陷在双目相机成像平面中的视差，并根据视差以及双目相机参数求取检测缺陷相对于双目相机中主相机的三维位置信息。5.根据权利要求4所述的基于双目视觉的电缆外观缺陷检测与定位方法，其特征在于，所述根据s3图像对中所标记的位置，求取每个图像标注框的质心作为缺陷在双目相机各自的成像位置，利用此位置计算检测缺陷在双目相机成像平面中的视差，具体如下：对于图像对中的图像1和图像2分别有一个标注框时，计算图像1和图像2中各个标注框的质心，然后获得在x、y方向的视差；当图像对中的图像1和图像2分别有多个标注框时，取标注框中心像素坐标代表不同的标注框；在图像1和图像2中分别任选一个标注框，若这两个标注框中心坐标差值低于阈值，则认为这两个标注框是成对的，用于表示同一处缺陷；否则，这两个标注框不是一对；对于成对的标注框，计算图像1和图像2中各个标注框的质心，然后获得在x、y方向的视差。6.根据权利要求4所述的基于双目视觉的电缆外观缺陷检测与定位方法，其特征在于，所述检测缺陷相对于双目相机中主相机的三维位置如下：z＝(b*f)/d，x＝(x1*z)/f，y＝(y1*z)/f其中，d为缺陷位置在双目相机两个像平面上的视差，b为相机基线长度，f为相机焦距，x1、y1是缺陷位置在主相机中的成像点。7.基于双目视觉的电缆外观缺陷检测与定位系统，其特征在于，包括：双目相机，用于采集缺陷电缆图像得到缺陷电缆特征，构成缺陷电缆数据集；
服务器，用于缺陷电缆数据集中的训练集和测试集对神经网络进行训练，得到用于检测电缆缺陷的网络权重参数；并将用于检测电缆缺陷的网络权重参数部署到边缘设备，用于电缆缺陷的检测；其中，训练集和测试集通过对数据集利用标注框进行目标标注划分得到；边缘设备，用于对双目摄像头实时采集的双目电缆图像进行目标检测，并根据双目电缆图像各自检测目标在图像中的位置求取三维坐标，实现缺陷电缆的检测与定位。

技术总结
本发明涉及基于双目视觉的电缆外观缺陷检测与定位方法，包括下列步骤：双目相机分别采集缺陷电缆图像得到缺陷电缆特征，构成缺陷电缆数据集，并对数据集利用标注框进行目标标注，同时划分训练集和测试集；用缺陷电缆数据集中的训练集和测试集对神经网络进行训练，得到用于检测电缆缺陷的网络权重参数；并将用于检测电缆缺陷的网络权重参数部署到边缘设备，用于电缆缺陷的检测；利用更新权重参数的神经网络模型，对双目摄像头实时采集的双目电缆图像进行目标检测；求取缺陷三维坐标。本发明采用双目测量目标距离，相比于现有的测距方法，精度更高。而且可以灵活的调节双目基线距离来调整测量范围，方便实际应用。方便实际应用。方便实际应用。


技术研发人员：王忠 刘佳鑫 李梦威 鉴庆之 罗宇 李胜川 胡博 李希元 余文勇 姚辰 王挺 张凯 邵士亮
受保护的技术使用者：国网辽宁省电力有限公司电力科学研究院 国网山东省电力公司
技术研发日：2020.11.04
技术公布日：2022/5/25