基于字符识别的输电设备数字仪表异常检测方法及系统与流程

1.本发明涉及智能检测技术领域，更具体地，涉及一种基于字符识别的输电设备数字仪表异常检测方法及系统。


背景技术：

2.基于现代社会对供电的高要求，近年来电力行业加大了对输电设备数字仪表工作状态的定时检查，并及时对异常状态的数字仪表进行维修、更换等，然而使用人工检查费时费力且工作效率低下，为了避免人工巡检的危险、提高检查效率，采用无人机实时拍摄数字仪表图像进行异常检测已经成为一大趋势。
3.无人机巡检要求快速识别拍摄到图像的仪表字符并对其进行异常检测，但其存在因拍摄角度过小导致表盘畸形的问题，且检测结果的准确性易受图像拍摄过程中光照、噪声等环境因素的影响，加大了字符识别的难度，故采用智能化的方式实现对数字仪表的异常检测显得尤为重要。
4.现有技术文件1(cn109360396a)公开了一种基于图像识别技术和nb-iot技术的远程抄表方法及系统，该方法包括：摄像头按预设周期采集水表表盘图像数据；将采集到的表盘图像数据至数据存储器中；对所述表盘图像数据依次进行图像预处理、倾斜矫正、字轮区域精确定位、字轮区域字符分割；采用基于bp神经网络的数字识别算法识别分割后的字轮区域字符，得到表盘读数；利用nb-iot技术将所述表盘读数发送到透传云服务器上。现有技术文件1的不足之处在于，需在表盘安装盘面数字图像识别装置，且按照宽度等比例切分的方案对字轮区域的字符分割，存在一定程度的误差，另外现有技术文件1采用轮盘数字区域图像对bp神经网络进行训练，该方法训练得到的网络对字符识别不够准确。


技术实现要素：

5.为解决现有技术中存在的不足，本发明的目的在于，提供一种基于字符识别的输电设备数字仪表异常检测方法，该方法能够高效准确地对灰底黑字类的数字仪表图像进行自动异常检测，具有较强的实用价值。
6.本发明采用如下的技术方案。
7.一种基于字符识别的输电设备数字仪表异常检测方法，包括以下步骤：
8.步骤1，通过巡检设备获取待识别数字仪表图像；
9.步骤2，对图像数据进行预处理，得到预处理后的数字仪表图像；
10.步骤3，利用hough直线检测和校畸函数对预处理后的数字仪表图像进行校畸，将数字仪表图像中的表盘校正为正矩形；
11.步骤4，通过连通域分析法分割数字表盘字符，得到单个字符，并提取字符的hog特征；
12.步骤5，基于bp神经网络构建字符识别模型并进行训练，得到训练后的字符识别模型；
13.步骤6，利用训练后的字符识别模型对待识别数字仪表图像进行字符识别；
14.步骤7，根据识别结果对数字仪表进行异常判断，并输出检测结果。
15.优选地，所述步骤2还包括：
16.步骤2-1，对无人机采集到的图像进行灰度化，得到灰度图像；
17.步骤2-2，对灰度图像进行滤波去噪处理；
18.步骤2-3，对去噪后的图像进行二值化处理，得到二值化图像。
19.优选地，所述步骤3还包括：
20.步骤3-1，通过hough变换检测出预处理后数字仪表图像中的表盘边缘直线；
21.步骤3-2，根据长直线的起始点和终结点坐标求出其畸变角度，并对图像进行校畸，将表盘矫正为正矩形。
22.优选地，所述步骤3还包括：
23.步骤3-1，通过hough变换检测出预处理后数字仪表图像中的表盘边缘直线；
24.步骤3-2，根据长直线的起始点和终结点坐标求出其畸变角度，并对图像进行校畸，将表盘矫正为正矩形。
25.优选地，所述步骤3-2还包括：
26.根据表盘边缘直线，遍历其返回值得到边缘直线的极径和极角，将极角从弧度制转到度，并利用两者计算出直线的x、y轴值，根据houghlines函数得到该直线的起始终止坐标，利用两点坐标求出直线相对于水平线的倾斜角并记录倾斜角度；若直线倾斜则利用倾斜角和校畸函数对数字表盘外接矩阵图片进行旋转，得到倾斜校正后的图像并截取出矩形轮廓，从而将数字表盘校正为正矩形，若不倾斜则无需矫正。
27.优选地，所述步骤4还包括：
28.步骤4-1，基于连通域法对表盘的字符图像进行分割，得到表盘上各独立的数字字符；
29.步骤4-2，获取数字字符的方向梯度直方图作为hog特征。
30.优选地，所述步骤4-1还包括：
31.对图像进行连通域提取并得到连通域的信息和每个像素的标签，再通过将每一个连通域的信息与整个图像的大小相比判断是否为字符区域；
32.若判断结果为是字符区域则将该连通域的信息保存到新列表并更改标签，利用分割函数进行分割，并通过闭运算填充每个字符图像内部的孔洞和凹处点；若判断结果为不是字符区域则不做处理。
33.优选地，所述步骤5还包括：
34.步骤5-1，采集数字仪表图像数据，制作训练样本集；
35.步骤5-2，对训练样本集数据进行归一化处理并提取字符数据的hog特征；
36.步骤5-3，基于bp神经网络构建字符识别模型；
37.步骤5-4，通过训练样本集对字符识别模型进行训练，输出训练后的字符识别模型。
38.优选地，所述步骤7中，检测结果包括：数字仪表为正常状态或异常状态，表盘的倾斜角度，以及检测用时；
39.当检测到数字仪表为正常状态时，检测结果还包括表盘读数。
40.本发明还提供了一种基于字符识别的输电设备数字仪表异常检测方法，包括：采集模块、预处理模块、校畸模块、特征提取模块、识别检测模块和显示模块；
41.其中，采集模块用于采集待识别数字仪表图像；
42.预处理模块用于对采集到的待识别数字仪表图像进行预处理，包括对图像进行灰度化、去噪处理和二值化处理，预处理后得到的为二值化图像；
43.校畸模块用于对预处理后的图像进行校畸，获取数字仪表图像中表盘的倾斜角度并将其校正为正矩形；
44.特征提取模块对校畸后的表盘通过连通域分析法分割数字表盘字符，得到单个字符，并提取获得字符的hog特征；
45.识别检测模块通过构建字符识别模型，结合字符的hog特征对表盘字符进行检测和识别；
46.显示模块用于显示对待识别数字仪表图像的检测结果，包括该仪表是否异常，表盘的倾斜角度和检测用时，表盘正常时还能够显示表盘的读数。
47.本发明的有益效果在于，与现有技术相比，本发明提出集成化的解决方法来实现仪表的异常检测，实现了数字仪表异常检测的自动化、智能化，能够排除仪表图像拍摄过程中受到光照、噪声等外界环境因素的影响，对灰底黑字类的数字仪表图像实现高效、准确的异常检测，具有较强的实用价值。本发明至少包括以下有益效果：
48.1、本发明使用无人机进行巡检采集图像数据，将采集到的图像数据通过计算机进行识别检测，减少资源浪费，操作简便，提高工作效率；
49.2、本发明在图像识别方法中加入连通域法对图像进行分割，分割结果更加准确；
50.3、本发明的图像识别方法中利用数字hog特征用于bp神经网络训练，hog特征能够更好地描述图片中所包含的信息，提高字符识别准确率。
附图说明
51.图1为本发明提出的基于字符识别的输电设备数字仪表异常检测方法的整体流程示意图；
52.图2为本发明实现数字仪表识别检测工作的流程示意图；
53.图3为本发明中直线在图像空间中的映射关系示意图；
54.图4为本发明中直线从图像空间到参数空间的映射示意图；
55.图5为本发明中字符分割的结果示意图；
56.图6为本发明中获取hog特征的流程示意图；
57.图7为本发明中字符识别模型训练的流程示意图；
58.图8为本发明中bp神经网络的循环学习过程示意图；
59.图9为本发明中使用的三层bp神经网络的结构示意图；
60.图10为本发明提出的基于字符识别的输电设备数字仪表异常检测系统的整体结构示意图。
具体实施方式
61.下面结合附图对本技术作进一步描述。以下实施例仅用于更加清楚地说明本发明
的技术方案，而不能以此来限制本技术的保护范围。
62.如图1和图2所示，本发明提出了一种基于字符识别的输电设备数字仪表异常检测方法，该方法具体包括以下步骤：
63.步骤1，通过巡检设备获取待识别数字仪表图像；
64.其中，本发明中的巡检设备可以为无人机，所采集的待识别数字仪表为灰底黑字表盘显示的仪表，无人机采集到的图像为rgb彩色图像。
65.比较待识别图像大小与计算机规定的最大长宽，若待识别图像大小超过或小于规定的最大长宽，则需要对待识别图像进行归一化处理，即将其缩放至统一大小，本发明中归一化处理后的图像大小为20*20像素。
66.步骤2，对图像数据进行预处理，包括灰度化、去噪处理和二值化处理，得到预处理后的数字仪表图像；
67.由于巡检设备在巡检拍摄仪表图像时会受到周围采集环境等干扰信息的影响，这些干扰信息会增加数字仪表图像的识别难度，因此本发明需要先对数字仪表图像进行预处理，减少环境影响，便于后续的数字识别和异常检测等。具体的，步骤2还包括以下步骤：
68.步骤2-1，对无人机采集到的图像进行灰度化，得到灰度图像；
69.无人机拍摄的图像是rgb彩色图像，必须经过灰度化处理后，计算机才能对其进行处理和识别工作。在rgb模型中，当图像中的像素点满足此关系r＝g＝b时，此时的这个值叫做灰度值，图像转变为灰度图像。
70.对图像进行灰度化，即利用灰度变换函数和本身像素点rgb值计算出图像中的各像素点的灰度值，并让原rgb值等于新灰度值，依次对图像像素矩阵中的每个像素进行计算即可将图像灰度化。灰度变换函数是对图形的某一点像素点进行运算，表明了灰度输入值与灰度输出值间的变换关系，其计算式如下：
71.z
(x，y)
＝t[f(x，y)]
[0072]
其中，t函数为灰度转换函数，(x，y)表示像素点坐标，f(x，y)表示坐标为(x，y)的像素点对应的灰度值，z
(x，y)
表示经灰度变换函数后的输出灰度值；
[0073]
具体的，本发明在进行灰度处理中采用加权平均灰度值法，可以满足本实验的需求，公式如下：
[0074][0075]
其中，(x，y)表示像素点坐标，r
(x，y)
、g
(x，y)
、b
(x，y)
分别代表图像像素点对应通道的亮度值，f(x，y)代表转换后像素点的灰度值，且a取0.114，b取0.578，c取0.299，通过调用opencv中的cvtcolor函数实现灰度变换。
[0076]
步骤2-2，对灰度图像进行滤波去噪处理；
[0077]
在拍摄数字仪表图像过程中会受到多种噪声的影响，这些噪声会在处理数字仪表图像时形成亮、暗点干扰，影响后续数字仪表图像的分割、识别等工作的高效性和可靠性。因此本发明中通过滤波强调特征、减少数字仪表图像中的噪声。
[0078]
使用滤波使概率分布曲线更平滑，可以减少噪声，因此本发明采用高斯滤波去噪，通过对待处理图像中的每个像素点进行扫描，将当前像素作为核中心，并将模板内中心像素的值由其临近位置的加权平均值代替。具体的，通过二维高斯函数对图像进行去噪处理，
二维高斯函数的公式为：
[0079][0080]
其中，(x，y)表示像素点坐标，σ为标准差，能够决定函数衰减快慢，g
(x，y)
表示经过去噪处理后的值。
[0081]
利用高斯滤波在各个方向上的平滑程度相同，不会改变原图像的边缘，在保证了边缘特性的前提下，可以减少数字仪表图像噪声降低细节层次的问题。
[0082]
步骤2-3，对去噪后的图像进行二值化处理，得到二值化图像。
[0083]
由于本发明需读取数字仪表上的具体数值，通过二值化可以使数字仪表图像呈现黑白效果，凸出数字字符，其通过选择合适的阈值遍历所有像素，将灰度值设为0或255，减小存储空间。二值化包括以下步骤：获取阈值；比较像素值与阈值大小二值化图像。
[0084]
进一步的，本发明采用otsu最大类间差法对图像进行二值化处理，其按图像灰度特性将图像分为1类和2类，通过遍历256个像素值，针对于整个原有字符图像的统计特性，找出一个像素值使类间方差最大，使图像两类差别较大，该像素值就是自动选取的二值化阈值。
[0085]
具体的，本发明采用otsu(大津法)最大类间方差，其计算公式为：
[0086]
62(t)＝p1(m
1-mg)2+p2(m
2-mg)2[0087]
其中，62(t)为分割阈值为t时的类间方差，p1、p2分别为像素被分成1、2类的概率，m1、m2分别为像素被分成1、2类的平均灰度，mg为整幅图像像素的平均值。
[0088]
优选的，本发明可以通过计算机调用cvthreshold实现图像二值化，
[0089]
步骤3，利用hough直线检测和校畸函数对预处理后的数字仪表图像进行校畸，将数字仪表图像中的表盘校正为正矩形；
[0090]
对表盘校畸的目的是将仪表中的字符图像校正为正矩形，便于数字字符的识别，主要是利用图像旋转对表盘进行校畸。由于数字表盘中的数字区域是矩形，本发明根据矩形的几何特性结合hough变换实现表盘校畸。
[0091]
具体的，步骤3还包括以下步骤：
[0092]
步骤3-1，通过hough变换检测出预处理后数字仪表图像中的表盘边缘直线；
[0093]
具体的，hough变换还包括：
[0094]
设经过点(x，y)的直线方程为：
[0095]
y＝px+q
[0096]
其中，p为斜率，q为截距。但该直线垂直时无法用此方程表示，所以可用极坐标来表示直线：
[0097]
ρ＝xcosθ+ysinθ
[0098]
其中，θ为直线与水平方向的夹角，θ的角度范围为[-90，+90]，如图3所示，ρ的范围为n为图像的宽度。
[0099]
如图3所示，图3为过点(x，y)的直线相关映射关系，原点到该直线的距离r满足：
[0100]
r＝xcosα+y sinα
[0101]
其中，α表示直线过坐标原点的垂线与坐标横轴正方向的夹角。
[0102]
hough变换是基于点-线的对偶性思想，通过寻找参数最大重叠点检测出直线，从而将图像空间映射到参数空间的一种方法。当对整个图像进行直线检测时，要遍历整个图像的边缘点。首先进行直线检测找出边缘线，再对该线上任何一个点，寻找所有可能经过该点的直线，且这些直线都各自对应着参数空间中的点可以连成一条曲线，最后依次遍历每个点重复上述步骤找出相交最多的点，对应到图像空间就是检测出的直线。
[0103]
如图3和图4所示，hough变换利用点线对偶，建立图像空间到参数空间的映射，在图3中，图像空间中点(x1，y1)和点(x2，y2)共线，每条直线在参数空间对应一个点，则过点(x1，y1)有无数直线，对应到参数空间是无数点，可以连成一条曲线；且过点(x2，y2)的同理可得另一条曲线，两曲线的交点即为图像空间中的直线，如图4所示，将其参数空间中的坐标值作为图像空间中两条直线方程的参数，并用hough变换检测出待测数字表盘边缘直线。
[0104]
具体的，可以利用opencv中houghlines函数得到被检测出来的直线所对应的函数方程，该直线即为待测数字表盘的边缘长直线。
[0105]
步骤3-2，根据长直线的起始点和终结点坐标求出其畸变角度，并对图像进行校畸，将表盘矫正为正矩形。
[0106]
具体的，根据步骤3-1中利用hough变换检测得到的表盘边缘直线，遍历其返回值得到边缘直线的极径和极角，将极角从弧度制转到度，并利用两者计算出直线的x、y轴值，根据houghlines函数得到该直线的起始终止坐标，利用两点坐标求出直线相对于水平线的倾斜角并记录倾斜角度；若直线倾斜则利用倾斜角和校畸函数对数字表盘外接矩阵图片进行旋转，得到倾斜校正后的图像并截取出矩形轮廓，从而将数字表盘校正为正矩形，若不倾斜则无需矫正。
[0107]
步骤4，通过连通域分析法分割数字表盘字符，得到单个字符，并提取字符的hog特征；
[0108]
具体的，步骤4还包括以下步骤：
[0109]
步骤4-1，基于连通域法对表盘的字符图像进行分割，得到表盘上各独立的数字字符；
[0110]
由于本发明中待检测的对象为数字表盘，由于数字表盘区域的背景并不复杂，且表盘上的数字字符排列整齐、字符间距合适、形状和位置固定，且经过步骤3的二值化和步骤4的校畸处理后，图像像素分布差异性明显，因此本发明优选采用连通域法对字符图像进行分割。通过连通域法实现对字符图像的分割，因为每个字符构成一个连通域，且不同字符之间是不同的连通域，因此找到所有的连通域就可以实现单个字符的分割。
[0111]
具体的，图像分割通过对经过图像预处理和校畸后的表盘图像进行闭开运算使图像内的字符轮廓更加清晰，并利用种子填充法对其进行连通域分析，具体包括：
[0112]
对图像进行连通域提取并得到连通域的信息和每个像素的标签，再通过将每一个连通域的信息与整个图像的大小相比判断是否为字符区域；
[0113]
若判断结果为是字符区域则将该连通域的信息保存到新列表并更改标签，利用分割函数进行分割，并通过闭运算填充每个字符图像内部的孔洞和凹处点；若判断结果为不是字符区域则不做处理。
[0114]
字符分割结果示意如图5所示。
[0115]
步骤4-2，获取数字字符的方向梯度直方图作为hog特征。
[0116]
hog特征是用于描述图像局部梯度方向和梯度强度分布特征的描述符，通过计算、统计图像的梯度或边缘的方向密度来描述图像局部目标的纹理和形状。提取出图像的梯度方向密度作为特征，能够在一定程度上提取出图像所包含的信息，梯度主要存在于数字字符的边缘地方，因此可以用于数字字符特征的提取。
[0117]
具体的，获取hog特征的流程如图6所示，该过程具体包括：
[0118]
步骤4-2-1，对图像进行预处理；
[0119]
步骤4-2-2，使用sobel算子计算出图像分别在水平、垂直方向上的梯度；
[0120]
步骤4-2-3，用16个柱状直方图统计数字仪表图像中各像素点所在的bin，得到单个cell方向梯度直方图；
[0121]
步骤4-2-4，对于每个cell的方向梯度直方图进行权重投影；
[0122]
步骤4-2-5，对每一个重叠block块内的cell进行对比度归一化，具体可以通过向量的每一个值除以向量的模长对block实现归一化；
[0123]
步骤4-2-6，将各个block的hog特征合并为单张图像的hog特征，并将其作为输入项用于后续的神经网络训练及数字表盘字符识别。
[0124]
步骤5，基于bp神经网络构建字符识别模型并进行训练，得到训练好的字符识别模型；
[0125]
具体的，步骤5还包括以下步骤：
[0126]
步骤5-1，采集数字仪表图像数据，制作训练样本集；
[0127]
步骤5-2，对训练样本集数据进行归一化处理并提取字符数据的hog特征；
[0128]
具体的，将训练样本集中图像的长宽都设置为20*20完成归一化处理，循环提取字符数据打标签，再提取字符hog特征送到bp网络开始训练。
[0129]
步骤5-3，基于bp神经网络构建字符识别模型；
[0130]
如图8所示，图8为bp(back propagation，反向传播)神经网络的循环学习过程示意图，bp神经网络是一种具有高度非线性大规模的学习神经，采用误差逆传播的算法利用梯度下降法进行训练，训练学习过程由信息正向传播和误差反向传播两个过程组成，是一种多层前馈网络。
[0131]
信息正向传播是指信息从输入层输入经隐含层处理，此过程中网络权值不变，每层神经元只影响下一层神经元，当实际输出和期望输出的偏差较大时，进入反向传播阶段；误差反向传播指偏差信息经隐含层向输入层逆传的过程，逐层计算每层的网络误差，将误差分摊给各层的所有神经元，从而获得各神经元的误差信息，并采用梯度下降法调整每个神经元参数，循环进行使网络的输出不断的逼近期望值，或达到预设学习次数为止。
[0132]
具体的，针对本发明所需进行的数字仪表字符识别问题，所构建的字符识别模型选用三层bp神经网络来实现字符识别进行异常检测，三层bp神经网络的结构如图9所示。信息传入神经网络中时要在单个神经元内部进行信号的加工处理，让传入同一个神经元的每个信息都乘上其对应的权重加偏差；然后再对传入神经元内的所有信息进行整合利用激活函数进行处理，与给定阈值进行比较，当比给定值大时神经元将会有信息输出，即将输入神经的信息经过筛选后传入下一个神经元。
[0133]
其中，信息正向传播包括：神经网络就是多个神经元的扩充，神经网络中的每一个神经元都是按上面步骤进行信息加工的，依据图4的神经网络示意图分析，输入信号从输入
层传入时需要经过输入成神经元的处理，即重复相乘相加再通过一个激活函数，以第j层第i个神经元为例得到该神经元的输出为：
[0134][0135]
其中，x为输入信息，oi为当前层通过激活函数的输出值，[j]表示第j层，为隐层输入表示对输入层的加权求和，表示对应的权重和偏差值。
[0136]
激活函数f(x)使用sigmoid函数作为激励函数，其将控制神经元的输出在[0，1]或[-1，1]上。激活函数f(x)定义为：
[0137]
f(x)＝1/(1+e-x
)
[0138]
误差信息反向传播包括：根据平方误差函数对各输入求偏导，使网络迭代修正各神经节点的权值让神经网络慢慢逼近理想状态。对于上述神经网络我们只考虑一路的影响，暂时去掉求和符号。设有含a节点的bp网络，采用s型激励函数，假设网络只有一个输出y，任意节点输出为oi，并设有n样本(xk，yk)，k取1到n，对某一输入xk，网络的输出为yk，节点i的输出为o
ik
，w
ij
表示第j个节点的权重，则节点j的输入net
jk
为：
[0139][0140]
节点j的输出o
jk
为：
[0141]ojk
＝f(net
jk
)
[0142]
其中，f(
·
)函数为激活函数。
[0143]
计算平方误差函数ek，计算公式如下：
[0144][0145]
其中，yk为网络的期望输出，为网络的实际输出，m为节点总数。
[0146]
利用以上公式，根据链式求导得：
[0147][0148][0149]
其中，δ
jk
表示平方误差函数ek节点j的输入对net
jk
偏导数；
[0150]
当j为输出节点时，有：
[0151][0152]
因此可得：
[0153][0154]
当j不是输出节点时，有
[0155][0156][0157]
因此可得：
[0158][0159]
bp神经网络通过以上公式在神经元内部不断运算，并根据识别结果不断调整权值阈值，使得网络达到期望结果。
[0160]
进一步的，本发明中的激励函数使用0.1代表0，0.9代表1，避免期望输出取0或1导致算法不收敛，且在权重初始化时采用随机法。
[0161]
考虑到本实验的特点，以及三层神经网络对数据的处理能力，本发明所构建的字符识别模型为各层节点分别为64-20-10的三层bp神经网络。
[0162]
优选的，bp神经网络中隐层神经元的数目越多，字符识别模型的识别结果也会越精确，但若隐层神经元的数目过多，也会导致识别率也会下降，因此需要选择合适数量的隐层神经元个数，从而使识别率达到最佳。
[0163]
经过测试对比后，本发明所构建的字符识别模型中，bp神经网络使用20个隐层神经元。
[0164]
步骤5-4，通过训练样本集对字符识别模型进行训练，输出训练后的字符识别模型。
[0165]
其中，对字符识别模型进行训练还包括：
[0166]
当特征向量输入字符识别模型时先正向传播，再进行误差信息的反向传播调整修改各层的权值和阈值，循环进行，具体流程如图7所示。参数选择得当时，bp神经网络将不断收敛，将得到的权值保存在文件中，保存训练好字符识别模型便于识别数字表盘时可以直接调用。
[0167]
步骤6，利用训练好的字符识别模型对待识别数字仪表图像进行字符识别；
[0168]
具体的，字符识别模型基于提取到的取数字字符的hog特征对表盘的数字字符进行识别，并在屏幕上显示识别结果，
[0169]
其中，本发明中对字符的检测和识别程序均在计算机上运行实现，从而实现处理过程的集成化，其识别结果可以通过与计算机相连接的显示屏进行显示，显示的识别结果包括倾斜角度、数字仪表盘为正常工作状态或异常状态、以及识别所花费时间长度，当数字仪表盘为正常工作状态时，还会显示所识别出的具体数字。
[0170]
步骤7，根据识别结果对数字仪表进行异常判断，并输出检测结果。
[0171]
具体的，输出的检测结果包括：根据步骤6的识别结果，若步骤6可正常输出表盘完整读数，则表示此时数字仪表为正常状态，此时输出表盘读数；若表盘中存在数字无法显示，则输出数字仪表为异常状态，并且无读数输出。
[0172]
进一步的，无论数字仪表的读数是否正常，输出结果均包含步骤3中检测的表盘倾斜角度和检测用时供检测人员参考，该角度为巡检设备对数字仪表进行图像采集时表盘的倾斜角度。
[0173]
经过验证，用数字显示正常的数字仪表进行异常检测，正常工作的数字仪表在经过数字字符识别之后有结果输出，证明表盘工作状态为正常，此时输出表盘读数；用不工作的数字仪表图像进行仪表异常检测，无数字字符识别结果输出，则数字表盘为异常状态。
[0174]
本发明还提供了一种基于字符识别的输电设备数字仪表异常检测系统，上述基于字符识别的输电设备数字仪表异常检测方法能够基于该系统实现，如图10所示，该系统包括：采集模块、预处理模块、校畸模块、特征提取模块、识别检测模块和显示模块；
[0175]
其中，采集模块用于采集待识别数字仪表图像，在本发明中采集模块可以为仪表的巡检设备，例如无人机；
[0176]
预处理模块用于对采集到的待识别数字仪表图像进行预处理，包括对图像进行灰度化、去噪处理和二值化处理，预处理后得到的为二值化图像；
[0177]
校畸模块用于对预处理后的图像进行校畸，由于采集模块采集到的图像中表盘部分可能存在一定的畸变或倾斜角度，本发明中通过校畸模块得到数字仪表图像中表盘的倾斜角度并将其校正为正矩形；
[0178]
特征提取模块对校畸后的表盘通过连通域分析法分割数字表盘字符，得到单个字符，并提取获得字符的hog特征；
[0179]
识别检测模块通过构建字符识别模型，结合字符的hog特征对表盘字符进行检测和识别；
[0180]
优选的，本发明中将预处理模块、校畸模块、特征提取模块和识别检测模块集成在计算机上运行。
[0181]
显示模块用于显示对待识别数字仪表图像的检测结果，包括该仪表是否异常，表盘的倾斜角度和检测用时，表盘正常时还能够显示表盘的读数。
[0182]
优选的，显示模块为与计算机相连接的屏幕。
[0183]
本发明的有益效果在于，与现有技术相比，采用校畸和bp神经网络字符识别相结合进行异常检测的方法，并通过集成化的方法来实现检测过程，以适应无人机实时拍摄图片进行异常检测的速度要求，通过该方法能够对无人机巡检所采集的仪表图像有效实现异常检测，正常工作的仪表均可以识别出数字，异常的表盘则没有识别结果。
[0184]
字符释义：
[0185]
hog特征：histogram of oriented gradient，方向梯度直方图特征。
[0186]
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

技术特征：
1.一种基于字符识别的输电设备数字仪表异常检测方法，其特征在于，包括以下步骤：步骤1，通过巡检设备获取待识别数字仪表图像；步骤2，对图像数据进行预处理，得到预处理后的数字仪表图像；步骤3，利用hough直线检测和校畸函数对预处理后的数字仪表图像进行校畸，将数字仪表图像中的表盘校正为正矩形；步骤4，通过连通域分析法分割数字表盘字符，得到单个字符，并提取字符的hog特征；步骤5，基于bp神经网络构建字符识别模型并进行训练，得到训练后的字符识别模型；步骤6，利用训练后的字符识别模型对待识别数字仪表图像进行字符识别；步骤7，根据识别结果对数字仪表进行异常判断，并输出检测结果。2.根据权利要求1所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤2还包括：步骤2-1，对无人机采集到的图像进行灰度化，得到灰度图像；步骤2-2，对灰度图像进行滤波去噪处理；步骤2-3，对去噪后的图像进行二值化处理，得到二值化图像。3.根据权利要求1所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤3还包括：步骤3-1，通过hough变换检测出预处理后数字仪表图像中的表盘边缘直线；步骤3-2，根据长直线的起始点和终结点坐标求出其畸变角度，并对图像进行校畸，将表盘矫正为正矩形。4.根据权利要求1所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤3还包括：步骤3-1，通过hough变换检测出预处理后数字仪表图像中的表盘边缘直线；步骤3-2，根据长直线的起始点和终结点坐标求出其畸变角度，并对图像进行校畸，将表盘矫正为正矩形。5.根据权利要求4所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤3-2还包括：根据表盘边缘直线，遍历其返回值得到边缘直线的极径和极角，将极角从弧度制转到度，并利用两者计算出直线的x、y轴值，根据houghlines函数得到该直线的起始终止坐标，利用两点坐标求出直线相对于水平线的倾斜角并记录倾斜角度；若直线倾斜则利用倾斜角和校畸函数对数字表盘外接矩阵图片进行旋转，得到倾斜校正后的图像并截取出矩形轮廓，从而将数字表盘校正为正矩形，若不倾斜则无需矫正。6.根据权利要求1所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤4还包括：步骤4-1，基于连通域法对表盘的字符图像进行分割，得到表盘上各独立的数字字符；
步骤4-2，获取数字字符的方向梯度直方图作为hog特征。7.根据权利要求6所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤4-1还包括：对图像进行连通域提取并得到连通域的信息和每个像素的标签，再通过将每一个连通域的信息与整个图像的大小相比判断是否为字符区域；若判断结果为是字符区域则将该连通域的信息保存到新列表并更改标签，利用分割函数进行分割，并通过闭运算填充每个字符图像内部的孔洞和凹处点；若判断结果为不是字符区域则不做处理。8.根据权利要求1所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤5还包括：步骤5-1，采集数字仪表图像数据，制作训练样本集；步骤5-2，对训练样本集数据进行归一化处理并提取字符数据的hog特征；步骤5-3，基于bp神经网络构建字符识别模型；步骤5-4，通过训练样本集对字符识别模型进行训练，输出训练后的字符识别模型。9.根据权利要求1所述的基于字符识别的输电设备数字仪表异常检测方法，其特征在于，所述步骤7中，检测结果包括：数字仪表为正常状态或异常状态，表盘的倾斜角度，以及检测用时；当检测到数字仪表为正常状态时，检测结果还包括表盘读数。10.一种基于字符识别的输电设备数字仪表异常检测方法，其特征在于，包括：采集模块、预处理模块、校畸模块、特征提取模块、识别检测模块和显示模块；其中，采集模块用于采集待识别数字仪表图像；预处理模块用于对采集到的待识别数字仪表图像进行预处理，包括对图像进行灰度化、去噪处理和二值化处理，预处理后得到的为二值化图像；校畸模块用于对预处理后的图像进行校畸，获取数字仪表图像中表盘的倾斜角度并将其校正为正矩形；特征提取模块对校畸后的表盘通过连通域分析法分割数字表盘字符，得到单个字符，并提取获得字符的hog特征；识别检测模块通过构建字符识别模型，结合字符的hog特征对表盘字符进行检测和识别；显示模块用于显示对待识别数字仪表图像的检测结果，包括该仪表是否异常，表盘的倾斜角度和检测用时，表盘正常时还能够显示表盘的读数。

技术总结
本发明提供了一种基于字符识别的输电设备数字仪表异常检测方法及系统，包括：通过巡检设备获取待识别数字仪表图像；对图像数据进行预处理，得到预处理后的数字仪表图像；利用Hough直线检测和校畸函数对预处理后的数字仪表图像进行校畸，将数字仪表图像中的表盘校正为正矩形；通过连通域分析法分割数字表盘字符，得到单个字符，并提取字符的HOG特征；基于BP神经网络构建字符识别模型并进行训练，得到训练后的字符识别模型；利用训练后的字符识别模型对待识别数字仪表图像进行字符识别；根据识别结果对数字仪表进行异常判断，并输出检测结果。本发明能够排除数字仪表图像采集过程中受到的外界因素影响，对灰底黑字的仪表图像实现高效、准确的异常检测。准确的异常检测。准确的异常检测。


技术研发人员：郭志民 郑伟 王棨 田杨阳 卢明 李哲 张璐 梁允 刘昊 刘善峰 赵健 王超 毛万登 袁少光 王津宇 张小斐 贺翔 耿俊成 陈岑 魏小钊 李斌 许丹
受保护的技术使用者：国网河南省电力公司
技术研发日：2022.02.10
技术公布日：2022/5/25