本发明属于仪表识别,具体涉及一种变电所辅助监控系统仪表自动识别方法。
背景技术:
1、变电站中需要设置数量众多的sf6仪表,sf6仪表主要用于测量和监测硫六氟气体浓度,从而实现对相关设备状态的监测。通过自动识别sf6仪表的读数,可以显著提高变电站运维的效率,进而实现对变电站的远程监控和管理,使运维人员能够随时获取设备状态信息,进一步提升运维的灵活性和整体效能。
2、现有技术中,sf6仪表的自动识别方法难以适应复杂场景,鲁棒性较差。
技术实现思路
1、针对现有技术存在的缺陷,本发明提供一种变电所辅助监控系统仪表自动识别方法,可有效解决上述问题。
2、本发明采用的技术方案如下:
3、本发明提供一种变电所辅助监控系统仪表自动识别方法,包括以下步骤:
4、步骤s1,获取仪表图像样本集;
5、步骤s1.1,获取多张仪表原始图像样本;使各张所述仪表原始图像样本,涵盖不同的照明条件、角度和场景;
6、步骤s1.2,对每张所述仪表原始图像样本进行像素级标注,标注每个像素点类别;其中,所述像素点类别包括三类,分别为:指针类别、表盘类别和背景类别;
7、步骤s1.3,根据标注的像素点类别,生成所述仪表原始图像样本的仪表掩码图像样本;具体生成方法为:
8、预设定指针类别像素点的颜色为绿色,表盘类别像素点的颜色为红色,背景类别像素点的颜色为黑色;
9、建立与所述仪表原始图像样本相同尺寸的画布;根据标注的每个像素点类别,在所述画布的对应像素点位置,生成对应颜色的像素点,从而得到所述仪表原始图像样本的仪表掩码图像样本;
10、步骤s1.4,对每张所述仪表掩码图像样本进行数据增强,从而扩充仪表掩码图像样本的数量,得到仪表图像样本集;
11、步骤s2,构建仪表语义分割模型,采用所述仪表图像样本集对所述仪表语义分割模型进行模型训练,得到训练完成的仪表语义分割模型;
12、步骤s3,采用所述训练完成的仪表语义分割模型,对实际监测采集到的仪表图像进行语义分割,得到仪表图像的仪表掩码图像,方法为:
13、步骤s3.1,采用摄像头对准被监测的仪表,实时监测采集得到仪表图像,并将实时采集到的仪表图像发送给训练完成的仪表语义分割模型;
14、步骤s3.2,训练完成的仪表语义分割模型对仪表图像进行语义分割,输出像素级别的类别概率图,具体为每个像素点的类别,包括:指针类别、表盘类别和背景类别;
15、步骤s3.3,根据所述像素级别的类别概率图,得到每个像素点的最大概率的类别;
16、然后,建立与所述仪表图像相同尺寸的画布;根据每个像素点的最大概率的类别,在所述画布的对应像素点位置,生成对应颜色的像素点,从而得到所述仪表图像的仪表掩码图像;
17、步骤s4,对所述仪表掩码图像进行读数识别,识别到所述仪表掩码图像中的仪表读数。
18、优选的,步骤s1.4中,对每张所述仪表掩码图像样本进行数据增强,具体为:对所述仪表掩码图像样本进行随机方向和角度的旋转、平移、剪切、缩放、翻转和填充操作。
19、优选的,步骤s2具体为:
20、步骤s2.1,所述仪表语义分割模型包括输入层、编码器、解码器和输出层;
21、步骤s2.2,所述编码器的编码方式为:
22、步骤s2.2.1,将仪表掩码图像样本表示为i,经所述输入层后,输入到所述编码器;所述编码器包括骨干网络、并行的五个编码单元和拼接单元;其中,五个编码单元分别为:第一编码单元、第二编码单元、第三编码单元、第四编码单元和第五编码单元;
23、步骤s2.2.2,所述骨干网络为深度卷积神经网络,对所述仪表掩码图像样本i进行特征提取,分别得到深层特征图f和低层特征图flow;
24、步骤s2.2.3,所述深层特征图f分别输入到所述第一编码单元、所述第二编码单元、所述第三编码单元、所述第四编码单元和所述第五编码单元;
25、所述第一编码单元为1x1卷积,对所述深层特征图f进行卷积特征提取,得到第一特征图f1;
26、所述第二编码单元为3x3空洞卷积,空洞率d1=6,对所述深层特征图f进行带空洞率d1的卷积操作,得到第二特征图f2;
27、所述第三编码单元为3x3空洞卷积,空洞率d2=12,对所述深层特征图f进行带空洞率d2的卷积操作,得到第三特征图f3;
28、所述第四编码单元为3x3空洞卷积,空洞率d3=18,对所述深层特征图f进行带空洞率d3的卷积操作,得到第四特征图f4;
29、所述第五编码单元为全局平均池化层,对所述深层特征图f进行全局平均池化操作,得到第五特征图f5;
30、步骤s2.2.4,所述拼接单元对所述第一特征图f1、所述第二特征图f2、所述第三特征图f3、所述第四特征图f4和所述第五特征图f5进行图像拼接操作,结合不同尺度的特征,捕捉到从局部到全局的信息,得到拼接特征图faspp;
31、步骤s2.3,所述解码器的解码方式为:
32、步骤s2.3.1,所述骨干网络输出的低层特征图flow,为图像低层特征,包括边缘和纹理信息;对拼接特征图faspp进行4倍上采样,得到特征图faspp_up;对低层特征图flow和特征图faspp_up进行特征融合,得到融合低层特征和高层特征的融合特征图fconcat;
33、步骤s2.3.2,将融合特征图fconcat通过3x3卷积和进一步的上采样操作,还原为输入的仪表掩码图像样本i的尺寸,得到特征图fdec;
34、然后,对特征图fdec进行4倍上采样,得到特征图foutput;
35、步骤s2.4,所述特征图foutput输入到所述输出层;所述输出层使用1x1卷积层和softmax激活函数,生成像素级别的类别概率图;具体的,输出特征图foutput中每个像素点的类别,包括:指针类别、表盘类别和背景类别;
36、步骤s2.5,定义损失函数loss为:
37、
38、其中:
39、n为特征图foutput中像素点的总数量;i=1,2,…,n,代表特征图foutput中第i个像素点;
40、c代表像素点的类别总数,具体为3类;c=1,2,…,c,代表第c个类别;
41、yi,c代表第i个像素点属于第c个类别的二进制指标,0或1;
42、pi,c代表第i个像素点属于第c个类别的预测概率;
43、步骤s2.6,利用损失函数loss计算损失,根据损失,按学习率0.001调节所述仪表语义分割模型的权重,再继续对所述仪表语义分割模型进行训练,直到得到训练完成的仪表语义分割模型。
44、优选的,步骤s3.3具体为:所述仪表掩码图像中,最大概率类别为指针类别像素点,采用绿色像素点;最大概率类别为表盘类别像素点,采用红色像素点;最大概率类别为背景类别像素点,采用黑色像素点。
45、优选的,步骤s4具体为:
46、步骤s4.1,读取所述仪表图像的仪表掩码图像,所述仪表掩码图像中,绿色像素点为指针类别像素点,红色像素点为表盘类别像素点,黑色像素点为背景类别像素点;
47、定位到所述仪表掩码图像中的所有红色像素点,从而识别到表盘原始区域;定位到所述仪表掩码图像中的所有绿色像素点,从而识别到指针原始区域;
48、步骤s4.2,对所述表盘原始区域进行图像去噪和形态学处理,得到表盘弧形轮廓;对所述指针原始区域进行图像去噪和形态学处理,得到指针矩形轮廓;
49、步骤s4.3,对所述表盘弧形轮廓进行椭圆拟合,并得到椭圆圆心的图像坐标,表示为:椭圆圆心p1(x1,y1);
50、步骤s4.4,在所述表盘弧形轮廓中,识别到表盘弧形轮廓的两个端点,并确定两个端点的图像坐标,分别表示为:端点p2(x2,y2)和端点p3(x3,y3);
51、步骤s4.5,对步骤s4.2得到的指针矩形轮廓进行分析,定位到指针矩形轮廓的中心点,表示为指针中心p4(x4,y4);
52、步骤s4.6,计算得到椭圆圆心p1(x1,y1)指向指针中心p4(x4,y4)的第一向量v1,4为:(x4-x1,y4-y1);
53、计算得到椭圆圆心p1(x1,y1)指向端点p2(x2,y2)的第二向量v1,2为:(x2-x1,y2-y1);
54、计算得到椭圆圆心p1(x1,y1)指向端点p3(x3,y3)的第三向量v1,3为:(x3-x1,y3-y1);
55、步骤s4.7,使第一向量v1,4以椭圆圆心p1(x1,y1)为旋转中心进行逆时针旋转,在旋转过程中,首先接触到的向量所对应的端点即为最小刻度点,另一个端点即为最大刻度点;因此,设端点p2(x2,y2)为最小刻度点,端点p3(x3,y3)为最大刻度点;
56、步骤s4.8,采用下式,计算得到第一向量v1,4和第二向量v1,2之间的夹角θ:
57、
58、其中:∥v1,4∥表示第一向量v1,4的模;∥v1,2∥表示第二向量v1,2的模;
59、步骤s4.9,采用下式,得到夹角θ的弧度r(θ):
60、
61、步骤s4.10,已知仪表表盘的最小刻度点的读数为vmin,最大刻度点的读数为vmax,则仪表表盘的读数范围为:δ=vmax-vmin;
62、采用下式,得到第二向量v1,2和第三向量v1,3之间夹角β的弧度r(β):
63、
64、步骤s4.11,采用下式,得到当前仪表表盘的读数
65、
66、由此完成对仪表表盘读数的识别。
67、优选的,步骤s4.4具体为:
68、步骤s4.4.1,经过步骤s4.2,得到具有表盘弧形轮廓的图像;将所述图像转换为灰度图;
69、步骤s4.4.2,使用边缘检测算法检测所述灰度图中的边缘,生成二值图像;
70、步骤s4.4.3,在所述二值图像检测角点,由此检测到多个角点;
71、步骤s4.4.4,遍历步骤s4.4.3检测到的所有角点,计算每对角点之间的欧氏距离,则欧氏距离最小的两个角点,即为检测到的表盘弧形轮廓的两个端点。
72、本发明提供的一种变电所辅助监控系统仪表自动识别方法具有以下优点:
73、本发明提供的一种变电所辅助监控系统仪表自动识别方法,将仪表语义分割模型和数字图像处理方法进行有效结合,通过仪表语义分割模型,对仪表图像进行语义分割,得到仪表掩码图像;对仪表掩码图像进行数字图像处理,从而可以快速准确的识别到仪表读数。本发明具有较强的鲁棒性以及适应复杂场景的能力。
1.一种变电所辅助监控系统仪表自动识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种变电所辅助监控系统仪表自动识别方法,其特征在于,步骤s1.4中,对每张所述仪表掩码图像样本进行数据增强,具体为:对所述仪表掩码图像样本进行随机方向和角度的旋转、平移、剪切、缩放、翻转和填充操作。
3.根据权利要求1所述的一种变电所辅助监控系统仪表自动识别方法,其特征在于,步骤s2具体为:
4.根据权利要求1所述的一种变电所辅助监控系统仪表自动识别方法,其特征在于,步骤s3.3具体为:所述仪表掩码图像中,最大概率类别为指针类别像素点,采用绿色像素点;最大概率类别为表盘类别像素点,采用红色像素点;最大概率类别为背景类别像素点,采用黑色像素点。
5.根据权利要求1所述的一种变电所辅助监控系统仪表自动识别方法,其特征在于,步骤s4具体为:
6.根据权利要求5所述的一种变电所辅助监控系统仪表自动识别方法,其特征在于,步骤s4.4具体为: