本发明涉及计算机视觉领域，尤其涉及一种基于目标检测的指针仪表定位与识别方法及系统。
背景技术：
1、在化工企业中，对仪表的数据采集在过程控制、安全生产中具有重要地位。由于指针仪表机械结构，无需电源，成本低廉等特点被大量部署在化工企业园区中，因此绝大部分仪表均为指针仪表，未来一段时间其地位不可替代。然而传统读数方式是巡检人员经过既定路线完成仪表读数记录，这种方式具有范围局限、效率较低、实时性差、存在人身安全风险等问题，随着智能化技术的发展，已经有技术应用在指针仪表方面，但是大多技术均为实验环境运行，在现场运行会消耗大量资源，并且识别准确率受环境影响，因此需要一种基于目标检测的化工企业指针仪表定位与识别方法及系统，推进化工企业巡检自动化，智能化建设，已达到减少资源，降低安全风险，提高识别准确率等目的。
技术实现思路
1、发明目的：本发明旨在提供一种基于目标检测的高读数准确率和效率的指针仪表定位与识别方法；本发明的另一目的为提供一种基于目标检测的指针仪表定位与识别系统。
2、技术方案：本发明所述的基于目标检测的指针仪表定位与识别方法，包括以下步骤：
3、(1)采集仪表原始图像，预处理后，建立样本库；
4、(2)构建并训练仪表定位与指针识别模型；
5、(3)采集实时仪表图像，数据清洗后，使用训练好的仪表定位与指针识别模型进行识别操作；
6、(4)校正步骤(3)识别出的仪表图像，计算指针与水平方向的夹角；
7、(5)根据仪表量程、全量程覆盖角度与步骤(4)得到的夹角，确定指针对应的仪表读数。
8、进一步的，步骤(1)具体如下：
9、通过自由设置的巡检任务执行抓图操作，获取不同时段、不同预置位的仪表原始高分辨率图像；
10、对上述仪表原始高分辨率图像进行筛选，得到清晰图像作为待标注数据；
11、使用数据标注工具对清晰图像中仪表位置与指针位置进行标注，记录标注信息；
12、使用数据增强工具进行扩充操作，增加样本量，形成样本库。
13、进一步的，步骤(2)中，基于yolo模型和faster-rcnn模型，构建仪表定位与指针识别模型；其中，yolo模型用于定位表盘，faster-rcnn模型用于识别指针。
14、进一步的，所述yolo模型的主干网络为cspdarknet53，采用spp模块作为neck的附加模块，panet作为neck的特征融合模块，将预测框筛选算法从mns变为diou_nms；
15、faster-rcnn模型的主干网络为resnet50，特征图经过卷积后输入rpn网络中，提取候选框坐标并判断是否包含前景图像，对筛选后的生成框做线性回归，得出回归系数用于修正生成框位置，在执行完rpn后加入一层掩模增强图像中心特征；采用roipooling层对图像进行等比变换，将框选图像转换为固定比例特征图，进行全连接层分类最终得到指针坐标位置。
16、进一步的，所述标注信息包括矩形坐标、标签名称、图像长宽和图像名称。
17、进一步的，扩充操作具体如下：采用开源数据增强工具，通过翻转、随机放射变换、组合与随机选择、裁剪中任一方法进行扩充操作，将扩充数据添加到原始图像数据中，结合标注文件形成样本库。
18、进一步的，步骤(3)中，数据清洗具体如下：利用laplacian算法计算模糊程度，小于设定阈值则判断采集的实时仪表图像为模糊图像，进行重新采样。
19、进一步的，步骤(4)中，采用透视变换方法实现仪表校正，通过指针位置坐标计算指针与水平方向夹角。
20、本发明所述根据上述基于目标检测的指针仪表定位与识别方法的系统，包括
21、图像采集单元，用于采集摄像设备捕捉的仪表图像；
22、数据预处理单元，用于预处理采集的仪表图像；
23、数据标注单元，用于对清晰图像中仪表位置与指针位置进行标注，记录标注信息；
24、模型训练单元，将样本库按比例划分为训练集、验证集和测试集，对选定的模型进行训练；
25、模型部署单元，所述模型部署单元配置为将训练好的模型部署到针仪表定位与识别应用中。
26、进一步的，所述模型部署单元包括
27、数据清洗单元，用于去除模糊和图形质量差的图像；
28、校正单元，用于校正计算指针与水平方向的夹角；
29、计算单元，用于根据仪表量程、全量程覆盖角度与校正计算得到的夹角，确定指针对应的仪表读数。
30、有益效果：本发明与现有技术相比，其显著优点是：1、本发明利用计算机视觉中目标检测技术实现在不同光照和存在轻微遮挡情况下指针仪表定位与识别；同时考虑识别速度与准确率使用yolo模型和faster-rcnn模型，实现指针仪表的快速定位与准确识别；2、本发明yolo模型通过定位表盘位置，采用spp网络增加网络的感受野，panet保留空间信息来增强实例分割过程，将预测框筛选算法从mns变为diou_nms，准确地将定位到的表盘根据坐标从图像中提取出来；3、本发明通过faster-rcnn模型识别指针，在执行完rpn后加入一层掩模增强图像中心特征，使得指针识别结果对仪表中心更加敏感，得出的识别结果更加精确；4、本发明采用模型训练与识别部署分离的架构模式，可将训练好的模型单独部署在应用服务器上，节约计算资源和磁盘空间，避免现场部署时消耗不必要的存储与计算资源；5、本发明解决了化工企业中传统仪表读数巡检范围局限、效率较低、实时性差、存在人身安全风险等问题，通过不断丰富样本库实现可以识别准确率的持续提高，大大提高实用性。
1.一种基于目标检测的指针仪表定位与识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述基于目标检测的指针仪表定位与识别方法，其特征在于，步骤(1)具体如下：
3.根据权利要求2所述基于目标检测的指针仪表定位与识别方法，其特征在于，步骤(2)中，基于yolo模型和faster-rcnn模型，构建仪表定位与指针识别模型；其中，yolo模型用于定位表盘，faster-rcnn模型用于识别指针。
4.根据权利要求3所述基于目标检测的指针仪表定位与识别方法，其特征在于，所述yolo模型的主干网络为cspdarknet53，采用spp模块作为neck的附加模块，panet作为neck的特征融合模块，将预测框筛选算法从mns变为diou_nms；
5.根据权利要求2所述基于目标检测的指针仪表定位与识别方法，其特征在于，所述标注信息包括矩形坐标、标签名称、图像长宽和图像名称。
6.根据权利要求2所述基于目标检测的指针仪表定位与识别方法，其特征在于，扩充操作具体如下：采用开源数据增强工具，通过翻转、随机放射变换、组合与随机选择、裁剪中任一方法进行扩充操作，将扩充数据添加到原始图像数据中，结合标注文件形成样本库。
7.根据权利要求4所述基于目标检测的指针仪表定位与识别方法，其特征在于，步骤(3)中，数据清洗具体如下：利用laplacian算法计算模糊程度，小于设定阈值则判断采集的实时仪表图像为模糊图像，进行重新采样。
8.根据权利要求4所述基于目标检测的指针仪表定位与识别方法，其特征在于，步骤(4)中，采用透视变换方法实现仪表校正，通过指针位置坐标计算指针与水平方向夹角。
9.一种根据权利要求1—8任一项所述基于目标检测的指针仪表定位与识别方法的系统，其特征在于，包括
10.根据权利要求9所述系统，其特征在于，所述模型部署单元包括
