【】本发明涉及无人机,尤其涉及一种改进yolov5的无人机巡检图像处理方法及系统。
背景技术
0、
背景技术:
1、无人机技术在电力行业中的应用日益广泛,特别是在架空输电线路的巡检工作中。无人机搭载的高清晰度相机可以拍摄分辨率高达5000×5000像素或以上的高清图像,借助此类高清图像可以有效获取输电线路的详细视图,包括杆塔、绝缘子、导线、线路走廊和金具等关键电气设备。这些图像对于快速检测输电线路的常见缺陷,如断线、绝缘子脱落和异物挂线等,至关重要。
2、由于无人机巡检图像尺寸较大,现有技术均会在预处理阶段缩减图像的分辨率,从而令算法的时间和资源开销可控,但由于直接缩减分辨率丢失了较多细节,在检测尺寸较小的缺陷,比如螺栓、螺母等小金具的锈蚀或安装不规范等等,传统技术仅能将检测到的缺陷大致定位到某一杆塔处。
3、这类定位信息不明确的检测结果无法为检修人员明确电气部件出现的具体缺陷,为了明确缺陷类型,只有检修人员实地上塔探查再进行汇报并准备针对性的维修设备或措施,并且检修人员对巡检影像进行目视判别容易出现误判,耽误维修进度。
4、除此之外,拍摄的图像因为视角过近或过远,也存在精度较低的问题,从而导致一定的漏报现象。
5、故,提供一种改进yolov5的无人机巡检图像处理方法及系统,提升输配电线路无人机巡检图像缺陷检测准确度、检测效率,进而为检修决策提供支撑,有利保障电网线路安全稳定运行。
技术实现思路
0、
技术实现要素:
1、本发明所要解决的技术问题在于克服现有技术的不足而提供一种改进yolov5的无人机巡检图像处理方法及系统,提升输配电线路无人机巡检图像缺陷检测准确度、检测效率,进而为检修决策提供支撑,有利保障电网线路安全稳定运行。
2、为解决上述技术问题,本发明采用如下技术方案:
3、s1:数据采集,指派无人机根据巡视路线拍摄电气设备的高清图像,进行电气设备图像数据采集;
4、s2:通过深度网络特征提取器进行缺失图像信息的生成,采用图像下采样网络处理和多尺度推理对电气设备图中缺失的图像信息进行计算机生成:
5、s21:对高清图像数据进行特征提取数据预处理,将多头自注意力机制用于图像下采样网络处理,通过多头注意力机制模块,快速缩减电气设备图像分辨率,且对图像保留程度高,保留关键信息;
6、s22:对高清图像数据进行多尺度推理,采用多尺度推理方法将图像下采样网络输出的多个不同尺寸的特征图,再分别送入同一个yolov5模型进行推理,特征图的推理过程互相独立、互不干扰,并对特征图进行合并输出预测图像;
7、s3:通过多尺度特征融合模块对电气设备图进行多尺度特征融合,输出电气设备图的缺陷区域,输出值为电气设备图的缺陷区域,缺陷区域包括断线区、脱落区、异物区;
8、s4:通过检测头对电气设备图进行缺陷分类或缺陷定位;
9、s5:通过预测结果去噪模块对电气设备图进行去噪,采用蒙特卡洛方法反复对电气设备图采样,从而移除随机噪声,提高电气设备图质量。
10、作为优选,s11:电气设备包括小设备目标、中设备目标、大设备目标的无人机图像或视频数据集,并对数据集进行标注。
11、作为优选,s211:图像下采样网络由若干层构成,每层的下采样倍率皆为n,输入特征的尺寸为c×h×w,即高h像素、宽w像素、共c个通道,则该网络的每一层均将输入特征在空间维度上划分为n×n的网格,共计个网格;
12、作为优选,s212:将每个n×n网格所包含的n2个像素的特征融合后传入多头自注意力机制模块,在全局范围内计算注意力信息,最终为每个网格输出1个像素的特征,合并后为高像素、宽像素的特征图。
13、作为优选,图像增补处理还包括:s221:图像下采样网络输出m×m像素的尺寸特征图,以及宽、高分别为其1.5m和0.5m的额外特征图,三者独立地使用同一个yolov5模型进行推理,最终合并三者的输出结果。
14、作为优选,s51:通过预测结果去噪模块对yolov5的检测头参数作随机微扰动,并使用带有随机微扰动的检测头对同一个输入样本进行k次推理,实现对相同的输入产出k个不同的预测结果。
15、作为优选,对电气设备图像数据进行编码标注,并根据电气设备图像数据对后续运维影响程度赋予重要程度参数,电气设备图像数据包括地理位置、海拔高度、设备高度、维修部位位置。
16、一种改进yolov5的无人机巡检图像处理系统,系统采用一种改进yolov5的无人机巡检图像处理方法,系统包括数据采集模块,用于指派无人机根据巡视路线拍摄电气设备的高清图像,进行电气设备图像数据采集;
17、深度网络特征提取器,用于进行缺失图像信息的生成,采用图像下采样网络处理和多尺度推理对电气设备图中缺失的图像信息进行计算机生成;
18、多尺度特征融合模块,用于对电气设备图进行多尺度特征融合,输出电气设备图的缺陷区域,输出值为电气设备图的缺陷区域,缺陷区域包括断线区、脱落区、异物区;
19、检测头,用于对电气设备图进行缺陷分类或缺陷定位;
20、预测结果去噪模块,用于对电气设备图进行去噪,采用蒙特卡洛方法反复对电气设备图采样,从而移除随机噪声,提高电气设备图质量。
21、一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行如上述的一种改进yolov5的无人机巡检图像处理方法。
22、一种处理器,处理器用于运行程序,其中,程序运行时执行如上述的的一种改进yolov5的无人机巡检图像处理方法。
23、采用本发明的有益效果:
24、1.s2:通过深度网络特征提取器进行缺失图像信息的生成,采用图像下采样网络处理和多尺度推理对电气设备图中缺失的图像信息进行计算机生成:
25、s21:对高清图像数据进行特征提取数据预处理,将多头自注意力机制用于图像下采样网络处理,通过多头注意力机制模块,快速缩减电气设备图像分辨率,且对图像保留程度高,保留关键信息;
26、s211:图像下采样网络由若干层构成,每层的下采样倍率皆为n,输入特征的尺寸为c×h×w,即高h像素、宽w像素、共c个通道,则该网络的每一层均将输入特征在空间维度上划分为n×n的网格,共计个网格;
27、例如,每层的下采样倍率皆为n,输入特征的尺寸为c×h×w,即高h像素、宽w像素、共c个通道,则该网络的每一层均将输入特征在空间维度上划分为2×2的网格,共计个网格。
28、s212:将每个n×n网格所包含的n2个像素的特征融合后传入多头自注意力机制模块,在全局范围内计算注意力信息,最终为每个网格输出1个像素的特征,合并后为高像素、宽像素的特征图。
29、例如,将每个2×21网格所包含的4个像素的特征融合后传入多头自注意力机制模块,在全局范围内计算注意力信息,最终为每个网格输出1个像素的特征,合并后为高像素、宽像素的特征图。操作简单,加快缩减图像分辨率工作效率,缩短反应时间,该图像下采样网络具有参数可学习功能,具有输出特征细节保留程度高的优势。
30、2.s22:对高清图像数据进行多尺度推理,采用多尺度推理方法将图像下采样网络输出的多个不同尺寸的特征图,再分别送入同一个yolov5模型进行推理,特征图的推理过程互相独立、互不干扰,并对特征图进行合并输出预测图像;
31、s221:图像下采样网络输出m×m像素的尺寸特征图,以及宽、高分别为其1.5m和0.5m的额外特征图,三者独立地使用同一个yolov5模型进行推理,最终合并三者的输出结果,提高图片模糊区块清晰度。
32、3.通过预测结果去噪模块对yolov5的检测头参数作随机微扰动,并使用带有随机微扰动的检测头对同一个输入样本进行k次推理,实现对相同的输入产出k个不同的预测结果。
33、此处的k个预测结果均可视为带有一个未知的随机噪声,故而当k足够大比如取k≥10时,可利用k个预测结果的均值作为去噪后的预测结果。减少图像噪声,提升图像清晰度。
34、本发明的这些特点和优点将会在下面的具体实施方式、附图中详细的揭露。
1.一种改进yolov5的无人机巡检图像处理方法,其特征在于,步骤包括
2.根据权利要求1所述的一种改进yolov5的无人机巡检图像处理方法,其特征在于,s11:电气设备包括小设备目标、中设备目标、大设备目标的无人机图像或视频数据集,并对数据集进行标注。
3.根据权利要求1所述的一种改进yolov5的无人机巡检图像处理方法,其特征在于,
4.根据权利要求1所述的一种改进yolov5的无人机巡检图像处理方法,其特征在于,所述图像增补处理还包括:
5.根据权利要求2所述的一种改进yolov5的无人机巡检图像处理方法,其特征在于,
6.根据权利要求2所述的一种改进yolov5的无人机巡检图像处理方法,其特征在于,对所述电气设备图像数据进行编码标注,并根据所述电气设备图像数据对后续运维影响程度赋予重要程度参数,所述电气设备图像数据包括地理位置、海拔高度、设备高度、维修部位位置。
7.一种改进yolov5的无人机巡检图像处理系统,所述系统采用权利要求1-6之一所述的一种改进yolov5的无人机巡检图像处理方法,其特征在于,所述系统包括数据采集模块,用于指派无人机根据巡视路线拍摄电气设备的高清图像,进行电气设备图像数据采集;
8.一种计算机可读存储介质,其特征在于,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行权利要求1至6中任意一项的一种改进yolov5的无人机巡检图像处理方法。
9.一种处理器,其特征在于,处理器用于运行程序,其中,程序运行时执行权利要求1至6中任意一项的一种改进yolov5的无人机巡检图像处理方法。
