本发明涉及光伏系统中的缺陷检测技术，具体涉及一种多尺度特征融合的光伏板缺陷检测方法，特别适用于复杂环境下的光伏板小尺寸缺陷检测。
背景技术：
1、光伏技术作为可再生能源领域的重要组成部分，近年来取得了显著的发展。光伏面板作为光伏发电系统的核心部件，其质量直接关系到整个系统的发电效率和使用寿命。然而，光伏面板在长期运行中难免会出现各种缺陷，如划痕、断栅与脏污等，这些缺陷不仅会影响光伏面板光电转换效率，还可能导致其性能的快速衰减，甚至引发安全事故。
2、现有的光伏缺陷检测方法主要分为物理特性检测和图像检测两大类。物理特性检测方法主要通过测量光伏板的电气和机械特性来检测缺陷。这些方法主要包括：电流检测、超声波检测、共振检测等。传统的图像检测方法通过对光伏板表面进行成像，并利用数字图像处理技术检测出缺陷。这些方法包括：电致发光成像检测、可见光成像检测和红外热成像检测方法。
3、但是上述传统的光伏板缺陷检测方法存在很多问题：
4、(1)检测效率低：传统检测方法往往需要耗费大量时间进行人工操作和数据处理。例如，电流检测和超声波检测需要逐一测量每块光伏板，费时费力；而电致发光成像和红外热成像则需要在特定环境下进行拍摄，耗时较长。此外，检测设备的复杂性和操作的繁琐性也进一步降低了检测效率。(2)传统方式检测成本高：物理特性检测方法和图像检测方法均需要昂贵的设备和专业的操作人员。例如，超声波检测和共振检测需要专门的仪器，而电致发光成像和红外热成像则需要高性能的相机和图像处理系统。这些设备的购买和维护成本较高，同时还需要定期校准和维护。此外，检测过程中的人工成本和时间成本也不可忽视。(3)准确性差：传统检测方法的准确性往往受到多种因素的限制。例如，电流检测和共振检测对外界环境变化敏感，容易受到干扰；可见光成像和红外热成像的检测结果易受光照条件和背景噪声的影响，导致误检和漏检。此外，传统检测方法在处理复杂缺陷和小尺寸缺陷时表现不佳，检测结果的可靠性和稳定性有待提高。(4)对人员依赖性强：传统检测方法往往需要专业的技术人员进行操作和数据分析，这不仅增加了对人员的依赖性，还导致了检测结果的主观性和不一致性。不同操作人员的经验和技能水平会影响检测结果的准确性和一致性，而操作中的人为错误也会导致检测结果的不可靠。此外，专业人员的短缺和培训成本也限制了传统检测方法的广泛应用。
5、这些问题限制了传统光伏板缺陷检测方法的环境适应性及使用条件，导致在复杂环境下现有的光伏板缺陷方法出现定位不准确，识别效率低下以及使用成本过高等问题。为了克服上述问题，近年来基于深度学习的图像检测方法逐渐成为研究热点。通过利用深度学习技术，自动化检测系统能够实现高效、准确、低成本的光伏缺陷检测，并减少对专业人员的依赖。这些方法不仅提高了检测效率和精度，还显著降低了检测成本和人为误差，为光伏系统的高效维护和管理提供了有力支持。
6、现有技术cn 118100797 a公开了一种光伏组件故障检测方法，该专利未能系统性地解决大规模光伏组件检测中的复杂问题。
技术实现思路
1、本发明针对现有的光伏缺陷检测算法存在的检测效率低、传统方式检测成本高、准确性差和对人员依赖性强等缺点，提供了一种多尺度特征融合的光伏板缺陷检测方法，以实现复杂环境下对光伏板有效地定位和识别缺陷，显著提高检测的准确率和实时性，同时降低检测成本。
2、为实现上述目的，本发明采取下述技术方案：
3、一种多尺度特征融合的光伏板缺陷检测方法，包括：
4、1)光伏板图像采集步骤，使用高精度相机、监控摄像头等设备对光伏面板进行拍摄。光伏板图像采集是整个检测流程的关键一步，通过获取高质量的图像数据，能够为后续的缺陷检测提供可靠的基础。
5、2)数据预处理步骤，对采集到的光伏板图像进行几何校正处理和数据增强处理。使用图像配准算法对光伏板图像进行几何校正，矫正图像中的畸变，并使用图像处理工具opencv库对采集到的光伏板图像进行旋转、缩放、翻转等增强处理。具体来说，使用已知的几何标定参数对图像进行几何变换，对图像中的直线和平面进行校正。这一过程能消除图像中的透视畸变，确保图像的几何准确性。使用opencv库中的函数调整采集到的光伏板图像，生成不同安装角度、不同方向并且大小保持一致的图像数据。这一过程能增强模型对不同方向、不同安装角度光伏板的适应性，提高模型的检测性能和鲁棒性。
6、3)特征提取步骤，cspdarknet53网络提取光伏板图像的特征。具体来说，cspdarknet53引入了深度可分离卷积和交叉级联网络。深度可分离卷积、交叉级联网络使得模型能更高效地处理大规模图像数据，提高了整体的计算效率和计算速度，更准确地提取光伏板图像中的细节特征，提高模型检测的精度和速度。
7、4)特征融合步骤，利用改进的gfpn(generalized feature pyramid netw ork,general ized-fpn)对提取的低级特征信息和高级特征信息进行有效的特征融合。具体来说，通过引入dysample动态上采样从点采样的角度重新构建上采样过程，对输入特征图的内容动态调整采样点位置，具有更高的灵活性，同时可以更好地保留输入特征图中的细节信息。通过使用spd卷积替换传统卷积层，结合空间到深度层和非步幅卷积层，能够保留细粒度的特征信息和更多的重要细节，最终实现对提取特征的充分融合。
8、5)缺陷检测步骤，在分层检测策略中，每一层特征图负责检测不同尺度的目标，通过增加高分辨率层输出到检测头，提高模型对小尺度缺陷的准确性。在后处理阶段，使用自适应非极大值抑制方法，通过动态调整交并比阈值，以适应目标稠密度的变化，从而更好地保留有价值的检测结果，提高目标检测的准确性和召回率。
9、6)参数优化步骤，定义一种基于指数移动平均的滑动加权的损失函数，利用这一损失函数，对改进的yolov8模型的网络参数进行优化。基于指数移动平均的滑动加权损失函数能够在训练过程中关注困难样本的同时平衡历史和当前观测数据的影响，使损失值更平滑、更稳定，并增强了模型的鲁棒性和泛化能力。
10、所述图像几何校正方法，具体内容如下：
11、几何校正方法是一种能够有效消除由于拍摄条件和设备因素引起的图像畸变的图像处理技术。首先，通过高精度相机或监控摄像头等设备拍摄原始图像。然后，通过相机内参数和外参数的标定，计算相机的光学特性和位置方向，并建立畸变模型。接下来，根据标定的径向畸变系数和切向畸变系数，对图像进行几何校正，包括径向畸变和切向畸变的校正。最后，进行图像配准，确保多张图像在相同的坐标系下对齐，并进行透视变换校正，使斜拍的图像看起来像从正上方垂直拍摄一样。通过这些步骤，实现了光伏板图像的无畸变、对齐准确，为后续的缺陷检测和特征提取提供可靠的图像数据。
12、所述cspdarknet53网络提取光伏板图像的初始特征，具体内容如下：
13、cspdarknet53是一种结合了cross stage partial(csp)机制的darknet53网络。darknet53是一个深度卷积神经网络，最初用于yolov3目标检测模型中。通过引入csp机制，cspdarknet53在保持高效特征提取能力的同时，减少了计算量，提高了网络的表现。
14、1)输入特征提取：从预处理后的光伏板图像中提取初始特征图。该特征图通过cspdarknet53网络中的初始卷积层获得，包含图像中不同区域的基本特征信息。
15、2)csp(cross stage partial)模块：在初始特征图上应用csp模块。csp模块将特征图分为两部分，一部分直接传递到后续层，另一部分经过多个残差块后再与直接传递的部分合并。csp模块的引入减少了重复计算，优化了特征融合，从而有效提升了网络的计算效率和特征表达能力。
16、3)残差块：在csp模块中使用残差块。残差块由两个连续的卷积层和一个跳跃连接组成，能够捕捉到更多的特征细节，并减少梯度消失问题，提升模型的训练效果和特征提取能力。
17、4)多尺度特征输出机制：网络在不同层次上生成的特征图分别捕捉到不同尺度的信息，低层次的特征图包含细节丰富的低级特征(如边缘、纹理)，而高层次的特征图则包含语义更丰富的高级特征(如形状、结构)。cspdarknet53网络将不同层次的特征图进行输出，为后续不同尺度的特征信息进行融合奠定基础。
18、所述基于gfpn的多尺度特征融合网络，具体内容如下：
19、gfpn(generalized feature pyramid network,generalized-fpn)通过更高效的皇后融合机制和跳层连接，充分交换了不同尺度的特征信息。皇后融合机制在多个层次上进行特征融合，以增强不同尺度特征图之间的信息交互。通过对不同尺度的特征图采用不同的通道维度设置，提高了计算效率和检测精度的平衡。在特征融合过程中引入了高效层聚合网络机制，通过有效的层聚合连接，增强特征图的表征能力，提高特征融合的效率和性能。
20、所述dysample动态上采样，具体内容如下：
21、传统上采样方法是使用固定规则进行插值，忽略了特征图中的语义信息。dysample动态上采样从点采样的角度重新构建上采样过程，即对于图像中的每个像素，在上采样过程会动态调整其值和位置，以便更好地保留和利用输入图像中的细节和特征，使得能以更灵活的方式对特征图进行插值。主要过程包括生成初始采样网格、生成偏移量、像素重排和重新采样。避免传统方法中的细节丢失问题，有效提升了模型的效率和对小尺寸缺陷的检测能力。
22、所述spd卷积，具体内容如下：
23、spd卷积旨在解决传统步幅卷积和池化在下采样特征图时可能会被忽略，导致丢失重要细节信息的问题。其包括空间到深度层和非步幅卷积层，空间到深度层通过将输入特征图分割成多个子特征图并在通道维度上进行拼接，保留所有像素信息在通道维度上，实现了下采样而没有信息丢失。非步幅卷积层通过可学习的卷积核减少通道数，确保尽可能多地保留判别性特征。
24、所述自适应非极大值抑制方法，具体内容如下：
25、自适应非极大值抑制方法首先基于检测框的数量和分布情况计算每个检测框周围的目标密度。然后根据计算出的目标密度，动态调整对应预测框的交并比阈值，目标密度较大时使用较大的交并比阈值，目标密度较小时使用较小的交并比阈值。在应用自适应非极大值抑制时，对每个预测框使用其对应的动态交并比阈值进行比较和筛选。这样可以避免在目标密集区域过度删除检测框，同时在目标稀疏区域保持高准确性。
26、所述基于指数移动平均的滑动加权损失函数，具体内容如下：
27、滑动加权损失函数通过给困难样本分配更高的权重来强调它们的重要性，使模型在训练过程中能够更加关注这些困难样本。在此基础上引入了指数移动平均的思想，平滑和动态调整交并比值，解决在实际训练过程中困难样本的权重调整可能会因为损失值波动而不稳定的问题。
28、皇后融合机制,queen fusion是广义特征金字塔网络(gfpn，generalized-fpn)中提出的一种特征融合方法。作用：使网络能够捕捉到不同空间尺度的特征并有效地融合，显著提升对小目标和大目标的检测精度，同时保持了计算效率。皇后融合(queen fusion)通过模仿国际象棋中皇后棋子的灵活移动，使用1x1卷积、双线性插值和最大池化操作，将来自不同空间尺度和语义层次的特征在每个特征层进行有效整合，从而促进了高级别语义信息与低级别空间信息的密集交换，增强了网络对不同尺度目标的检测能力。
29、本发明通过上述技术手段，能够有效提升光伏板缺陷检测的准确性和效率，提高光伏系统的性能和寿命。本发明通过改进特征融合网络和损失函数提高了特征融合效率和对小尺寸缺陷的检测能力，同时增强了模型的鲁棒性和泛化能力。该系统能够在复杂环境下实现对光伏板缺陷的高效、准确检测和定位，显著提高检测的准确率和实时性，适用于光伏板缺陷的自动化监测和维护管理。具体包括以下步骤：光伏板图像采集步骤、数据预处理步骤、特征提取步骤、特征融合步骤、缺陷检测步骤和参数优化步骤。
30、具体而言本发明具有如下优势：
31、1.多尺度特征融合效率更高
32、本专利采用了改进的gfpn方法，通过有效融合低级特征和高级特征，提升了多尺度特征的融合效率，尤其是在处理不同尺度的缺陷时能够提供更为准确的检测结果。而对比文件中，使用的ram-yolov8算法主要集中在模型结构的局部调整，缺乏系统性的多尺度特征融合优化。
33、2.鲁棒性和泛化能力更强
34、本专利通过基于指数移动平均思想的滑动加权损失函数，使得模型在关注困难样本的同时，平衡了历史和当前观测数据的影响，提升了模型的鲁棒性和泛化能力。且对不同方向、不同安装角度光伏板，通过数据增强和几何校正提高了模型的检测性能和鲁棒性。对比文件则依赖于传统的训练方法，缺乏类似的增强手段，因此在复杂背景和不同光照条件下可能表现不如本专利。
35、3.更高的检测精度和效率
36、本专利在特征融合步骤中使用了dysample动态上采样与spd卷积的结合，更好地保留了输入特征图中的细节信息。而对比文件虽然也引入了transformer机制，但在细节保留和动态调整方面略逊于本专利，且引入transformer机制会导致计算资源消耗大，需要大量的训练数据才能充分学习有效的特征表达。
37、4.适应性更强的非极大值抑制方法
38、本专利中的自适应非极大值抑制方法可以根据目标密度动态调整交并比阈值，提升了目标稠密区域的检测准确性。对比文件则使用了传统的非极大值抑制方法，未能在密集目标区域进行优化，在密集缺陷检测场景中可能表现不佳。
1.一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，所述步骤(2)的图像几何校正处理方法，具体内容如下：首先，通过高精度相机或监控摄像头设备拍摄原始图像，然后，通过相机内参数和外参数的标定，计算相机的光学特性和位置方向，并建立畸变模型，接下来，根据标定的径向畸变系数和切向畸变系数，对图像进行几何校正，包括径向畸变和切向畸变的校正，最后，进行图像配准，确保多张图像在相同的坐标系下对齐，并进行透视变换校正，使斜拍的图像看起来像从正上方垂直拍摄一样。
3.根据权利要求1所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，所述步骤(3)中cspdarknet53网络提取光伏板图像的特征，cspdarknet53是一种结合了csp机制的darknet53网络，darknet53是一个深度卷积神经网络，具体内容如下：
4.根据权利要求5所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于：所述s4步骤中不同层次上生成的特征图包括低层次的特征图和高层次的特征图，所述包含低层次的特征图包括边缘和纹理，所述高层次的特征图包括形状和结构。
5.根据权利要求1所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，所述步骤(4)中dysample动态上采样，具体内容如下：dysample动态上采样从点采样的角度重新构建上采样过程，即对于图像中的每个像素，在上采样过程会动态调整其值和位置，过程包括生成初始采样网格、生成偏移量、像素重排和重新采样。
6.根据权利要求1所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，所述步骤(4)中spd卷积，具体内容如下：其包括空间到深度层和非步幅卷积层，空间到深度层通过将输入特征图分割成多个子特征图并在通道维度上进行拼接，保留所有像素信息在通道维度上，实现了下采样而没有信息丢失，非步幅卷积层通过学习的卷积核减少通道数。
7.根据权利要求1所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，所述步骤(5)中自适应非极大值抑制方法，具体内容如下：首先基于检测框的数量和分布情况计算每个检测框周围的目标密度，然后根据计算出的目标密度，动态调整对应预测框的交并比阈值，目标密度较大时使用较大的交并比阈值，目标密度较小时使用较小的交并比阈值。
8.根据权利要求1所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于，所述步骤(6)基于指数移动平均的滑动加权损失函数，具体内容如下：滑动加权损失函数通过给困难样本分配更高的权重来强调它们的重要性。
9.根据权利要求8所述的一种多尺度特征融合的光伏板缺陷检测方法，其特征在于：滑动加权损失函数公式如下：
