本发明涉及光伏电站光伏阵列识别与光伏板外形异常检测技术，具体涉及一种多任务联合训练的光伏板外破检测方法，特别适用于复杂环境下光伏板的外破类型检测。
背景技术：
1、光伏板是太阳能发电系统的核心部件，其通过光电效应将太阳能转换为电能。光伏板长期暴露于户外环境中，容易受到各种物理和环境因素的影响，导致其表面出现裂纹、划痕、碎裂及材料老化变色等情况，这都可能导致局部阴影效应或电流阻塞，降低整个光伏站的使用寿命和发电效率。光伏板外破检测研究涉及识别和分析光伏板上的物理损坏，如裂纹、划痕、碎裂或材料老化等情形，这对于及时识别并修复受损的光伏板，提高光伏站的发电效率具有重要的意义。
2、然而现有的光伏板外破检测方法存在诸多的挑战与局限性：(1)多元化的光伏板外破类型：光伏板的损伤形式多样，包括表面裂纹、划痕、碎裂、老化等情况，这些损伤可能表现出不同的外观特征和热学特征，增加了自动检测算法的复杂性。现有方法只能识别光伏热斑和光伏组件破损的情况，却无法准确识别光伏组件损坏的多元化类型。(2)环境影响：灰尘、鸟粪和其他污染物可能遮盖光伏板的表面，这会影响到图像数据处理过程从而造成误检或漏检的情况。同时强光、雨雪等恶劣天气可能干扰检测设备的性能，导致检测结果的不准确。(3)检测成本高:针对大规模光伏电站而言，传统的人工检测方法耗时且存在安全风险，如果采用非人工的方式，高分辨率相机、红外成像设备和无人机等硬件设备成本较高，亟待高效的自动检测算法来降低检测成本。(4)缺乏标注数据：深度学习模型的训练依赖大量的标注数据，尤其是带有损伤标签的光伏板图像数据，缺乏此类数据会导致深度学习模型无法学习到全面、准确的图像特征表示。
技术实现思路
1、本发明针对现有的光伏板外破检测方法存在的无法识别多元化的外破类型、检测易受环境影响、检测成本高、缺乏带有损伤标签的光伏板图像数据等缺点，提供了一种多任务联合训练的光伏板外破检测方法，能够在复杂环境下实现对光伏板外破类型的有效检测，减少人工干预，降低检测成本，有效提高光伏电站的发电效率与使用寿命。
2、为实现上述目的，本发明采取下述技术方案：
3、一种多任务联合训练的光伏板外破检测方法，包括以下步骤：
4、1)光伏图像采集，使用无人机配备高分辨率相机进行光伏图像的采集，可以从空中有效采集光伏阵列的全景和细节图像，为后续研究提供数据基础。
5、2)图像数据预处理，对采集到的光伏板图像数据进行去噪处理和边缘增强。具体来说，首先应用高斯滤波方法对图像进行去噪处理，以减少图像中的随机噪声，使图像变得更加均匀。之后应用sobel边缘检测算法，用来增强光伏图像边缘特征，突出光伏图像的边界、裂纹、破损、碎裂等特征，从而提高自动检测算法的准确性。
6、3)联合训练，引入了多任务学习的思想，通过联合训练对比学习任务和分类任务来增强光伏板图像特征表示的鲁棒性和泛化能力。具体来说，首先使用预训练的resnet-50卷积神经网络作为基础的特征提取模型，用来提取光伏板图像的高维特征表示。在多任务联合训练阶段，对比学习任务通过优化nt-xen t损失，使模型学习到如何将相同类别的图像特征聚集在一起，同时将不同类别的图像特征分离开。分类任务则通过优化交叉熵损失，使模型学习如何准确地将输入图像分类到正确的破损类型，再通过联合损失函数来平衡对比损失和分类损失。
7、4)动态注意力机制，动态注意力机制是一种能够根据输入特征的复杂程度动态调整注意力权重的机制。具体来说，首先使用squeeze-and-excitation(se)模块，通过计算全局通道特征的加权系数，增强重要通道的特征表示。然后引入自适应门控机制，根据输入特征的复杂度调整se模块的缩放参数，使得注意力机制对复杂的破损特征给予更高的权重。
8、5)外破类型预测，基于多任务联合训练得到的模型对输入的光伏板图像进行特征提取，结合动态注意力机制和分类头部，预测其外破类型，并输出不同光伏板外破类型所对应的概率分布。
9、所述光伏图像采集，具体内容如下：
10、在无人机采集光伏图像的过程中，需要预设无人机的飞行路径和高度，确保其覆盖所有光伏板，并获得一致的图像分辨率。同时为了获取光伏板的不同视角，帮助识别不同类型的物理损坏，需要通过调整无人机的角度和高度实现多角度拍摄。最后采集到的光伏图像数据应包括各种光伏板外破类型，如裂纹、划痕、碎裂、材料老化变色等情形。
11、步骤2)去噪处理采用高斯滤波方法，高斯噪声是一种均匀分布的噪声，主要影响图像的整体平滑性。光伏板图像在采集过程中，由于光照变化、传感器噪声等原因，可能会出现高斯噪声，这种噪声会模糊边缘和细节，影响裂纹、破损等细微特征的检测。高斯滤波是一种常用的图像去噪技术，通过对光伏图像进行高斯卷积操作来平滑图像，以减少随机噪声，同时保留图像的主要结构。
12、图像边缘增强方法，具体内容如下：应用sobel算子进行边缘增强，它能够检测图像中的边缘，通过计算图像梯度来突出边缘特征。首先，加载去噪处理后的光伏图像，然后通过sobel算子计算图像的梯度来进行边缘检测，具体来说，sobel算子分别计算水平(x方向)和垂直(y方向)方向的梯度，然后组合这两个方向的梯度以获得图像的边缘强度图，最后将边缘强度图与原图进行融合得到边缘增强后的图像。
13、所述应用resnet-50预训练模型进行初始特征提取，具体内容如下：resnet-50(residual network with 50layers)是一种深度卷积神经网络，其广泛用于各种计算机视觉任务，resnet通过引入残差模块(residual block)解决了深层神经网络训练中的梯度消失问题。预训练的resnet-50模型已经在大规模数据集上训练过，具有很强的特征提取能力。将边缘增强后的光伏图像数据输入到resnet-50模型中，可以有效提取光伏图像特征，获取其高维特征表示。
14、所述多任务学习框架，具体内容如下：多任务学习是一种通过同时学习多个相关任务来提升模型性能的策略。在光伏板外破检测任务中，将对比学习任务和分类任务相结合，通过联合训练的方式来增强特征表示的鲁棒性和泛化能力。其中，对比学习任务有助于增强不同光伏板外破类型特征的区分性，分类任务有助于光伏板外破类型的预测，通过多任务联合训练的方式，可以共享表示信息，使其训练效果优于单一的对比学习任务或分类任务。
15、所述对比学习任务，具体内容如下：对比学习任务旨在通过拉近同类样本特征表示的距离，同时拉远不同类样本特征表示的距离，来提高特征表示的区分度和鲁棒性。在对比学习任务中，正负样本对的构建是关键步骤，通过如下规则构建样本对：正样本对由同类别的两张图像构成，通过数据增强技术(如旋转、缩放等)从同一张图像生成两张不同视角的图像或者两张具有相同破损类型的光伏板图像，作为正样本对。负样本对由不同类别的图像构成，不同类别的图像可以是正常光伏板和破损光伏板的图像对，或者是不同破损类型的光伏板图像对。对比学习任务通过优化nt-xent损失函数来增强模型区分不同外破类型特征表示的能力，nt-xent损失函数的数学定义如下：
16、
17、其中zi,zj表示一对正样本的特征向量，τ是模型训练的超参数用于缩放相似性分数，使模型在训练过程中对难分样本更敏感，sim(zi，zj)用来计算余弦相似度，用来衡量两个特征向量的相似性，其取值范围为[-1,1]，相似度越高表示特征向量越接近。对比学习任务的训练目标是最小化nt-xent损失函数，使模型学习到较好的特征区分能力。
18、所述分类任务，具体内容如下：分类任务的目标是根据输入的光伏板图像判断其是否存在破损，并检测其破损类型。考虑到光伏板破损存在裂纹、划痕、碎裂、材料老化变色等多元化的类型，本质是一个多分类问题，因此采用交叉熵损失函数，交叉熵损失函数的数学定义如下：
19、
20、其中，c表示光伏板破损类别的数量，一共存在正常、裂纹、划痕、碎裂、材料老化变色五种情况，yi表示的是真实标签，如果样本属于第i类，则yi＝1，否则yi＝0。表示模型对第i类的预测概率。分类任务通过最小化交叉熵损失函数来最小化模型预测的概率分布与真实标签分布之间的差异，使模型学习到有效的特征表示，从而提高光伏板外破类型分类的准确性。
21、所述联合损失函数，具体内容如下：联合损失函数是多任务学习的核心，其用来平衡对比损失和分类损失，并通过反向传播的方式来优化模型参数。本发明定义的联合损失函数如下：
22、ltotal＝λlcontrastive+(1-λ)lclassification
23、其中lcontrastive是对比学习损失，优化该损失用于拉近相似样本，推远不相似样本，从而优化模型对特征表示的区分能力。lclassification是分类损失，优化该损失用于正确分类光伏板是否破损及其破损类型。λ是模型训练的超参数，是用来平衡两个任务的重要性权重参数，其取值范围为(0,1)。
24、所述动态注意力机制，具体内容如下：动态注意力机制通过se模块和自适应门控机制来实现。se模块通过自适应地重新校准通道特征来提升特征表示能力，主要由两个步骤组成：squeeze操作和excitation操作。squeeze操作对每个通道进行全局平均池化，得到每个通道的全局特征，excitation操作通过全连接层生成每个通道的权重，并通过sigmoid函数将权重归一化到0到1之间，最后通过重新加权，将生成的权重与原始特征图相乘，得到初次增强后的特征图。
25、自适应门控机制能够根据输入特征图的复杂度动态调整se模块的缩放因子，使得注意力机制对复杂的破损特征给予更高的权重。该机制首先计算初次增强后的特征图的复杂度，然后设计一个门控函数来学习特征图复杂度和缩放因子之间的关系，对缩放因子s进行动态调整，与初次增强后的特征图进行点乘得到最终增强的特征图。
26、本发明通过上述技术手段，能够显著提高光伏板外破检测的自动化水平和准确性，降低人工检测的安全风险，有效提高光伏电站的发电效率和使用寿命，为自主式智能巡检的推广应用奠定基础。
27、本发明相比于现有技术(cn 117522872 b)具有如下区别：
28、1.对比方案在步骤s3利用分割算法将巡检图像分割成子图像，采用形态学算法对巡检图像进行边缘重建，本方案在应用高斯滤波去除图像随机噪声的基础上采用sobel算子进行边缘增强，主要考虑到：在复杂场景中，图像的边缘特征可能呈现多种形态和方向，形态学操作(如膨胀、腐蚀、开闭运算等)基于结构元素的形状来处理图像，无法适应复杂的边缘模式，sobel算子通过直接计算图像中的梯度来定位边缘，能够更灵活地适应各种复杂场景下的边缘增强需求。本方案基于sobel算子分别计算水平(x方向)和垂直(y方向)方向的梯度，然后组合这两个方向的梯度以获得图像的边缘强度图，最后将边缘强度图与原图进行融合得到边缘增强后的图像。
29、2.对比方案在步骤s42利用3个残差模块依次提取子图像的三个特征，将三个特征做均值处理，得到均值特征，本方案在获取图像特征时结合了不同维度的特征信息，首先采用预训练resnet-50模型提取光伏板图像的高维特征，再通过多任务联合训练的方式训练对比学习任务和分类任务，最后通过自适应门控的动态注意力机制，根据图像特征的复杂度自适应调整注意力权重，来强化特征表示。在获取图像特征表示时，本方案没有通过简单的均值处理，而是将不同维度的特征信息相结合，并通过动态注意力机制，丰富图像特征表示。
30、3.对比方案在步骤s4对异常检测模型进行预训练，其设计的总损失函数为异常分类网络损失函数和异常定级网络损失函数的简单相加，本方案在设计联合损失函数时定义了超参数λ用来平衡对比学习损失和分类任务损失，使模型可以灵活地对不同任务的优先级进行控制。考虑到在多任务学习中，不同任务的难度、目标、对模型训练的影响是不同的，通过调整权重，模型可以适应不同任务的训练需求，专注于更重要的任务。对比方案设计的总损失函数只是将不同损失简单相加，会让所有任务在训练中会被赋予相同的权重，这可能导致某些任务被过度优化，而其他任务无法得到充分关注。
31、本发明公开了一种多任务联合训练的光伏板外破检测方法。光伏板外形异常包括裂纹、划痕、碎裂、材料老化变色等情形，这可能会造成光伏板电流受阻，进而导致光伏组件发电功率衰减。本发明将多任务学习的思想融入到光伏板外形异常检测中，通过联合训练对比学习任务和分类任务，增强光伏板图像特征表示的鲁棒性和泛化能力，同时结合自适应门控的动态注意力机制，能够根据图像特征的复杂度自适应调整注意力权重，来强化特征表示，最终预测输出光伏板外形异常类别，能够在复杂环境下实现高精度、高效率的光伏板外破类型检测。本发明能够显著提高光伏板外破检测的自动化水平和准确性，降低人工检测的安全风险，适用于大规模光伏电站的智能巡检。具体包含以下步骤：光伏图像采集、图像数据预处理、联合训练、动态注意力机制、外破类型预测。
1.一种多任务联合训练的光伏板外破检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述光伏图像采集，具体内容如下：在无人机采集光伏图像的过程中，预设无人机的飞行路径和高度，确保其覆盖所有光伏板，并获得一致的图像分辨率，同时通过调整无人机的角度和高度实现多角度拍摄，最后采集到的光伏图像数据应包括各种光伏板外破类型，如裂纹、划痕、碎裂、材料老化变色情形。
3.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤2)边缘增强的方法，具体内容如下：首先，加载去噪处理后的光伏图像，然后通过sobel算子计算图像的梯度来进行边缘检测，具体来说，sobel算子分别计算水平和垂直方向的梯度，然后组合这两个方向的梯度以获得图像的边缘强度图，最后将边缘强度图与原图进行融合得到边缘增强后的图像。
4.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，步骤3)具体来说，首先使用预训练的resnet-50卷积神经网络作为基础的特征提取模型，用来提取光伏板图像的高维特征表示，在多任务学习阶段，联合训练对比学习任务通过优化nt-xent损失，使模型学习到如何将相同类别的图像特征聚集在一起，同时将不同类别的图像特征分离开，分类任务则通过优化交叉熵损失，使模型学习如何准确地将输入图像分类到正确的破损类型，再通过联合损失函数来平衡对比损失和分类损失。
5.根据权利要求1或4任意一项所述的一种多任务联合训练的光伏板外破检测方法，其特征在于resnet-50卷积神经模型，具体内容如下：resnet引入残差模块，将边缘增强后的光伏图像数据输入到resnet-50模型中，有效提取光伏图像特征，获取其高维特征表示。
6.根据权利要求4所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤3)对比学习任务，具体内容如下：在对比学习任务中，正负样本对的构建是关键步骤，通过如下规则构建样本对：正样本对由同类别的两张图像构成，通过数据增强技术从同一张图像生成两张不同视角的图像或者两张具有相同破损类型的光伏板图像，作为正样本对，负样本对由不同类别的图像构成，不同类别的图像可以是正常光伏板和破损光伏板的图像对，或者是不同破损类型的光伏板图像对，对比学习任务通过优化nt-xent损失函数来增强模型区分不同外破类型特征表示的能力，nt-xent损失函数的数学定义如下：
7.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤3)分类任务，具体内容如下：分类任务的目标是根据输入的光伏板图像判断其是否存在破损，并检测其破损类型，采用交叉熵损失函数，交叉熵损失函数的数学定义如下：
8.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤3)中联合损失函数，具体内容如下：联合损失函数，其用来平衡对比损失和分类损失，并通过反向传播的方式来优化模型参数，联合损失函数如下：
9.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤4)动态注意力机制，具体内容如下：动态注意力机制通过se模块和自适应门控机制来实现，se模块通过自适应地重新校准通道特征来提升特征表示能力，主要由两个步骤组成：squeeze操作和excitation操作，squeeze操作对每个通道进行全局平均池化，得到每个通道的全局特征，excitation操作通过全连接层生成每个通道的权重，并通过sigmoid函数将权重归一化到0到1之间，最后通过重新加权，将生成的权重与原始特征图相乘，得到初次增强后的特征图。
10.根据权利要求9所述的一种多任务联合训练的光伏板外破检测方法，其特征在于：自适应门控机制能够根据输入特征图的复杂度动态调整se模块的缩放因子，使得注意力机制对复杂的破损特征给予更高的权重，该机制首先计算初次增强后的特征图的复杂度，然后设计一个门控函数来学习特征图复杂度和缩放因子之间的关系，对缩放因子s进行动态调整，与初次增强后的特征图进行点乘得到最终增强的特征图。
