基于注意力神经网络的无人机光伏故障诊断及定位方法

1.本发明属于太阳能光伏电站故障智能化巡检领域，具体为基于注意力神经网络的无人机光伏故障诊断及定位方法。


背景技术：

2.随着社会对绿色清洁能源的需求量增加，基于太阳能发电技术的光伏电站产业得到了快速的发展。光伏电站占地面积大，主要分布在沙漠、荒地、水面等野外自然环境中，光伏组件放置于恶劣的室外环境下，常年受到风吹日晒，导致其所面临的故障和缺陷问题严重。对发电系统进行实时管控检测及日常维护往往需要较高的人力成本，且存在主观性强、巡检手段单一等弊端，难以满足日益增长的巡检需求。为保证光伏电站的高效工作，急需无人智能化的巡检方式。智能化的缺陷检测及定位技术能够实现巡检模式多样化，同时充分发挥机器人精度高、反应灵活、全天候的优点，满足高频率无人化巡检的要求，对于提高光伏电站的发电效率及保证大型光伏电站的安全、高效运营具有重要意义。
3.近年来，基于图片的光伏组件缺陷检测主要包含传统信号处理算法和人工智能算法两大类。传统信号处理算法包括基于各向异性扩散滤波、匹配滤波、血管滤波等方法的缺陷定位分割算法，只能针对某一种缺陷，难以处理实际工作环境下种类繁多、外观差异明显的缺陷，应用价值不高；人工只能算法通常采用深度学习的卷积神经网络进行目标检测、实例分割实现缺陷检测和判断，通过对输入数据重复足够多次的训练实现全局损失最小，从而达到训练效果。考虑到缺陷种类繁多、表现形式差异较大、各类别样本分布不均，对神经网络的结构进行合理设计、选取高效的损失函数计算方法成为构建神经网络的关键，也是决定网络检测准确性和定位精度的主要因素。
4.航拍图像的位置信息获取主要包括基于光伏串cad图的方法和基于移动载具与视觉位置信息融合的方法。基于光伏串cad图的方法依赖于谷歌地球等卫星遥感数据，其定位精度低，影响无人机的巡检过程。基于移动载具与视觉位置信息融合的方法多通过二维、三维重建等方式还原高精度地图，但不包含语义信息，无法自动获取光伏区域的位置分布，且识别精度不高，仍需要人工修改，无法实现全自动化。


技术实现要素：

5.为解决上述技术问题，本发明提出了基于注意力神经网络的无人机光伏故障诊断及定位方法，该方法缓解了深度学习目标检测定位精度不足的问题，适用于基于航拍图像的光伏电站缺陷检测，并且可以实现缺陷组件的实时定位，计算量小，实时性好，进而智能化光伏电站缺陷检测及定位的效率。
6.基于注意力神经网络的无人机光伏故障诊断及定位方法，包括如下步骤：
7.(1)获取巡检无人机航拍的光伏组件红外图片，读取无人机实时位置信息和姿态数据。其中无人机的飞行高度为h，gps坐标为(xd，yd)，相机视野角γ，俯仰角θ
zd
，航向角ψ
zd
。
8.(2)基于注意力机制和fpn结构构造fpt模块，包含自转换器st、植入转换器gt和渲
染转换器rt三种转换器结构，分别实现特征层内的全局信息交互和自上而下、自下而上的层间局部信息交互：
9.其中，st结构对当前特征层进行三次不同的卷积操作得到values，keys，queries，将queries和keys分别n等分得到qi、kj，利用点乘计算每对的相似度3
i，j
后采用mos归一化得到权重系数w
i，j
，对values进行加权求和得到特征图：
[0010][0011]
其中f
sim
为点乘操作，f
mul
为矩阵乘法操作，f
mos
为归一化操作定义如下，为归一化操作定义如下，为可训练的用于归一化的参数，为所有keys
i，j
的算术平均值：
[0012][0013]
gt是自上而下的特征交互，将深层特征图的语义信息植入浅层特征图的高分辨率信息，实现对浅层特征图的增强，考虑到不同尺寸的特征图提取到的语义信息存在差异，采用负欧氏距离计算相关性，公式表示如下：
[0014][0015]
其中qi浅层特征图，kj，vj来自深层特征图，f
eud
表示欧氏距离，即每一对qi和kj距离越近，其权重越大：
[0016]feud
(qi，kj)＝-||q
i-kj||2ꢀꢀꢀ
(4)
[0017]
rt是自下而上的特征融合，旨在通过高分辨率的像素信息渲染高语义信息，实现对深层特征图的渲染，q来自高层特征图，k，v来自低层特征图，首先通过对k进行全局平均池化得到权重w对q进行加权，再通过带步长的卷积缩小v的尺寸，最后将处理后尺寸相同的k，q相加并细化处理得到输出特征图；
[0018][0019]
其中gap表示全局平均池化，对齐k，q的尺寸；f
att
为外积函数，实现对特征图q的加权；f
sconv
表示带步长的3
×
3卷积，用于缩小低层特征图v尺寸；f
conv
表示3
×
3卷积，用于对加权结果q
att
进行优化；f
add
表示先相加后经过3
×
3卷积进行细化处理；
[0020]
(3)构建单阶段目标检测bp神经网络，采用cspdarknet53作为主干网络进行特征
提取，采用fpt结构进行信息融合，输出模块利用锚框思想进行预测和回归，并采用最优二分匹配思想设计损失函数；将航拍图像尺寸统一为416
×
416
×
3作为网络输入，缺陷所在光伏组件中心的像素坐标作为输出，训练所构建的神经网络，得到针对红外图像缺陷检测的神经网络；
[0021]
其中输出模块将特征图划分为s
×
s个网格，每个网格负责预测9个不同尺度的锚框，即学习锚框在网格中的相对偏移和各类别概率，需要学习(t
x
，ty，tw，th，p
obj
，p
cls
)六个参数，其中(t
x
，ty)表示锚框中心坐标相对于网格点的偏移，(tw，th)表示边界框宽高与预设边界框宽高的比值，p
obj
表示边界框中包含检测目标的概率，p
cls
表示检测目标属于各类别的概率，最后通过基于diou改进的非极大值抑制算法对所有预测结果进行筛选，得到的目标边界框坐标和类别信息作为网络输出；
[0022]
损失函数采用二分图匹配算法，在每一代训练结束后通过损失函数最小化策略寻找预测结果与真值的最优二分图匹配，并只对匹配成功的预测目标框计算损失函数，损失函数定义为分类损失与定位损失的加权和：
[0023][0024]
其中表示分类损失，用focal loss计算，表示两个目标框中心点的归一化欧式距离，表示两个目标框的左上角点与右下角点的归一化曼哈顿距离，λ
cls
、λ
cls
、λ
manhattan
为加权系数；
[0025]
在训练阶段采用预测结果与真值目标框一对一匹配策略进行目标框筛选，并只对匹配成功的目标框计算损失函数，加强了网络在学习特征的过程中对真值目标框分布的学习，提高损失函数的计算效率，能够提高模型收敛速度，并间接减少预测结果中相近目标框被抑制的概率，提升检测准确率。
[0026]
(4)用语义分割网络lednet对原始图像进行分割，得到光伏组件串掩模；对光伏组件串掩膜进行二值化分割得到光伏组件掩模，然后进行中值滤波消除噪声点，并先后进行腐蚀、膨胀操作对光伏组件分割结果进行优化，取其最小外接矩形作为优化后的光伏组件掩模；最后根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标；
[0027]
(5)采用基于无人机pos数据的目标定位方法，通过机载gps/ins系统获取图像捕获时相机姿态角、视野角及无人机的飞行高度、gps坐标等信息，根据空中三角几何关系计算出目标像素点的gps坐标；
[0028]
目标检测模块获得缺陷组件的四个角点坐标(x1，y1，x2，y2)和缺陷类别，根据下式计算得到该光伏组件中心点的像素坐标(x，y)，即目标像素点坐标：
[0029][0030]
无人机的飞行高度为h，gps坐标为(xd，yd)，相机视野角γ，俯仰角θ
zd
，航向角ψ
zd
，相机视野范围为(y
f0
，y
f1
)，(x
f0
，x
f1
)，目标像素点的gps坐标为(x，y)，红外图像的尺寸为(w，h)；
[0031]
首先计算相机视野范围的四个角点，即图片四个顶点的gps坐标，根据空中三角关系有：
[0032][0033]
根据红外图像像素坐标与实地gps坐标的相似关系，由式(9)计算得目标光伏组件中心点的gps坐标；
[0034][0035]
作为本发明进一步改进，步骤(3)中构建的bp神经网络采用最优二分匹配的思想设计损失函数，在每一代训练结束后将检测结果与真值进行最优二分匹配，并只对匹配成功的预测目标框计算损失函数；损失函数包括分类损失、中心点损失和角点损失三部分，相比于iouloss，该设计从中心点定位和角点定位引导目标框的定位，能够提高模型收敛速率。
[0036]
作为本发明进一步改进，作为主干网络的cspdarknet53采用mish作为神经网络激活函数，对负值轻微允许更好的梯度流，而不是像relu函数中的硬零边界：
[0037]
mish(x)＝x
·
tanh(ln(1 e
x
))
ꢀꢀ
(10)
[0038]
作为本发明进一步改进，对构建的bp神经网络进行训练的步骤如下：
[0039]
(1)对数据集进行增加高斯噪声和对比度、亮度、锐度调整等操作缓解类别不均衡问题并实现扩充；从扩充后的数据集中随机选取65％作为的训练数据集，15％图片构成验证数据集，余下20％组成测试数据集；
[0040]
(2)bp网络neck部分采用随机初始化，backbone部分采用在coco数据集上的预训练权重进行迁移学习；为了防止特征提取网络的权重在训练初期被破坏，对前25代训练中的主干网络参数进行冻结，不参与梯度更新；
[0041]
(3)根据误差反向传播算法，采用adam优化器和小批量随机梯度下降法，学习率下降曲线采用steplr固定步长衰减策略，gamma取0.9，分别对backbone和neck结构的权值进行微调更新。
[0042]
有益效果：
[0043]
本发明公开了基于注意力神经网络的无人机光伏故障诊断及定位方法，该方法利用巡检无人机航拍获取光伏组件红外图片和无人机实时位置信息和姿态数据，使用cspdarknet53作为主干网络进行特征提取，采用基于注意力机制和fpn结构的fpt结构进行信息融合，将航拍图片作为输入，缺陷所在光伏组件的像素坐标作为输出；对原始图像进行分割得到光伏组件掩模，再根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标；根据无人机拍摄实时坐标和姿态角建立坐标转换模型，根据空中三角几何关系将神经网络输出的像素坐标转化为大地坐标下的位置坐标，得到缺陷所在光伏组件的位置信息。该方法缓解了基于深度学习的目标检测算法定位精度不高的问题，并
减小航拍图像定位的计算量，大幅提高缺陷定位的实时性，可以实现组件缺陷的高精度实时监测。
附图说明
[0044]
图1是本发明公开方法的流程图；
[0045]
图2为无人机巡检时飞行参数与相机视野的示意图。
具体实施方式
[0046]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0047]
本发明公开了基于注意力神经网络的无人机光伏故障诊断及定位方法，包括如下步骤：
[0048]
步骤1：获取巡检无人机航拍的光伏组件红外图片，读取无人机实时位置信息和姿态数据。其中无人机的飞行高度为h，gps坐标为(xd，yd)，相机视野角γ，俯仰角θ
zd
，航向角ψ
zd
。
[0049]
步骤2：基于注意力机制和fpn结构构造fpt模块，包含自转换器(st)、植入转换器(gt)和渲染转换器(rt)三种结构，分别实现特征层内的全局信息交互和自上而下、自下而上的层间局部信息交互：
[0050]
其中，st结构对当前特征层进行三次不同的卷积操作得到values，keys，queries。将queries和keys分别n等分得到qi、kj，利用点乘计算每对的相似度s
i，j
后采用mos归一化得到权重系数w
i，j
，对values进行加权求和得到特征图：
[0051][0052]
其中f
sim
为点乘操作，f
mul
为矩阵乘法操作，f
mos
为归一化操作定义如下，为归一化操作定义如下，为可训练的用于归一化的参数，为所有keys
i，j
的算术平均值：
[0053][0054]
gt是自上而下的特征交互，将深层特征图的语义信息植入浅层特征图的高分辨率信息，实现对浅层特征图的增强。考虑到不同尺寸的特征图提取到的语义信息存在差异，采用负欧氏距离计算相关性，公式表示如下：
[0055][0056]
其中qi浅层特征图，kj，vj来自深层特征图，f
eud
表示欧氏距离，即每一对qi和kj距离
越近，其权重越大：
[0057]feud
(qi，kj)＝-||q
i-kj||2ꢀꢀ
(4)
[0058]
rt是自下而上的特征融合，旨在通过高分辨率的像素信息渲染高语义信息，实现对深层特征图的渲染。q来自高层特征图，k，v来自低层特征图。首先通过对k进行全局平均池化得到权重w对q进行加权，再通过带步长的卷积缩小v的尺寸，最后将处理后尺寸相同的k，q相加并细化处理得到输出特征图。
[0059][0060]
其中gap表示全局平均池化，对齐k，q的尺寸；f
att
为外积函数，实现对特征图q的加权；f
sconv
表示带步长的3
×
3卷积，用于缩小低层特征图v尺寸；f
conv
表示3
×
3卷积，用于对加权结果q
att
进行优化；f
add
表示先相加后经过3
×
3卷积进行细化处理。
[0061]
步骤3：构建单阶段目标检测bp神经网络，采用cspdarknet53作为主干网络进行特征提取，采用fpt结构进行信息融合，输出模块利用锚框思想进行预测和回归，并采用最优二分匹配思想设计损失函数；将航拍图像尺寸统一为416
×
416
×
3作为网络输入，缺陷所在光伏组件中心的像素坐标作为输出，训练所构建的神经网络，得到针对红外图像缺陷检测的神经网络。
[0062]
其中输出模块将特征图划分为s
×
s个网格，每个网格负责预测9个不同尺度的锚框，即学习锚框在网格中的相对偏移和各类别概率，需要学习(t
x
，ty，tw，th，p
obj
，p
cls
)六个参数，其中(t
x
，ty)表示锚框中心坐标相对于网格点的偏移，(tw，th)表示边界框宽高与预设边界框宽高的比值，p
obj
表示边界框中包含检测目标的概率，p
cls
表示检测目标属于各类别的概率。最后通过基于diou改进的非极大值抑制算法nms对所有预测结果进行筛选，得到的目标边界框坐标和类别信息作为网络输出。
[0063]
损失函数采用二分图匹配算法，在每一代训练结束后通过损失函数最小化策略寻找预测结果与真值的最优二分图匹配，并只对匹配成功的预测目标框计算损失函数。损失函数定义为分类损失与定位损失的加权和：
[0064][0065]
其中表示分类损失，用focal loss计算，表示两个目标框中心点的归一化欧式距离，表示两个目标框的左上角点与右下角点的归一化曼哈顿距离，λ
cls
、λ
cla
、λ
manhattan
为加权系数。
[0066]
在训练阶段采用预测结果与真值目标框一对一匹配策略进行目标框筛选，并只对匹配成功的目标框计算损失函数，加强了网络在学习特征的过程中对真值目标框分布的学习，提高损失函数的计算效率，能够提高模型收敛速度，并间接减少预测结果中相近目标框被抑制的概率，提升检测准确率。
[0067]
对构建的bp神经网络进行训练的步骤如下：
[0068]
(3-1)对数据集进行增加高斯噪声和对比度、亮度、锐度调整等操作缓解类别不均衡问题并实现扩充；从扩充后的数据集中随机选取65％作为的训练数据集，15％图片构成验证数据集，余下20％组成测试数据集；
[0069]
(3-2)bp网络neck部分采用随机初始化，backbone部分采用在coco数据集上的预训练权重进行迁移学习；为了防止特征提取网络的权重在训练初期被破坏，对前25代训练中的主干网络参数进行冻结，不参与梯度更新；
[0070]
(3-3)根据误差反向传播算法，采用adam优化器和小批量随机梯度下降法，学习率下降曲线采用steplr固定步长衰减策略，gamma取0.9，分别对backbone和neck结构的权值进行微调更新。
[0071]
步骤4：用语义分割网络lednet对原始图像进行分割，得到光伏组件串掩模；对光伏组件串掩膜进行二值化分割得到光伏组件掩模，然后进行中值滤波消除噪声点，并先后进行腐蚀、膨胀操作对光伏组件分割结果进行优化，取其最小外接矩形作为优化后的光伏组件掩模；最后根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标。
[0072]
步骤5：采用基于无人机pos数据的目标定位方法，通过机载gps/ins系统获取图像捕获时相机姿态角、视野角及无人机的飞行高度、gps坐标等信息，根据空中三角几何关系计算出目标像素点的gps坐标。
[0073]
目标检测模块获得缺陷组件的四个角点坐标(x1，y1，x2，y2)和缺陷类别，根据下式计算得到该光伏组件中心点的像素坐标(x，y)，即目标像素点坐标：
[0074][0075]
无人机巡检时飞行参数与相机视野的示意图如图2所示。其中无人机的飞行高度为h，gps坐标为(xd，yd)，相机视野角γ，俯仰角θ
zd
，航向角ψ
zd
，相机视野范围为(y
f0
，y
f1
)，(x
f0
，x
f1
)，目标像素点的gps坐标为(x，y)，红外图像的尺寸为(w，h)。
[0076]
首先计算相机视野范围的四个角点，即图片四个顶点的gps坐标。根据空中三角关系有：
[0077][0078]
根据红外图像像素坐标与实地gps坐标的相似关系，由下式计算可得目标光伏组件中心点的gps坐标：
[0079][0080]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限
制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

技术特征：
1.基于注意力神经网络的无人机光伏故障诊断及定位方法，其特征在于，包括如下步骤：(1)获取巡检无人机航拍的光伏组件红外图片，读取无人机实时位置信息和姿态数据。其中无人机的飞行高度为h，gps坐标为(x
d
，y
d
)，相机视野角γ，俯仰角θ
zd
，航向角ψ
zd
。(2)基于注意力机制和fpn结构构造fpt模块，包含自转换器st、植入转换器gt和渲染转换器rt三种转换器结构，分别实现特征层内的全局信息交互和自上而下、自下而上的层间局部信息交互：其中，st结构对当前特征层进行三次不同的卷积操作得到values，keys，queries，将queries和keys分别n等分得到q
i
、k
j
，利用点乘计算每对的相似度s
i，j
后采用mos归一化得到权重系数w
i，j
，对values进行加权求和得到特征图：其中f
sim
为点乘操作，f
mul
为矩阵乘法操作，f
mos
为归一化操作定义如下，为归一化操作定义如下，为可训练的用于归一化的参数，为所有keys
i，j
的算术平均值：gt是自上而下的特征交互，将深层特征图的语义信息植入浅层特征图的高分辨率信息，实现对浅层特征图的增强，考虑到不同尺寸的特征图提取到的语义信息存在差异，采用负欧氏距离计算相关性，公式表示如下：其中q
i
浅层特征图，k
j
，v
j
来自深层特征图，f
eud
表示欧氏距离，即每一对q
i
和k
j
距离越近，其权重越大：f
eud
(q
i
，k
j
)＝-||q
i-k
j
||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)rt是自下而上的特征融合，旨在通过高分辨率的像素信息渲染高语义信息，实现对深层特征图的渲染，q来自高层特征图，k，v来自低层特征图，首先通过对k进行全局平均池化得到权重w对q进行加权，再通过带步长的卷积缩小v的尺寸，最后将处理后尺寸相同的k，q相加并细化处理得到输出特征图；
其中gap表示全局平均池化，对齐k，q的尺寸；f
att
为外积函数，实现对特征图q的加权；f
sconv
表示带步长的3
×
3卷积，用于缩小低层特征图v尺寸；f
conv
表示3
×
3卷积，用于对加权结果q
att
进行优化；f
add
表示先相加后经过3
×
3卷积进行细化处理；(3)构建单阶段目标检测bp神经网络，采用cspdarknet53作为主干网络进行特征提取，采用fpt结构进行信息融合，输出模块利用锚框思想进行预测和回归，并采用最优二分匹配思想设计损失函数；将航拍图像尺寸统一为416
×
416
×
3作为网络输入，缺陷所在光伏组件中心的像素坐标作为输出，训练所构建的神经网络，得到针对红外图像缺陷检测的神经网络；其中输出模块将特征图划分为s
×
s个网格，每个网格负责预测9个不同尺度的锚框，即学习锚框在网格中的相对偏移和各类别概率，需要学习(t
x
，t
y
，t
w
，t
h
，p
obj
，p
cls
)六个参数，其中(t
x
，t
y
)表示锚框中心坐标相对于网格点的偏移，(t
w
，t
h
)表示边界框宽高与预设边界框宽高的比值，p
obj
表示边界框中包含检测目标的概率，p
cls
表示检测目标属于各类别的概率，最后通过基于diou改进的非极大值抑制算法nms对所有预测结果进行筛选，得到的目标边界框坐标和类别信息作为网络输出；损失函数采用二分图匹配算法，在每一代训练结束后通过损失函数最小化策略寻找预测结果与真值的最优二分图匹配，并只对匹配成功的预测目标框计算损失函数，损失函数定义为分类损失与定位损失的加权和：其中表示分类损失，用focalloss计算，表示两个目标框中心点的归一化欧式距离，表示两个目标框的左上角点与右下角点的归一化曼哈顿距离，λ
cls
、λ
cls
、λ
manhattan
为加权系数；(4)用语义分割网络lednet对原始图像进行分割，得到光伏组件串掩模；对光伏组件串掩膜进行二值化分割得到光伏组件掩模，然后进行中值滤波消除噪声点，并先后进行腐蚀、膨胀操作对光伏组件分割结果进行优化，取其最小外接矩形作为优化后的光伏组件掩模；最后根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标；(5)采用基于无人机pos数据的目标定位方法，通过机载gps/1ns系统获取图像捕获时相机姿态角、视野角及无人机的飞行高度、gps坐标等信息，根据空中三角几何关系计算出目标像素点的gps坐标；目标检测模块获得缺陷组件的四个角点坐标(x1，y1，x2，y2)和缺陷类别，根据下式计算得到该光伏组件中心点的像素坐标(x，y)，即目标像素点坐标：无人机的飞行高度为h，gps坐标为(x
d
，y
d
)，相机视野角γ，俯仰角θ
zd
，航向角ψ
zd
，相机视野范围为(y
f0
，y
f1
)，(x
f0
，x
f1
)，目标像素点的gps坐标为(x，y)，红外图像的尺寸为(w，h)；首先计算相机视野范围的四个角点，即图片四个顶点的gps坐标，根据空中三角关系有：
根据红外图像像素坐标与实地gps坐标的相似关系，由式(9)计算得目标光伏组件中心点的gps坐标；2.根据权利要求1所述的基于注意力神经网络的无人机光伏故障诊断及定位方法，其特征在于，步骤(3)中构建的bp神经网络采用最优二分匹配的思想设计损失函数，在每一代训练结束后将检测结果与真值进行最优二分匹配，并只对匹配成功的预测目标框计算损失函数；损失函数包括分类损失、中心点损失和角点损失三部分。3.根据权利要求1所述的基于注意力神经网络的无人机光伏故障诊断及定位方法，其特征在于，作为主干网络的cspdarknet53采用mish作为神经网络激活函数，对负值轻微允许更好的梯度流，而不是像relu函数中的硬零边界：mish(x)＝x
·
tanh(ln(1 e
x
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)。4.根据权利要求2所述的基于注意力神经网络的无人机光伏故障诊断及定位方法，其特征在于，对构建的bp神经网络进行训练的步骤如下：(1)对数据集进行增加高斯噪声和对比度、亮度、锐度调整等操作缓解类别不均衡问题并实现扩充；从扩充后的数据集中随机选取65％作为的训练数据集，15％图片构成验证数据集，余下20％组成测试数据集；(2)bp网络neck部分采用随机初始化，backbone部分采用在coco数据集上的预训练权重进行迁移学习；为了防止特征提取网络的权重在训练初期被破坏，对前25代训练中的主干网络参数进行冻结，不参与梯度更新；(3)根据误差反向传播算法，采用adam优化器和小批量随机梯度下降法，学习率下降曲线采用steplr固定步长衰减策略，gamma取0.9，分别对backbone和neck结构的权值进行微调更新。5.根据权利要求1所述的基于注意力神经网络的无人机光伏故障诊断及定位方法，其特征在于，步骤(5)中采用无人机航拍姿态的空中三角几何关系实现航拍图像中目标的定位。

技术总结
本发明是基于注意力神经网络的无人机光伏故障诊断及定位方法，包括步骤：1、获取巡检无人机航拍的光伏组件红外图片，读取无人机实时位置信息和姿态数据；2、基于注意力机制和FPN结构构造FPT结构；3、构建BP神经网络，采用FPT结构进行信息融合，航拍图片作为输入，缺陷所在光伏组件的像素坐标作为输出，训练所构建的神经网络，得到针对红外图像缺陷检测的神经网络；4、对原始图像进行分割得到光伏组件掩模，再根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标；5、根据无人机拍摄实时坐标和姿态角构造坐标转换模型，根据地空几何关系将神经网络输出的像素坐标转化为大地坐标下的位置坐标，得到缺陷所在光伏组件的位置信息。该方法适用于基于无人机巡检的光伏组件缺陷检测定位，可以实现组件缺陷的实时监测，提高缺陷检测精度。提高缺陷检测精度。提高缺陷检测精度。


技术研发人员：王立辉 肖惠迪 苏余足威
受保护的技术使用者：东南大学
技术研发日：2022.02.21
技术公布日：2022/5/25