一种基于注意力机制结合GRU的电力设备故障检测模型的制作方法

一种基于注意力机制结合gru的电力设备故障检测模型
技术领域
1.本发明属于电力设备故障检测技术领域，涉及电网故障检测方法，尤其涉及一种基于注意力机制结合gru的电力设备故障检测模型。


背景技术：

2.在科技的迅猛发展与经济结构持续优化的时代下，电力问题面临着重大挑战。随着电力用户和企业数量的增长，尤其在工业发展占比较大的地区，对电力供应的要求会更高，当这些地区出现供电设备故障时，会导致工业设备长久无法运转，进而会造成一系列严重的后果，因此，对电力设备进行自动化故障检测在电力供电系统中扮演着重要的角色。现存的基于传统的电力设备故障检测方法显得繁杂且低效，同时现有的模型对不平衡的电力故障数据无法进行充分利用，导致模型的实际价值大大降低。
3.因此，如何提出一种电力设备故障检测模型的训练模型及方法，实现更好的优化、识别、分类任务的表现，提高模型的检测的准确性是本领域技术人员亟待解决的技术难题。


技术实现要素：

4.有鉴于现有技术的不足，本发明的目的是提出了设计合理、数据利用充分且检测准确性高的基于注意力机制集合gru的电力设备故障检测模型。
5.为实现上述目的，本发明提供了一种基于注意力机制结合gru的电力设备故障检测模型，所述电力设备故障检测模型包括一分类神经网络模型，所述分类神经网络模型的训练数据来源于一预处理模型，所述预处理模型包括上采样模块、词嵌入表示学习模块、gru模块、注意力机制模块和图注意力机制模块，
6.所述上采样模块用于将输入的不平衡电力设备数据转换为平衡数据；
7.所述词嵌入表示学习模块用于将所述平衡数据进行嵌入表示，输出基于电力设备表示的历史状态序列、标签数据嵌入表示、电力设备画像特征的嵌入表示；
8.所述gru模块用于从词嵌入表示学习模块输出的基于电力设备表示的历史状态序列中提取电力设备的时间和空间特征；
9.所述注意力机制模块用于从所述设备的时间和空间特征中提取状态序列特征；
10.所述图注意力机制模块用于从所述电力设备画像特征的嵌入表示中提取所述电力设备的环境信息；
11.所述状态序列特征、所述标签数据嵌入表示和所述环境信息进行对齐融合，作为所述分类神经网络的训练数据输入。
12.进一步的，所述上采样模块采用的上采样算法为sc-smote上采样算法。
13.进一步的，所述sc-smote上采样算法具体包括：
14.步骤21：对输入的电力设备数据集数据进行遍历，确定多数类种子样本和少数类种子样本；
15.步骤22：根据种子样本信息，对多数类和少数类同时进行上采样，计算各少数类种
子样本生成的样本数；
16.步骤23：得到各少数类种子样本生成的样本数后，进行线性插值获得最终的新样本，将新生成的样本和原始种子样本合并在一起，生成平衡的样本数据集；
17.步骤24：对生成的平衡样本数据集中的数据进行嵌入表示。
18.进一步的，所述步骤21包括：对电力设备数据集数据进行遍历，使用knn算法确定样本x的近邻样本集合dn，在近邻集合dn中，与样本x相同类别的样本作为集合d
same
，与样本x不同类别的样本集合称为d
other
；比较d
same
的样本数量和d
other
的样本数量，根据公式：
[0019][0020]
判定样本x是否为种子样本，并为原始数据集添加种子样本标签s。
[0021]
进一步的，所述步骤22的生成样本数的计算，包括如下公式：
[0022]
label_diffj＝nma
j-nj[0023][0024][0025]
其中，label_diffj表示原始数据集中多数类和少数类cj的样本数量差距；nj表示属于类别cj的样本数量；d
s_j
表示属于类别cj的种子样本集合；rsj表示多数类种子样本和类别cj的种子样本的比例；n
gj
表示每一个类别cj的种子样本平均生成的新样本数；label_diffj/|d
s_j
|表示类别cj的种子样本为了平衡原始数据的数量差距需要生成的样本数。
[0026]
进一步的，所述步骤23包括如下步骤：得到种子样本生成的样本数后，采用k-means算法，根据类簇中心和采样样本的欧氏距离，在每一次迭代划分样本的同时进行类簇中心坐标的更新；其中k-means算法的超参数kc表示类簇的数量，超参数kc的值取决于数据集中多数类与少数类的数量之比，公式表示为：
[0027][0028]
采用k-means算法对数据集聚类后，为每一个样本标记所在类簇标签c，并更新数据集为：
[0029][0030]
进一步的，所述步骤23中新生成样本的数据处理方法为：将各类簇中同类别的样本筛选出来组成样本集合dc，每一个样本都包含特征集合f＝{f1,f2,
…
,f
p
}，然后根据特征类型的不同，执行：当特征为离散特征时，在数据生成过程中，根据不同字段出现的概率分布进行字段选取；当特征为连续特征，在数据生成过程中，在特征取值的[min，max]区间内随机选择数据作为生成值，其中max、min分别为特征取值的最大值和最小值。
[0031]
进一步的，所述步骤23中的线性插值获得最终的新样本的方法为：
[0032]
对于每个种子样本xi，对应的类别yi，所在的类簇ci，存在对应需要生成的新样本
数量n
gi
，每次生成新样本时，根据n
gi
及所在类簇各特征的分布fd[ci][yi]，先生成辅助样本x
temp
，再进行线性插值，得到最终的生成样本x
new
；
[0033]
其中，辅助样本x
temp
的构造需要满足三个规则：
[0034]
临时样本x
temp
与采样样本xi属于同一个类别标签yi；
[0035]
临时样本x
temp
与采样样本xi属于同一个类簇ci；
[0036]
临时样本x
temp
与采样样本xi具有相同的特征，但各个特征的特征值是根据类簇ci的特征分布f[ci][yi]随机采样得到；
[0037]
得到临时样本x
temp
后，通过线性插值的方式，得到新的样本x
new
：
[0038]
x
temp
＝[f1,f2,
…
,f
p
],f
p
＝random(fd[ci][yi][p])
[0039]
x
new
＝x random(0,1)
×
(x
temp-x)
[0040]
对种子样本循环进行n
gj
次样本生成操作后，得到基于该种子样本的一组生成样本，这些生成样本与种子样本属于相同类别；当每一个种子样本都完成样本生成后，将得到的生成样本集合dg与原始数据集d合并，就得到了最终需要的平衡数据集d
balance
。
[0041]
进一步的，所述分类神经网络模型的数据出结果表示为：
[0042][0043]
其中，y
pred
∈{0,1,2}，ob为状态序列特征的向量表示；e
′
p
为电力设备的状态特征向量表示；ea为预测目标的向量表示，w
deep
,b
deep
为输出层参数。
[0044]
进一步的，所述状态序列特征的向量表示ob通过所述gru模块和所述注意力机制模块计算获得；
[0045]
所述gru模块的数据处理过程和结果表示为：
[0046]rt
＝σ(wri
t
u
rht-1
br)
[0047]zt
＝σ(w
zit
u
zht-1
bz)
[0048][0049][0050]
其中，σ表示sigmoid函数，
⊙
表示哈达玛积，其中n
hid
表示gru网络隐层大小，k表示经嵌入后的向量大小，i
t
代表gru的输入，表示历史状态序列中第t个向量表示，即i
t
＝eb[t]；所述gru模块的输出值h
t
表示第t个隐藏状态，是对电力设备过去状态的一种潜在表达形式；
[0051]
所述注意力机制模块的数据处理过程和结果表示为：
[0052][0053][0054]
其中，a
t
表示所述注意力机制模块的注意力分布计算的注意力分数；f[.]表示注意力打分函数。
[0055]
进一步的，所述电力设备的状态特征向量表示e
′
p
通过所述图注意力机制模块的
计算获得；所述图注意力机制模块的数据处理结果表示为：
[0056]e′
p
＝[e
p
,e
′
p1
,e
′
p2
,
…
,e
′
pn
,x]
[0057]
其中，e
p
为该电力设备画像特征的嵌入向量；e
′
p1
,e
′
p2
,
…
,e
′
pn
为嵌入向量为e
p
的电力设备的相关电力设备节点的嵌入向量；x为系数集合。
[0058]
本发明实现了如下有益效果：
[0059]
1、本发明使用基于注意力机制结合gru的时序特征捕捉技术。其中针对输入数据的时序特征信息无法被充分利用的问题，本发明中使用gru结合注意力机制提高对输入样本在时间序列和空间结构上特征提取能力，进而捕获更多的设备状态特征，然后将得到的电力设备特征输入神经网络预测电力设备的故障情况。这在一方面有效地解决了对输入电力设备样本信息利用不充分的问题。本发明与以往电力设备故障检测方法的不同点即使用gru网络同时对输入样本数据的时间和空间上的特征信息进行提取，同时使用注意力机制对输入样本的状态序列特征进行感知。通过对输入样本特征进行多维度捕捉，为下游神经网络模型的分类提供高质量的特征输入，最终使得模型对输入电网设备的状态进行更好地识别和检测。
[0060]
2、本发明在对单一电力设备节点进行特征提取的时候，除了考虑自身的状态特征时序信息和空间信息，还会考虑单一节点周围电力设备的信息对自身的影响。本发明中使用图注意力机制对单一设备的周围相关设备信息进行捕获即融合环境信息，进而提升单一设备自身的特征维度，为下游神经网络的分类任务提供更多的特征信息，进而提升模型对故障设备的检测能力。
[0061]
3、本发明采用了基于sc-smote的数据上采样技术，该技术可以很好地解决由于样本不平衡带来的问题，针对电力设备样本不平衡的情况，可以进行有效缓解。
[0062]
4、本发明采用sc-smote和基于注意力机制的gru网络，通过对输入的电力设备样本特征多维度提取，实现对电网供电场景下电力设备故障的自动化准确检测能力。
附图说明
[0063]
图1为本发明的基于sc-smote的上采样技术以获取平衡样本数据示意图；
[0064]
图2为本发明的基于注意力机制结合gru对输入样本进行时间和空间上的特征获取的处理流程示意图；
[0065]
图3为本发明的基于图注意力机制来获得当前设备节点所处环境辅助信息的相关信息捕捉网络框架图；
[0066]
图4为本发明的整体框架图。
具体实施方式
[0067]
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
[0068]
现结合附图和具体实施方式对本发明进一步说明。
[0069]
本发明提出了一种基于注意力机制结合gru的电力设备故障检测模型。所述电力设备故障检测模型包括一分类神经网络模型，所述分类神经网络模型的训练数据来源于一
预处理模型，所述预处理模型包括上采样模块、词嵌入表示学习模块、gru模块、注意力机制模块和图注意力机制模块，所述上采样模块用于将输入的不平衡电力设备数据转换为平衡数据；所述词嵌入表示学习模块用于将所述平衡数据进行嵌入表示，输出基于电力设备表示的历史状态序列、标签数据嵌入表示、电力设备和其对应的相关设备的状态(电力设备画像特征)嵌入表示；所述gru模块用于从词嵌入表示学习模块输出的基于电力设备表示的历史状态序列中提取电力设备的时间和空间特征；所述注意力机制模块用于从所述设备的时间和空间特征中提取状态序列特征；所述图注意力机制模块用于从所述电力设备画像特征的嵌入表示中提取所述电力设备的环境信息；所述状态序列特征、所述标签数据嵌入表示和所述环境信息进行对齐融合，作为所述分类神经网络的训练数据输入。
[0070]
具体的，基于注意力机制结合gru的电力设备故障检测模型的构建和训练包括以下步骤：
[0071]
步骤1、输入电力设备数据集，该电力设备数据集包含电力设备实体状态和对应标签；其中，电力设备实体状态包括变压器油中气体组成成分含量情况，变压器局部放电情况，设备接触面温度情况，内部元件受潮情况等各种状态数据，电力设备的标签为电力设备如变压器故障类型，包括：绝缘劣化，异常振动等。
[0072]
步骤2、利用sc-smote等上采样算法将输入的不平衡电力设备数据转换为平衡数据，然后进行嵌入表示(embedding)；
[0073]
所述步骤2的具体步骤包括：
[0074]
根据步骤1的电力设备数据集中包含的电力设备实体状态和标签作为sc-smote上采样算法的输入，以这些输入作为种子数据，根据对应特征分布矩阵生成新样本，然后再经过线性插值获得最终的新样本，将新生成的样本和原始种子样本合并在一起，生成平衡的样本数据集，然后将这些数据进行嵌入表示：
[0075]
(1)获得电力设备数据集，其中包含设备实体状态和对应标签；
[0076]
(2)对电力设备数据集数据进行遍历，使用knn算法(k-nearest neighbor，近邻算法)确定样本x的近邻样本集合dn，在近邻集合dn中，存在不同类别的样本，与样本x相同类别的样本作为集合d
same
，与样本x不同类别的样本集合称为d
other
。比较d
same
的样本数量和d
other
的样本数量，根据公式2.1判定样本x是否为种子样本，并为原始数据集添加种子样本标签s。
[0077][0078]
(3)根据种子样本信息，对多数类和少数类同时进行上采样。对于种子样本中的多数类，采样率为100％，即一个多数类种子样本生成一个新样本。而少数类种子样本的采样率则根据原始数据的样本比例及种子样本的样本比例确定。
[0079]
为了弥补原始数据集的样本差距，需要计算原始数据集中多数类和少数类的样本数量差距label_diffj：
[0080]
label_diffj＝n
maj-njꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.2)
[0081]
其中，n
maj
表示多数类样本数；nj表示属于类别cj的样本数量。
[0082]
在种子样本集合中，多数类种子多于少数类种子，且多数类种子的采样率是100％。为了弥补种子样本的数量差距，需要计算多数类种子和少数类种子的比例r
sj
：
[0083][0084]
其中，d
s_maj
表示多数类的种子样本集合；d
s_j
表示属于类别cj的种子样本集合。
[0085]
计算每一个类别cj的种子样本平均生成的新样本数n
gj
：
[0086][0087]
其中，r
sj
表示每个种子样本为了平衡种子样本的数量差距需要生成的样本数。label_diffj/|d
s_j
|表示每个种子样本为了平衡原始数据的数量差距需要生成的样本数。
[0088]
(4)得到各少数类种子样本生成的样本数后，采用k-means算法(k均值聚类算法)，根据类簇中心和采样样本的欧氏距离，在每一次迭代划分样本的同时进行类簇中心坐标的更新。其中k-means算法的超参数kc表示类簇的数量，在sc-smote算法中，超参数kc的值取决于数据集中多数类与少数类的数量之比，表示为：
[0089][0090]
按照一般k-means算法对数据集聚类后，为每一个样本标记所在类簇标签c，并更新数据集为：
[0091][0092]
(5)将各类簇中同类别的样本筛选出来组成样本集合dc，每一个样本都包含特征集合f＝{f1,f2,
…
,f
p
}，然后根据特征类型的不同，进行相应的处理。
[0093]
对于离散特征，例如“异常响声”“机器设备震动异常”等。离散特征的选取不能从所有字段中随机选取，需要根据不同字段出现的频率来确定，才能保证生成样本和最终得到的平衡数据集的特征分布不发生改变。
[0094]
对于连续特征，例如“设备本身温度数据”等。在数据生成过程中，对于连续特征需要考虑在[min，max]区间内进行取值，因此需要计算特征取值的最大值和最小值，数据生成时在[min，max]区间内随机选择数据作为生成值。对kc个类簇中l种不同类别的p个特征，计算维度为(kc×
l
×
p
×
2)的特征分布矩阵fd。
[0095]
(6)对于每个种子样本xi，对应的类别yi，所在的类簇ci，存在对应需要生成的新样本数量n
gi
，每次生成新样本时，根据n
gi
及所在类簇各特征的分布fd[ci][yi]，先生成辅助样本x
temp
，再进行线性插值，得到最终的生成样本x
new
。
[0096]
sc-smote算法首先依据特征分布构造了一个辅助样本x
temp
。辅助样本x
temp
需要满足三个规则：
[0097]
临时样本x
temp
与采样样本xi属于同一个类别标签yi；
[0098]
临时样本x
temp
与采样样本xi属于同一个类簇ci；
[0099]
临时样本x
temp
与采样样本xi具有相同的特征，但各个特征的特征值是根据类簇ci的特征分布f[ci][yi]随机采样得到；
[0100]
得到临时样本x
temp
后，即可通过线性插值的方式，得到新的样本x
new
：
[0101]
x
temp
＝[f1,f2,
…
,f
p
],f
p
＝random(fd[ci][yi][p])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.6)
[0102]
x
new
＝x random(0,1)
×
(x
temp-x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.7)
[0103]
对种子样本循环进行n
gj
次样本生成操作后，得到基于该种子样本的一组生成样本，这些生成样本与种子样本属于相同类别。当每一个种子样本都完成样本生成后，将得到的生成样本集合dg与原始数据集d合并，就得到了最终需要的平衡数据集d
balance
。经过平衡后的数据集，多数类和少数类的比例恢复正常，且整体的样本数量也得到扩充。
[0104]
(7)针对最终获得的样本，数据形式定义为m
×
n，其中m为样本数，表示对不同电力设备的描述。n是特征数目，包含设备温度、设备图像特征，设备参数特征以及上下文特征等。在特征处理过程中，一般习惯于将连续特征离散化。离散特征在经过编码后会使得数据矩阵极为稀疏，如果不其进行有效处理，会使得后续建模过程参数量激增。数据嵌入层的主要作用是将经过独热编码后的稀疏向量进行压缩表示。经过嵌入层的数据向量，维度会显著降低，特征信息主要以数值形式表示出来。假设特征向量经过独热编码后的表示为[x1；x2；
…
；xn]，其中n为特征域数量，xi为特征域i的独热码表示。嵌入层矩阵v的大小为n
×
k，k为嵌入层向量的大小。
[0105]
经过嵌入层后，稀疏向量将被编码为长度相等的稠密向量，设嵌入层输出为e，如公式2.8所示。
[0106]
e＝[e1,e2,
…
,en]＝[v1x1,v2x2,
…
,vnxn]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2.8)
[0107]
其中，ei表示特征域向量。对于单值特征来说，每一个xi中有且仅有一位为1，特征域向量即表示特征向量。对于多特征来说，此时的ei具有多个向量。最终完成对数据集的嵌入表示。
[0108]
步骤3、在步骤2中获得的样本嵌入表示的基础上，定义基于注意力机制结合gru网络的预处理模型。所述预处理模型包括通过对单个设备在时空两个维度对状态序列特征进行捕捉模块和对单个设备获取周围相关设备的辅助信息模块。
[0109]
所述步骤3的具体步骤包括：
[0110]
(1)定义状态趋势捕获层(gru模块)。行为序列数据经过嵌入化表示后，利用gru网络对行为序列的先后关系进行建模，如公式2.18所示。
[0111][0112]
其中，σ表示sigmoid函数，
⊙
表示哈达玛积，其中n
hid
表示gru网络隐层大小，k表示经嵌入后的向量大小，i
t
代表gru的输入，表示行为序列中第t个向量表示，即i
t
＝eb[t]，网络的输出值h
t
表示第t个隐藏状态，是对电力设备过去状态的一种潜在表达形式。状态趋势捕获层的主要作用在于提供兴趣表示的时间特性。
[0113]
(2)定义关键状态感知层(注意力机制模块)。利用注意力机制来获得当前电力设备与历史序列中不同时间点的电力设备状态的关联，这一过程通过相似度来进行度量，可以认为是一种感知演化的过程，如公式2.19所示。
[0114][0115]
其中，ea为目标向量，f[.]表示注意力打分函数，这里使用双线性的方式进行注意力分布的计算。通过不同位置上的电力设备隐藏状态与注意力分数的乘积，能获得此时的状态序列特征表示ob。关键状态感知层的主要作用在于提供趋势表示的局部特性。完成对单个设备在时空两个维度对状态序列特征进行捕捉。
[0116]
(3)定义图注意力机制层(graphattention层，图注意力机制模块)，保证在进行特征提取即在行为序列建模的同时，也需要充分利用环境特征的建模方式。某个电力设备画像特征的嵌入向量为e
p
，其相关电力设备节点的嵌入向量为e
′
p1
,e
′
p2
,
…
,e
′
pn
，然后利用图注意力机制为每个电力设备节点生成新的嵌入向量e
′
p
，公式如2.20所示。
[0117]e′
p
＝[e
p
,e
′
p1
,e
′
p2
,
…
,e
′
pn
,x]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2.20)
[0118]
其中，x为系数集合，对于每个电力设备的特征向量进行graph attention，从而得到输出向量e
′
p
，完成对单个设备获取周围相关设备的辅助信息。
[0119]
(4)将(2)和(3)中获得的特征的嵌入表示和标签的嵌入表示进行融合，作为电力设备故障检测模型的分类神经网络的输入，最终结果如公式2.21所示。
[0120][0121]
其中，y
pred
∈{0,1,2}，ea为预测目标的向量表示，w
deep
,b
deep
为输出层参数，可以通过堆叠多层来更好的捕获高阶特征间的组合形式。最终完成电力设备故障检测的模型的构建。
[0122]
步骤4、首先依据步骤2中产生的嵌入表示作为步骤3中得到的预处理模型的输入，再将预处理模型的输出作为电力设备故障检测模型的输入，最终训练产生电力设备故障检测模型。
[0123]
所述步骤4的具体步骤包括：
[0124]
(1)本发明中采用的网络架构是基于注意力机制和gru网络来实现的。首先依据步骤2中基于嵌入层对构建好的平衡样本生成对应的嵌入表示；其次我们会定义出一个基于注意力机制的gru模块，该模块一方面结合注意力机制和gru对设备节点进行时间和空间的关键特征(定义为：状态序列特征)的捕获，一方面结合图注意力机制使得单个电力设备节点可以获得相关电力设备的辅助信息，通过向量连接对生成的特征进行融合。最后我们使用步骤3中定义的注意力机制结合gru的网络，一方面学习对状态序列特征的捕获能力，一方面通过对特征的学习实现对电力设备的故障检测，其网络架构如图4所示。
[0125]
(2)设置训练的迭代次数epochs，从epochs等于1开始训练。
[0126]
(3)由步骤2)中获得数据集样本嵌入表示，然后将数据嵌入表示批量输入注意力机制结合gru的网络中，获得对输入嵌入表示的预测。
[0127]
(4)计算预估值和真实的标签值的损失函数最小化。
[0128]
(5)在epochs定义的值范围内，重复(3)(4)中的步骤，最终训练出一个基于注意力机制结合gru进行数据预处理的电力设备故障检测模型。
[0129]
在分类问题和检测问题的应用系统中，主要的关注点是对特征的提取能力，关心是否可以充分地对特征进行挖掘和利用。本发明的创新主要是基于gru结合注意力机制，一
方面可以获得时间和空间上的特征，另一方面可以使用注意力机制对状态序列特征进行利用和挖掘，同时可以在一定程度上消除特征噪声；除此之外本发明中除了考虑对电力设备自身的状态特征提取，还使用了图注意力机制来获得相关设备可以产生的辅助信息。基于以上两个方面可以对电力设备特征进行充分提取和利用。使得网络模型可以更好地进行特征学习，以及使用这些特征实现更加准确的电力设备故障检测。针对以上问题，许多方法会选择在加深网络深度，多模态融合等方向上做一些改进。本文中提出的方法与以往不同，主要在结合注意力机制和gru技术实现输入数据的特征多维度挖掘，获得更多的特征信息，提升网络模型故障检测能力。
[0130]
本发明中方法的设计，是基于注意力机制结合gru网络对电力设备特征进行充分挖掘，更好地服务于下游神经网络的分类检测任务。其中注意力机制结合gru模块，我们使用了多头注意力机制和gru网络模型，首先使用gru网络对电力设备进行时间和空间特征提取，然后使用注意力机制进行状态序列特征捕捉，完成电力设备自身特征挖掘；另外在图注意力机制模型，我们使用了图注意力机制，充分挖掘相关设备节点的辅助信息，完成环境信息的充分挖掘；然后将这些信息结合标签的嵌入表示进行attention对齐融合，生成与输入下游神经网络的状态编码同一大小的向量，作为下游神经网络的输入，输出与标签进行对抗训练，最终生成电力设备故障检测模型。
[0131]
基于以上的改进，就实现了本发明提出的基于注意力机制结合gru的电力设备故障检测模型。该方法可以有效提升电力设备故障检测的准确性。
[0132]
本发明的工作原理是：
[0133]
本发明首先对电网电力设备样本进行sc-smote上采样，生成平衡样本数据，然后利用嵌入层对输入样本进行嵌入表示，接着将生成的嵌入表示作为注意力机制结合gru网络模型输入，先分别利用注意力机制结合gru模块和图注意力机制模型对输入的电力设备特征进行充分挖掘，然后将各个模块生成的特征进行基于注意力机制的融合，最终作为下游分类神经网络的输入，输出与定义好的标签进行对抗训练，最终完成模型训练，生成一个可以对电力设备故障进行准确检测的模型。
[0134]
需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。