本发明属于计算机,涉及一种基于时空变分自编码器的工业物联网异常检测方法。
背景技术:
1、工业物联网因其在将无处不在的智能连接和自动化带入工业生产过程方面的巨大优势而被认为是一项新兴技术。工业物联网通过与各式各样的传感器相结合,可以构建强大的工业系统并提供多样化的工业服务。然而,通常,大量计算和存储能力有限的工业物联网设备广泛分布在安全防护较差的地点,并且采用面向功能的多样化通信协议。上述情况的限制,导致在一定程度上削弱了工业物联网设备的安全性,网络层旨在在各种工业物联网设备传输的异构网络之间传输网络数据包。对工业物联网网络性能指标进行监测,有助于异常检测和故障排除。为了降低系统事故的成本,首要任务是对这些指标进行异常检测。由于收集的度量数据属于时间序列数据,因此需要一种高效而准确的时间序列异常检测算法。
2、因为多头图注意力网络的并行计算并叠加导致计算量很大并且所占内存较多,在工业物联网场景下受限,影响了其在实际应用中的效果。其次如果不应用适当的正则化,基于变分自动编码器的模型将遭受过度拟合问题。在异常分数生成的过程中,通常使用每个特征上的差值求和,求和对于每个特征都具有相等的权重,显然这并不合理,在某些极端情况下,通过几个类别特征的生成误差就能判断一个样本的异常性。
3、总体而言,现有的工业物联网网络异常检测方法中普遍存在资源需求大、模型过拟合、特征重要性等问题。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于时空变分自编码器的工业物联网异常检测方法,旨在解决训练中资源需求大、模型过拟合、特征重要性的问题,同时利用工业物联网网络特征之间的相关性有效提高异常检测的准确性。
2、为达到上述目的,本发明提供如下技术方案:
3、一种基于时空变分自编码器的工业物联网异常检测方法,其包括以下步骤:
4、s1、从工业物联网的网络中提取关键性能指标时间序列数据;
5、s2、通过基于fast-dtw的多头图注意力网络相关性提取模型捕捉时间序列数据中的空间信息;
6、s3、采用基于监督对比学习的tcn-vae异常检测模型学习数据正常特征,并利用时空信息提升异常检测模型对数据特征的学习能力;
7、s4、构建监督对比损失,再结合重构损失、kl散度定义总损失函数,并基于总损失函数对tcn-vae异常检测模型进行训练;
8、s5、通过模糊熵加权求和计算异常得分,并根据异常得分判断网络状态以完成检测。
9、进一步,在步骤s1中,提取的关键性能指标时间序列数据为多元时间序列数据,多元时间序列数据包括t个时间戳的n个单变量时间序列,表示为:
10、
11、其中,在时间戳t(t≤t)处,表示属于第i个传感器在时间t上的值。
12、进一步,在步骤s2中,包括以下步骤:
13、s21、将多元时间序列数据缩放至区间[0,1];
14、s22、原始多元时间序列数据x通过fast-wdt模块生成邻接矩阵a;
15、s23、将缩放后的多元时间序列数据x′和邻接矩阵a共同输入多头注意力网络中融合各节点之间的相关性信息,输出时间序列的隐藏表示。
16、进一步,在步骤s21中,使用训练数据中的最大值和最小值对时间序列数据进行归一化:
17、
18、其中,x'代表缩放后的时间序列,max(x)和min(x)分别为训练集中对应时间序列的最大值和最小值。
19、进一步,在步骤s22中,在到fast-dtw模块中,缩放后的数据中的每一个特征视为一个单独的节点,则输出邻接矩阵其中aij表示从节点i到节点j的边,其中,
20、首先将原始多元时间序列数据x进行粗粒度化,即,多次迭代执行数据提取操作得到多个细粒度数据点,对多个细粒度数据点进行平均处理得到粗粒度化数据;
21、接着先对粗粒度化数据应用dtw算法,将dtw算法的输出结果进行还原,得到两个时间序列数据的相似距离:
22、di,j=fast_dtw(xi,xj)
23、其中di,j表示第i个变量的时间序列与第j个变量的时间序列之间的距离,fast_dtw(·)表示使用fast-dtw计算两个时间序列之间的dtw距离;
24、di,j越大则变量xi和xj之间的相关性越小;设置相关性判别阈值θ,如果两个特征之间的di,j高于判别阈值,则变量xi和xj连接,即:
25、
26、通过控制阈值θ的大小来控制图的稀疏程度。
27、进一步,在步骤s23中,将归一化后的多元时间序列数据x′和邻接矩阵a输入到多头图注意力网络中进行空间相关性融合,图注意力层gat按如下方式计算每个节点的输出表示:
28、
29、其中hi表示节点i的输出表示,其与输入xi具有相同的形状;σ表示sigmoid激活函数;αij为用来衡量节点j对节点i的贡献的注意力权重,其中节点j是节点i的相邻节点之一;l表示节点i的相邻节点的数量;
30、注意力权重αij通过下式计算:
31、
32、
33、其中,表示两个节点表示的串联,ω∈r2m为可学习参数的列向量,其中m是每个节点的特征向量的维度,(·)t表示向量的转置,leakyrelu()为非线性激活函数;eij表示节点j对节点i的贡献的注意力得分,eij′表示节点j'对节点i的贡献的注意力得分,softmax()为归一化指数函数;
34、将k头注意力机制计算出的特征向量级联后,对应的输出特征向量表示为:
35、
36、其中π表示向量串联;k表示注意力头的数量;为第k个注意力机制头计算后得到的注意力权重;wk是输入向量线性变换的参数矩阵,hj为节点i的相邻节点j的图注意力层的输出;
37、采用平均法则,通过多头注意力机制计算的最后一层的输出表示为:
38、
39、进一步,在步骤s3中,采用基于监督对比学习的tcn-vae异常检测模型对数据进行重构的过程包括以下步骤:
40、s31、建立tcn-vae异常检测模型,其中,tcn-vae异常检测模型包括至少一个编码器、一个解码器、一个随机扰动模块和一个鉴别器,编码器和解码器均由时间卷积网络tcn组成,鉴别器由多层感知机组成。
41、s32、将融合空间的时间序列送入时间卷积网络tcn编码器以得到时间序列的隐藏表示,利用堆叠多个残差块组成tcn网络,表示为:
42、
43、其中z代表最后输出的隐藏表示,代表多头图注意力输出的融合特征相关性信息的隐藏表示;
44、s33、将潜在表示z输入到tcn解码器进行数据重构,得到重构数据
45、进一步,在步骤s4中,总损失函数包括重构损失、kl散度损失以及监督对比损失,其表示为:
46、
47、其中,为重构损失,为kl散度损失,为监督对比损失,λ1和λ2分别为kl散度损失和监督对比损失的权重。
48、根据重构数据以及融合空间信息后的数据计算重构损失,利用均方误差表示重构损失:
49、
50、其中n为总维度数,t为总时间长度,为时间t时维度i的重构数据,为时间t时维度i的原始数据。
51、kl散度损失用于衡量编码器学习的高斯分布与真实的高斯分布之间的距离,其表示为:
52、
53、其中qθ(z|h)为编码器生成输入数据h的后验分布,为标准正态分布,dkl[·]表示kl散度损失。
54、对同一批次中tcn编码器生成的潜在表示标注为正样本,对潜在表示增加随机扰动生成负样本,利用正负样本生成监督对比学习损失:
55、
56、其中zi为锚点处生成的潜在表示,zp为同一批次中除锚点外的潜在表示,zk为经过随机扰动后的潜在表示,p(i)表示与批量中当前处理的样本来自同一类的样本集,|p(i)|表示该集合中的样本数,k(i)表示与zk不同的负对的集合,τ为温度系数。
57、进一步,在步骤s5中,在检测阶段,首先计算不同特征的模糊熵:
58、
59、其中为时间点为t时第i个特征的模糊熵,fuzzyen(·)为模糊熵计算函数,r为相似容差,n为序列长度;
60、将每个特征的权重归一化为[0,1],所有值的总和为1,如下式所示:
61、
62、对每个特征维度上的误差进行加权求和,得到异常分数:
63、
64、在检测阶段中检测规则为,若某个时间戳的异常分数大于异常阈值,则将该时间戳标记为“异常”,否则标记为“正常”,其中,异常阈值设定方式采用流式峰值超阈值方法。
65、本发明的有益效果在于:
66、本发明采用基于监督对比学习的tcn-vae模型对工业物联网网络进行异常检测,解决了资源需求大、模型易过拟合、特征重要性的问题,并将其生成器与编码器更换为时间卷积网络,充分考虑了工业物联网中的特征相关性信息和时间信息,提升了检测准确性和稳定性,进而增强工业物联网的安全性。
67、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.一种基于时空变分自编码器的工业物联网异常检测方法,其特征在于:其包括以下步骤:
2.根据权利要求1所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s1中,提取的关键性能指标时间序列数据为多元时间序列数据,多元时间序列数据包括t个时间戳的n个单变量时间序列,表示为:
3.根据权利要求1所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s2中,包括以下步骤:
4.根据权利要求3所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s21中,使用训练数据中的最大值和最小值对时间序列数据进行归一化:
5.根据权利要求3所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s22中,在到fast-dtw模块中,缩放后的数据中的每一个特征视为一个单独的节点,则输出邻接矩阵其中aij表示从节点i到节点j的边,其中,
6.根据权利要求3所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s23中,将归一化后的多元时间序列数据x′和邻接矩阵a输入到多头图注意力网络中进行空间相关性融合,图注意力层gat按如下方式计算每个节点的输出表示:
7.根据权利要求1所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s3中,采用基于监督对比学习的tcn-vae异常检测模型对数据进行重构的过程包括以下步骤:
8.根据权利要求1所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s4中,总损失函数包括重构损失、kl散度损失以及监督对比损失,其表示为:
9.根据权利要求1所述的基于时空变分自编码器的工业物联网异常检测方法,其特征在于:在步骤s5中,在检测阶段,首先计算不同特征的模糊熵:
