本技术涉及图异常检测,具体的说是一种基于扩散模型的图异常检测方法及装置。
背景技术:
1、图异常检测(gad)任务旨在检测图结构中的异常目标(如,节点、边、子图等),现有的研究分为半监督学习和无监督学习两个分支。半监督学习利用小部分已标记数据学习识别异常模式的方法,从而预测剩余的未标记数据。然而,准确的标签注释会耗费大量的时间和人力,这限制了半监督方法的广泛应用。
2、而基于无监督重建的策略能够直接捕获节点特征和局部结构,并且不需要数据标签。具体来说,这些方法假设异常实体表现出更复杂的特征和分布,并且明显更难重建。因此,它们利用编码器,如自动编码器(ae)和图神经网络(gnns)将图数据映射到隐空间。随后,这些图嵌入被重新解码为初始的图数据实体,其中,那些表现出更高重建误差的实体被认为更有可能是异常。
3、然而,真实场景中的异常实体往往会将自己伪装在正常实体中(例如,与正常实体在共有属性上有明显的重叠或频繁地与正常实体进行交互),使基于重建的模型的焦点转移到重叠的共有内容上,从而降低了模型识别真正有区别的特征的能力(例如金融欺诈中的交易信息)。因此,异常实体和正常实体都可以被准确地重建,降低了检测方法的有效性。不仅如此,使用基于变分自动编码器(vae)的方法还面临着一个显著的挑战:它将数据在隐空间的分布约束到高斯分布,导致数据分布均匀,限制了模型的表达能力,从而使区分异常和正常样本变得具有挑战性。
4、近年来,扩散模型(dms)因其在生成高质量图像和视频方面的显著进展而获得了广泛的关注,ddpm、smg和sde等代表性模型已被广泛应用于各种领域。例如,对于图神经网络(gnns),研究人员探索使用扩散模型(dms)来增强分子图建模,蛋白质设计,药物发现,材料设计等,并取得了显著的改进。在图异常检测(gad)中,一些研究者使用变分自动编码器(vae)结合扩散模型(dms)生成有效的异常样本来解决类不平衡的问题,提升下游异常检测方法的性能,然而,这样的方法却无法直接对异常样本进行检测。
技术实现思路
1、在本发明实施例提供了一种基于扩散模型的图异常检测方法、装置、电子设备及存储介质,以解决相关技术中无法直接对异常样本进行检测的问题。
2、第一方面,本发明提供了一种基于扩散模型的图异常检测方法,所述图异常检测方法包括:
3、获取图数据,使用预训练的自动编码器将所述图数据中的节点特征矩阵和邻接矩阵编码至隐空间中,得到隐空间嵌入;
4、利用前向扩散过程和逆向扩散过程训练无条件扩散模型,通过训练后的所述无条件扩散模型获取所述隐空间嵌入中的一般性信息,所述一般性信息为同时包含判别性信息和共有信息的特征;
5、将所有节点的隐空间嵌入平均值初始化为共有特征,基于所述共有特征训练条件扩散模型,通过训练后的所述条件扩散模型保留所述隐空间嵌入中的共有特征;
6、通过无分类器引导所述无条件扩散模型和所述条件扩散模型构造判别性特征,并将判别性特征集成至隐空间中,获得具有判别性特征的隐空间嵌入;
7、基于具有判别性特征的隐空间嵌入,分别重建图数据中的节点特征矩阵和邻接矩阵,并计算重建误差,将重建误差高的实体识别为异常。
8、在一个可选的实施例中,所述自动编码器采用结合图卷积神经网络的自动编码器。
9、在一个可选的实施例中,所述自动编码器训练包括如下步骤:
10、获取图数据,利用编码器将图数据中的节点特征矩阵和邻接矩阵编码至隐空间中,得到隐空间嵌入;
11、使用解码器从隐空间嵌入中重建节点特征矩阵和邻接矩阵;
12、使用重建误差作为所述自动编码器的损失函数。
13、在一个可选的实施例中,利用前向扩散过程和逆向扩散过程训练无条件扩散模型,通过训练后的所述无条件扩散模型获取所述隐空间嵌入中的一般性信息包括:
14、利用前向扩散过程获得一个时间步长小于总时间长度扰动的隐空间嵌入;
15、基于所述扰动的隐空间嵌入,利用逆向扩散过程重构隐空间嵌入;
16、设计去噪分数匹配损失函数匹配前向和逆向的噪声,以对无条件扩散模型训练,训练后的所述无条件扩散模型保留一般性信息。
17、在一个可选的实施例中,将所有节点的隐空间嵌入平均值初始化为共有特征,基于所述共有特征训练条件扩散模型,通过训练后的所述条件扩散模型保留所述隐空间嵌入中的共有特征包括:
18、将所有节点的隐空间嵌入的平均值初始化为共有特征;
19、在无条件扩散模型训练时,计算每次迭代中重建的隐空间嵌入与当前的共有特征之间的相似度;
20、通过相似度的归一化指数函数为每个节点的隐空间嵌入计算权重,将明显偏离当前共有特征的节点赋予比较低的权重,推导出一个全面的共有特征;
21、将最后一次迭代的共有特征作为最终共有特征,基于最终共有特征训练条件扩散模型。
22、在一个可选的实施例中,通过无分类器引导所述无条件扩散模型和所述条件扩散模型构造判别性特征,并将判别性特征集成至隐空间中,获得具有判别性特征的隐空间嵌入包括:
23、对所述无条件扩散模型获取的一般性信息和所述条件扩散模型获取的共有内容作差,得到判别性特征;
24、通过修正后的得分函数进行采样,在采样阶段重建具有判别性特征的隐空间嵌入。
25、在一个可选的实施例中,基于具有判别性特征的隐空间嵌入,分别重建图数据中的节点特征矩阵和邻接矩阵,并计算重建误差,将重建误差高的实体识别为异常包括:
26、利用解码器重建图数据中的节点特征矩阵和邻接矩阵;
27、再次计算重建误差,将重建误差较高的实体识别为异常。
28、与现有技术相比,本发明的基于扩散模型的图异常检测方法的有益效果如下:
29、本方法通过先将输入图数据映射到隐空间,随后使用双扩散模型方法,通过无条件扩散模型封装一般性内容,通过条件扩散模型提取共有内容,接着,利用无分类器引导的方式,在不需要任何额外参数的情况下,启用了两个扩散模型的并行采样,通过这两个扩散模型所捕获的表示之间的差异来识别判别性内容。最后解码隐空间嵌入重建图数据,并计算与原始数据之间的重建误差,误差较高的节点更可能是异常节点,本发明能够应用到各种现实场景中,简单高效,在多个数据集上的图异常检测性能有显著提升。
30、第二方面,本发明实施例提供一种基于扩散模型的图异常检测装置,包括:
31、映射模块,用于获取图数据,使用预训练的自动编码器将所述图数据中的节点特征矩阵和邻接矩阵编码至隐空间中,得到隐空间嵌入;
32、无条件模型构建模块,用于利用前向扩散过程和逆向扩散过程训练无条件扩散模型,通过训练后的所述无条件扩散模型获取所述隐空间嵌入中的一般性信息,所述一般性信息为同时包含判别性信息和共有信息的特征;
33、条件模型构建模块,用于将所有节点的隐空间嵌入平均值初始化为共有特征,基于所述共有特征训练条件扩散模型,通过训练后的所述条件扩散模型保留所述隐空间嵌入中的共有特征;
34、引导采样模块,用于通过无分类器引导所述无条件扩散模型和所述条件扩散模型构造判别性特征,并将判别性特征集成至隐空间中,获得具有判别性特征的隐空间嵌入;
35、重建识别模块,用于基于具有判别性特征的隐空间嵌入,分别重建图数据中的节点特征矩阵和邻接矩阵,并计算重建误差,将重建误差高的实体识别为异常。
36、第三方面,本发明实施例提供一种电子设备,包括处理器、通信接口、存储器和总线,其中,处理器,通信接口,存储器通过总线完成相互间的通信,处理器可以调用存储器中的逻辑指令,以执行如第一方面所提供的方法的步骤。
37、第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的基于扩散模型的图异常检测方法的步骤。
38、与现有技术相比,本发明的基于扩散模型的图异常检测装置、电子设备及存储介质的有益效果与第一方面所述的基于扩散模型的图异常检测方法相同,故此处不再赘述。
1.一种基于扩散模型的图异常检测方法,其特征在于,所述图异常检测方法包括:
2.根据权利要求1所述的基于扩散模型的图异常检测方法,其特征在于,所述自动编码器采用结合图卷积神经网络的自动编码器。
3.根据权利要求2所述的基于扩散模型的图异常检测方法,其特征在于,
4.根据权利要求1所述的基于扩散模型的图异常检测方法,其特征在于,利用前向扩散过程和逆向扩散过程训练无条件扩散模型,通过训练后的所述无条件扩散模型获取所述隐空间嵌入中的一般性信息包括:
5.根据权利要求4所述的基于扩散模型的图异常检测方法,其特征在于,将所有节点的隐空间嵌入平均值初始化为共有特征,基于所述共有特征训练条件扩散模型,通过训练后的所述条件扩散模型保留所述隐空间嵌入中的共有特征包括:
6.根据权利要求1所述的基于扩散模型的图异常检测方法,其特征在于,通过无分类器引导所述无条件扩散模型和所述条件扩散模型构造判别性特征,并将判别性特征集成至隐空间中,获得具有判别性特征的隐空间嵌入包括:
7.根据权利要求3所述的基于扩散模型的图异常检测方法,其特征在于,基于具有判别性特征的隐空间嵌入,分别重建图数据中的节点特征矩阵和邻接矩阵,并计算重建误差,将重建误差高的实体识别为异常包括:
8.一种基于扩散模型的图异常检测装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项所述的基于扩散模型的图异常检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于扩散模型的图异常检测方法的步骤。
