一种基于图注意力网络的静态异构网络链路预测方法及系统

    专利查询2025-06-21  56


    本发明涉及网络链路预测,具体涉及一种基于图注意力网络的静态异构网络链路预测方法及系统。


    背景技术:

    1、随着互联网的普及和各种网络应用的兴起,网络科学成为了一个重要的研究领域。在这个领域中,链路预测是一个重要的问题,即预测网络中的两个节点是否有可能存在一条链路,这个问题的解决对于优化网络资源分配、社交网络分析等具有重要意义。

    2、现实世界中的网络往往是异构的,包括不同类型的节点和边。例如社会网络、生物蛋白质网络和计算机网络,包含各种类型的节点、属性和关系。因此,在现实的异构网络上进行链路预测时,需要考虑异构网络中不同类型节点和链路的特性,以及它们之间复杂的关联关系,需要充分挖掘网络结构和属性信息。

    3、目前传统的链路预测方法存在一些不足之处,其往往缺乏综合考虑网络结构、节点属性、链路属性等多方面信息,导致预测结果局限于部分信息的影响。异构网络包含多种类型的节点和多种类型的边。异构网络上的链路预测有多重挑战,每个节点对可以具有多种不同类型的关系。能够从不同的关系中借用优势并学习统一的嵌入非常重要。在用于静态异构网络的链路预测方法中,使用基于图注意力网络-gnn的方法具有较好的效果。在基于gnn的方法中,gnn层数太少无法捕捉网络的高阶特征;随着gnn网络的层数的增加,训练复杂度提高,产生过度平滑问题,导致性能降低。在基于随机游走的方法中,虽然能灵活的对邻居进行采样,但是异构图中邻居类型和关系类型复杂,容易产生采样不平衡的问题。此外,异构网络中包含复杂多样的关系,如何从异构网络的多种关系中提取出有效信息;由于过度平滑和梯度消失问题,图神经网络gnn难变得很深,如何合理增加gnn层数,如何捕获具有复杂结构的异构网络的高阶和低阶结构信息,对异构网络链路预测提出了挑战。注意力机制在深度学习中被广泛应用,通过对输入的关注程度进行动态调整,可以提升模型的表达能力和预测性能。在链路预测问题中,引入注意力机制可以帮助网络模型更好地捕捉节点之间的关联性,提高链路预测的准确度。


    技术实现思路

    1、鉴于以上问题,本发明提出一种基于图注意力网络的静态异构网络链路预测方法及系统,用以解决异构网络链路预测问题。

    2、根据本发明的一方面,提出一种基于图注意力网络的静态异构网络链路预测方法,该方法包括以下步骤:

    3、步骤一、获取异构网络训练数据集和测试数据集,数据集包括异构图;异构图g={v,e,φ,ψ},其中v是节点集,e是边集,φ是节点类型集,ψ是边类型集;

    4、步骤二、利用预设的元路径在边类型为r的异构图上进行随机游走以生成路径集合,并从路径集合中获得样本批次;

    5、步骤三、基于训练数据集所对应的样本批次训练链路预测模型,对于每一个训练样本批次执行下述步骤:

    6、首先,通过生成共享嵌入以及聚合邻居的边嵌入来获得目标节点的基础嵌入;

    7、然后,根据随机游走生成的节点序列,对节点序列执行skip-gram来学习节点结构嵌入,以获得异构图多种类型节点之间的语义关系和结构特征;

    8、然后,通过图注意力网络层学习异构图中的边类型信息,以获得融合了结构信息和边类型信息的输出向量;

    9、然后,根据目标节点的输出向量对节点间有无类型为r的边进行预测,得到预测概率;

    10、然后,计算损失值,优化器使用adam,进行反向传播更新参数;

    11、步骤四、将测试数据集所对应的样本批次输入步骤三训练好的链路预测模型中进行预测,获取每批次预测概率;

    12、步骤五、计算测试数据集所对应预测概率的roc曲线下面积值和平均倒数排名值;

    13、步骤六、迭代重复执行步骤三至步骤五直至达到最大迭代次数,计算多次迭代的多个roc曲线下面积值的平均值和多个平均倒数排名值的平均值作为最终预测结果,完成链路预测模型的训练;

    14、步骤七、将待预测异构网络数据输入训练好的链路预测模型中进行链路预测。

    15、进一步地,步骤二中所述利用预设的元路径在边类型为r的异构图上进行随机游走以生成路径集合包括:将异构图g根据边类型划分为多个图层,在每个图层上根据预设的元路径进行随机游走,生成路径集合pr。

    16、进一步地,步骤三中所述通过生成共享嵌入以及聚合邻居的边嵌入来获得目标节点的基础嵌入包括:

    17、首先,使用均值聚合器将目标节点vi的类型为r的图层上的k阶邻居的边嵌入进行均值聚合,得到该边类型上的边嵌入

    18、

    19、式中,σ是激活函数,是映射矩阵;mean表示均值聚合,ni,r是节点vi在类型r的边上的邻居集合;表示节点vi在边类型为r的图层上的邻居节点vj的的k-1阶边嵌入;

    20、然后,组合所有边类型的边嵌入ui,r得到目标节点vi的边特征矩阵ui;

    21、然后,使用自注意力机制计算边特征矩阵ui在边类型r上的向量线性组合的系数ai,r:

    22、

    23、式中,softmax是激活函数,wr和wr分别是类型为r的边上的可训练参数,上标t表示向量或矩阵的转置;

    24、然后,基于系数ai,r对边嵌入矩阵ui进行加权求和,并综合共享嵌入bi获得目标节点vi在各个边类型上的基础嵌入zi,r:

    25、

    26、式中,bi表示节点vi的共享嵌入,由模型随机初始化;ξr是一个超参数,表示边嵌入对整体嵌入的重要性;λp表示ai,r的第p个元素;ui,p表示节点vi的类型为p的边上的边嵌入;r表示边类型总数。

    27、进一步地,步骤三中所述根据随机游走生成的节点序列,对节点序列执行skip-gram来学习节点结构嵌入包括:

    28、首先,计算获得负采样优化目标函数e1:

    29、

    30、式中,σ是sigmoid激活函数;l是对应于正训练样本的负样本的数量;zi,r表示节点i在边类型r上的基础嵌入,zj,r表示节点j在边类型r上的基础嵌入;表示从节点vj对应的节点集vt上定义的噪声分布pt(v)中随机抽取vk的函数;vk是从节点vj对应的节点集vt上定义的噪声分布pt(v)中随机抽取的;

    31、然后,拼接目标节点vi各个边类型的基础嵌入zi,r得到节点结构嵌入

    32、

    33、式中,∥表示拼接操作;r表示边类型总数。

    34、进一步地,步骤三中所述通过图注意力网络层学习异构图中的边类型信息包括:

    35、首先,使用边类型嵌入和节点结构嵌入来计算注意力分数

    36、

    37、式中,leakyrelu表示激活函数;α表示可学习的映射向量;rψ(<i,j>)表示边类型特征;hj表示节点j的结构嵌入;hk表示节点k的结构嵌入;ψ(<i,j>)表示节点i和节点j之间的边的类型;w和wr是可学习的映射矩阵,用于映射节点嵌入和边类型嵌入;ni表示节点vi的邻居集合;

    38、然后,在注意力分数上添加残差连接,获得综合注意力系数

    39、

    40、式中,超参数β∈[0,1]是缩放因子;表示节点vi对节点vj在第l层网络的注意力分数;

    41、然后,根据综合注意力系数对第l层网络进行聚合:

    42、

    43、式中,表示节点vi在第l层网络的结构嵌入,w(l)表示第l层网络的可训练的映射矩阵;

    44、最后,对结构嵌入进行l2归一化,得到输出嵌入。

    45、进一步地,步骤三中所述根据目标节点的输出向量对节点间有无类型为r的边按照下述公式进行预测:

    46、

    47、式中,sigmoid是激活函数;rr是边类型r的可学习方阵;ou和ov分别表示节点u和节点v的输出嵌入;probr表示节点u和节点v之间存在类型为r的边的概率。

    48、进一步地,步骤三中按照下述公式计算损失值:

    49、

    50、式中,μ是超参数;lt是待预测的目标链接集合,pl是链路l存在的概率,yl∈{0,1}是表示链路是正负样本的标签,1表示是正样本,链路存在,0表示是负样本,链路不存在。

    51、根据本发明的另一方面,提出一种基于图注意力网络的静态异构网络链路预测系统,该系统包括:

    52、数据获取模块,其配置成获取异构网络训练数据集和测试数据集,数据集包括异构图;异构图g={v,e,φ,ψ},其中v是节点集,e是边集,φ是节点类型集,ψ是边类型集;

    53、数据预处理模块,其配置成利用预设的元路径在边类型为r的异构图上进行随机游走以生成路径集合,并从路径集合中获得样本批次;

    54、预测模型训练模块,其配置成基于训练数据集所对应的样本批次训练链路预测模型,对于每一个训练样本批次执行下述步骤:首先,通过生成共享嵌入以及聚合邻居的边嵌入来获得目标节点的基础嵌入;然后,根据随机游走生成的节点序列,对节点序列执行skip-gram来学习节点结构嵌入,以获得异构图多种类型节点之间的语义关系和结构特征;然后,通过图注意力网络层学习异构图中的边类型信息,以获得融合了结构信息和边类型信息的输出向量;然后,根据目标节点的输出向量对节点间有无类型为r的边进行预测,得到预测概率;然后,计算损失值,优化器使用adam,进行反向传播更新参数;

    55、将测试数据集所对应的样本批次输入上述训练好的链路预测模型中进行预测,获取每批次预测概率;计算测试数据集所对应预测概率的roc曲线下面积值和平均倒数排名值;

    56、迭代重复上述训练步骤和测试步骤,直至达到最大迭代次数,计算多次迭代的多个roc曲线下面积值的平均值和多个平均倒数排名值的平均值,作为最终预测结果,完成链路预测模型的训练;

    57、链路预测模块,其配置成将待预测异构网络数据输入训练好的链路预测模型中进行链路预测。

    58、本发明的有益技术效果是:

    59、本发明提出一种基于图注意力网络的静态异构网络链路预测方法及系统,所述方法包括以下步骤:获取异构网络训练数据集和测试数据集,数据集包括异构图;异构图g={v,e,φ,ψ},其中v是节点集,e是边集,φ是节点类型集,ψ是边类型集;利用预设的元路径在边类型为r的异构图上进行随机游走以生成路径集合,并从路径集合中获得样本批次;基于训练数据集所对应的样本批次训练链路预测模型;将测试数据集所对应的样本批次输入训练好的链路预测模型中进行预测,获取每批次预测概率;计算测试数据集所对应预测概率的roc曲线下面积值和平均倒数排名值;迭代重复执行直至达到最大迭代次数,计算多次迭代的多个roc曲线下面积值的平均值和多个平均倒数排名值的平均值作为最终预测结果,完成链路预测模型的训练;将待预测异构网络数据输入训练好的链路预测模型中进行链路预测。本发明在四个公开数据集上,与六个经典前沿基线模型进行了对比实验,并对模型进行了参数对比实验和消融实验。基线模型对比实验结果表明,本发明比其他基线方法具有显著优势。消融实验验证了ahgnn模型的整体节点嵌入生成模块、异构结构信息提取模块以及边类型信息融合模块的有效性。参数对比实验充分调查了边嵌入维度、边类型嵌入维度以及skip-gram算法的路径长度对ahgnn模型的影响。


    技术特征:

    1.一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,步骤二中所述利用预设的元路径在边类型为r的异构图上进行随机游走以生成路径集合包括:将异构图g根据边类型划分为多个图层,在每个图层上根据预设的元路径进行随机游走,生成路径集合pr。

    3.根据权利要求1所述的一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,步骤三中所述通过生成共享嵌入以及聚合邻居的边嵌入来获得目标节点的基础嵌入包括:

    4.根据权利要求3所述的一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,步骤三中所述根据随机游走生成的节点序列,对节点序列执行skip-gram来学习节点结构嵌入包括:

    5.根据权利要求4所述的一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,步骤三中所述通过图注意力网络层学习异构图中的边类型信息包括:

    6.根据权利要求5所述的一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,步骤三中所述根据目标节点的输出向量对节点间有无类型为r的边按照下述公式进行预测:

    7.根据权利要求6所述的一种基于图注意力网络的静态异构网络链路预测方法,其特征在于,步骤三中按照下述公式计算损失值:

    8.一种基于图注意力网络的静态异构网络链路预测系统,其特征在于,包括:


    技术总结
    本发明公开了一种基于图注意力网络的静态异构网络链路预测方法及系统,涉及网络链路预测技术领域。本发明的技术要点包括:获取异构网络训练数据集和测试数据集,数据集包括异构图;利用预设的元路径在边类型为r的异构图上进行随机游走以生成路径集合,并从路径集合中获得样本批次;基于训练数据集和测试数据集训练链路预测模型;将待预测异构网络数据输入训练好的链路预测模型中进行链路预测。本发明在静态异构网络链路预测任务上具有显著优势。

    技术研发人员:何慧,陈端静,邰煜,杨洪伟,张伟哲
    受保护的技术使用者:哈尔滨工业大学
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-29655.html

    最新回复(0)