一种基于交互双重图卷积网络的情感预测方法及系统

1.本发明属于自然语言处理技术领域，尤其涉及一种基于交互双重图卷积网络的情感预测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着社交媒体的迅猛发展，网络评论的数量也呈爆炸式增长，越来越多的人愿意在网络上表达自己的态度和情感，而非单纯地浏览与接受，大量的网络评论数据往往伴随着评论者的情感信息，如“开心”、“愤怒”、“沮丧”等。由于出现在网络上的用户评论数据持有用户的情感信息，个人消费者以及企业对在线评论是否对购买决策具有重要影响持肯定态度，那人们就希望通过对网络蕴含的评论数据进行分析和处理，从而获取有价值的信息。因此，情感分析在生活中有着重要的学术价值和广阔的实用意义。
4.传统的情感分析方法主要针对整个句子或整个文档分析情感倾向。然而，用户在同一个句子中通常对不同的实体或方面表达不同的情感，例如，在“这家店太好吃了，就是服务员态度太过冷淡了”，传统的情感分析无法准确地判断情感倾向，因此，方面级情感分析应运而生。方面级情感分析针对文本中的特定目标预测它的情感分类。情感分析按照粒度不同分为基于句子级和文档级的粗粒度情感分析方法以及基于方面级的细粒度情感分析方法。方面级情感分析任务的目的是推断这段文本中各个方面的情感极性，情感极性一般分为积极、消极和中性3种。上例中，对于“口味”方面的情感极性是积极的，对于“服务”方面的情感极性是消极的。由于方面级情感分析可以在应用中提供更为全面、准确的信息，成为近年来情感分析中最受关注和活跃的子任务。
5.随着图神经网络模型引入方面级情感分析，取得了不错的效果，很大程度上弥补了传统方法的不足，但是，在这些使用图神经网络的研究中仍然存在一些缺陷，评论中存在大量的句法结构错误、非正式的表达以及在线评论的复杂性等问题。


技术实现要素：

6.为了解决上述背景技术中存在的技术问题，本发明提供一种基于交互双重图卷积网络的情感预测方法及系统，提高了对情感极性判断的准确性和稳定性。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明的第一个方面提供一种基于交互双重图卷积网络的情感预测方法，其包括：
9.获取待预测的文本，并转化为若干词向量序列；
10.提取若干词向量序列的上下文信息，得到隐藏状态向量；
11.基于若干词向量序列，采用句法图卷积网络，得到句法图；
12.基于所述隐藏状态向量，采用语义图卷积网络，得到语义图；
13.基于句法图和语义图，交互学习句法信息和语义信息，得到交互学习后的句法图和语义图；
14.基于交互学习后的句法图和语义图，预测得到待预测的文本的情感概率分布。
15.进一步的，所述得到句法图的具体步骤为：
16.基于若干词向量序列，计算面向方面的句法依赖关系邻接矩阵；
17.采用所述邻接矩阵的语法编码，将所述隐藏状态向量作为初始节点表示，得到句法图。
18.进一步的，所述基于若干词向量序列，计算面向方面的句法依赖关系邻接矩阵的具体步骤为：
19.基于若干词向量序列，生成依赖关系图和权重依赖图；
20.对依赖关系图和权重依赖图进行集成，得到面向方面的句法依赖关系邻接矩阵。
21.进一步的，所述预测得到待预测的文本的情感概率分布的具体步骤为：
22.对所述交互学习后的句法图和语义图分别进行平均池化后，进行连接操作，得到最终特征；
23.将最终特征输入一个线性层后，用激活函数生成情感概率分布。
24.进一步的，所述语义图卷积网络通过多头自注意力机制生成和更新语义图。
25.进一步的，所述提取若干词向量序列的上下文信息采用的是双向lstm网络。
26.进一步的，将待预测的文本转化为若干词向量序列采用的是glove词嵌入工具。
27.本发明的第二个方面提供一种基于交互双重图卷积网络的情感预测系统，其包括：
28.文本转化模块，其被配置为：获取待预测的文本，并转化为若干词向量序列；
29.上下文信息提取模块，其被配置为：提取若干词向量序列的上下文信息，得到隐藏状态向量；
30.句法图卷积模块，其被配置为：基于若干词向量序列，采用句法图卷积网络，得到句法图；
31.语义图卷积模块，其被配置为：基于所述隐藏状态向量，采用语义图卷积网络，得到语义图；
32.交互学习模块，其被配置为：基于句法图和语义图，交互学习句法信息和语义信息，得到交互学习后的句法图和语义图；
33.情感概率分布预测模块，其被配置为：基于交互学习后的句法图和语义图，预测得到待预测的文本的情感概率分布。
34.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于交互双重图卷积网络的情感预测方法中的步骤。
35.本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于交互双重图卷积网络的情感预测方法中的步骤。
36.与现有技术相比，本发明的有益效果是：
37.本发明提供了一种基于交互双重图卷积网络的情感预测方法，其通过在句法图和
语义图之间进行交互学习，实现了两者之间的协调优化，解决了在线评论中存在大量的句法结构错误、非正式表达以及复杂性的问题，提高了对情感极性判断的准确性和稳定性。
附图说明
38.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
39.图1是本发明实施例一的情感分析预测方法流程图；
40.图2是本发明实施例一的交互双重图卷积网络模型图。
具体实施方式
41.下面结合附图与实施例对本发明作进一步说明。
42.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
43.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
44.实施例一
45.本实施例提供了一种基于交互双重图卷积网络的情感预测方法，如图1所示，具体包括以下步骤：
46.步骤1：获取待预测的文本，将待预测的文本进行词嵌入训练处理，将文本转化为词向量嵌入，即得到文本中每个单词的词向量序列。
47.具体的，采用glove词嵌入工具。给定由m个词组成的上下文序列和由n个词组成的方面序列其中，wa是wc的子序列。通过预训练的glove嵌入矩阵其中，dm代表词向量的嵌入维度，|v|代表词汇表的大小。
48.步骤2：将步骤1中得到的若干词向量序列转化为上下文表示，即隐藏状态向量hc＝{h1,h2,...,hn}。具体的，将若干词向量序列输入到双向lstm(bilstm)网络中捕获句子中的长距离依赖从而提取文本上下文信息，即针对上述嵌入，使用双向lstm获得隐藏状态向量得到词嵌入的上下文表示。
49.具体的，使用bilstm作为句子编码器，分别提取隐藏的上下文表示。将句子的单词嵌入bilstm，生成隐藏状态向量hc＝{h1,h2,...,hn}，其中是bilstm在时刻t的隐状态向量，隐藏状态向量d
lstm
的维数由单向lstm输出,2d
lstm
表示双向lstm的维数。
50.步骤3：基于若干词向量序列，计算面向方面的句法依赖关系邻接矩阵。将步骤1的词嵌入输入spacy解析器，来生成依存树，进而利用依存树生成普通图，并对得到的图进行细化得到特定方面的图。
51.每个输入的句子在依存树上生成一个普通的依赖图，通过输入句子的依存树导出的邻接矩阵d
i,j
：
[0052][0053]
为了突出上下文词中的特定方面，通过计算邻接矩阵的每个元素的相对位置权重来优化图，得到以方面为中心的增强依赖图(权重依赖图)
[0054][0055]
其中，ps是方面词开始的位置，wi和wj是上下文词，是方面词集合。
[0056]
为了增强上下文词的语法依赖并产生方面词和上下文词之间的关系，集成了面向方面的权重依赖图和普通依赖关系图，得到面向方面的句法依赖关系邻接矩阵g
i,j
：
[0057][0058]
步骤4：如图2所示，将步骤2和步骤3的输出应用于图卷积网络，得到句法图卷积网络(syntax graph convolution networks，简称syngcn)。采用邻接矩阵g
i,j
的语法编码，将bilstm中的隐藏状态向量hc作为句法图中的初始节点表示，进而得到句法图表示h
syn
，并且使用表示所有方面节点的隐藏表示：
[0059][0060]
其中，w
syn
和分别是权重矩阵和偏差，σ表示激活函数。
[0061]
步骤5：如图2所示，将步骤2的上下文输出，即隐藏状态向量，输入语义图卷积网络(semantic graph convolution networks，简称semgcn)，通过多头自注意力机制生成和更新，重点提取语义空间中最相关的信息，得到语义图。
[0062]
初始化：利用多头自注意力机制得到k个注意力得分矩阵，为了提高鲁棒性，把k个矩阵求和，再top-k选择，这样top-k个重要的上下文词被保留。初始化如下：
[0063][0064][0065][0066][0067]
其中，是第i个邻接矩阵，表示进入第一层gcn之前选择的前k大邻接矩阵，和是可学习的矩阵，是偏差项，d
lstm
表示lstm的隐藏状态维数，top-k()函数表示从数据中找出前k个最大的数据，。
[0068]
更新：与初始化不同的是，输入是由层0到l-1中产生的输出串联而成的，由多头自注意力机制生成k个注意分数矩阵，跟初始化一样，再利用softmax函数计算出概率最大的矩阵，进行top-k选择，利用gcn层提取深层语义信息。将semgcn最后一层输出表示为h
sem
，即语义图，包含方面及其意见词最相关语义信息，并且使用表示所有方面节点的隐藏表示。更新如下：
[0069][0070][0071][0072][0073][0074]
其中，和是可学习的矩阵，是偏差项，是双向lstm的输出。
[0075]
步骤6：将步骤4和步骤5的输出，即句法图和语义图，嵌入交互注意力块进行交互学习，在两个特定的图卷积网络中交叉引用，交互学习句法信息和语义信息，分别得到交互学习之后的输出，即交互学习后的句法图和语义图h
syn
'和h
sem
'。
[0076]
步骤7：基于交互学习后的句法图和语义图，预测得到待预测的文本的情感概率分布。
[0077]
具体的，将步骤6的输出，即交互学习后的句法图和语义图，分别应用平均池化函数后，进行连接操作，然后将得到的表征信息送入一个线性层，然后用激活函数(softmax函数)生成情感概率分布，得到最终的情感极性预测结果。
[0078]
在syngcn和semgcn的方面节点上应用平均池化和连接操作，得到方面级情感分析任务的最终特征表示：
[0079][0080][0081][0082]
其中，f(
·
)是应用于方面节点表示的平均池化函数。
[0083]
将得到的最终特征r送入一个线性层，然后使用softmax函数生成情感概率分布，获得最终的情感极性，即：
[0084]
p(a)＝softmax(w
p
r b
p
)
ꢀꢀꢀ
(17)
[0085]
其中，w
p
和b
p
分别是可学习的权重和偏差。
[0086]
本发明解决了评论中存在大量的句法结构错误、非正式表达以及在线评论复杂性的问题。语法是语义的补充，基于这一基本假设，设计了交互双重图卷积网络来克服上述缺点。首先，为了均衡地利用语义空间中的信息，在图卷积网络中应用多头自注意力机制生成和更新语义图。其次，将句子的依存树转化为图，并对图进行细化处理生成句法图。利用语义图和句法图，利用两个特定的图卷积网络从语义和句法空间中提取特定的信息。最后利用交互注意力块来交互学习句法图卷积网络和语义图卷积网络的信息，通过在句法图和语义图之间使用交互注意力块，实现了两者之间的协调优化。提高了在不同数据集上对情感极性判断的准确性和稳定性。
[0087]
实施例二
[0088]
本实施例提供了一种基于交互双重图卷积网络的情感预测系统，其具体包括如下模块：
[0089]
文本转化模块，其被配置为：获取待预测的文本，并转化为若干词向量序列；
[0090]
上下文信息提取模块，其被配置为：提取若干词向量序列的上下文信息，得到隐藏状态向量；
[0091]
句法图卷积模块，其被配置为：基于若干词向量序列，采用句法图卷积网络，得到句法图；
[0092]
语义图卷积模块，其被配置为：基于所述隐藏状态向量，采用语义图卷积网络，得到语义图；
[0093]
交互学习模块，其被配置为：基于句法图和语义图，交互学习句法信息和语义信息，得到交互学习后的句法图和语义图；
[0094]
情感概率分布预测模块，其被配置为：基于交互学习后的句法图和语义图，预测得到待预测的文本的情感概率分布。
[0095]
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
[0096]
实施例三
[0097]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于交互双重图卷积网络的情感预测方法中的步骤。
[0098]
实施例四
[0099]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于交互双重图卷积网络的情感预测方法中的步骤。
[0100]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0101]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0102]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0103]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0104]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0105]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。