一种基于图神经网络的电影评论情感分类方法及装置

1.本技术属于自然语言处理技术领域，尤其涉及一种基于图神经网络的电影评论情感分类方法及装置。


背景技术：

2.当前是一个互联网和大数据的时代，每天都有各种形式的海量数据产生，比如文本、语音、视频等等，文本数据在其中占了很大的一部分。随着文化产业的快速发展，每年上映的电影数量在不断攀升，随之带来的是各种各样的电影评论，比如在豆瓣、猫眼等知名电影网站包含大量的电影评论，如何从这些电影评论挖掘出有用的信息，就成为一个关键问题，其中重要的一步就是对这些电影评论进行情感分类。
3.情感分类是自然语言处理中一个基本且重要的任务。早期情感分类主要用的是传统的机器学习方法，先进行特征工程，最后通过分类器方法对特征向量进行分类，比如支持向量机模型、k最近邻方法、朴素贝叶斯等等。但是这样的方法过分依赖于人工手动进行特征提取，效率比较低下。随着深度学习研究的进展，word2vec和glove词向量模型的提出，深度学习开始应用于自然语言处理领域，这省去了手动提取文本特征的繁琐的步骤，并且将卷积神经网络和循环神经网络应用于情感分类任务上，进而研究者提出了textcnn，charcnn等模型，取得了很好的结果。但是，无论是卷积神经网络还是循环神经网络都只是聚焦于文本的序列模型，忽略了情感文本之间的结构性，而图卷积神经网络gcn正好能够在学习文本嵌入的过程保留结构信息，从而进一步提升电影评论的情感分类效果。


技术实现要素：

4.本技术的目的是提供一种基于图神经网络的电影评论情感分类方法及装置，用以克服现有情感分类方法忽略文本语法特性以及文本的拓扑结构，丰富文本的嵌入信息，进一步优化文本中情感的嵌入表示，提升电影评论分类准确度。
5.为了实现上述目的，本技术技术方案如下：
6.一种基于图神经网络的电影评论情感分类方法，所述基于图神经网络的电影评论情感分类方法，包括：
7.收集电影评论文本数据集，对每个电影评论文本进行预处理，得到文本词汇表，将文本词汇表中的单词用嵌入向量表示，得到电影评论文本的单词嵌入向量矩阵；
8.将文本词汇表中的单词作为节点，单词之间的共现关系作为连边构建文本共现图，得到文本共现图的邻接矩阵；
9.将文本词汇表中的单词作为节点，句法关系作为连边构建成文本的句法依存图，得到句法依存图的邻接矩阵；
10.将单词嵌入向量矩阵和文本共现图的邻接矩阵输入到文本共现图卷积网络模块，得到文本共现图的加权特征矩阵；
11.将单词嵌入向量矩阵和句法依存图的邻接矩阵输入到句法依存图卷积网络模块，
得到句法依存图的加权特征矩阵；
12.采用混合池化模块对文本共现图的加权特征矩阵和句法依存图的加权特征矩阵进行池化操作，得到文本共现图的特征向量和句法依存图的特征向量；
13.采用自适应特征融合模块对文本共现图的特征向量和句法依存图的特征向量进行自适应融合；
14.将自适应融合后的融合特征输入到文本分类器模块，预测出电影评论文本的情感分类结果。
15.进一步的，所述将单词嵌入向量矩阵和文本共现图的邻接矩阵输入到文本共现图卷积网络模块，得到文本共现图的加权特征矩阵，包括：
16.先将单词嵌入向量矩阵和文本共现图的邻接矩阵输入到文本共现图卷积网络模块，得到文本共现图的特征矩阵：
17.h＝[h1,
…
,hi,
…
,hs]＝gcn1(a,x)；
[0018]
其中，a表示文本共现图的邻接矩阵，x表示单词嵌入向量矩阵，hi表示文本共现图中第i个单词对应的特征向量，s为词汇表中单词的个数，gcn1表示文本共现图卷积网络模块；
[0019]
然后使用注意力机制对文本共现图的特征矩阵h的每一个节点的嵌入向量进行加权，获得文本共现图的加权特征矩阵：
[0020]h′
＝[h
′1,
…
,h
′i,
…
,h
′s]，
[0021]
其中h
′i＝tanh(mlp1(hi))*sigmoid(mlp2(hi))，mlp1、mlp2表示多层感知机。
[0022]
进一步的，所述将单词嵌入向量矩阵和句法依存图的邻接矩阵输入到句法依存图卷积网络模块，得到句法依存图的加权特征矩阵，包括：
[0023]
先将单词嵌入向量矩阵和和句法依存图的邻接矩阵输入句法依存图卷积网络，获得句法依存图的特征矩阵：
[0024]
m＝[m1,
…
,mi,
…
,ms]＝gcn2(c,x)；
[0025]
其中，c表示句法依存图的邻接矩阵，x表示单词嵌入向量矩阵，mi表示句法依存图中第i个单词对应的特征向量，s为词汇表中单词的个数，gcn2表示句法依存图卷积网络模块；
[0026]
然后使用注意力机制对句法依存图的特征矩阵m的每一个节点的嵌入向量进行加权，获得句法依存图的加权特征矩阵：
[0027]m′
＝[m
′1,
…
,m
′i,
…
,m
′s]，
[0028]
其中m
′i＝tanh(mlp3(mi))*sigmoid(mlp4(mi))，mlp3、mlp4表示多层感知机。
[0029]
进一步的，所述采用混合池化模块对文本共现图的加权特征矩阵和句法依存图的加权特征矩阵进行池化操作，得到文本共现图的特征向量和句法依存图的特征向量，其中：
[0030]
文本共现图的特征向量f
g1
＝(maxpooling(h
′
) avgpooling(h
′
))/2；句法依存图的特征向量f
g2
＝(maxpooling(m
′
) avgpooling(m
′
))/2，h
′
表示文本共现图的加权特征矩阵，m
′
表示句法依存图的加权特征矩阵，maxpooling表示最大池化操作，avgpooling表示平均池化操作。
[0031]
进一步的，所述采用自适应特征融合模块对文本共现图的特征向量和句法依存图的特征向量进行自适应融合，包括：
[0032]fg
＝af
g1
(1-a)f
g2
；
[0033]
其中，a表示可训练参数，f
g1
表示文本共现图的特征向量，f
g2
表示句法依存图的特征向量，fg表示融合特征。
[0034]
进一步的，所述文本共现图卷积网络模块、句法依存图卷积网络模块、混合池化模块、自适应特征融合模块和文本分类器模块构成图卷积网络模型，所述图卷积网络模型的损失函数为：
[0035][0036]
其中，表示电影评论文本i的真实标签，yi表示电影评论文本i的预测标签，b表示文本数量。
[0037]
本技术还提出了一种基于图神经网络的电影评论情感分类装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于图神经网络的电影评论情感分类方法的步骤。
[0038]
本技术提出的一种基于图神经网络的电影评论情感分类方法及装置，基于文本句子自身特有的语法信息和文本单词的窗口共现关系，将其构建成图数据结构，使得学习得到的网络表示不仅仅包含邻近单词的信息，也包含因为语法关系相关的比较远的单词的信息，从而提高情感分类的准确性。
附图说明
[0039]
图1为本技术基于图神经网络的电影评论情感分类方法流程图；
[0040]
图2为本技术图卷积网络模型结构示意图。
具体实施方式
[0041]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0042]
在一个实施例中，如图1所示，提供了一种基于图神经网络的电影评论情感分类方法，包括：
[0043]
步骤s1、收集电影评论文本数据集，对每个电影评论文本进行预处理，得到文本词汇表，将文本词汇表中的单词用嵌入向量表示，得到电影评论文本的单词嵌入向量矩阵。
[0044]
搜集电影评论文本数据集，文本数量为b，数据集包括电影评论的文本内容，以及文本对应的情感标签。对每个电影评论原始文本进行包括分词、去除停用词、去除标点符号等预处理，得到预处理文本。
[0045]
对于任意一个电影评论文本i，得到文本的词汇表wi，wi中单词个数为s，wi表示为用开源的chinese word vector中文预训练单词嵌入向量表示词汇表中的每一个单词，进一步得到文本i的单词嵌入向量矩阵
其中，表示文本i的词汇表中第j个单词，d表示单词嵌入向量维度，x
ik
表示文本i的词汇表中第k个单词的嵌入向量。
[0046]
遍历整个电影评论文本数据集，得到每一个文本的单词嵌入向量矩阵，则b个文本的嵌入向量矩阵可表示为x＝[x1,x2,
…
,xb]，b个电影评论文本的词汇表可表示为w＝[w1,w2,
…
,wb]。
[0047]
步骤s2、将文本词汇表中的单词作为节点，单词之间的共现关系作为连边构建文本共现图，得到文本共现图的邻接矩阵。
[0048]
本步骤对任意电影评论文本i，把词汇表wi中的单词作为节点，单词之间的共现关系作为连边构建文本共现图
[0049]
具体的，设定滑动窗口大小为m，窗口沿着文本序列从左向右滑动，窗口中心单词是如果和在一个窗口内，就构建和单词节点之间的连边，用表示两个节点在滑动窗口内共现的次数，计算两个节点连边的权重得到文本i共现图的邻接矩阵
[0050]
遍历整个电影评论文本数据集，对每一个电影评论文本构建文本共现图，则b个文本共现图的邻接矩阵
[0051]
步骤s3、将文本词汇表中的单词作为节点，句法关系作为连边构建成文本的句法依存图，得到句法依存图的邻接矩阵。
[0052]
本步骤对任意电影评论文本进行句法分析，词汇表wi中的单词作为节点，根据句法关系作为连边构建成文本i的句法依存图得到邻接矩阵ci，其中：
[0053][0054]
或0分别表示电影评论文本i中节点j和节点k有或没有连边；遍历整个电影评论文本数据集，对每一个电影评论文本构建句法依存图，则得到b个文本句法依存图的邻接矩阵
[0055]
步骤s4、将单词嵌入向量矩阵和文本共现图的邻接矩阵输入到文本共现图卷积网络模块，得到文本共现图的加权特征矩阵。
[0056]
构建图卷积网络模型，如图2所示，该模型分成5个模块，文本共现图卷积网络模块、句法依存图卷积网络模块、混合池化模块、自适应特征融合模块、文本分类器模块。
[0057]
本步骤利用文本共现图卷积网络模块学习文本单词的嵌入表示，将电影评论文本共现图邻接矩阵a和特征矩阵x输入文本共现图卷积网络模块gcn1：
[0058]
h＝[h1,
…
,hi,
…
,hs]＝gcn1(a,x)，
[0059]
其中，其中，a表示文本共现图的邻接矩阵，x表示单词嵌入向量矩阵，hi表示文本共现图中第i个单词对应的特征向量，s为词汇表中单词的个数，gcn1表示文
本共现图卷积网络模块；
[0060]
然后使用注意力机制对电影评论文本共现图的特征矩阵h的每一个节点的嵌入向量进行加权，获得文本共现图的加权特征矩阵：
[0061]h′
＝[h
′1,
…
,h
′i,
…
,h
′s]，
[0062]
其中h
′i＝tanh(mlp1(hi))*sigmoid(mlp2(hi))，mlp1、mlp2表示多层感知机。tanh表示双曲正切激活函数，sigmoid表示sigmoid激活函数。多层感知机(mlp，multilayer perceptron)为本领域比较成熟的技术，这里不再赘述。
[0063]
步骤s5、将单词嵌入向量矩阵和句法依存图的邻接矩阵输入到句法依存图卷积网络模块，得到句法依存图的加权特征矩阵。
[0064]
本步骤利用句法依存图卷积网络模块学习文本单词嵌入，将电影评论句法依存图邻接矩阵c和特征矩阵x输入句法依存图卷积网络gcn2：
[0065]
m＝[m1,
…
,mi,
…
,ms]＝gcn2(c,x)，
[0066]
其中，其中，c表示句法依存图的邻接矩阵，x表示单词嵌入向量矩阵，mi表示句法依存图中第i个单词对应的特征向量，s为词汇表中单词的个数，gcn2表示句法依存图卷积网络模块；
[0067]
使用注意力机制对电影评论文本句法依存图的特征矩阵m每一个节点的嵌入向量进行加权，获得文本句法依存图的加权特征矩阵
[0068]m′
＝[m
′1,
…
,m
′i,
…
,m
′s]，
[0069]
其中m
′i＝tanh(mlp3(mi))*sigomid(mlp4(mi))，mlp3、mlp4表示多层感知机。
[0070]
步骤s6、采用混合池化模块对文本共现图的加权特征矩阵和句法依存图的加权特征矩阵进行池化操作，得到文本共现图的特征向量和句法依存图的特征向量。
[0071]
本步骤利用混合池化模块对文本共现图的加权特征矩阵和句法依存图的加权特征矩阵进行池化操作，得到文本共现图的特征向量：
[0072]fg1
＝(maxpooling(h
′
) avgpooling(h
′
))/2，
[0073]
和文本句法依存图的特征向量：
[0074]fg2
＝(maxpooling(m
′
) avgpooling(m
′
))/2，
[0075]h′
表示文本共现图的加权特征矩阵，m
′
表示句法依存图的加权特征矩阵，maxpooling表示最大池化操作，avgpooling表示平均池化操作。
[0076]
步骤s7、采用自适应特征融合模块对文本共现图的特征向量和句法依存图的特征向量进行自适应融合。
[0077]
本步骤利用自适应特征融合模块对电影评论文本共现图和句法依存图特征向量进行自适应融合：
[0078]fg
＝af
g1
(1-a)f
g2
，
[0079]
其中，a表示可训练参数。f
g1
表示文本共现图的特征向量，f
g2
表示句法依存图的特征向量，fg表示融合特征。
[0080]
步骤s8、将自适应融合后的融合特征输入到文本分类器模块，预测出电影评论文本的情感分类结果。
[0081]
本步骤利用文本分类器模块预测电影评论文本的情感分类结果：
[0082]
y＝softmax(w5fg)，
[0083]
其中，w5表示可训练权重参数。
[0084]
在一个具体的实施例中，训练本技术图卷积网络模型，所述图卷积网络模型损失函数如下：
[0085][0086]
其中，表示电影评论文本i的真实标签，yi表示电影评论文本i的预测标签，，b表示文本数量。
[0087]
在训练时，将训练样本输入到图卷积网络模型，使用adam优化器和反向传播算法，直到损失值不再下降或者小于指定的值，结束训练，得到最终的图卷积网络模型。将需要预测标签的电影评论文本执行步骤s1到步骤s3，输入图卷积网络模型，模型输出的y就是情感分类结果。
[0088]
在一个实施例中，本技术还提供了一种基于图神经网络的电影评论情感分类装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于图神经网络的电影评论情感分类方法的步骤。
[0089]
关于基于图神经网络的电影评论情感分类装置的具体限定可以参见上文中对于基于图神经网络的电影评论情感分类方法的限定，在此不再赘述。上述基于图神经网络的电影评论情感分类装置可全部或部分通过软件、硬件及其组合来实现。可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上对应的操作。
[0090]
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
[0091]
其中，所述存储器可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
[0092]
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0093]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。