本技术涉及神经网络,特别是涉及一种基于脑拓扑引导层次化超图神经网络的eeg情感识别系统。
背景技术:
1、现有的脑电波情感识别方法过度简化eeg样本之间的关系、无限制地学习eeg通道之间的相关关系,从而影响了模型泛化性、限制了其在受试者独立场景下的应用。
技术实现思路
1、有鉴于此,本技术实施例提供一种基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,以便克服上述问题或者至少部分地解决上述问题。
2、本技术实施例第一方面提供了一种基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,所述系统包括:
3、eeg样本处理模块,用于将eeg数据表示为一个包含n个节点的序列,所述序列中的每个节点对应所述eeg数据中的一个eeg样本,n为所述eeg数据中包含的eeg样本的总数;
4、层次化超图构建模块,用于针对n个节点,构建出n条超边,并基于所述超边构建出超图,所述超图中的每个超边连接n个节点中的一个或多个节点,连接至同一条超边的多个节点属于同一簇;
5、脑拓扑启发的超图学习模块,用于使用,,,,分别表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区的各个eeg通道之间的功能关系,使用表示不同脑区之间的关联,建模得到大脑拓扑结构,对于脑拓扑启发的超图学习网络中的第 l层,基于所述大脑拓扑结构,对所述n个节点中的每个节点在第 l层的节点特征进行k步卷积操作,得到每个节点在第 l层的节点中间特征,以及,基于超图对应的关联矩阵和每个节点在第 l层的节点中间特征进行超图卷积,得到每个节点在第 l+1层的节点特征,基于每个节点在脑拓扑启发的超图学习网络的第l层的节点特征,进行eeg情感识别。
6、可选地,所述针对n个节点,构建出n条超边,并基于所述超边构建出超图,包括:
7、基于层次化聚类的超边构建阶段:将所述n个节点中的每个节点初始化为簇,得到簇集合,对所述簇集合中的每个簇,每次合并距离最近的两个簇,并对所述簇集合进行更新,直到满足聚类终止条件,其中,所述聚类终止条件为ρ=s1/s2,ρ为超参数,s1为当前状态下包含的簇的个数,s2为初始状态下包含的簇的个数;
8、启发式超边增强阶段:当所述当前状态下包含的簇的个数少于n时,确定出在当前状态下,距离所述当前状态下包含的簇的多个质心最远的第一节点,所述第一节点距离多个质心的最远距离为d,将所述第一节点初始化为簇t,基于所述簇t遍历所述n个节点,将所述n个节点中距离所述第一节点小于d的节点合并至所述簇t,直到当前状态下包含的簇的个数为n;
9、将当前状态下包含的n个簇转换为n条超边,其中,每条超边连接该超边对应的簇所包含的一个或多个节点;
10、根据每条超边与节点之间的连接关系,构建关联矩阵,并基于所述关联矩阵生成超图。
11、可选地,所述建模得到大脑拓扑结构,包括:
12、给定,,,,,,其中,,,,,分别表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区内部的权重矩阵,表示不同脑区之间的关联的权重矩阵;
13、按照所述各个eeg通道之间的连接关系,对各个eeg通道之间的权重进行更新,得到更新后的权重矩阵、、、、其中,,表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区中第i个脑区更新后的权重,表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区中第i个脑区更新前的权重,eeg通道的数量为c,()表示从数字一个eeg通道的映射,表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区的eeg通道集合;
14、基于更新后的权重矩阵、和、、、整个大脑不同脑区之间的关联的权重矩阵,构建大脑拓扑结构;
15、其中,,,,,,是可学习的参数。
16、可选地,所述对于脑拓扑启发的超图学习网络中的第l层,基于所述大脑拓扑结构,对所述n个节点中的每个节点在第 l层的节点特征进行k步卷积操作,得到每个节点在第 l层的节点中间特征,包括:
17、对于脑拓扑启发的超图学习网络中的第 l层,使用代表k步卷积操作中的第k步卷积操作,基于所述大脑拓扑结构,对所述n个节点中的每个节点在第 l层的节点特征进行k步卷积操作,得到每个节点在第 l层的节点中间特征,其中,每个节点在第 l层的节点中间特征为,表示所述n个节点中第i个节点在第 l层的节点特征,cat[·]表示连接操作,,其中,c为eeg通道的数量、f为频段数量;
18、所述脑拓扑启发的超图学习模块,还用于将得到的节点中间特征,投影至空间中,再将投影至空间中的节点中间特征投影到空间,得到n个节点的经变形和投影之后的节点中间特征,是一个指定的维度。
19、可选地,所述基于超图对应的关联矩阵和每个节点在第 l层的节点中间特征进行超图卷积,得到每个节点在第 l+1层的节点特征,包括:
20、对所述n个节点的经变形和投影之后的节点中间特征进行超图卷积,其中,超图卷积的过程为:,是超边的权重矩阵,,表示节点度矩阵,表示边度矩阵,表示每个节点在第 l层的超图卷积结果;
21、通过变形和投影,将每个节点在第l层的超图卷积结果变换到空间中,作为第l+1层的节点特征,并输入至脑拓扑启发的超图学习网络的第l+1层。
22、可选地,所述脑拓扑启发的超图学习网络的损失函数为:,为超参数,为交叉熵损失,用于对eeg情感识别的情感标签的分类错误进行惩罚,用于对脑区之间的关联进行限制;
23、交叉熵损失的计算方式为:,为eeg数据对应的真实情感标签,为脑拓扑启发的超图学习网络针对eeg数据预测的eeg情感识别结果;
24、的计算方式为:,表示不同脑区之间的关联的权重矩阵。
25、本技术实施例第二方面提供了一种基于脑拓扑引导层次化超图神经网络的eeg情感识别方法,应用于第一方面所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,所述方法包括:
26、通过eeg样本处理模块,将待识别的eeg数据表示为一个包含n个节点的序列,所述序列中的每个节点对应所述待识别的eeg数据中的一个待识别的eeg样本,n为所述待识别的eeg数据中包含的待识别的eeg样本的总数;
27、通过层次化超图构建模块,针对n个节点,构建出n条超边,并基于所述超边构建出超图,所述超图中的每个超边连接n个节点中的一个或多个节点,连接至同一条超边的多个节点属于同一簇;
28、通过脑拓扑启发的超图学习模块,使用,,,,分别表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区的各个eeg通道之间的功能关系,使用表示不同脑区之间的关联,建模得到大脑拓扑结构,对于脑拓扑启发的超图学习网络中的第 l层,基于所述大脑拓扑结构,对所述n个节点中的每个节点在第 l层的节点特征进行k步卷积操作,得到每个节点在第 l层的节点中间特征,以及,基于超图对应的关联矩阵和每个节点在第 l层的节点中间特征进行超图卷积,得到每个节点在第 l+1层的节点特征,基于每个节点在脑拓扑启发的超图学习网络的第l层的节点特征,进行eeg情感识别。
29、本技术实施例第三方面,提供一种电子设备,包括存储器、处理器以及存储在存储器上的计算机程序,其中,所述处理器执行所述计算机程序以实现如第二方面所述的方法。
30、本技术实施例第四方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第二方面所述的方法。
31、本技术实施例第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如第二方面所述的方法。
32、本技术的有益效果:
33、本技术实施例提供一种基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,所述系统包括:
34、eeg样本处理模块,用于将eeg数据表示为一个包含n个节点的序列,所述序列中的每个节点对应所述eeg数据中的一个eeg样本,n为所述eeg数据中包含的eeg样本的总数;
35、层次化超图构建模块,用于针对n个节点,构建出n条超边,并基于所述超边构建出超图,所述超图中的每个超边连接n个节点中的一个或多个节点,连接至同一条超边的多个节点属于同一簇;
36、脑拓扑启发的超图学习模块,用于使用,,,,分别表示额叶、顶叶、枕叶、左侧颞叶、右侧颞叶脑区的各个eeg通道之间的功能关系,使用表示不同脑区之间的关联,建模得到大脑拓扑结构,对于脑拓扑启发的超图学习网络中的第 l层,基于所述大脑拓扑结构,对所述n个节点中的每个节点在第 l层的节点特征进行k步卷积操作,得到每个节点在第 l层的节点中间特征,以及,基于超图对应的关联矩阵和每个节点在第 l层的节点中间特征进行超图卷积,得到每个节点在第 l+1层的节点特征,基于每个节点在脑拓扑启发的超图学习网络的第l层的节点特征,进行eeg情感识别。
37、通过本技术提供的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,eeg样本处理模块将采集到的被试者的eeg数据进行划分并表示为一个包含n个节点的序列,然后通过层次化超图构建模块,针对序列中的n个节点依次构建出超边和超图,以表示n个节点之间的关联关系,再通过脑拓扑启发的超图学习模块获取不同脑区内部的eeg通道之间的关联,得到大脑拓扑结构,根据脑拓扑启发的超图学习网络中的每一层,都通过大脑拓扑结构进行k步卷积操作,得到每个节点在每一层的节点中间特征,个节点在每一层的节点中间特征与超图的关联矩阵进行超图卷积的结果作为下一层的输入,一直到第l层的输出,得到用于表示eeg数据的节点特征,通过用于表示eeg数据的节点特征来进行eeg情感识别。
38、能够对需要进行情感识别的被试者的eeg数据进行超图的构建,以获取各个节点之间的关联,再获取不同脑区内部的eeg通道之间的关联,得到大脑拓扑结构,结合大脑拓扑结构对n个节点进行超图卷积,在这个过程中结合超图的关联矩阵一直对节点中间特征进行多层的迭代,从而得到能够更好地表示出eeg数据的节点特征,进而提高eeg情感识别的准确度。
1.一种基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,其特征在于,所述系统包括:
2.根据权利要求1所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,其特征在于,所述针对n个节点,构建出n条超边,并基于所述超边构建出超图,包括:
3.根据权利要求1所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,其特征在于,所述建模得到大脑拓扑结构,包括:
4.根据权利要求1所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,其特征在于,所述对于脑拓扑启发的超图学习网络中的第l层,基于所述大脑拓扑结构,对所述n个节点中的每个节点在第l层的节点特征进行k步卷积操作,得到每个节点在第l层的节点中间特征,包括:
5.根据权利要求4所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,其特征在于,所述基于超图对应的关联矩阵和每个节点在第l层的节点中间特征进行超图卷积,得到每个节点在第l+1层的节点特征,包括:
6.根据权利要求3所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,其特征在于,所述脑拓扑启发的超图学习网络的损失函数为: ,为超参数,为交叉熵损失,用于对eeg情感识别的情感标签的分类错误进行惩罚,用于对脑区之间的关联进行限制;
7.一种基于脑拓扑引导层次化超图神经网络的eeg情感识别方法,其特征在于,应用于权利要求1-6任一所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别系统,所述方法包括:
8.一种电子设备,其特征在于,包括存储器、处理器以及存储在存储器上的计算机程序,其中,所述处理器执行所述计算机程序以实现如权利要求7所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别方法。
9.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求7所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求7所述的基于脑拓扑引导层次化超图神经网络的eeg情感识别方法。
