本发明涉及信息交互，具体为一种基于多模态特征融合的新型脑电信息交互方法。
背景技术：
1、脑电波(electroencephalogram,eeg)是由脑细胞活动产生的电信号，是研究大脑功能的重要工具。脑电信号广泛应用于临床检测、脑机接口、认知科学等领域。脑机接口是一种通过直接连接大脑与外部设备，实现信息交换和控制的技术，在帮助瘫痪患者、娱乐、军事和智能家居等方面有着广泛应用。运动想象脑电信号是脑机接口系统中用户想象特定运动时生成的重要信号，分析这些信号可以用于控制外部设备。
2、传统脑电信号分析方法通常依赖于专家的经验，存在主观性强、耗时长、效率低等缺点。为了提高脑电信号分析的自动化程度和准确性，研究者们开发了许多基于机器学习的分析方法。然而，现有方法多集中于时域特征或频域特征等单一维度特征提取，忽略了不同特征域之间的互补性，导致分类性能受限。
3、大量eeg分析应用已经证明，eeg信号含有重要丰富的空间领域信息，例如抑郁症患者与健康受试者的大脑神经生理信号存在明显空间响应差异。运动想象eeg同样含有大量空域信息。具体而言，不同类型的运动想象任务以不同程度激活不同大脑运动皮层区域。有研究证明，融合时域、频域和空域三个维度的特征，可以学习到更加丰富的脑电信息，全面描述脑电特性，提升分类准确性和鲁棒性。然而，目前主流研究中同时融合时域、频域和空域特征的方法尚不多见。此外，融合多域特征可能导致维度爆炸、特征冗余等问题，因此一种高效、合理的特征融合方法克服这些问题。
技术实现思路
1、针对现有技术存在的上述不足，本发明提供了一种基于多模态特征融合的新型脑电信息交互方法，解决了多域特征导致的维度爆炸、特征冗余问题。
2、本发明提供如下技术方案：一种基于多模态特征融合的新型脑电信息交互方法，包括以下步骤：
3、s1、对收集的脑电信号进行带通滤波，挑选出运动想象脑电信号，利用滑动窗口技术将脑电信号进行裁剪，以获得局部脑电信号和全局脑电信号，并同时输入到后续的特征提取模块；
4、s2、利用变分模态分解vmd将脑电信号分解为一系列固有模态函数imf，根据频率范围选择与delta、theta、alpha和beta节律相关的imf，计算选择的imf的统计特征，从局部脑电信号提取的统计特征为局部时频特征，从全局脑电信号提取的统计特征为全局时频特征；
5、s3、对于提取的局部和全局的时频特征，分别计算不同类别的协方差矩阵，使用联合对角化技术同时对角化不同类别的协方差矩阵，分别得到局部时频特征的投影矩阵wlocal和全局时频特征的投影矩阵wglobal，将时频特征投影到新的空间，使得不同类别信号特征的方差差异最大化，具体操作为：
6、
7、选取变换后信号zlocal和zglobal的前n行和后n行以分别生成局部和全局csp特征向量；
8、s4、利用z-score方法标准化时频域和空域特征向量，使得每个特征向量均具有零均值和单位方差，并分别以三个hjorth参数(activity,mobility,and complexity)作为聚合函数，从三个维度将多域特征按照时间方向逐通道聚合，以在相对低维的空间中提供更全面的信号表示；
9、s5、使用最大互信息系数mic构建自适应权重惩罚项，并以最小化损失函数和构建的惩罚项组合形成自适应正则化特征选择模块，优化所提取的多域特征，消除噪声和无关特征；
10、s6、使用多域融合的特征向量作为集成学习分类器的输入，进行分类训练，并通过交叉验证优化分类模型的参数；
11、s7、对模型测试与评估。
12、优选的，s5中最大互信息系数mic计算过程如下：
13、用mic度量特征与响应变量之间的相关程度，具体计算过程为：
14、
15、其中，x＝(x1,x2,…,xj,…,xp)表示特征矩阵(其中j＝1,2,…,p)，xj＝(x1j,x2j,…,xij,…,xnj)t表示第j个特征向量，n和p分别为样本数量和特征数，y＝(y1,y2,…,yi,…,yn)t为响应变量；
16、对于运动想象eeg分类，响应变量y包含输出标签yi∈{0,1,…,k}，k为类别数，dx和dy分别表示xj和y的取值范围被分割成的区间数，即xj和y的散点图被划分为分辨率为dx×dy的网格g；
17、为了减少计算需求，引入参数b对网格大小dx×dy施加约束，该值通常设置为n0.6；对于大小固定的网格g，i*(d,dx,dy)表示xj和y之间的最大互信息，min{dx,dy}表示最小熵，且mic的取值范围为(0，1)，较高的值表示特征与响应变量向量之间的互相关程度越强烈。
18、优选的，s5中自适应权重计算如下：以为不同重要程度的特征xj分配不同大小的权重wj。
19、优选的，s5中的优化过程采用公式如下：
20、
21、其中β＝(β1,β2,…,βj,…,βp)t表示模型的回归系数向量，βj是第j个特征xj的回归系数；λ≥0为正则化参数；w＝diag(w1,…,wp)表示对角权重矩阵，每个对角元素wj表示第j个特征的回归系数权重，x可以表示为则优化问题(目标函数)可以被重新构建为：
22、优选的，s6中分类训练如下：
23、将经过mic-lasso优化后的多域特征输入到由决策树、随机森林、线性判别分析、支持向量机和k-近邻算法组成的集成学习分类器；利用交叉验证优化袋外样本选择，自动选择分类性能最佳的分类器，舍弃性能较差的分类器；采用软投票策略进行样本类别预测；使用交叉验证优化分类模型的参数，提升模型的泛化能力和鲁棒性；应用网格搜索方法，在预定义的参数空间中进行穷举搜索，找到最佳的模型超参数组合；或者应用贝叶斯优化方法，通过构建概率模型来指导搜索过程，找到最佳的模型超参数组合，并根据优化结果，调整分类模型的参数，确保其性能达到最佳状态。
24、优选的，s7中对模型测试与评估为：利用训练好的分类模型对测试集进行分类，评估模型的性能，包括准确率、灵敏度、特异性、f1-score指标以全面反映模型的分类能力和稳定性，最后根据测试结果，对模型进行调整和优化。
25、与现有技术对比，本发明具备以下有益效果：
26、该基于多模态特征融合的新型脑电信息交互方法，通过多模态特征融合技术和自适应正则化特征选择机制，提高运动想象脑电信号分类的准确性和实时性的同时降低模型复杂性、提高模型效率。该技术能够有效地从复杂的脑电信号中提取最重要信息，实现高效、准确的分类，为临床诊断和科学研究提供有力支持。
1.一种基于多模态特征融合的新型脑电信息交互方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态特征融合的新型脑电信息交互方法，其特征在于，s5中最大互信息系数mic计算过程如下：
3.根据权利要求2所述的一种基于多模态特征融合的新型脑电信息交互方法，其特征在于：s5中自适应权重计算如下：以为不同重要程度的特征xj分配不同大小的权重wj。
4.根据权利要求3所述的一种基于多模态特征融合的新型脑电信息交互方法，其特征在于，s5中的优化过程采用公式如下：
5.根据权利要求1所述的一种基于多模态特征融合的新型脑电信息交互方法，其特征在于，s6中分类训练如下：
6.根据权利要求1所述的一种基于多模态特征融合的新型脑电信息交互方法，其特征在于，s7中对模型测试与评估为：利用训练好的分类模型对测试集进行分类，评估模型的性能，包括准确率、灵敏度、特异性、f1-score指标以全面反映模型的分类能力和稳定性，最后根据测试结果，对模型进行调整和优化。
