本发明涉及时间序列数据处理领域，尤其涉及一种从多种生理信号提取高级语义信息的方法和系统。
背景技术：
1、随着生理记录技术的成熟和机器学习方法的进步，生理信号建模吸引了许多研究人员。最初，研究人员主要关注单一类型信号的模型学习。大量工作建议使用时间序列或图数据结构以及监督或自监督脑电图信号各种任务的学习范例。最近，一些大型脑电图模型也出现了，突破了不同任务对脑电图的限制。还有研究者提出了基于特征工程或监督学习的方法来学习眼电、肌电、心电信号的表示。此外，为了充分挖掘生理数据的潜在语义，研究也聚焦于多类型信号的建模上。jia等人考虑脑电、眼电和肌电信号的相关性，提高了在睡眠分期任务上的性能。wang等人融合了单导联脑电图和心电图数据的特征以进行情绪识别。aly和youssef提出了一种将脑电图与肌电图信号集成的方法，提高了手和手腕运动控制的性能。然而，大多数关于生理信号的工作都是特定于任务或特定于信号的。它们既未能利用基础模型(因此受到数据稀缺的阻碍)，也没有提出跨一系列任务的各种生理信号的统一框架。
2、利用多模态数据的信息一致性，基于对比学习的对齐策略在图像文本等许多领域取得了令人瞩目的成果。针对生理信号研究，有很多工作对图像特征实施对齐以进行医学图像分割。wang等人对齐配对的医学图像和放射学报告(文本)以进行图像分类和对象检测等。fan等人提出了一种域适应方法来弥合睡眠分期的源域和目标域的脑电图数据分布之间的差距。lv等人通过调整视频剪辑中的视觉和听觉模态来增强特征以进行情感识别。然而，这些研究主要探索文本、图像或音频模式之间的一致性，没有一个明确地对齐同时收集的生理信号。
3、时间序列(ts)分析已在包括金融、气象、医疗等领域得到广泛应用，吸引了越来越多的研究人员。wu等人提出timesnet作为任务通用的模型骨干，以自适应地发现ts分析的多周期性。dong等人提出通过流形外部的多个邻居的加权聚合来恢复被屏蔽的时间点以进行ts建模。zhou等人提出了一个利用语言或视觉模型进行ts分析的统一模型。jin等人提出了一个名为time-llm的重编程框架，以重新利用大型语言模型进行一般ts预测。然而，大多数ts工作不能很好地适应高频生理信号，并且忽略了生理信号之间的相关性。
技术实现思路
1、为了解决除脑电信号外其他生理信号数据匮乏的问题，利用脑电基座模型的强大学习能力，本发明提出了一种从多种生理信号提取高级语义信息的方法。本发明通过分别提取脑电信号和其他生理信号的语义信息，将同步采集的样本对进行对齐，从而完成对生理信号表示学习的训练，实现了机器对生理信号数据的理解。
2、本发明采用如下技术方案：
3、第一个方面，本发明提供了一种从多种生理信号提取高级语义信息的方法，将同步采集的脑电信号和其他生理信号分别输入到脑电基座模型和生理编码器中，提取脑电信号和其他生理信号的语义表示作为高级语义信息以实现基于生理信号的下游任务；所述的其他生理信号包括眼电信号、心电信号、肌电信号中的任一种；
4、所述的脑电基座模型为预训练模型，所述的生理编码器的训练过程包括：
5、给定两段同步采集的脑电信号和其他生理信号的多信道时间序列；
6、通过预训练的脑电基座模型提取脑电信号的语义表示；
7、通过生理编码器提取其他生理信号的语义表示；
8、将脑电信号的语义表示和其他生理信号的语义表示采用对比学习方法进行对齐，从而对生理编码器进行训练。
9、进一步地，通过预训练的脑电基座模型提取脑电信号的语义表示的具体方法为：
10、将第i个脑电信号序列xi分割得到p个连续片段将分割后的片段输入到预训练的脑电基座模型中，生成片段级的语义表示其中，pi,j表示第i个脑电序列上第j个片段的语义表示。
11、进一步地，通过生理编码器提取其他生理信号的语义表示的具体方法为：
12、将与第i个脑电信号序列同步采集的其他生理信号分割得到p个连续片段将分割后的片段输入到生理编码器中，生成片段级的语义表示其中，表示第i个同步采集的其他生理信号序列上第j个片段的语义表示。
13、进一步地，所述脑电信号的语义表示和其他生理信号的语义表示的维度相同。
14、进一步地，所述的将脑电信号的语义表示和其他生理信号的语义表示采用对比学习方法进行对齐，从而对生理编码器进行训练的具体方法为：
15、首先，将脑电信号的语义表示和其他生理信号的语义表示进行片段级别的对齐：将脑电信号片段的语义表示pi，j与其同步采集的生理信号片段的语义表示组成正样本对，将脑电信号片段的语义表示pi,j与其非同步采集的其他生理信号片段的语义表示组成负样本对，采用对比学习方法计算片段级损失；其中，p表示一个脑电信号序列对应的片段数；
16、其次，将脑电信号的语义表示和其他生理信号的语义表示进行序列级别的对齐：
17、将脑电信号序列xi上全部片段的语义表示进行线性映射，得到脑电信号序列表示si；将与第i个脑电信号序列同步采集的其他生理信号上全部片段的语义表示进行线性映射，得到其他生理信号序列表示将脑电信号序列表示si与其同步采集的生理信号序列表示组成正样本对，将脑电信号序列表示si与其非同步采集的其他生理信号序列表示组成负样本对，采用对比学习方法计算序列级损失；其中，s表示脑电信号序列数；
18、最后，将片段级损失和序列级损失之和作为总损失，训练生理编码器。
19、进一步地，所述的脑电信号序列表示和其他生理信号序列表示的维度相同。
20、第二个方面，本发明提供了一种从多种生理信号提取高级语义信息的系统，用于实现上述的方法。
21、与现有技术相比，本发明具备的有益效果是：本发明提供了一种从多种生理信号提取高级语义信息的方法，通过对比学习将同步采集的脑电信号的语义表示与其他生理信号的语义表示进行对齐，从而实现生理编码器的训练。本发明并不特定于任务或信号，可基于生理编码器从多种生理信号中提取的高级语义表示实现后续的跨一系列任务。
1.一种从多种生理信号提取高级语义信息的方法，其特征在于，将同步采集的脑电信号和其他生理信号分别输入到脑电基座模型和生理编码器中，提取脑电信号和其他生理信号的语义表示作为高级语义信息以实现基于生理信号的下游任务；所述的其他生理信号包括眼电信号、心电信号、肌电信号中的任一种；
2.根据权利要求1所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，通过预训练的脑电基座模型提取脑电信号的语义表示的具体方法为：
3.根据权利要求1所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，通过生理编码器提取其他生理信号的语义表示的具体方法为：
4.根据权利要求1所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，所述脑电信号的语义表示和其他生理信号的语义表示的维度相同。
5.根据权利要求1所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，所述的将脑电信号的语义表示和其他生理信号的语义表示采用对比学习方法进行对齐，从而对生理编码器进行训练的具体方法为：
6.根据权利要求5所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，所述的片段级损失的计算公式如下：
7.根据权利要求5所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，所述的序列级损失的计算公式如下：
8.根据权利要求5所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，所述的脑电信号序列表示和其他生理信号序列表示的维度相同。
9.根据权利要求1所述的一种从多种生理信号提取高级语义信息的方法，其特征在于，所述的脑电基座模型采用brant-2模型，所述的生理编码器采用cnn+transformer模型。
10.一种从多种生理信号提取高级语义信息的系统，其特征在于，包括：
