本发明涉及气道评估,尤其涉及一种基于音频与视频特征大模型的困难气道评估方法。
背景技术:
1、困难气道的评估对可气管插管性和气管插管安全性的分析有重要作用,若对困难气道的评估不准确,则存在安全隐患。现有的困难气道的评估方法有基于主观经验评估,有基于音频分析评估,有基于视频分析评估,但它们的评估维度都比较单一,没有充分利用数据的多维性。
2、随着人工智能技术的发展,大模型表现出强大的学习能力,因此本发明提出一种基于音频与视频特征大模型的困难气道评估方法,充分采用了大模型的学习能力,充分采用了音频和视频的数据多维性。
技术实现思路
1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊,而这种简化或省略不能用于限制本发明的范围。
2、鉴于上述现有存在的问题,提出了本发明。因此,本发明提供了一种基于音频与视频特征大模型的困难气道评估方法,用来解决背景技术中提出的问题。
3、为解决上述技术问题,本发明提供如下技术方案:一种基于音频与视频特征大模型的困难气道评估方法,包括:
4、通过气道音频采集系统和气道视频采集系统实时采集困难气道状态特征,并采用高速低时延数据网通信方式将收集到的困难气道状态特征进行传输和处理;
5、通过大模型服务器构建困难气道大模型,接收高速低时延数据网通信方式传输的困难气道状态特征,基于所述困难气道大模型对所述困难气道状态特征进行当前时刻大模型训练,得到困难气道大模型的预测评估;
6、根据所述预测评估,建立困难气道大模型辅助决策,并通过实时反向传播机制对所述困难气道大模型进行迭代优化。
7、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:通过气道音频采集系统和气道视频采集系统实时采集困难气道状态特征,并采用高速低时延数据网通信方式将收集到的困难气道状态特征进行传输和处理,包括:
8、所述处理方式为,对数据进行归一化处理和阈外数据剔除处理,以及困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合大模型训练数据序列处理;
9、所述困难气道状态特征至少包括困难气道的音频特征数据序列和困难气道的视频特征数据序列。
10、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:所述困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合大模型训练数据序列处理,包括:
11、计算困难气道音频视频特征数据空间混合序列的空间混合序列;
12、计算困难气道音频视频特征数据时间混合序列、困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值。
13、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:还包括:
14、计算困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值调整系数;
15、计算困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合大模型训练数据序列。
16、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:通过大模型服务器构建困难气道大模型,接收高速低时延数据网通信方式传输的困难气道状态特征,包括:
17、所述大模型服务器基于过去采集的困难气道状态特征和当前采集的困难气道状态特征,构建所述困难气道大模型;
18、其中,困难气道大模型采用开源大模型框架进行私有化本地化部署。
19、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:基于所述困难气道大模型对所述困难气道状态特征进行当前时刻大模型训练,得到困难气道大模型的预测评估,包括:
20、所述困难气道大模型通过将实际收集到困难气道状态特征和困难气道大模型预测评估结果进行对比,迭代困难气道大模型的训练精度。
21、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:还包括:
22、所述困难气道大模型采用本地化大模型神经网络对困难气道数据序列特征变化趋势进行计算,并根据预设规则评估实际困难气道的可气管插管性和气管插管安全性。
23、作为本发明所述的基于音频与视频特征大模型的困难气道评估方法的一种优选方案,其中:根据所述预测评估,建立困难气道大模型辅助决策,包括:
24、通过自适应粒子群优化决策作为困难气道大模型辅助决策;
25、所述自适应粒子群优化决策根据实际困难气道的可气管插管性与气管插管安全性和困难气道大模型的预测评估结果,获取困难气道的操作安全性评分。
26、与现有技术相比,发明有益效果为:
27、1、本发明通过引入困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值调整系数,通过困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值来计算困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值调整系数,通过调整数据序列可以实现困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值异常波动,减少对困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合大模型训练数据序列的影响;
28、2、本发明综合考虑了困难气道的音频特征数据序列与为困难气道的视频特征数据序列,可以实现多参数对困难气道进行评估;同时计算当前采样时刻困难气道音频视频特征数据空间混合序列,计算当前采样时刻困难气道音频视频特征数据时间混合序列,从而实现多参数的空间可以实际维度对为困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合值的计算,使得困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合大模型在训练过程中充分考虑时间和空间的因素尺度。
1.一种基于音频与视频特征大模型的困难气道评估方法,其特征在于,包括:
2.如权利要求1所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,通过气道音频采集系统和气道视频采集系统实时采集困难气道状态特征,并采用高速低时延数据网通信方式将收集到的困难气道状态特征进行传输和处理,包括:
3.如权利要求2所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,所述困难气道音频视频特征数据空间混合序列和困难气道音频视频特征数据时间混合序列的融合大模型训练数据序列处理,包括:
4.如权利要求3所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,还包括:
5.如权利要求3或4所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,通过大模型服务器构建困难气道大模型,接收高速低时延数据网通信方式传输的困难气道状态特征,包括:
6.如权利要求5所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,基于所述困难气道大模型对所述困难气道状态特征进行当前时刻大模型训练,得到困难气道大模型的预测评估,包括:
7.如权利要求6所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,还包括:
8.如权利要求6或7所述的基于音频与视频特征大模型的困难气道评估方法,其特征在于,根据所述预测评估,建立困难气道大模型辅助决策,包括:
