本发明涉及大数据分析,特别是一种基于大模型的目标体系数据智能监测方法及系统。
背景技术:
1、随着信息技术的飞速发展,数据已成为现代社会的重要资源。大数据分析技术的发展为人们提供了强大的工具来处理和理解海量的数据集。传统的数据监测方法主要依赖于单一数据源和简单的统计方法,难以应对复杂环境下的多源异构数据融合问题,如何高效地融合多种类型的异构数据并从中挖掘有价值的信息仍然是一个挑战。
2、尽管多模态数据融合技术已经在许多领域取得了显著进展,但在目标体系数据智能监测方面仍存在一些不足之处。传统的数据融合方法往往忽略了数据源之间的关联性和互补性,导致信息的冗余和丢失。在处理多模态数据时,往往缺乏有效的特征提取和融合机制,无法充分利用各种数据源的优势。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种基于大模型的目标体系数据智能监测方法及系统解决多模态异构数据融合及动态阈值调整以提高监测准确性和响应速度的问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明实施例提供了一种基于大模型的目标体系数据智能监测方法,其包括,收集来自多个异构数据源的多模态数据并进行分类,将分类后的数据进行预处理;
5、采用异构数据融合技术,对预处理后的数据进行特征提取和融合,形成综合特征向量;
6、构建多模态大模型,对综合特征向量进行深入分析,识别潜在的模式、趋势和异常;
7、根据多模态大模型分析结果,动态调整监测系统的阈值;
8、基于调整后的阈值对数据进行实时监测,当检测到异常时生成警报。
9、作为本发明所述基于大模型的目标体系数据智能监测方法的一种优选方案,其中:所述多模态数据包括感器信号、日志文件、文本记录、图像和视频流;
10、所述对多模态数据进行分类是指基于数据类型和来源将数据分为结构化数据和非结构化数据,分别存储在不同的数据仓库中。
11、作为本发明所述基于大模型的目标体系数据智能监测方法的一种优选方案,其中:所述将分类后的数据进行预处理包括数据清洗、去噪、格式标准化和缺失值处理。
12、作为本发明所述基于大模型的目标体系数据智能监测方法的一种优选方案,其中:采用异构数据融合技术,对预处理后的数据进行特征提取和融合,形成综合特征向量包括以下步骤:
13、使用长短期记忆网络捕获时间序列中的依赖关系,提取时间序列的特征,输出序列特征向量;
14、使用卷积神经网络识别图像中的局部特征和层次结构,通过多层卷积和池化操作,将图像数据转换为固定长度的向量;
15、采用transformer模型,捕捉文本数据中词汇之间的复杂关系,生成语义丰富的特征向量;
16、通过线性变换,将每个模态的特征转换成查询矩阵、键矩阵和值矩阵;
17、使用门控机制来融合不同的特征矩阵,形成综合特征向量。
18、作为本发明所述基于大模型的目标体系数据智能监测方法的一种优选方案,其中:构建多模态大模型,对特征向量进行深入分析,识别潜在的模式、趋势和异常包括以下步骤:
19、选择基于bert架构的视觉-语言模型,将融合后的特征向量转换为m-bert接受的输入格式,传递给m-bert模型,通过多层编码器对融合后的特征向量进行处理,输出数据点的概率分布,表达式为:
20、pm=softmax(f(z;θm-bert));
21、其中,pm是模型对数据点所属各类别的预测概率,f(·;θm-bert)是m-bert模型的前向传播函数,θm-bert是模型参数集合;
22、计算数据点的概率分布与参考分布之间的kl散度,
23、
24、其中,dkl(pm∣∣pref)是pm相对于pref的kl散度,pref是参考分布;
25、评估综合特征向量的重构误差,表达式为:
26、
27、其中,er(z)是综合特征向量的重构误差,x是原始输入数据,g(·;θrecon)是重构模型的前向传播函数,θrecon是重构模型的参数集合;
28、将kl散度和重构误差通过非线性链接函数组合,转换得到异常得分,表达式为:
29、
30、其中,a(z)是异常得分,α是平衡因子。
31、作为本发明所述基于大模型的目标体系数据智能监测方法的一种优选方案,其中:根据多模态大模型分析结果,动态调整监测系统的阈值包括以下步骤:
32、基于多模态大模型分析结果的异常得分分布,设定初始阈值;
33、定义一个包含当前阈值的位置、最近数据的异常得分分布信息的状态空间;
34、定义包括调整阈值的方向和幅度的离散的动作空间;
35、基于误报率和漏报率设计一个奖励函数;
36、根据给定的状态空间采取特定的动作所能获得的长期回报的期望值,持续优化当前状态和动作,选择最高的当前状态和动作更新阈值。
37、作为本发明所述基于大模型的目标体系数据智能监测方法的一种优选方案,其中:基于调整后的阈值对数据进行实时监测,当检测到异常时生成警报包括以下步骤:
38、从多模态数据中持续接收新的实时数据流,计算当前异常得分;
39、将异常得分与动态调整后的阈值进行比较,当异常得分大于动态调整后的阈值时,触发警报并记录下异常事件的时间戳、异常得分以及触发警报的原始数据点;
40、将异常事件的信息存储到数据库中,用于后续的故障排查和数据分析。
41、第二方面,本发明提供了一种基于大模型的目标体系数据智能监测系统,包括,多模态数据采集与预处理模块:收集来自多个异构数据源的多模态数据并进行分类,将分类后的数据进行预处理;
42、特征提取与融合模块:采用异构数据融合技术,对预处理后的数据进行特征提取和融合,形成综合特征向量;
43、多模态大模型分析模块:构建多模态大模型,对综合特征向量进行深入分析,识别潜在的模式、趋势和异常;
44、动态阈值调整模块:根据多模态大模型分析结果,动态调整监测系统的阈值;
45、实时监测与报警模块:基于调整后的阈值对数据进行实时监测,当检测到异常时生成警报。
46、第三方面,本发明实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于大模型的目标体系数据智能监测方法的任一步骤。
47、第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于大模型的目标体系数据智能监测方法的任一步骤。
48、本发明有益效果为:通过收集并分类多模态数据,实现高效数据管理,提高处理准确性。采用异构数据融合技术,利用lstm、cnn和transformer等模型提取关键特征并融合,增强对复杂数据模式的捕捉能力。构建多模态大模型,通过m-bert处理特征向量,并结合kl散度和重构误差计算异常得分,实现异常情况的精准定位。通过动态调整监测系统阈值,减少误报和漏报,提高系统鲁棒性和可靠性。最终实现实时监测和异常警报功能,确保监测系统的高效运行,快速定位问题根源,降低安全风险和经济损失。
1.一种基于大模型的目标体系数据智能监测方法,其特征在于:包括,
2.如权利要求1所述的基于大模型的目标体系数据智能监测方法,其特征在于:所述多模态数据包括感器信号、日志文件、文本记录、图像和视频流;
3.如权利要求1所述的基于大模型的目标体系数据智能监测方法,其特征在于:所述将分类后的数据进行预处理包括数据清洗、去噪、格式标准化和缺失值处理。
4.如权利要求3所述的基于大模型的目标体系数据智能监测方法,其特征在于:采用异构数据融合技术,对预处理后的数据进行特征提取和融合,形成综合特征向量包括以下步骤:
5.如权利要求4所述的基于大模型的目标体系数据智能监测方法,其特征在于:构建多模态大模型,对特征向量进行深入分析,识别潜在的模式、趋势和异常包括以下步骤:
6.如权利要求5所述的基于大模型的目标体系数据智能监测方法,其特征在于:根据多模态大模型分析结果,动态调整监测系统的阈值包括以下步骤:
7.如权利要求6所述的基于大模型的目标体系数据智能监测方法,其特征在于:基于调整后的阈值对数据进行实时监测,当检测到异常时生成警报包括以下步骤:
8.一种基于大模型的目标体系数据智能监测系统,基于权利要求1~7任一所述的基于大模型的目标体系数据智能监测方法,其特征在于:包括,
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1~7任一所述的基于大模型的目标体系数据智能监测方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1~7任一所述的基于大模型的目标体系数据智能监测方法的步骤。