一种自适应的数据异常值检测方法及终端与流程

    专利查询2025-06-18  27


    本发明涉及数据处理,特别涉及一种自适应的数据异常值检测方法及终端。


    背景技术:

    1、数据异常值检测在物联网系统中是一个关键功能,它主要负责确保从各种物联网设备收集的数据的准确性、完整性和可靠性。这个功能通过对数据进行实时监控和分析,识别并纠正数据中的错误或异常,以保证数据的质量满足系统的需求和标准。

    2、通常的数据异常值检测要发现异常数据一般是通过配置阈值,设置数据的取值区间,或者数据变化的百分比,然后在接收数据的时候进行计算判断是否是异常值。此方法具有简单易实现、实时性好和可解释性强等优点,但依然存在下述缺陷:

    3、缺点1:准确性依赖阈值的设定,阈值的设置需要基于对数据特性的深入理解,如果设置不当,可能会影响检测效果。

    4、缺点2:缺乏灵活性,阈值是固定的,无法适应数据分布的变化,在复杂场景下,对于那些不明显超出阈值但仍然异常的数据,阈值检测可能无法有效识别。

    5、缺点3:以上计算都在接收数据的同时进行,如果参与计算的数据量很大,则耗时高容易影响系统正常运行;如果参与计算的数据量小,则容易产生误报和漏报。


    技术实现思路

    1、本发明所要解决的技术问题是:提供一种自适应的数据异常值检测方法及终端,能够根据数据实际情况动态调整阈值范围,有效提高数据异常值的检测准确性和检测效率。

    2、为了解决上述技术问题,本发明采用的技术方案为:

    3、一种自适应的数据异常值检测方法,包括步骤:

    4、s1、实时接收数据并根据初始阈值范围筛选得到初筛数据;

    5、s2、定时拉取历史数据,并基于时间序列分解方法对所述历史数据进行分解,得到所述历史数据的趋势信息、季节性信息和残差;

    6、s3、基于所述趋势信息、所述季节性信息和所述残差,确定采用的时间序列模型;

    7、s4、基于所述时间序列模型对所述初筛数据进行检测,确定异常值,并根据所述异常值动态修正所述初始阈值范围。

    8、为了解决上述技术问题,本发明采用的另一技术方案为:

    9、一种自适应的数据异常值检测终端,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

    10、s1、实时接收数据并根据初始阈值范围筛选得到初筛数据;

    11、s2、定时拉取历史数据,并基于时间序列分解方法对所述历史数据进行分解,得到所述历史数据的趋势、季节性和残差;

    12、s3、基于所述趋势、所述季节性和所述残差,确定采用的时间序列模型;

    13、s4、基于所述时间序列模型对所述初筛数据进行检测,确定异常值,并根据所述异常值动态修正所述初始阈值范围。

    14、本发明的有益效果在于:提供一种自适应的数据异常值检测方法及终端,通过对实时接收的数据根据初始阈值范围初筛去除明显的异常数据,结合定时拉取历史数据进行时间序列分析得到的趋势、季节性和残差,以确定采用的时间序列模型来对初筛后数据再进行进一步的异常值筛选,得到准确的异常值后反向调整初筛异常数据采用的初始阈值范围,从而实现动态调整阈值范围,不依赖人为去定期调整,可随着数据的不断获取和模型的不断选择来使阈值范围越来越准确,并配合定时的分析历史数据并选择合适的模型进行检测的方式,使得系统具有更好的泛化能力,有效提升异常值检测的准确性的同时,整体的计算分为实时计算和定时计算,其中实时计算部分计算量小,但可以过滤明显的异常数据,而定时计算会应用模型分析大量数据,可以发现复杂的异常,可以在系统空闲的时候进行,不影响正常的系统运行,有效提高数据异常值的检测效率。



    技术特征:

    1.一种自适应的数据异常值检测方法,其特征在于,包括步骤:

    2.根据权利要求1所述的一种自适应的数据异常值检测方法,其特征在于,所述步骤s2具体为;

    3.根据权利要求2所述的一种自适应的数据异常值检测方法,其特征在于,所述步骤s29具体为:

    4.根据权利要求3所述的一种自适应的数据异常值检测方法,其特征在于,所述时间序列模型包括季节性预测模型、趋势预测模型和平滑预测模型;

    5.根据权利要求4所述的一种自适应的数据异常值检测方法,其特征在于,所述步骤s2中每次定时拉取的所述历史数据为预设最近时段内的所述历史数据;

    6.一种自适应的数据异常值检测终端,其特征在于,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

    7.根据权利要求6所述的一种自适应的数据异常值检测终端,其特征在于,所述步骤s2具体为;

    8.根据权利要求7所述的一种自适应的数据异常值检测终端,其特征在于,所述步骤s29具体为:

    9.根据权利要求8所述的一种自适应的数据异常值检测终端,其特征在于,所述时间序列模型包括季节性预测模型、趋势预测模型和平滑预测模型;

    10.根据权利要求9所述的一种自适应的数据异常值检测终端,其特征在于,所述步骤s2中每次定时拉取的所述历史数据为预设最近时段内的所述历史数据;


    技术总结
    本发明提供的一种自适应的数据异常值检测方法及终端,包括:实时接收数据并根据初始阈值范围筛选得到初筛数据;定时拉取历史数据,并基于时间序列分解方法对所述历史数据进行分解,得到所述历史数据的趋势、季节性和残差;基于所述趋势、所述季节性和所述残差,确定采用的时间序列模型;基于所述时间序列模型对所述初筛数据进行检测,确定异常值,并根据所述异常值动态修正所述初始阈值范围。本发明能够根据数据实际情况动态调整阈值范围,有效提高数据异常值的检测准确性和检测效率。

    技术研发人员:李娜,邵孟杨,陈溢,赵锦钊,刘旭东
    受保护的技术使用者:福建万福信息技术有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-29559.html

    最新回复(0)