本发明涉及智能运维，尤其涉及基于模型关键特征的自适应aiops数据漂移检测方法。
背景技术：
1、在aiops（artificial intelligence for it operations,人工智能运维）领域，概念漂移是一个重要的概念，通常指随时间发生的数据变化。针对分类问题，已经提出了许多漂移检测器。一些漂移检测技术会监控模型准确度随时间的变化，依赖于标签数据，而其他技术则仅识别数据集特征（例如数据分布）中的漂移。尽管依赖于标签的漂移检测技术在模型性能下降方面是可靠的指标，但由于真实标签不一定立即可用，因此在实际场景中使用它们的成本较高。因此，使用基于数据分布的漂移检测器作为替代方案更为合适。然而，先前的研究表明，这些类型的检测器对数据中的微小变化非常敏感，而这些变化不一定会影响机器学习模型的准确性。
2、在评估方面，概念漂移检测器通常以两种方式进行评估：评估漂移检测准确性和评估机器学习模型随时间的性能。前一种评估技术衡量漂移检测器正确标记漂移和非漂移的能力，通常在对固定漂移发生的合成数据进行实验时采用。然而，也有一种技术使用错误率的z检验将测试批次分别标记为漂移和非漂移，这种方法更适用于实际情况。在这种评估技术中，为了了解检测器的影响，通常将基于漂移检测器重新训练的机器学习模型的性能与从未重新训练的模型性能进行比较。
3、概念漂移也会导致aiops模型的退化。尽管aiops模型对软件交付加速和软件系统质量和安全性有积极影响，但由于概念漂移，这些模型的性能随时间推移无法推广。针对当前数据训练的aiops模型无法很好地推广到未来数据。运营数据上的概念漂移会对故障预测aiops模型的性能产生负面影响，导致其错误率增加。先前的研究强调了定期更新aiops模型以减轻概念漂移的影响的重要性，以及监控aiops模型以防止概念漂移的必要性。已经对基于需要标签的退化指标监控工具重新训练故障预测模型的效果进行了研究，但目前还没有关于无监督模型退化指标的研究。
4、数据监控在模型监控中起着重要作用，其中一种技术是监控随时间推移而出现偏差的特征数量。另一种流行的数据监控技术是持续检查数据的分布是否随时间变化。尽管这些监测技术已经被提出，但它们识别aiops模型退化的能力尚未得到评估。
技术实现思路
1、有鉴于此，本发明实施例提供了基于模型关键特征的自适应aiops数据漂移检测方法，用以解决现有aiops系统对模型性能变化监控不够及时和准确的问题。
2、本发明采用的技术方案是：
3、本发明提供了一种基于模型关键特征的自适应aiops数据漂移检测方法，包括：
4、通过特征重要性选择方法从原始特征中提取出重要特征，并分别计算出模型的训练数据和测试数据在重要特征上的第一特征分布和第二特征分布，同时采用ks检验评估出第一特征分布和第二特征分布之间的相似性，根据相似性评估结果配置概念漂移检测器；
5、对原始数据进行预处理，得到模型训练和模型测试的数据集；
6、对构建aiops模型所使用的特征进行特征重要性评估，并通过特征选择算法从特征重要性评估结果中选择出与模型性能相关的第三特征；
7、通过随机森林分类器构建故障预测aiops模型，并设置基准模型退化指标和性能评估指标；
8、基于基准模型退化指标和性能评估指标，监控故障预测aiops模型在利用数据集进行训练和测试过程中的第三特征变化数量，同时通过概念漂移检测器检测识别模型的概念漂移并发出漂移警报。
9、进一步地，所述通过特征重要性选择方法从原始特征中提取出重要特征，并分别计算出模型的训练数据和测试数据在重要特征上的第一特征分布和第二特征分布，同时采用ks检验评估出第一特征分布和第二特征分布之间的相似性，根据相似性评估结果配置概念漂移检测器，包括：
10、选取平均不纯度减少法作为特征重要性选择方法，对原始特征进行排序，得到所有原始特征的平均重要性排名，并计算平均重要性排名的平均值作为特征提取阈值，将排名高于特征提取阈值的原始特征作为重要特征；
11、计算出模型的训练数据在重要特征上的第一特征分布和测试数据在重要特征上的第二特征分布；
12、采用ks检验评估第一特征分布和第二特征分布之间的相似性或差异性，根据相似性或差异性的评估结果确定漂移警报阈值，基于漂移警报阈值配置概念漂移检测器。
13、进一步地，所述对原始数据进行预处理，得到模型训练和模型测试的数据集，包括：
14、获取用于模型训练和测试的原始数据，并对原始数据进行数据清洗，去除噪声和异常值；
15、应用标准化或归一化方法对数据清洗后的原始数据进行统一尺度转发，并将转换后的原始数据的特征值转化为均值为0，标准差为1的分布，得到归一化的数据 x std：
16、，
17、其中， x是原始特征值， μ是特征的均值， σ是特征的标准差；
18、对归一化的数据 x std进行缺失值处理，得到用于模型训练和模型测试的数据集，所述数据集包括训练集和测试集。
19、进一步地，所述对构建aiops模型所使用的特征进行特征重要性评估，并通过特征选择算法从特征重要性评估结果中选择出与模型性能相关的第三特征，包括：
20、使用特征重要性评分方法计算构建aiops模型所使用的特征的平均信息增益，根据特征的平均信息增益进行特征重要性评估，得到特征重要性评估结果；所述构建aiops模型所使用的特征包括时间特征和配置特征；
21、基于特征重要性评估结果，通过特征选择算法从构建aiops模型所使用的特征中筛选出影响模型性能的第三特征。
22、进一步地，所述性能评估指标的设置过程包括：
23、基于数据集中的训练集和测试集对故障预测aiops模型进行训练和测试，并利用概念漂移检测器对故障预测aiops模型的训练和测试过程进行漂移检测；
24、采用漂移检测准确性评估技术对概念漂移检测器的漂移检测准确性进行评估，根据评估结果确定漂移检测的度量指标；
25、基于漂移检测结果重新训练故障预测aiops模型，并对比重新训练后的故障预测aiops模型性能与周期性更新的故障预测aiops模型性能之间的性能差异，根据性能差异计算出评估标签损失；
26、根据漂移检测的度量指标和评估标签损失得到性能评估指标。
27、进一步地，所述采用漂移检测准确性评估技术对概念漂移检测器的漂移检测准确性进行评估，根据评估结果确定漂移检测的平衡准确度，包括：
28、采用两比例z检验方法，基于误差率评估识别数据集中训练集与测试集之间是否存在概念漂移，具体的评估计算公式为：
29、
30、其中，是训练集上的预测错误率，是测试集上的预测错误率，是整体的预测错误率，是训练集的长度，而是测试集的长度；
31、若模型在训练集上的性能与在测试集上的性能没有统计学上的差异，则不存在概念漂移，若模型在训练集上的性能与在测试集上的性能有统计学上的差异，则存在概念漂移，并计算出概念漂移的严重程度，概念漂移的严重程度计算公式为：
32、；
33、基于概念漂移的严重程度，采用平衡准确度、特异度和灵敏度作为评估漂移检测准确性的度量指标；其中，
34、特异度的计算公式为：，
35、灵敏度计算公式为：；
36、其中，tn代表模型正确预测为负样本的实例数量，fn代表模型错误预测为负样本的实例数量，tp代表模型正确预测为正样本的实例数量，fp代表模型错误预测为正样本的实例数量；
37、平衡准确度balancedaccuracy计算公式如下：
38、。
39、进一步地，所述基于漂移检测结果重新训练故障预测aiops模型，包括：
40、采用基于滑动窗口的模型重新训练技术，在检测到模型出现数据漂移时，基于滑动窗口，使用仅包括已识别出数据漂移的训练集对故障预测aiops模型进行重新训练。
41、综上所述，本发明的有益效果如下：
42、通过本发明提供的一种基于模型关键特征的自适应aiops数据漂移检测方法，方法通过特征重要性选择方法从原始特征中提取出重要特征，并分别计算出模型的训练数据和测试数据在重要特征上的第一特征分布和第二特征分布，同时采用ks检验评估出第一特征分布和第二特征分布之间的相似性，根据相似性评估结果配置概念漂移检测器，结合了先进的机器学习算法和数据分析技术，该检测器能够准确地监测aiops系统中数据分布的变化情况，并及时发出警报。同时，本技术将概念漂移检测技术与数据监控技术相结合，持续监测数据分布的变化以及模型性能随时间的变化，通过实时监测数据特征的变化以及模型准确性的波动，可以及时发现aiops模型的退化情况。
1.一种基于模型关键特征的自适应aiops数据漂移检测方法，其特征在于，包括：
2.根据权利要求1所述的自适应aiops数据漂移检测方法，其特征在于，所述通过特征重要性选择方法从原始特征中提取出重要特征，并分别计算出模型的训练数据和测试数据在重要特征上的第一特征分布和第二特征分布，同时采用ks检验评估出第一特征分布和第二特征分布之间的相似性，根据相似性评估结果配置概念漂移检测器，包括：
3.根据权利要求1所述的自适应aiops数据漂移检测方法，其特征在于，所述对原始数据进行预处理，得到模型训练和模型测试的数据集，包括：
4.根据权利要求1所述的自适应aiops数据漂移检测方法，其特征在于，所述对构建aiops模型所使用的特征进行特征重要性评估，并通过特征选择算法从特征重要性评估结果中选择出与模型性能相关的第三特征，包括：
5.根据权利要求1所述的自适应aiops数据漂移检测方法，其特征在于，所述性能评估指标的设置过程包括：
6.根据权利要求5所述的自适应aiops数据漂移检测方法，其特征在于，所述采用漂移检测准确性评估技术对概念漂移检测器的漂移检测准确性进行评估，根据评估结果确定漂移检测的平衡准确度，包括：
7.根据权利要求5所述的自适应aiops数据漂移检测方法，其特征在于，所述基于漂移检测结果重新训练故障预测aiops模型，包括：
