一种机器学习模型自我学习、评估及更新的方法与流程

1.本发明涉及机器学习领域，具体为一种机器学习模型自我学习、评估及更新的方法。


背景技术：

2.自动化建模相关技术的发展使得模型构建的过程中大部分过程能够被自动化地完成，包括特征选取、算法选取、超参数寻优、多模型比较等过程。基于该技术可以大幅降低建模的时间成本、降低对建模人员的技能要求等。模型在实际应用中，还需要针对模型的实际效果进行常态化地监控。模型的实际效果评估与模型的实际场景紧密相关，如针对银行客户的产品响应预测模型，模型的实际效果不但体现在模型的性能指标(如roc、ks等)，还体现在其带来的实际业务效果(如存款额的提升等)；基于模型效果评估进行常态化的模型自动化更新是实际应用领域的常见需求。


技术实现要素：

3.鉴于现有技术中所存在的问题，本发明公开了一种机器学习模型自我学习、评估及更新的方法，采用的技术方案是，包括以下步骤：步骤1，将机器学习模型部署到线上；步骤2，由自动监控模块对机器学习模型整体进行监控；步骤3，根据所述步骤2中获得的机器学习模型的效果输出管理决策；步骤4，根据所述步骤3输出的的管理决策对机器学习模型进行自动重建；步骤5，将重建后的机器学习模型进行自动部署；步骤6，由自动监控模块对重建后的机器学习模型整体进行监控。
4.作为本发明的一种优选技术方案，所述自动监控模块、模型自动重建、模型自动部署组成统一的模型监控框架，即矩阵模型(matrixmodel)，矩阵模型机制的实施思路包括三个过程：自动化监控、自动化模型管理策略输出、自动化更新及上线；自动化监控负责从多维度收集数据并分析模型的it、性能、业务成效三个方面的数据和信息；自动化模型管理策略输出基于模型监控数据生产模型更新策略；自动化更新和上线是具体实施模型更新策略的过程。
5.作为本发明的一种优选技术方案，所述步骤2中的自动监控模块包括it监控层面、性能监控层面及业务成效监控层面。
6.作为本发明的一种优选技术方案，所述it监控主要负责模型调用次数、模型处理数据量、模型部署后的资源消耗等方面的监控。it监控是最基本的监控，若模型部署后对外服务不正常，则无法进行后续的性能监控和业务成效监控。其实施的具体过程包括：1)采集模型服务系统的日志文件，获取模型服务健康状态、模型调用次数、模型处理数据量、模型服务的系统资源消耗等方面的基础数据；2)基于采集到的数据构建分析的指标体系：首先输出模型服务是否可用，然后输
出模型服务的资源消耗情况(包括cpu使用率、内存使用率、网络宽带、磁盘使用量等)。同时分析模型处理的数据量，针对实时在线的模型服务，通过时间序列数据库进行统计，针对批量数据处理的模型服务，通过按日汇总的方式进行统计。
7.作为本发明的一种优选技术方案，所述主要负责常态化评估模型的性能，即模型的准确性、精准度、roc(变动率指标)、ks等相关指标；性能指标代表了模型在给定数据量的情况下模型输出结果的质量；其实施过程包括：1)构建存储机制，保存模型每次输出的计算结果，如响应预测模型输出的“客户可能会购买的产品”结果；2)定期收集实际的业务数据，如“客户在推荐的情况下是否购买”的实际数据；3)计算模型的各种性能指标，如准确性、精准度、roc、ks等指标；4)存储每一次定期计算的模型性能指标，作为模型跟新策略制定的重要依据。
8.作为本发明的一种优选技术方案，所述业务成效监控层面主要负责模型在实际应用中产生的实际效果，如产品推荐产品实际产生的购买量、业务提升的金额等，其实施过程包括：1)基于在模型性能指标监控阶段收集到的实际业务数据，计算模型实际产生了多少业务成绩；如“针对模型推荐的情况导致了多少购买量，带来的实际收益是多少”。针对不同的模型业务成效其计算的口径和方式不同，通过配置计算逻辑或上传计算脚本可以实现业务指标的计算；2)定期存储模型业务指标的具体数值，作为模型跟新策略制定的重要依据。
9.作为本发明的一种优选技术方案，所述步骤3中，模型更新策略自动化输出是根据所述步骤2中模型监控的结果，输出模型是否需要更新和如何更新的策略。模型更新策略模块的过程如下：1)若it监控显示模型服务有异常，则启动自动化上线的功能，并将原来的模型进行下线；该过程确保模型服务的有效性。若it监控显示模型的调用活跃性较低，则将该指标作为模型价值评估的重要依据；2)若性能监控显示模型效能较低，则启动“自动化模型更新、模型自动化上线”的过程，该过程的比较过程还包含对历史模型效能的对比、数据迁移的分析等；3)若业务成效监控显示模型实际成效较低，启动“自动化模型更新、模型自动化上线”的过程，该过程是性能监控的重要补充。
10.作为本发明的一种优选技术方案，所述步骤4中，基于矩阵模型机制的模型自动化更新实施方法过程如下：1)自动化指标加工无需指定训练集中字段的类型，通过autosklearn平台，自动化模型更新模块能够自动识别每一个字段的类型，并完成自动化的数据预处理，包括离群值的处理、空白值的填充、分类型变量转数字型变量等；2)模型自动化更新选择20 个算法同时进行模型构建，同时进行超参数的寻优，最终选择三个最好的模型构成“投票”的机制生成最终的模型；3)模型自动化上线
将自动化构建好的模型进行部署，自动化生成模型服务，完成模型的注册、服务发布等过程。
11.作为本发明的一种优选技术方案，矩阵模型支持的工具和算法有r语言、anaconda、h2o、knime、python、tensorflow、pytroch。
12.作为本发明的一种优选技术方案，所述矩阵模型包含的部署容器包括python部署容器、tensorflow部署容器、r部署容器、pytroch部署容器。
13.本发明的有益效果：本发明通过构建矩阵模型，能够通过自动化监控对已部署的机器学习模型进行it、性能、业务成效三个层面的监控，从而获得现有模型的健康情况、可靠性和成绩，根据现有的监控结果对模型进行自动重建优化后自动部署上线，能够实现模型的自动监控和自动化更新，从而随着模式使用时间的延长，模型能够自动迭代，从而逐渐提高it层面的活跃度、性能方面的可靠性和业务成效，且节省人工成本，降低工作人员工作强度。
附图说明
14.图1为本发明矩阵模型机制整体过程示意图。
具体实施方式
15.实施例1
16.如图1所示，本发明公开了一种机器学习模型自我学习、评估及更新的方法，采用的技术方案是，包括以下步骤：步骤1，将机器学习模型部署到线上；步骤2，由自动监控模块对机器学习模型整体进行监控；步骤3，根据所述步骤2中获得的机器学习模型的效果输出管理决策；步骤4，根据所述步骤3输出的的管理决策对机器学习模型进行自动重建；步骤5，将重建后的机器学习模型进行自动部署；步骤6，由自动监控模块对重建后的机器学习模型整体进行监控。
17.本实施例以“预测客户是否购买某理财产品”为案例说明矩阵模型的运作机制：1)基于实际需求，构建“预测客户是否购买某理财产品”的响应预测模型，并将模型部署为数据服务，可以提供实时在线和批量两种模型预测服务方式；2)模型部署成功后，矩阵模型(matrix model)开始工作，从it、性能、业务成效三个方面首先开始监控，通过收集和分析相关的数据，展示和存储模型在这三个维度的信息；3)配置模型更新策略，根据模型应用场景配置执行周期为10天；4)根据模型更新策略，分析模型监控的it、性能、业务成效的指标，并做出模型是否需要更新的决策；5)矩阵模型机制根据模型更新策略模块的输出，执行模型更新过程：首先自动化完成训练集、验证集的更新，训练集和验证集的自动化更新主要包括两个过程：数据集合和数据审计，其中数据集合主要是通过数据集成的相关功能和脚本完成，如提取“截止到最近日期的客户购买数据作为训练集”；数据审计主要是通过自动化数据质量的分析，撇弃、修正相关的字段；撇弃的原则是数据质量和数据价值，如空白值过多、与目标值的相关性太小
等都是撇弃的触发原因；数据修正的方法是填充空白值、自动化处理离群值、自动化进行“分类型变量转换为数值型变量”的处理；6)数据准备完成后，执行模型的自动化更新过程；该过程主要是应用自动化建模的工具，完成模型的自动化构建；本专利采用的方式是同时选择20 个算法同时进行模型构建，同时进行超参数的寻优，最终选择三个最好的模型构成“投票”的机制生成最终的模型；7)模型构建完成后，自动化生成模型服务，完成模型的注册、服务发布等过程，进入新的矩阵模型的流程。
18.本发明中，业务成效监控的实施过程中，计算逻辑的配置及计算脚本的编写本领域技术人员可参见教材或相关技术文件获得技术启示，属于现有技术。
19.上述虽然对本发明的具体实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，而不具备创造性劳动的修改或变形仍在本发明的保护范围以内。

技术特征：
1.一种机器学习模型自我学习、评估及更新的方法，其特征在于，包括以下步骤：步骤1，将机器学习模型部署到线上；步骤2，由自动监控模块对机器学习模型整体进行监控；步骤3，根据所述步骤2中获得的机器学习模型的效果输出管理决策；步骤4，根据所述步骤3输出的的管理决策对机器学习模型进行自动重建；步骤5，将重建后的机器学习模型进行自动部署；步骤6，由自动监控模块对重建后的机器学习模型整体进行监控。2.根据权利要求1所述的一种机器学习模型自我学习、评估及更新的方法，其特征在于：所述步骤2中的自动监控模块包括it监控层面、性能监控层面及业务成效监控层面。3.根据权利要求2所述的一种机器学习模型自我学习、评估及更新的方法，其特征在于：所述it监控层面负责监控模型自身参数，包括模型调用次数、模型处理数据量、模型部署后的资源消耗。4.根据权利要求2所述的一种机器学习模型自我学习、评估及更新的方法，其特征在于：所述性能监控层面负责常态化评估模型的性能，包括模型的准确性、精准度、roc、ks。5.根据权利要求2所述的一种机器学习模型自我学习、评估及更新的方法，其特征在于：所述业务监控层面负责模型在实际应用中产生的实际效果。6.根据权利要求1所述的一种机器学习模型自我学习、评估及更新的方法，其特征在于：所述自动监控模块、模型自动重建、模型自动部署组成矩阵模型。7.根据权利要求6所述的一种机器学习模型自我学习、评估及更新的方法，其特征在于：所述矩阵模型包含的部署容器包括python部署容器、tensorflow部署容器、r部署容器、pytroch部署容器。

技术总结
本发明公开了一种机器学习模型自我学习、评估及更新的方法，涉及机器学习领域，旨在提供一种基于模型效果评估进行常态化自动更新的模型，采用的技术方案是，包括以下步骤：步骤1，将机器学习模型部署到线上；步骤2，对机器学习模型整体进行监控；步骤3，机器学习模型的效果输出管理决策；步骤4，对模型进行自动重建；步骤5，将重建后的机器学习模型进行自动部署；步骤6，对重建后的机器学习模型整体进行监控；通过构建矩阵模型，能够通过自动化监控对已部署的机器学习模型进行监控，从而获得现有模型的健康情况、可靠性和成绩，并对模型进行自动重建优化后自动部署上线，能够实现模型的自动化更新，节省人工成本，降低工作人员工作强度。降低工作人员工作强度。降低工作人员工作强度。


技术研发人员：彭鸿涛 王龙
受保护的技术使用者：西安恩耐博人工智能科技有限公司
技术研发日：2022.02.18
技术公布日：2022/5/25