本发明涉及模型训练，更具体的说是涉及一种模型训练部署系统与方法。
背景技术：
1、传统模型训练中，数据收集和整理通常需要大量的人工操作，效率低下且容易出错，尤其是传输大文件时容易因为网络中断造成的文件错误、文件重复；同时，传统的数据标注往往需要大量的人力投入，且标注质量参差不齐，无法很好地协同多个标注员同时进行标注，人工审核繁琐；在模型训练过程中，用户通常需要手动配置训练参数，选择合适的模型，这对普通用户来说具有较高的技术门槛。
2、因此，如何简单的实现数据标注、模型训练与选择以及模型部署是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本发明提供了一种模型训练部署系统与方法，有效地解决了传统模型开发中数据管理繁琐、人工标注效率低、模型训练与选择复杂以及模型部署复杂的问题，为企业和个人开发者的应用提高了便利性和效率。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种模型训练部署系统，包括：数据管理模块、标注审核模块、模型训练模块和模型部署模块；
4、所述数据管理模块，用于导入原始数据，并对所述原始数据进行预处理，得到最终数据；
5、所述标注审核模块，用于基于所述最终数据进行标注，得到初始标注数据，并对所述初始标注数据进行标注质量监控，调整异常标注数据，得到最终标注数据；
6、所述模型训练模块，用于对所述最终标注数据进行并行处理，选择最优优化器、模型结构和最优模型参数，基于所述最优优化器和所述最优模型参数对所述模型结构进行优化，得到新模型结构，基于所述最终标注数据对所述新模型结构进行训练，得到训练好的模型，并对所述模型进行压缩，得到轻量化模型；
7、所述模型部署模块，用于基于轻量化模型评估选择最优模型并进行服务化封装，还用于对模型服务进行声明式定义，调整所述模型服务所需资源，将封装后的模型进行无损发布，并在故障时自动恢复。
8、优选的，所述数据管理模块，包括：数据导入单元、数据处理单元和数据关联单元；
9、所述数据导入单元，用于从不同的数据源批量导入不同形式的数据，并在导入所述数据时进行数据去重处理，处理后导入的数据作为所述原始数据；
10、所述数据处理单元，用于基于所述原始数据进行数据增强，得到增强数据；
11、所述数据关联单元，用于构建统一的数据标签体系，基于所述数据标签体系为所述增强数据关联元数据信息，得到所述最终数据。
12、优选的，所述数据管理模块，还包括：数据存储单元；
13、所述数据存储单元，用于通过分布式文件系统存储所述原始数据和所述最终数据。
14、优选的，所述标注审核模块，包括：自动标注单元、协同标注单元和标注监控单元；
15、所述自动标注单元，用于基于深度学习驱动的半自动标注技术对所述最终数据进行标注，得到粗标注数据；
16、所述协同标注单元，用于将待标注的所述最终数据分发至多个标注员进行协同标注，标注员进行手动标注或者基于所述自动标注单元得到的所述粗标注数据进行标注，整合标注后的数据，得到初始标注数据；
17、所述标注监控单元，用于建立标注质量评价体系，根据所述标注质量评价体系对所述初始标注数据进行自动审核，将有异议的标注数据进行人工复核调整，得到最终标注数据。
18、优选的，所述模型训练模块，包括：计算资源调度单元、优化器确定单元、模型结构确定单元、模型训练单元和模型压缩单元；
19、所述计算资源调度单元，用于依托异构计算集群架构对所述最终标注数据进行并行处理，并通过负载均衡算法和动态资源分配策略实现计算资源平衡；
20、所述优化器确定单元，用于根据模型架构和训练数据特性选择最优优化器，并引入协同训练框架；
21、所述模型结构确定单元，用于基于强化学习、进化算法或贝叶斯优化自动确定所述模型结构，基于超参数调优算法确定所述最优超参数；
22、所述模型训练单元，用于基于所述最优优化器和所述最优模型参数对所述模型结构进行优化，得到新模型结构，基于所述最终标注数据对所述新模型结构进行训练，得到训练好的模型；
23、所述模型压缩单元，用于降低训练数据精度，并对训练好的模型进行压缩处理，得到所述轻量化模型。
24、优选的，所述模型训练模块，还包括：监督学习单元；
25、所述监督学习单元，用于基于少量标注数据、未标注数据或标注不准确数据输入至所述模型进行自我学习和特征表示的深入挖掘。
26、优选的，所述模型训练模块，还包括：训练监控单元；
27、所述训练监控单元，用于实时监测追踪所述模型训练过程中的关键参数的变化，基于所述变化实时调整训练策略。
28、优选的，所述模型部署模块，包括：模型评估封装单元、声明定义单元、资源优化单元和发布与故障恢复单元；
29、所述模型评估封装单元，用于基于所述轻量化模型评估确定最优模型，并将所述最优模型进行服务化封装；
30、所述声明定义单元，用于对接kubernetes集群，通过yaml格式的helm chart或kubernetes原生manifest文件对模型服务进行声明式定义，并以代码形式描述部署目标状态；
31、所述资源优化单元，用于实现模型服务实例的自动扩容和缩容，分配调整模型服务所需各种资源；
32、所述发布与故障恢复单元，用于基于分布策略将封装后的模型进行无损发布，基于检查机制实现新旧模型版本间的平滑切换，并在故障时自动恢复到之前稳定的模型版本。
33、优选的，所述模型部署模块，还包括：模型管理单元和服务注册调整单元；
34、所述模型管理单元，用于定制化kubernetes operator，负责模型服务在所述kubernetes集群内的全生命周期管理，用于模型版本控制和滚动更新；
35、所述服务注册调整单元，用于在模型服务发布后融入服务网格体系，自动进行服务注册与发现，通过智能路由和服务权重调整，确保新模型服务的灰度发布与平滑过渡。
36、一种模型训练部署方法，包括：
37、导入原始数据，并对所述原始数据进行预处理，得到最终数据；
38、基于所述最终数据进行标注，得到初始标注数据，并对所述初始标注数据进行标注质量监控，调整异常标注数据，得到最终标注数据；
39、对所述最终标注数据进行并行处理，选择最优优化器、模型结构和最优模型参数，基于所述最优优化器和所述最优模型参数对所述模型结构进行优化，得到新模型结构，基于所述最终标注数据对所述新模型结构进行训练，得到训练好的模型，并对所述模型进行压缩，得到轻量化模型；
40、基于轻量化模型评估选择最优模型并进行服务化封装，对模型服务进行声明式定义，调整所述模型服务所需资源，将封装后的模型进行无损发布，并在故障时自动恢复。
41、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种模型训练部署系统与方法，具有以下有益效果：
42、1、集成性与便利性：本发明系统一站式服务降低了跨系统操作带来的复杂度，用户无需在不同的工具和环境中切换，节省了时间和精力；从原始数据导入、标注、模型训练到最终模型上线，全过程在一个系统上完成，大大简化了ai项目的实施路径。
43、2、效率提升：本发明数据标注具备自动化和智能化特性，预先使用模型进行粗略标注、提供高效的标注工具和预览功能，有助于提高标注质量和速度；自动化的训练流程，采用最优的训练参数配置和资源调度，减少人工干预，使得模型训练更加高效稳定。
44、3、协同与管理优化：本发明通过多用户协作标注和项目管理功能，便于团队成员分工合作，同时支持标注质量审核和反馈，确保数据集的质量一致性；训练过程透明化，实时监控训练效果，方便开发者迅速调整优化策略，加速模型迭代升级。
45、4、模型性能与服务质量：集成了最佳实践和预设模型模板，结合优化的训练策略，有利于得到高性能的ai模型；快速部署与更新机制，使得模型一旦训练完成即可无缝过渡到实际应用环境，提高产品的上市速度和服务连续性。
46、5、成本节约与资源利用：通过统一的资源管理，合理分配计算资源，减少硬件投资成本，同时避免资源浪费；数据和模型集中管理，易于复用，降低重复标注和训练的成本，促进ai项目的可持续发展。
47、6、本发明系统实现了ai项目开发流程的标准化、自动化和高效化，不仅提升了工作效率和模型性能，还为企业带来了更快的产品迭代周期和更高的投入产出比。
1.一种模型训练部署系统，其特征在于，包括：数据管理模块、标注审核模块、模型训练模块和模型部署模块；
2.根据权利要求1所述的一种模型训练部署系统，其特征在于，所述数据管理模块，包括：数据导入单元、数据处理单元和数据关联单元；
3.根据权利要求2所述的一种模型训练部署系统，其特征在于，所述数据管理模块，还包括：数据存储单元；
4.根据权利要求1所述的一种模型训练部署系统，其特征在于，所述标注审核模块，包括：自动标注单元、协同标注单元和标注监控单元；
5.根据权利要求1所述的一种模型训练部署系统，其特征在于，所述模型训练模块，包括：计算资源调度单元、优化器确定单元、模型结构确定单元、模型训练单元和模型压缩单元；
6.根据权利要求5所述的一种模型训练部署系统，其特征在于，所述模型训练模块，还包括：监督学习单元；
7.根据权利要求5所述的一种模型训练部署系统，其特征在于，所述模型训练模块，还包括：训练监控单元；
8.根据权利要求1所述的一种模型训练部署系统，其特征在于，所述模型部署模块，包括：模型评估封装单元、声明定义单元、资源优化单元和发布与故障恢复单元；
9.根据权利要求8所述的一种模型训练部署系统，其特征在于，所述模型部署模块，还包括：模型管理单元和服务注册调整单元；
10.一种模型训练部署方法，其特征在于，包括：
