本发明涉及存储系统领域，具体涉及一种分布式存储一体机系统数据迁移时间预估方法、系统、设备及介质。
背景技术：
1、随着云计算和大数据技术的快速发展，基于ceph的分布式存储一体机在数据中心、云计算平台等领域得到了广泛应用。ceph集群的扩容迁移是保障其高性能、高可用性的重要手段之一。然而，在实际应用中，ceph集群的扩容迁移过程往往面临着诸多挑战，如数据量大、硬件配置复杂、迁移任务多样化等，导致迁移时间难以准确预估。目前，业界对于ceph扩容迁移时间的预估主要依靠经验估算或简单模型预测，这些方法往往精度较低，无法满足实际需求。同时，由于ceph集群的特性和环境的复杂性，一些传统的性能预测方法如线性回归、支持向量机等也难以适用。因此，如何准确预估ceph扩容迁移时间，以优化资源调度和降低业务影响，成为了一个亟待解决的问题。
2、此外，现有的ceph集群管理工具和监控系统虽然可以对集群的状态和性能进行实时监测，如剩余对象数量等，但是它们往往缺乏对扩容迁移时间的预测功能，无法为管理员提供及时的决策支持。因此，如何相对准确的预估ceph扩容迁移时间具有重要的实用价值和理论意义。
技术实现思路
1、针对现有技术中ceph集群扩容迁移时间预估精度低、无法满足实际需求的问题，本发明提出了一种分布式存储一体机系统数据迁移时间预估方法、系统、设备及介质。
2、为实现上述目的，本发明提供的技术方案是：
3、本申请的第一方面提供了一种分布式存储一体机系统数据迁移时间预估方法，包括以下步骤：
4、收集ceph集群历史迁移数据；
5、对收集到的ceph集群历史迁移数据进行预处理；
6、利用机器学习算法对进行预处理后的数据进行训练和学习，构建适用于ceph集群扩容迁移的数据迁移时间预测模型；
7、采用所构建的数据迁移时间预测模型对迁移任务的迁移时间进行预测。
8、为优化上述技术方案，采取的具体措施还包括：
9、所述的ceph集群历史迁移数据包括以下至少一种：集群规模、硬件类型、迁移任务类型、迁移数据量。
10、进一步地，所述的对收集到的历史迁移数据进行预处理包括以下至少一种：数据清洗、特征提取、数据转换。
11、所述的机器学习算法以进行预处理后的数据作为特征数据输入，以ceph集群迁移时间作为目标变量；进行预处理后的数据包括以下至少一种：ceph集群迁移历史数据的硬件平台类型、数据冗余策略、扩容前集群的对象数量、扩容后的osd总数量、扩容的osd数量。
12、进一步地，所述的硬件平台类型和数据冗余策略通过独热编码转化为机器学习算法可处理的格式。
13、所述的机器学习算法采用决策树模型算法。
14、进一步地，通过计算均方误差和决定系数评估数据迁移时间预测模型的性能。
15、本申请的第二方面提供了一种分布式存储一体机系统数据迁移时间预估系统，包括：
16、数据采集单元，用于收集ceph集群历史迁移数据；
17、数据处理单元，用于对收集到的ceph集群历史迁移数据进行预处理；
18、数据迁移时间预测模型，用于利用机器学习算法对进行预处理后的数据进行训练和学习，构建适用于ceph集群扩容迁移的数据迁移时间预测模型；
19、迁移时间预估单元，用于采用所构建的数据迁移时间预测模型对迁移任务的迁移时间进行预测。
20、本申请的第三方面提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如上所述的分布式存储一体机系统数据迁移时间预估方法。
21、本申请的第四方面提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如上所述的分布式存储一体机系统数据迁移时间预估方法。
22、与现有技术相比，本发明的有益效果是：
23、本发明能够从历史迁移数据中学习和提取规律，实现对存储集群扩容迁移时间相对精准的预测。相较于传统基于经验的预测方法，本发明的预测精度大大提高。同时由于机器学习算法的特性，本发明能够持续地从新的迁移任务中学习和优化模型，随着集群环境和数据量的变化，模型能够自适应地进行调整，始终保持相对准确的预测精度。
24、本发明的迁移时间预估方法相对准确、实时，能够帮助管理员优化资源调度，降低业务影响，提高存储集群的高性能和高可用性。
1.一种分布式存储一体机系统数据迁移时间预估方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的分布式存储一体机系统数据迁移时间预估方法，其特征在于：所述的ceph集群历史迁移数据包括以下至少一种：集群规模、硬件类型、迁移任务类型、迁移数据量。
3.根据权利要求1所述的分布式存储一体机系统数据迁移时间预估方法，其特征在于：所述的对收集到的历史迁移数据进行预处理包括以下至少一种：数据清洗、特征提取、数据转换。
4.根据权利要求1所述的分布式存储一体机系统数据迁移时间预估方法，其特征在于：所述的机器学习算法以进行预处理后的数据作为特征数据输入，以ceph集群迁移时间作为目标变量；进行预处理后的数据包括以下至少一种：ceph集群迁移历史数据的硬件平台类型、数据冗余策略、扩容前集群的对象数量、扩容后的osd总数量、扩容的osd数量。
5.根据权利要求4所述的分布式存储一体机系统数据迁移时间预估方法，其特征在于：所述的硬件平台类型和数据冗余策略通过独热编码转化为机器学习算法可处理的格式。
6.根据权利要求1所述的分布式存储一体机系统数据迁移时间预估方法，其特征在于：所述的机器学习算法采用决策树模型算法。
7.根据权利要求1所述的分布式存储一体机系统数据迁移时间预估方法，其特征在于：通过计算均方误差和决定系数评估数据迁移时间预测模型的性能。
8.一种分布式存储一体机系统数据迁移时间预估系统，其特征在于，包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时，实现如权利要求1-7任一项所述的分布式存储一体机系统数据迁移时间预估方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序使计算机执行如权利要求1-7任一项所述的分布式存储一体机系统数据迁移时间预估方法。
