Ceph分布式存储方法、装置、电子设备及存储介质与流程

    专利查询2026-02-11  22


    本发明涉及分布式存储,特别是涉及一种ceph分布式存储方法、装置、电子设备及存储介质。


    背景技术:

    1、分布式存储技术主要分为两类,一类是有中心架构的分布式文件系统架构,另一类是完全无中心的分布式存储架构。其中,有中心架构的分布式文件系统架构以gfs(分布式数据系统)、hdfs(hadoop distributed file system,分布式文件管理系统)为代表,而完全无中心的分布式存储架构则以ceph(开源分布式存储系统)、swift(开源编程语言)、glusterfs(分布式文件系统)为代表。

    2、ceph在存储每一个数据时,都会通过计算得出该数据存储的位置,尽量将数据分布均衡。同时,由于采用了crush(伪随机的数据分发功能)、hash(哈希)等算法,使得它不存在传统的单点故障,且随着规模的扩大,性能并不会受到影响。当存储磁盘出现坏道等严重故障时,存储系统的存储能力及性能都会出现相应的下降情况。故障盘被剔除集群后,集群内pg map(pg集群索引)会重新计算,集群数据会再次平衡,涉及数据的重新分布。新购买磁盘设备加入集群后又需要再次更新pg map,重新平衡恢复数据,集群的数据平衡io(输入输出流)会对client(客户端)的io造成影响,从而影响到集群的业务io,对分布式存储的总耗时及性能都会造成较大的影响。

    3、因此,现有的分布式存储方法在新存储设备加入时需要重新平衡数据,对存储集群的io造成影响,导致分布式存储的耗时较长,存储效率较低,并在一定程度上降低了分布式存储的性能。


    技术实现思路

    1、基于此,有必要针对上述技术问题,提供一种能够在加入新存储设备时保障分布式存储效率以及存储性能的ceph分布式存储方法、装置、电子设备及存储介质。

    2、本发明提供了一种ceph分布式存储方法,所述方法包括:

    3、创建集群处理并读取配置文件,向监视器发送连接请求,所述监视器响应于所述连接请求与客户端建立连接通道;

    4、向热备非易失性存储器标准的第一对象存储设备发送io读写请求,所述第一对象存储设备响应于所述io读写请求与所述客户端建立读写通道;

    5、通过所述读写通道将输出字节流写入副本节点,以及通过所述读写通道根据热备时间点从主节点或从节点读取输入字节流,所述热备时间点为切换所述第一对象存储设备作为临时主节点的时间点;

    6、当第二对象存储设备加入集群后,所述第一对象存储设备将存储数据反向同步至所述第二对象存储设备,并在数据同步完成后格式化清空所述存储数据,并由所述第二对象存储设备作为主节点。

    7、在其中一个实施例中,所述向热备非易失性存储器标准的第一对象存储设备发送io读写请求,所述第一对象存储设备响应于所述io读写请求与所述客户端建立读写通道,之前包括:

    8、当原主节点发生故障时,调出所述原主节点中的集群pg数据,并向所述监视器发送临时接管请求,所述监视器响应于所述临时接管请求将所述集群pg数据同步至所述第一对象存储设备;

    9、所述第一对象存储设备收到所述集群pg数据后作为所述临时主节点,以替换所述原主节点,并接收来自从节点的数据同步。

    10、在其中一个实施例中,所述io读写请求包括输入流请求和输出流请求;所述向热备非易失性存储器标准的第一对象存储设备发送io读写请求,所述第一对象存储设备响应于所述io读写请求与所述客户端建立读写通道,之后包括:

    11、向所述第一对象存储设备发送所述输出流请求,所述第一对象存储设备收到所述输出流请求后,将所述输出流请求中携带的字节流写入第所述副本节点;

    12、向所述第一对象存储设备发送所述输入流请求,所述第一对象存储设备收到所述输入流请求后根据热备时间点从主节点或从节点读取数据;

    13、其中,所述副本节点、主节点以及从节点均为对象存储设备。

    14、在其中一个实施例中,所述通过所述读写通道将输出字节流写入副本节点,以及通过所述读写通道根据热备时间点从主节点或从节点读取输入字节流,包括:

    15、根据所述热备时间点判断所述第一对象存储设备响应于所述输入流请求是否从所述主节点读取第一目标数据;若是,则

    16、优先从所述主节点读取所述第一目标数据,并在所述主节点中不存在所述第一目标数据时,从所述从节点读取所述第一目标数据;若否,则

    17、从所述从节点读取所述第一目标数据;

    18、其中,所述主节点包括临时主节点、故障前的原主节点以及作为主节点后的所述第二对象存储设备。

    19、在其中一个实施例中,所述方法还包括:

    20、根据所述热备时间点判断所述第一对象存储设备响应于所述输入流请求是否从所述从节点读取第二目标数据;若是,则

    21、优先从所述从节点读取所述第二目标数据,并在所述从节点中不存在所述第二目标数据时,从所述主节点中读取所述第二目标数据;若否,则

    22、从所述主节点中读取所述第二目标数据;

    23、其中,所述主节点包括临时主节点、故障前的原主节点以及作为主节点后的所述第二对象存储设备。

    24、在其中一个实施例中,所述当第二对象存储设备加入集群后,所述第一对象存储设备将存储数据反向同步至所述第二对象存储设备,并在数据同步完成后格式化清空所述存储数据,并由所述第二对象存储设备作为主节点,包括:

    25、当所述第二对象存储设备加入集群后,将所述临时主节点的数据同步至所述第二对象存储设备,以及将从节点中的数据同步至所述第二对象存储设备;

    26、在所述临时主节点的数据同步至所述第二对象存储设备后,退出所述临时主节点的服务并清空所述临时主节点中的存储数据,以所述第二对象存储设备替换所述临时主节点作为主节点。

    27、在其中一个实施例中,所述方法还包括:

    28、当所述第二对象存储设备替换所述临时主节点作为主节点后,接收来自所述客户端的io读写请求,并响应于所述io读写请求与所述客户端建立读写通道;

    29、通过所述读写通道将所述io读写请求中携带的输出字节流写入副本节点,以及通过所述读写通道根据热备时间点从主节点或从节点读取所述io读写请求中标定的输入字节流,并将所述输入字节流存储至所述第二对象存储设备。

    30、本发明还提供了一种ceph分布式存储装置,所述装置包括:

    31、连接请求模块,用于创建集群处理并读取配置文件,向监视器发送连接请求,所述监视器响应于所述连接请求与客户端建立连接通道;

    32、读写请求模块,用于向热备非易失性存储器标准的第一对象存储设备发送io读写请求,所述第一对象存储设备响应于所述io读写请求与所述客户端建立读写通道;

    33、数据读写模块,用于通过所述读写通道将输出字节流写入副本节点,以及通过所述读写通道根据热备时间点从主节点或从节点读取输入字节流,所述热备时间点为切换所述第一对象存储设备作为临时主节点的时间点;

    34、主节点切换模块,用于当第二对象存储设备加入集群后,所述第一对象存储设备将存储数据反向同步至所述第二对象存储设备,并在数据同步完成后格式化清空所述存储数据,并由所述第二对象存储设备作为主节点。

    35、本发明还提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述的ceph分布式存储方法。

    36、本发明还提供了一种计算机存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的ceph分布式存储方法。

    37、本发明还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的ceph分布式存储方法。

    38、上述ceph分布式存储方法、装置、电子设备及存储介质,客户端通过创建集群处理并读取配置文件,向监视器发送连接请求,监视器响应于该连接请求与客户端建立连接通道,随后向热备非易失性存储器标准的对象存储设备发送io读写请求,该对象存储设备响应于io读写请求与客户端建立读写通道。然后,通过该读写通道将输出字节流写入副本节点,以及通过读写通道根据热备时间点从主节点或从节点读取输入字节流,热备时间点为切换热备非易失性存储器标准的对象存储设备作为临时主节点的时间点。另外,当新的对象存储设备加入集群后,热备非易失性存储器标准的对象存储设备将存储数据反向同步至该新的对象存储设备,并在数据同步完成后格式化清空存储数据,并由该新的对象存储设备作为主节点。该方法通过ceph热备服务能够在较短的时间内完成故障服务接管,保证集群状态稳定且不损失和降低集群分布式存储性能,在加入新存储设备时也能够保障分布式存储效率。另外,通过设备服务的创建,可以有效的管理热备服务的规模,从而控制备用存储设备的浪费情况。


    技术特征:

    1.一种ceph分布式存储方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的ceph分布式存储方法,其特征在于,所述向热备非易失性存储器标准的第一对象存储设备发送io读写请求,所述第一对象存储设备响应于所述io读写请求与所述客户端建立读写通道,之前包括:

    3.根据权利要求2所述的ceph分布式存储方法,其特征在于,所述io读写请求包括输入流请求和输出流请求;所述向热备非易失性存储器标准的第一对象存储设备发送io读写请求,所述第一对象存储设备响应于所述io读写请求与所述客户端建立读写通道,之后包括:

    4.根据权利要求3所述的ceph分布式存储方法,其特征在于,所述通过所述读写通道将输出字节流写入副本节点,以及通过所述读写通道根据热备时间点从主节点或从节点读取输入字节流,包括:

    5.根据权利要求4所述的ceph分布式存储方法,其特征在于,所述方法还包括:

    6.根据权利要求1所述的ceph分布式存储方法,其特征在于,所述当第二对象存储设备加入集群后,所述第一对象存储设备将存储数据反向同步至所述第二对象存储设备,并在数据同步完成后格式化清空所述存储数据,并由所述第二对象存储设备作为主节点,包括:

    7.根据权利要求6所述的ceph分布式存储方法,其特征在于,所述方法还包括:

    8.一种ceph分布式存储装置,其特征在于,所述装置包括:

    9.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

    10.一种计算机存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。


    技术总结
    本发明涉及Ceph分布式存储方法、装置、电子设备及存储介质,该方法包括:创建集群处理并读取配置文件,向监视器发送连接请求,监视器响应于连接请求与客户端建立连接通道。向热备非易失性存储器标准的第一对象存储设备发送IO读写请求,第一对象存储设备响应于IO读写请求与客户端建立读写通道。通过读写通道将输出字节流写入副本节点,以及通过读写通道根据热备时间点从主节点或从节点读取输入字节流,热备时间点为切换第一对象存储设备作为临时主节点的时间点。当第二对象存储设备加入集群后,第一对象存储设备将存储数据反向同步至第二对象存储设备,并在数据同步完成后格式化清空存储数据,并由第二对象存储设备作为主节点。

    技术研发人员:吴忠友
    受保护的技术使用者:联通在线信息科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-34189.html

    最新回复(0)