数据处理方法、装置、存储介质及电子设备与流程

    专利查询2026-06-28  15


    本公开涉及计算机,尤其涉及一种数据处理方法、装置、存储介质及电子设备。


    背景技术:

    1、随着互联网、物联网的快速发展,众多公司已经积累了海量的数据。数据的价值也在多个领域体现,比如广告投放、用户推荐、风控等业务。它们都依赖于对数据的分析来提升业务效果。而click house凭借着其优秀的性能受到了业界的广泛青睐。目前数据写入click house主要是依赖官方提供的写入方法,其实现原理为,客户端连接click house的代理服务器,并在和获取数据后,通过代理服务器将数据写入到代理click house。

    2、现有技术中,客户端连接click house的代理服务器,将获取的数据由代理服务器转发将数据写入click house的模式,在数据写入的链路中,引入了代理服务器。当写入数据的数据量大时,会导致click house代理服务器的负载过大,进而引发单点故障;另外,数据经过代理服务器转发才能够真正写入click house,使得数据写入的链路加长,数据写入效率降低。因此,采用目前的方式向click house写入数据时,无法完成大数据量的快速写入,影响了click house在大数据场景下的进一步应用。

    3、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


    技术实现思路

    1、本公开的目的在于提供一种数据处理方法、数据处理装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

    2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。

    3、根据本公开的第一方面,提供一种数据处理方法,包括:

    4、获取用户的数据写入指令,所述数据写入指令包括第一标识信息以及第二标识信息;

    5、根据所述第一标识信息从目标设备获取待处理数据;

    6、根据所述第二标识信息将所述待处理数据写入目标数据库,所述目标数据库为数据库集群中的任一数据库。

    7、在本公开的一种示例性实施例中,所述数据写入指令还包括数据写入频率以及数据写入速率,所述根据所述第二标识信息将所述待处理数据写入目标数据库包括:

    8、根据所述第二标识信息确定所述目标数据库;

    9、确定与所述数据写入频率对应的数据写入间隔时长;

    10、每隔所述数据写入间隔时长,按照所述数据写入速率将所述待处理数据写入所述目标数据库。

    11、在本公开的一种示例性实施例中,所述确定与所述数据写入频率对应的数据写入间隔时长包括:

    12、确定所述数据写入频率/数据写入速率是否小于或者等于预设频率阈值/预设速率阈值;

    13、若是,则确定与所述数据写入频率对应的数据写入间隔时长。

    14、在本公开的一种示例性实施例中,所述根据所述第二标识信息将所述待处理数据写入目标数据库包括:

    15、根据所述第二标识信息获取所述目标数据库中所包含的分区的第一数量;

    16、将所述待处理数据进行划分,得到多份分区数据,并生成各所述分区数据的第一序号;

    17、根据所述第一序号以及所述第一数量确定所述分区数据待写入至的目标分区的第二序号;

    18、根据所述第二序号将所述分区数据写入至所述目标分区。

    19、在本公开的一种示例性实施例中,所述方法还包括:

    20、确定所述目标分区中副分区的第二数量;

    21、根据所述第二数量将所述分区数据进行划分,得到多份子数据;

    22、将各所述子数据分别写入所述目标分区的主分区以及所述副分区中。

    23、在本公开的一种示例性实施例中,所述方法还包括:

    24、若确定所述主分区/所述副分区中出现数据丢失,则将所述主分区/所述副分区对应的所述子数据写入所述副分区/所述主分区中。

    25、在本公开的一种示例性实施例中,所述分区数据还包括唯一性标识,所述方法还包括:

    26、确定存在相同的唯一性标识的第一分区;

    27、将所述第一分区中第二分区中的分区数据进行保留,并将除所述第一分区中除所述第二分区外的其他分区中的分区数据删除。

    28、在本公开的一种示例性实施例中,所述方法还包括:

    29、若确定满足数据写入异常判断条件,则向用户发送异常提示信息,所述数据写入异常判断条件包括以下中的至少一种:

    30、所述待处理数据的结束写入时间戳和所述待处理数据的开始写入时间戳的差值大于或者等于预设时长、所述目标数据库中分区数据的总数量与所述待处理数据的数据量的比值小于第一预设阈值以及所述目标数据库中的分区数据的空值率大于或者等于第二预设阈值。

    31、在本公开的一种示例性实施例中,所述根据所述第一标识信息从目标设备获取所述待处理数据包括:

    32、根据所述第一标识信息建立与所述目标设备的hcp连接;

    33、若与所述目标设备的hcp连接建立成功,则从所述目标设备获取所述待处理数据。

    34、在本公开的一种示例性实施例中,所述根据所述第二标识信息将所述待处理数据写入目标数据库包括:

    35、根据所述第二标识信息建立与所述目标数据库的hcp连接;

    36、若与所述目标数据库的hcp连接建立成功,则将待处理数据写入所述目标数据库中。

    37、根据本公开的第二方面,提供一种数据处理装置,包括:

    38、数据写入指令获取模块,用于获取用户的数据写入指令,所述数据写入指令包括第一标识信息以及第二标识信息;

    39、待处理数据获取模块,用于根据所述第一标识信息从目标设备获取待处理数据;

    40、待处理数据写入模块,用于根据所述第二标识信息将所述待处理数据写入目标数据库,所述目标数据库为数据库集群中的任一数据库。

    41、根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时第一方面中任一项所述方法的步骤。

    42、根据本公开的第四方面,提供一种电子设备,包括:

    43、处理器;以及

    44、存储器,用于存储所述处理器的可执行指令;

    45、其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述方法的步骤。

    46、本公开的实施例提供的技术方案可以包括以下有益效果:

    47、综上所述,本公开提供的方法,通过获取用户的数据写入指令,所述数据写入指令包括待处理数据所在的目标设备的第一标识信息以及所述待处理数据待写入至的目标数据库的第二标识信息;根据所述第一标识信息从所述目标设备获取所述待处理数据;将所述待处理数据写入所述目标数据库。

    48、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。


    技术特征:

    1.一种数据处理方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,所述数据写入指令还包括数据写入频率以及数据写入速率,所述根据所述第二标识信息将所述待处理数据写入目标数据库包括:

    3.根据权利要求2所述的方法,其特征在于,所述确定与所述数据写入频率对应的数据写入间隔时长包括:

    4.根据权利要求1所述的方法,其特征在于,所述根据所述第二标识信息将所述待处理数据写入目标数据库包括:

    5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

    6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

    7.根据权利要求4所述的方法,其特征在于,所述分区数据还包括唯一性标识,所述方法还包括:

    8.根据权利要求4所述的方法,其特征在于,所述方法还包括:

    9.根据权利要求1所述的方法,其特征在于,所述根据所述第一标识信息从目标设备获取所述待处理数据包括:

    10.根据权利要求1所述的方法,其特征在于,所述根据所述第二标识信息将所述待处理数据写入目标数据库包括:

    11.一种数据处理装置,其特征在于,包括:

    12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至10任一项所述方法的步骤。

    13.一种电子设备,其特征在于,包括:


    技术总结
    本公开涉及计算机技术领域,具体涉及一种数据处理方法、数据处理装置、存储介质及电子设备,该数据处理方法包括:获取用户的数据写入指令,所述数据写入指令包括第一标识信息以及第二标识信息;根据所述第一标识信息从目标设备获取所述待处理数据;根据所述第二标识信息将所述待处理数据写入目标数据库,所述目标数据库为数据库集群中的任一数据库。本公开能够提高数据写入效率。

    技术研发人员:杨杰,吴骏宇,邬幸宇
    受保护的技术使用者:北京沃东天骏信息技术有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-36539.html

    最新回复(0)