分布式缓存键值对架构数据读取方法、装置、设备及介质与流程

    专利查询2025-06-25  12


    本申请涉及信息处理,尤其涉及一种分布式缓存键值对架构数据读取方法、装置、设备及介质。


    背景技术:

    1、当前,随着分布式缓存的普遍应用,通常是将用户数据经过切片,采用键值对的方式将数据存储在缓存节点。

    2、相关技术中,一般来说是由用户通过客户端向缓存节点发起数据请求,缓存节点根据键值对的匹配规则查找出完整的值返还。但是,在实际应用中发现,往往用户仅想提取查找出的完整的值中的部分数据(即不用提取所有数据),则需要客户端对缓存节点返还的数据进行数据处理,读取其中用户实际需要的数据,使得终端需要承担额外的数据处理任务,导致终端的任务较为繁重,此外,还增加了终端和缓存节点之间的数据传输带宽的不必要占用,影响分布式缓存架构的性能。

    3、综上,相关技术中存在的技术问题有待得到改善。


    技术实现思路

    1、本申请实施例提供了一种分布式缓存键值对架构数据读取方法、装置、设备及介质,可以降低终端的数据处理负担,减少不必要的数据带宽占用,提高分布式缓存架构的性能,从而提高用户的使用体验。

    2、一方面,本申请实施例提供了一种分布式缓存键值对架构数据读取方法,应用于缓存节点,包括以下步骤:

    3、接收由终端发送的数据请求;其中,数据请求包括数据处理需求以及与用户所请求的数据相匹配的键;

    4、根据键,确定与键相对应的值作为待处理数据;

    5、根据数据处理需求,确定与数据处理需求相匹配的插件;

    6、通过插件,从待处理数据中读取得到目标数据;其中,目标数据为待处理数据中目标范围内的数据;

    7、将目标数据发送至终端。

    8、可选地,在接收由终端发送的数据请求之前,方法还包括:

    9、接收由终端上的注册接口发送的注册插件信息;其中,注册插件信息包括所有已在终端上的注册接口进行注册的插件;

    10、根据注册插件信息,注册并预加载所有已在终端上的注册接口进行注册的插件。

    11、可选地,插件包括裁剪子插件、拼接子插件、压缩子插件以及自定义子插件。

    12、可选地,根据键,确定与键相对应的值作为待处理数据,包括:

    13、检索缓存节点内已缓存的所有键值对信息;

    14、当所有键值对信息中匹配有与键相关的键值对信息时,读取键值对信息中的值作为与键相对应的待处理数据。

    15、可选地,方法还包括:

    16、当所有键值对信息中未匹配有与键相关的键值对信息时,将键发送至底层存储系统,以供底层存储系统基于键查找对应的值;

    17、接收由底层存储系统发送的值作为待处理数据。

    18、可选地,在接收由底层存储系统发送的值作为待处理数据之后,方法还包括:

    19、将键与底层存储系统发送的值组合为一组键值对信息;

    20、将一组键值对信息缓存在缓存节点内。

    21、可选地,底层存储系统为ceph分布式存储系统。

    22、另一方面,本申请实施例提供了一种分布式缓存键值对架构数据读取方法,应用于终端,包括:

    23、响应于触发的数据请求指令,生成数据请求;

    24、发送数据请求至缓存节点;其中,数据请求包括数据处理需求以及与用户所请求的数据相匹配的键;

    25、接收由缓存节点返还的目标数据;其中,目标数据为缓存节点通过插件从待处理数据中读取得到;插件为缓存节点根据数据处理需求确定得到;待处理数据为缓存节点根据键确定得到。

    26、可选地,在响应于用户触发的数据请求指令,生成数据请求之前,方法还包括:

    27、响应于用户触发的插件注册指令,在注册接口注册插件;

    28、基于所有已在注册接口进行注册的插件,生成注册插件信息并发送至缓存节点。

    29、可选地,插件包括裁剪子插件、拼接子插件、压缩子插件以及自定义子插件。

    30、可选地,方法还包括:

    31、响应于触发的插件更新指令,更新插件。

    32、另一方面,本申请实施例提供了一种分布式缓存键值对架构数据读取装置,装置包括:

    33、请求接收单元,用于接收由终端发送的数据请求;其中,数据请求包括数据处理需求以及与用户所请求的数据相匹配的键;

    34、数据确定单元,用于根据键,确定与键相对应的值作为待处理数据;

    35、插件确定单元,用于根据数据处理需求,确定与数据处理需求相匹配的插件;

    36、数据读取单元,用于通过插件,从待处理数据中读取得到目标数据;其中,目标数据为待处理数据中目标范围内的数据;

    37、数据发送单元,用于将目标数据发送至终端。

    38、另一方面,本申请实施例提供了一种分布式缓存键值对架构数据读取装置,装置包括:

    39、请求生成单元,用于响应于触发的数据请求指令,生成数据请求;

    40、请求发送单元,用于发送数据请求至缓存节点;其中,数据请求包括数据处理需求以及与用户所请求的数据相匹配的键;

    41、数据接收单元,用于接收由缓存节点返回的目标数据;其中,目标数据为缓存节点通过插件从待处理数据中读取得到;插件为所述缓存节点根据数据处理需求确定得到;待处理数据为缓存节点根据键确定得到;

    42、另一方面,本申请实施例提供了一种电子设备,电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述分布式缓存键值对架构数据读取方法。

    43、另一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述分布式缓存键值对架构数据读取方法。

    44、本申请实施例利用装载于缓存节点处的插件,对通过键值对查找得到的数据按照目标范围进行读取,从而能够直接返回用户所需的实际数据内容,可以降低终端的数据处理负担,减少不必要的数据带宽占用,提高分布式缓存架构的性能,从而提高用户的使用体验。



    技术特征:

    1.一种分布式缓存键值对架构数据读取方法,其特征在于,所述方法包括以下步骤:

    2.根据权利要求1所述的分布式缓存键值对架构数据读取方法,其特征在于,在所述接收由终端发送的数据请求之前,所述方法还包括:

    3.根据权利要求2所述的分布式缓存键值对架构数据读取方法,其特征在于,所述插件包括裁剪子插件、拼接子插件、压缩子插件以及自定义子插件。

    4.根据权利要求1所述的分布式缓存键值对架构数据读取方法,其特征在于,所述根据所述键,确定与所述键相对应的值作为待处理数据,包括:

    5.根据权利要求4所述的分布式缓存键值对架构数据读取方法,其特征在于,所述方法还包括:

    6.根据权利要求5所述的分布式缓存键值对架构数据读取方法,其特征在于,在所述接收由所述底层存储系统发送的所述值作为所述待处理数据之后,所述方法还包括:

    7.根据权利要求5所述的分布式缓存键值对架构数据读取方法,其特征在于,所述底层存储系统为ceph分布式存储系统。

    8.一种分布式缓存键值对架构数据读取方法,其特征在于,所述方法包括:

    9.根据权利要求8所述的分布式缓存键值对架构数据读取方法,其特征在于,在所述响应于用户触发的数据请求指令,生成数据请求之前,所述方法还包括:

    10.根据权利要求9所述的分布式缓存键值对架构数据读取方法,所述插件包括裁剪子插件、拼接子插件、压缩子插件以及自定义子插件。

    11.根据权利要求8所述的分布式缓存键值对架构数据读取方法,其特征在于,所述方法还包括:

    12.一种分布式缓存键值对架构数据读取装置,其特征在于,所述装置包括:

    13.一种分布式缓存键值对架构数据读取装置,其特征在于,所述装置包括:

    14.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至11任一项所述的分布式缓存键值对架构数据读取方法。

    15.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的分布式缓存键值对架构数据读取方法。


    技术总结
    本申请公开了一种分布式缓存键值对架构数据读取方法、装置、设备及介质,属于信息处理技术领域,该方法包括:接收由终端发送的数据请求;其中,数据请求包括数据处理需求以及与用户所请求的数据相匹配的键;根据键,确定与键相对应的值作为待处理数据;根据数据处理需求,确定与数据处理需求相匹配的插件;通过插件,从待处理数据中读取得到目标数据;将目标数据发送至终端。本申请利用装载于缓存节点处的插件,对通过键值对查找得到的数据按照目标范围进行读取,从而能够直接返回用户所需的实际数据内容,可以降低终端的数据处理负担,减少不必要的数据带宽占用,提高分布式缓存架构的性能,从而提高用户的使用体验。

    技术研发人员:阮宜龙,秦凯悦,陈梦,谭常志
    受保护的技术使用者:中电信人工智能科技(北京)有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-29793.html

    最新回复(0)