数据资产管理方法、系统、电子设备及存储介质与流程

1.本发明涉及数据管理技术领域，特别涉及一种数据资产管理方法、系统、电子设备及存储介质。


背景技术：

2.数据资产是指由个人或企业拥有或者控制的，能够为企业带来未来利益的，以物理或电子的方式记录的数据资源。随着数据大爆炸时代的到来，需要对数据进行集中有效的管理，数据资产管理平台应运而生。然而目前对于数据资产的管理面临诸多挑战，比如，无法精细化控制使用方获取数据资产的速度，当使用方突然大量地获取数据资产时，容易导致数据资产管理平台瘫痪，引发严重的后果，而直接整体限流会导致诸多问题，也会引起数据使用方的不满。


技术实现要素：

3.本发明要解决的技术问题是为了克服现有技术中数据资产管理平台无法精细限流的缺陷，提供一种数据资产管理方法、系统、电子设备及存储介质。
4.本发明是通过下述技术方案来解决上述技术问题：
5.根据本发明的第一方面，提供一种数据资产管理方法，包括以下步骤：
6.接收使用方对目标数据资产的获取请求；
7.查询与所述获取请求对应的qps上限阈值；
8.获取所述使用方请求所述目标数据资产的qps，其中，所述qps用于表征过去一秒内的请求次数；
9.判断所述qps是否大于所述qps上限阈值，若是，则输出第一提示消息，所述第一提示消息用于表征拒绝所述获取请求；若否，则返回所述目标数据资产至所述使用方。
10.较佳地，所述获取请求包括使用方信息和目标数据资产信息，所述查询与所述获取请求对应的qps上限阈值的步骤包括：
11.判断是否存在与所述获取请求对应的qps上限阈值，若否，输出第二提示消息，所述第二提示消息用于表征所述获取请求没有得到授权；若是，则获取与所述使用方信息和/或所述目标数据资产信息对应的qps上限阈值；
12.和/或，所述返回所述目标数据资产至所述使用方的步骤包括：
13.查询与所述目标数据资产对应的至少一种存储介质；
14.获取使用方的耗时等级；
15.从所述存储介质中筛选与所述耗时等级对应的目标存储介质；
16.从所述目标存储介质中获取所述目标数据资产并发送至所述使用方。
17.较佳地，所述接收使用方对目标数据资产的获取请求的步骤之前还包括：
18.接收生产方对目标数据资产的配置请求，所述配置请求包括数据资产有效期、存储介质和生产方式；
19.对所述生产方配置的所述目标数据资产进行审核，若审核通过，则接收所述生产方基于所述生产方式生产的所述目标数据资产，然后基于所述存储介质对所述目标数据资产进行处理和存储；
20.接收使用方对目标数据资产的使用权限申请请求，所述使用权限申请请求包括使用权限有效期和耗时等级；
21.对所述使用权限申请请求进行审核，若审核通过，则分配与所述使用权限对应的qps上限阈值。
22.较佳地，所述数据资产管理方法还包括：
23.定期统计数据资产的数据量和历史使用记录；
24.根据所述历史使用记录和所述数据量调整所述数据资产对应的存储介质；
25.监控所述数据资产有效期，并自动删除超出所述数据资产有效期的数据资产；
26.监控所述使用权限有效期，并自动取消超过所述使用权限有效期的使用权限。
27.根据本发明的第二方面，提供一种数据资产管理系统，所述数据资产管理系统包括第一接收模块、查询模块、获取模块、判断模块、输出模块和响应模块：
28.所述第一接收模块用于接收使用方对目标数据资产的获取请求；
29.所述查询模块用于查询与所述获取请求对应的qps上限阈值；
30.所述获取模块用于获取所述使用方请求所述目标数据资产的qps，其中，所述qps用于表征过去一秒内的请求次数；
31.所述判断模块用于判断所述qps是否大于所述qps上限阈值，若是，则调用所述输出模块；若否，则调用所述响应模块；
32.所述输出模块用于输出第一提示消息，所述第一提示消息用于表征拒绝所述获取请求；
33.所述响应模块用于返回所述目标数据资产至所述使用方。
34.较佳地，所述获取请求包括使用方信息和目标数据资产信息，所述查询模块包括判断单元、输出单元和第一获取单元：
35.所述判断单元用于判断是否存在与所述获取请求对应的qps上限阈值，若否，调用所述输出单元；若是，则调用所述第一获取单元；
36.所述输出单元用于输出第二提示消息，所述第二提示消息用于表征所述获取请求没有得到授权；
37.所述第一获取单元用于获取与所述使用方信息和/或所述目标数据资产信息对应的qps上限阈值；
38.和/或，所述响应模块包括查询单元、第二获取单元、筛选单元和第三获取单元：
39.所述查询单元用于查询与所述目标数据资产对应的至少一个存储介质；
40.所述第二获取单元用于获取使用方的耗时等级；
41.所述筛选单元用于从所述存储介质中筛选与所述耗时等级对应的目标存储介质；
42.所述第三获取单元用于从所述目标存储介质中获取所述目标数据资产并发送至所述使用方。
43.较佳地，所述数据资产管理系统还包括第二接收模块、第一审核模块、上传模块、第三接收模块、处理模块、第四接收模块、第二审核模块和分配模块：
44.所述第二接收模块用于接收生产方对目标数据资产的配置请求，所述配置请求包括数据资产有效期、存储介质和生产方式；
45.所述第一审核模块用于对所述生产方配置的所述目标数据资产进行审核，若审核通过，则调用所述第三接收模块，然后调用所述处理模块；
46.所述第三接收模块用于接收所述生产方基于所述生产方式生产的所述目标数据资产；
47.所述处理模块用于基于所述存储介质对所述目标数据资产进行处理和存储；
48.所述第四接收模块用于接收使用方对目标数据资产的使用权限申请请求，所述使用权限申请请求包括使用权限有效期和耗时等级；
49.所述第二审核模块用于对所述使用权限申请请求进行审核，若审核通过，则调用分配模块；
50.所述分配模块用于分配与所述使用权限对应的qps上限阈值。
51.较佳地，所述数据资产管理系统还包括统计模块、调整模块、第一监控模块和第二监控模块：
52.所述统计模块用于定期统计数据资产的数据量和历史使用记录；
53.所述调整模块用于根据所述历史使用记录和所述数据量调整所述数据资产对应的存储介质；
54.所述第一监控模块用于监控所述数据资产有效期，并自动删除超出所述数据资产有效期的数据资产；
55.所述第二监控模块用于监控所述使用权限有效期，并自动取消超过所述使用权限有效期的使用权限。
56.根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明的数据资产管理方法。
57.根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明的数据资产管理方法。
58.本发明的积极进步效果在于：
59.通过设置使用方获取目标数据资产的qps上限阈值进行限流，不同使用方获取不同数据资产时的qps上限阈值都是独立的，避免了不同使用方相互影响，从而精细化控制使用方获取数据资产的速度，提高了限流的灵活性和精细度，避免了整体限流的不足。
附图说明
60.图1为本发明实施例1的数据资产管理方法的流程示意图。
61.图2为本发明实施例1的数据资产管理方法中配置数据资产的流程示意图。
62.图3为本发明实施例1的数据资产管理方法中申请对数据资产的使用权限的流程示意图。
63.图4为本发明实施例1的数据资产管理方法的步骤s112的流程示意图。
64.图5为本发明实施例1的数据资产管理方法的步骤s116的流程示意图。
65.图6为本发明实施例1的数据资产管理方法中统计和监控数据资产的流程示意图。
66.图7为本发明实施例2的数据资产管理系统的结构示意图。
67.图8为本发明实施例2的数据资产管理系统的查询模块212的结构示意图。
68.图9为本发明实施例2的数据资产管理系统的响应模块216的结构示意图。
69.图10为本发明实施例3的电子设备的结构示意图。
具体实施方式
70.下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
71.实施例1
72.本实施例提供一种数据资产管理方法，该数据资产管理方法应用于数据资产管理平台，以供用户通过该数据资产管理平台查看、获取或配置数据资产相关信息，同时数据资产管理平台对数据资产进行自动管理。在本实施例中，数据资产、生产方和使用方均为抽象概念，其中，数据资产用于表征具有资产价值的数据，包括照片、视频、编辑的文档、电子化的图纸等；生产方用于表征数据资产的来源，也即配置数据资产的一方；使用方用于表征请求数据资产的应用，也即获取数据资产的一方。
73.为了防止数据滥用，提高数据的安全性，生产方和使用方均需要向数据资产管理平台申请平台使用权限，具体地，生产方或使用方通过上传身份信息和资质信息进行注册，对身份信息和资质信息进行审核，审核通过后生成唯一标识码，也即账号，并将账号和通用密码返回给生产方或使用方，生产方或使用方可重新设置密码。作为可选的一种实施方式，当生产方或使用方登录账号时，对账号进行权限校验，校验通过后，展示与权限相关的数据资产相关信息。需要说明的是，生产方和使用方可以是同一个账号的登录者，即当账号的登录者配置数据资产时为生产方，获取数据资产时为使用方。
74.如图1所示，该数据资产管理方法包括以下步骤：
75.s111、接收使用方对目标数据资产的获取请求。
76.在本实施例中，目标数据资产可以是任一数据资产，目标数据资产由生产方进行配置，参见图2，配置数据资产的步骤包括：
77.s101、接收生产方对目标数据资产的配置请求，配置请求包括数据资产有效期、存储介质和生产方式。
78.其中，生成方可指定一种或多种存储介质放置数据资产，作为可选的一种实施方式，数据资产管理平台提供多种存储介质供生产方选择，比如redis(一种缓存数据库)、kvrocks(一种键值数据库)、hbase(一种列式数据库)、mysql(一种关系型数据库)和mongo(一种存储数据库)等等。生产方式用于表征数据资产管理平台接收数据资产的方式，生产方式包括文件上传、消息推送和调用http请求等，当然本实施例并不限于上述的生产方式。数据资产管理平台提供多种生产方式，方便对接不同的数据生产渠道。数据资产的存放有效期则根据生产方的需要自行设定。
79.s102、对生产方配置的目标数据资产进行审核，若审核通过，执行步骤s103，然后执行步骤s104。
80.生产方配置目标数据资产后，对目标数据资产进行审核，其中审核的内容包括目标数据资产本身和对该目标数据资产的描述字段，比如数据资产的类型、数据资产的价值
评估以及数据资产的用途说明等。若目标数据资产审核通过，则生成一个数据id(唯一编码)代表该数据资产，生产方可通过设定的生产方式生产数据资产；若审核不通过，则提示生产方重新配置目标数据资产，作为可选的一种实施方式，用户可修改数据资产及相关信息后重新发起审核请求。
81.s103、接收生产方基于生产方式生产的目标数据资产。
82.作为一种示例，假设生产方新建人群画像数据资产为目标数据资产，配置人群画像数据资产的生产方式为消息队列。待人群画像数据资产审核通过后，人群画像数据资产会被自动推送到消息队列中。
83.s104、基于存储介质对目标数据资产进行处理和存储
84.数据资产管理平台接收目标数据资产后，根据生产方设置的存储介质，将目标数据资产存储在指定的存储介质中，具体地，每接收一条目标数据资质，便存储一条目标数据资产至存储介质。假设配置人群画像数据资产的存储介质为redis，则将人群画像数据资产存储至redis。当然，生产方也可以配置多个存储介质，比如hbase，则在将人群画像数据资产存储至redis时，将人群画像数据资产同步一份到hbase中。
85.作为可选的一种实施方式，登录平台账号的权限范围仅用于查看和配置数据资产，若使用方需要在数据资产管理平台上获取某个具体的数据资产(即目标数据资产)，还需要单独申请对该目标数据资产的使用权限，参见图3，申请对数据资产的使用权限的步骤包括：
86.s105、接收使用方对目标数据资产的使用权限申请请求，使用权限申请请求包括使用权限有效期和耗时等级。
87.其中，使用权限有效期用于判断使用方的使用权限是否到期，过期后会将使用方的使用权限回收，使用权限有效期可根据使用方的需要自行设定，默认情况下使用权限有效期小于或等于对应数据资产有效期。耗时等级用于表征使用方要求获取数据资产的耗时，所需耗时越低，耗时等级越高，所要求的查询性能就越好。比如设置的耗时等级较高，则使用方在获取数据资产时，需要匹配查询性能较好的存储介质，比如redis和mongo等。
88.s106、对使用权限申请请求进行审核，若审核通过，则执行步骤s107。
89.作为可选的一种实施方式，基于使用方和目标数据资产，对使用权限申请请求进行审核，其中包括审核使用方的账号权限信息和目标数据资产的相关信息。在审核通过后，使用方即拥有对该目标数据资产的使用权限；若审核不通过，则通过人工检查该审核过程出现错误的原因并反馈至使用方。
90.s107、分配与所述使用权限对应的qps上限阈值。
91.由于数据资产管理平台的服务器承载能力限制了最大qps，因此每个使用方的qps上限阈值之和应小于或等于服务器所能提供的最大qps。作为可选的一种实施方式，根据使用方和目标数据资产设置qps上限阈值，比如通过应用的重要程度和数据资产的价值来设置该使用方获取该目标数据资产的qps上限阈值，例如，重要程度高一点的应用可以分配大一点的qps上限阈值，而不重要的应用则分配小一点的qps上限阈值。当然本实施例并不限于上述方式，也可以通过深度学习等方式来决定不同使用方获取不同数据资产的qps上限阈值。
92.s112、查询与获取请求对应的qps上限阈值。
93.在获取请求中，包括使用方信息和目标数据资产信息，如图4所示，步骤s112具体包括以下步骤：
94.s1121、判断是否存在与获取请求对应的qps上限阈值，若否，执行步骤s1122；若是，则执行步骤s1123。
95.使用方请求某个数据资产时，需要拥有对该数据资产的使用权限，并且数据资产管理平台会自动分配与该使用权限对应的qps上限阈值。作为可选的一种实施方式，如果没有返回使用方获取该数据资产的qps上限阈值，则表示该使用方还没有对该数据资产的使用权限，然后执行步骤s1122；如果能够查询到该qps上限阈值，则执行步骤s1123。
96.s1122、输出第二提示消息，第二提示消息用于表征获取请求没有得到授权。
97.如果不存在使用方使用该目标数据资产的qps上限阈值，则表示该使用方无法获取该数据资产，作为可选的一种实施方式，通过输出获取请求没有得到授权的提示消息来提示使用方申请使用权限。
98.s1123、获取与使用方信息和/或目标数据资产信息对应的qps上限阈值。
99.由于平台服务器总的qps是固定的，突增的请求流量可能会导致服务器超负荷工作，甚至导致服务瘫痪，引发严重的后果，因此需要对使用方获取数据资产的qps进行限制。作为可选的一种实施方式，根据使用方信息决定qps上限阈值，即不同使用方获取同一个数据资产时的qps上限阈值不同，比如应用的重要程度越高，qps上限阈值越大；作为可选的另一种实施方式，根据目标数据资产信息决定qps上限阈值，即同一个使用方获取不同数据资产时的qps上限阈值不同，比如数据资产的价值越高，qps上限阈值越大。
100.当然在本实施例中，还可以同时根据使用方信息和目标数据资产信息决定不同使用方获取不同数据资产的qps上限阈值，实现精细化管理数据资产，独立地判断不同的获取请求，使之相互之间不受影响。另外，qps上限阈值还可用于表征不同使用方获取不同数据资产的优先程度，保证价值高的数据资产被应用优先获取到或者重要程度高的应用优先获取数据资产。作为可选的另一种实施方式，当服务器的承载能力快到极限时，即只能通过一次获取请求时，假设使用方a获取数据资产a的qps上限阈值为100，使用方b获取数据资产b的qps上限阈值为200，使用方b获取数据资产a的qps上限阈值为300，则优先通过使用方b获取数据资产a的获取请求。
101.s113、获取使用方请求目标数据资产的qps。
102.其中，qps用于表征过去一秒内的请求次数，即使用方对目标数据资产的每秒请求数，qps的初始值默认为零，当使用方开始获取目标数据资产时，在接下来的一秒内，获取数据资产的次数不断增加，每获取一次，qps都会增加1，qps就是指这一秒内的获取次数，而在下一秒内，qps又会开始重新计算。作为可选的一种实施方式，通过本地缓存以及自动任务的方式来保证qps在一秒内过期，使过期后的qps取值为零。比如使用方从某个时间节点获取某个数据资产，若该时间节点的过去一秒内没有请求过该数据资产，则qps肯定为零；若该时间节点的过去一秒内获取过该数据资产，则获取使用方在过去一秒内请求该数据资产的次数，记为qps。
103.s114、判断qps是否大于qps上限阈值，若是，执行步骤s115；若否，则执行步骤s116。
104.对比使用方一秒内获取某个数据资产的qps和使用方获取该数据资产的qps上限
阈值，若该qps大于该qps上限阈值，则表示使用方获取该数据资产被限流，然后执行步骤s115；如果该qps小于或等于该qps上限阈值，则执行步骤s116。
105.s115、输出第一提示消息，第一提示消息用于表征拒绝获取请求。
106.当使用方获取某个数据资产被限流时，作为可选的一种实施方式，输出获取请求被限流的提示消息来提示使用方当前无法获取该数据资产。需要说明的是，使用方一秒内获取某个数据资产的qps是不断刷新的，后续仍然会对比使用方获取该数据资产的qps与qps上限阈值，直到满足该qps小于或等于该qps上限阈值的条件为止，从而有效地控制了使用方获取数据资产的速度，避免请求次数突增。
107.s116、返回目标数据资产至使用方。
108.如图5所示，步骤s116具体包括以下步骤：
109.s1161、查询与目标数据资产对应的至少一种存储介质。
110.作为可选的一种实施方式，可以将同一个数据资产存储在不同的存储介质中，不同的使用方通过查询不同存储介质来获取数据资产，满足不同使用方的查询效率，比如一些不重要的应用可以从查询性能差，成本较低的存储介质中获取数据，从而节约存储成本。比如假设两个应用都去请求redis，需要的redis资源就会多一些，而如果是一个应用请求redis，另一个应用去请求hbase，那么redis耗费的资源就小一些，虽然增加了hbase的成本，但是由于redis耗费资源的成本比hbase贵很多，总体上是节约成本的。
111.作为可选的一种实施方式，初始阶段，数据资产会先根据生产方指定的存储方式进行存储，后面会根据使用方对获取数据的耗时要求进行调整，并且尽量使用低成本的存储方式。如果查询到数据资产对应的存储介质只有一种，则直接从该存储介质中获取该数据资产，如果是多种存储介质，则进一步根据使用方的信息确定存储介质。
112.s1162、获取使用方的耗时等级。
113.作为可选的一种实施方式，初始阶段，耗时等级由使用方主观的进行配置，而在后续中，也可以通过记录使用方获取数据资产的实际情况，与使用方进行沟通，重新调整使用方的耗时等级，并对存储介质做相应的变化。
114.s1163、从存储介质中筛选与耗时等级对应的目标存储介质。
115.在本实施例中，耗时等级越高，所要求的存储介质的查询性能就越好，比如使用方a的耗时等级要求高，所匹配的存储介质就可以是查询性能较好的redis，而使用方b的耗时等级要求低，所匹配的存储介质就可以是查询性能较差的hbase。
116.s1164、从目标存储介质中获取目标数据资产并发送至使用方。
117.由于qps在一秒内自动过期，在使用方获取到对应的数据资产并返回时，使用方获取该数据资产的qps自动增加1，方便后续使用方获取数据资产时，对是否需要限流进行判定。
118.此外，在本实施例中，数据资产管理平台还需要统计和监控数据资产，参见图6，该统计和监控数据资产的步骤包括：
119.s121、定期统计数据资产的数据量和历史使用记录。
120.其中，历史使用记录用于表征使用方获取数据资产的使用情况，从流程中收集一些信息来跟踪使用方的使用状况，通过独立的数据id来确保信息收集不重复。作为可选的一种实施方式，基于定时job(任务)，一方面定期读取数据资产的信息，统计各个数据资产
的当前数据量；另一方面，根据使用方获取数据资产的埋点信息统计数据资产的使用情况，比如使用方获取数据资产的操作耗时，服务器响应的时间，出错的次数频率以及每次获取数据的数据量等等。
121.s122、根据历史使用记录和数据量调整数据资产对应的存储介质。
122.其中，调整存储介质主要包括更换已有数据资产的存储介质或者新增存储介质。比如某个数据资产只有一个使用方需要获取该数据资产，假设原有的存储介质查询性能较高，而使用方的耗时要求较低，就可以将该数据资产的存储介质更换为查询性能较差的存储介质。又比如需要新增使用方时，假设原有的使用方要求的耗时很低，而新增的使用方要求的耗时较高，则需要新增存储介质，并将数据资产同步一份到新的存储介质中。在本实施例中，数据资产管理平台本身提供多种不同的存储方式，通过各个数据资产的数据量和历史使用记录来比较分析该数据资产的存储介质是否合理，然后对存储介质中对应的数据资产进行数据同步或清理数据等操作。
123.s123、监控数据资产有效期，并自动删除超出数据资产有效期的数据资产。
124.在生产方配置数据资产时，包括配置该数据资产有效期，作为可选的一种实施方式，基于定时job对数据资产有效期进行自动化管理，根据生产方配置的数据资产有效期，将过期的数据资产下线，并自动清除该数据资产，提高存储空间的利用率。假设配置人群画像数据资产有效期为30天，则在超过30天后，定时job会自动下线人群画像数据资产。
125.s124、监控使用权限有效期，并自动取消超过使用权限有效期的使用权限。
126.在使用方申请对某个数据资产的使用权限时，包括设置使用权限有效期，使用权限有效期不超过该数据资产所对应的有效期，比如生产方在某个月的1号配置数据资产，且设置数据资产有效期时间为30天，而使用方在该月2号去申请使用权限时所配置的使用权限有效期最多为29天。作为可选的一种实施方式，基于定时job读取每个使用方的信息，自动回收过期的数据资产使用权限。
127.本实施例具有如下有益效果：
128.本实施例通过设置使用方获取目标数据资产的qps上限阈值进行限流，不同使用方获取不同数据资产时的qps上限阈值都是独立的，可以实现同一个使用方获取不同的数据资产时的qps上限阈值不同，也可以实现不同的使用方获取同一个数据资产时的qps上限阈值不同，避免了不同使用方相互影响，从而精细化控制使用方获取数据资产的速度，提高了限流的灵活性和精细度，避免了整体限流的不足。
129.另外，本实施例对数据资产进行分类集中管理，使用方在申请对某个数据资产的使用权限后方可使用相应的数据资产，提高了数据的安全性，有效防止了数据滥用。并且数据资产的存储介质可以配置化，方便管理不同种类的数据资产，也可以灵活调整数据资产的存储介质，不仅满足不同使用方的查询效率，还节约了存储成本，同时数据资产过期后会自动的进行数据的清除，提高了存储空间的利用率，进一步地节约了存储成本。
130.实施例2
131.本实施例提供一种数据资产管理系统，该数据资产管理系统应用于数据资产管理平台，以供用户通过该数据资产管理平台查看、获取或配置数据资产相关信息，同时数据资产管理平台对数据资产进行自动管理。在本实施例中，数据资产、生产方和使用方均为抽象概念，其中，数据资产用于表征具有资产价值的数据，包括照片、视频、编辑的文档、电子化
的图纸等；生产方用于表征数据资产的来源，也即配置数据资产的一方；使用方用于表征请求数据资产的应用，也即获取数据资产的一方。
132.为了防止数据滥用，提高数据的安全性，生产方和使用方均需要向数据资产管理平台申请平台使用权限，具体地，生产方或使用方通过上传身份信息和资质信息进行注册，对身份信息和资质信息进行审核，审核通过后生成唯一标识码，也即账号，并将账号和通用密码返回给生产方或使用方，生产方或使用方可重新设置密码。数据资产可分为不同的类别，不同账号的权限也有所不同，作为可选的一种实施方式，当生产方或使用方登录账号时，对账号进行权限校验，校验通过后，展示与权限相关的数据资产相关信息。需要说明的是，生产方和使用方可以是同一个账号的登录者，即当账号的登录者配置数据资产时为生产方，获取数据资产时为使用方。
133.如图7所示，该数据资产管理系统包括第一接收模块211、查询模块212、获取模块213、判断模块214、输出模块215和响应模块216。
134.第一接收模块211用于接收使用方对目标数据资产的获取请求。
135.在本实施例中，目标数据资产可以是任一数据资产，目标数据资产由生产方进行配置，参见图7，该数据资产管理系统还包括第二接收模块201、第一审核模块202、第三接收模块203和处理模块204。
136.第二接收模块201用于接收生产方对目标数据资产的配置请求，配置请求包括数据资产有效期、存储介质和生产方式。其中，生成方可指定一种或多种存储介质放置数据资产，作为可选的一种实施方式，数据资产管理平台提供多种存储介质供生产方选择，比如redis(一种缓存数据库)、kvrocks(一种键值数据库)、hbase(一种列式数据库)、mysql(一种关系型数据库)和mongo(一种存储数据库)等等。
137.生产方式用于表征数据资产管理平台接收数据资产的方式，生产方式包括文件上传、消息推送和调用http请求等，当然本实施例并不限于上述的生产方式。数据资产管理平台提供多种生产方式，方便对接不同的数据生产渠道。数据资产的存放有效期则根据生产方的需要自行设定。
138.第一审核模块202用于对生产方配置的目标数据资产进行审核，若审核通过，调用第三接收模块203，然后调用处理模块204。生产方配置目标数据资产后，第一审核模块202对目标数据资产进行审核，其中审核的内容包括目标数据资产本身和对该目标数据资产的描述字段，比如数据资产的类型、数据资产的价值评估以及数据资产的用途说明等。若目标数据资产审核通过，则第一审核模块202生成一个数据id(唯一编码)代表该数据资产，生产方可通过设定的生产方式生产数据资产；若审核不通过，则第一审核模块202提示生产方重新配置目标数据资产，作为可选的一种实施方式，用户可修改数据资产及相关信息后重新发起审核请求。
139.第三接收模块203用于接收生产方基于生产方式生产的目标数据资产。作为一种示例，假设生产方新建人群画像数据资产为目标数据资产，配置人群画像数据资产的生产方式为消息队列。待人群画像数据资产审核通过后，人群画像数据资产会被自动推送到消息队列中。
140.处理模块204用于基于存储介质对目标数据资产进行处理和存储。数据资产管理平台接收目标数据资产后后，根据生产方设置的存储介质，将目标数据资产存储在指定的
存储介质中，具体地，每接收一条目标数据资质，便存储一条目标数据资产至存储介质。假设配置人群画像数据资产的存储介质为redis，则处理模块204将人群画像数据资产存储至redis。当然，生产方也可以配置多个存储介质，比如hbase，则处理模块204将人群画像数据资产存储至redis时，将人群画像数据资产同步一份到hbase中。
141.作为可选的一种实施方式，登录平台账号的权限范围仅用于查看和配置数据资产，若使用方需要在数据资产管理平台上获取某个具体的数据资产(即目标数据资产)，还需要单独申请对该目标数据资产的使用权限，参见图7，该数据资产管理系统还包括第四接收模块205、第二审核模块206和分配模块207。
142.第四接收模块205用于接收使用方对目标数据资产的使用权限申请请求，使用权限申请请求包括使用权限有效期和耗时等级。其中，使用权限有效期用于判断使用方的使用权限是否到期，过期后会将使用方的使用权限回收，使用权限有效期可根据使用方的需要自行设定，默认情况下使用权限有效期小于或等于对应数据资产有效期。耗时等级用于表征使用方要求获取数据资产的耗时，所需耗时越低，耗时等级越高，所要求的查询性能就越好。比如设置的耗时等级较高，则使用方在获取数据资产时，需要匹配查询性能较好的存储介质，比如redis和mongo等。
143.第二审核模块206用于对使用权限申请请求进行审核，若审核通过，则调用分配模块207。作为可选的一种实施方式，基于使用方和目标数据资产，第二审核模块206对使用权限申请请求进行审核，其中包括审核使用方的账号权限信息和目标数据资产的相关信息。在审核通过后，使用方即拥有对该目标数据资产的使用权限；若审核不通过，则第二审核模块206通过人工检查该审核过程出现错误的原因并反馈至使用方。
144.分配模块207用于分配与所述使用权限对应的qps上限阈值。由于数据资产管理平台的服务器承载能力限制了最大qps，因此每个使用方的qps上限阈值之和应小于或等于服务器所能提供的最大qps。作为可选的一种实施方式，分配模块207根据使用方和目标数据资产设置qps上限阈值，比如通过应用的重要程度和数据资产的价值来设置该使用方获取该目标数据资产的qps上限阈值，例如，重要程度高一点的应用可以分配大一点的qps上限阈值，而不重要的应用则分配小一点的qps上限阈值。当然本实施例并不限于上述方式，分配模块207也可以通过深度学习等方式来决定不同使用方获取不同数据资产的qps上限阈值。
145.查询模块212用于查询与获取请求对应的qps上限阈值。在获取请求中，包括使用方信息和目标数据资产信息，如图8所示，查询模块212包括判断单元2121、输出单元2122和第一获取单元2123。
146.判断单元2121用于判断是否存在与获取请求对应的qps上限阈值，若否，调用输出单元2122；若是，则调用第一获取单元2123。
147.使用方请求某个数据资产时，需要拥有对该数据资产的使用权限，并且数据资产管理平台会自动分配与该使用权限对应的qps上限阈值。作为可选的一种实施方式，如果没有返回使用方获取该数据资产的qps上限阈值，则表示该使用方还没有对该数据资产的使用权限，然后调用输出单元2122；如果能够查询到该qps上限阈值，则调用第一获取单元2123。
148.输出单元2122用于输出第二提示消息，第二提示消息用于表征所述获取请求没有
得到授权。如果不存在使用方使用该目标数据资产的qps上限阈值，则表示该使用方无法获取该数据资产，作为可选的一种实施方式，输出单元2122输出获取请求没有得到授权的提示消息来提示使用方申请使用权限。
149.第一获取单元2123用于获取与使用方信息和/或目标数据资产信息对应的qps上限阈值。由于平台服务器总的qps是固定的，突增的请求流量可能会导致服务器超负荷工作，甚至导致服务瘫痪，引发严重的后果，因此需要对使用方获取数据资产的qps进行限制。作为可选的一种实施方式，根据使用方信息决定qps上限阈值，即不同使用方获取同一个数据资产时的qps上限阈值不同，比如应用的重要程度越高，qps上限阈值越大；作为可选的另一种实施方式，根据目标数据资产信息决定qps上限阈值，即同一个使用方获取不同数据资产时的qps上限阈值不同，比如数据资产的价值越高，qps上限阈值越大。
150.当然在本实施例中，还可以同时根据使用方信息和目标数据资产信息决定不同使用方获取不同数据资产的qps上限阈值，实现精细化管理数据资产，独立地判断不同的获取请求，使之相互之间不受影响。另外，qps上限阈值还可用于表征不同使用方获取不同数据资产的优先程度，保证价值高的数据资产被应用优先获取到或者重要程度高的应用优先获取数据资产。作为可选的另一种实施方式，当服务器的承载能力快到极限时，即只能通过一次获取请求时，假设使用方a获取数据资产a的qps上限阈值为100，使用方b获取数据资产b的qps上限阈值为200，使用方b获取数据资产a的qps上限阈值为300，则优先通过使用方b获取数据资产a的获取请求。
151.获取模块213用于获取使用方请求目标数据资产的qps。其中，qps用于表征过去一秒内的请求次数，即使用方对目标数据资产的每秒请求数，qps的初始值默认为零，当使用方开始获取目标数据资产时，在接下来的一秒内，获取模块213获取数据资产的次数不断增加，每获取一次，qps都会增加1，qps就是指这一秒内的获取次数，而在下一秒内，qps又会开始重新计算。作为可选的一种实施方式，获取模块213通过本地缓存以及自动任务的方式来保证qps在一秒内过期，使过期后的qps取值为零。比如使用方从某个时间节点获取某个数据资产，若该时间节点的过去一秒内没有请求过该数据资产，则qps肯定为零；若该时间节点的过去一秒内获取过该数据资产，则获取模块213获取使用方在过去一秒内请求该数据资产的次数，记为qps。
152.判断模块214用于判断qps是否大于qps上限阈值，若是，调用输出模块215；若否，则调用响应模块216。判断模块214对比使用方一秒内获取某个数据资产的qps和使用方获取该数据资产的qps上限阈值，若该qps大于该qps上限阈值，则表示使用方获取该数据资产被限流，然后调用输出模块215；如果该qps小于或等于该qps上限阈值，则调用响应模块216。
153.输出模块215用于输出第一提示消息，第一提示消息用于表征拒绝获取请求。当使用方获取某个数据资产被限流时，作为可选的一种实施方式，输出模块215输出获取请求被限流的提示消息来提示使用方当前无法获取该数据资产。需要说明的是，使用方一秒内获取某个数据资产的qps是不断刷新的，判断模块214后续仍然会对比使用方获取该数据资产的qps与qps上限阈值，直到满足该qps小于或等于该qps上限阈值的条件为止，从而有效地控制了使用方获取数据资产的速度，避免请求次数突增。
154.响应模块216用于返回目标数据资产至使用方。如图9所示，响应模块216包括查询
单元2161、第二获取单元2162、筛选单元2163和第三获取单元2164。
155.查询单元2161用于查询与目标数据资产对应的至少一种存储介质。作为可选的一种实施方式，可以将同一个数据资产存储在不同的存储介质中，不同的使用方通过查询不同存储介质来获取数据资产，满足不同使用方的查询效率，比如一些不重要的应用可以从查询性能差，成本较低的存储介质中获取数据，从而节约存储成本。比如假设两个应用都去请求redis，需要的redis资源就会多一些，而如果是一个应用请求redis，另一个应用去请求hbase，那么redis耗费的资源就小一些，虽然增加了hbase的成本，但是由于redis耗费资源的成本比hbase贵很多，总体上是节约成本的。
156.作为可选的一种实施方式，初始阶段，数据资产会先根据生产方指定的存储方式进行存储，后面会根据使用方对获取数据的耗时要求进行调整，并且尽量使用低成本的存储方式。如果查询单元2161查询到数据资产对应的存储介质只有一种，则直接从该存储介质中获取该数据资产，如果是多种存储介质，则进一步根据使用方的信息确定存储介质。
157.第二获取单元2162用于获取使用方的耗时等级。作为可选的一种实施方式，初始阶段，耗时等级由使用方主观的进行配置，而在后续中，也可以通过记录使用方获取数据资产的实际情况，与使用方进行沟通，重新调整使用方的耗时等级，并对存储介质做相应的变化。
158.筛选单元2163用于从存储介质中筛选与耗时等级对应的目标存储介质。在本实施例中，耗时等级越高，所要求的存储介质的查询性能就越好，比如使用方a的耗时等级要求高，筛选单元2163所匹配的存储介质就可以是查询性能较好的redis，而使用方b的耗时等级要求低，筛选单元2163所匹配的存储介质就可以是查询性能较差的hbase。
159.第三获取单元2164用于从目标存储介质中获取目标数据资产并发送至使用方。由于qps在一秒内自动过期，第三获取单元2164在使用方获取到对应的数据资产并返回时，使用方获取该数据资产的qps自动增加1，方便后续使用方获取数据资产时，对是否需要限流进行判定。
160.此外，在本实施例中，数据资产管理平台还需要统计和监控数据资产，参见图7，数据资产管理系统还包括统计模块221、调整模块222、第一监控模块223和第二监控模块224。
161.统计模块221用于定期统计数据资产的数据量和历史使用记录。其中，历史使用记录用于表征使用方获取数据资产的使用情况，统计模块221从流程中收集一些信息来跟踪使用方的使用状况，通过独立的数据id来确保信息收集不重复。作为可选的一种实施方式，统计模块221基于定时job(任务)，一方面定期读取数据资产的信息，统计各个数据资产的当前数据量；另一方面，根据使用方获取数据资产的埋点信息统计数据资产的使用情况，比如使用方获取数据资产的操作耗时，服务器响应的时间，出错的次数频率以及每次获取数据的数据量等等。
162.调整模块222用于根据历史使用记录和数据量调整数据资产对应的存储介质。其中，调整存储介质主要包括更换已有数据资产的存储介质或者新增存储介质。比如某个数据资产只有一个使用方需要获取该数据资产，假设原有的存储介质查询性能较高，而使用方的耗时要求较低，调整模块222就可以将该数据资产的存储介质更换为查询性能较差的存储介质。又比如需要新增使用方时，假设原有的使用方要求的耗时很低，而新增的使用方要求的耗时较高，则调整模块222需要新增存储介质，并将数据资产同步一份到新的存储介
质中。在本实施例中，数据资产管理平台本身提供多种不同的存储方式，统计模块221通过各个数据资产的数据量和历史使用记录来比较分析该数据资产的存储介质是否合理，然后调整模块222对存储介质中对应的数据资产进行数据复制同步和清理数据等操作。
163.第一监控模块223用于监控数据资产有效期，并自动删除超出数据资产有效期的数据资产。在生产方配置数据资产时，包括配置该数据资产有效期，作为可选的一种实施方式，第一监控模块223基于定时job对数据资产有效期进行自动化管理，根据生产方配置的数据资产有效期，第一监控模块223将过期的数据资产下线，并自动清除该数据资产，提高存储空间的利用率。假设配置人群画像数据资产有效期为30天，则在超过30天后，定时job会自动下线人群画像数据资产。
164.第二监控模块224用于监控使用权限有效期，并自动取消超过使用权限有效期的使用权限。在使用方申请对某个数据资产的使用权限时，包括设置使用权限有效期，使用权限有效期不超过该数据资产所对应的有效期，比如生产方在某个月的1号配置数据资产，且设置数据资产有效期时间为30天，而使用方在该月2号去申请使用权限时所配置的使用权限有效期最多为29天。作为可选的一种实施方式，第二监控模块224基于定时job读取每个使用方的信息，自动回收过期的数据资产使用权限。
165.本实施例具有如下有益效果：
166.本实施例通过设置使用方获取目标数据资产的qps上限阈值进行限流，不同使用方获取不同数据资产时的qps上限阈值都是独立的，可以实现同一个使用方获取不同的数据资产时的qps上限阈值不同，也可以实现不同的使用方获取同一个数据资产时的qps上限阈值不同，避免了不同使用方相互影响，从而精细化控制使用方获取数据资产的速度，提高了限流的灵活性和精细度，避免了整体限流的不足。
167.另外，本实施例对数据资产进行分类集中管理，使用方在申请对某个数据资产的使用权限后方可使用相应的数据资产，提高了数据的安全性，有效防止了数据滥用。并且数据资产的存储介质可以配置化，方便管理不同种类的数据资产，也可以灵活调整数据资产的存储介质，不仅满足不同使用方的查询效率，还节约了存储成本，同时数据资产过期后会自动的进行数据的清除，提高了存储空间的利用率，进一步地节约了存储成本。
168.实施例3
169.本实施例提供一种电子设备，所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的数据资产管理方法。
170.如图10所示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
171.电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
172.总线33包括数据总线、地址总线和控制总线。
173.存储器32可以包括易失性存储器，例如随机存取存储器(ram)321和高速缓存存储器322，还可以进一步包括只读存储器(rom)323。
174.存储器32还可以包括具有一组(至少一个)程序模块324的程序工具325，这样的程
序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
175.处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1的数据资产管理方法。
176.电子设备30也可以与一个或多个外部设备34通信。这种通信可以通过输入/输出(i/o)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络通信。如图10所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图10未标示，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
177.应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
178.实施例4
179.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1的数据资产管理方法。
180.其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
181.在可选的一种实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1的数据资产管理方法。
182.其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
183.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

技术特征：
1.一种数据资产管理方法，其特征在于，包括以下步骤：接收使用方对目标数据资产的获取请求；查询与所述获取请求对应的qps上限阈值；获取所述使用方请求所述目标数据资产的qps，其中，所述qps用于表征过去一秒内的请求次数；判断所述qps是否大于所述qps上限阈值，若是，则输出第一提示消息，所述第一提示消息用于表征拒绝所述获取请求；若否，则返回所述目标数据资产至所述使用方。2.根据权利要求1所述的数据资产管理方法，其特征在于，所述获取请求包括使用方信息和目标数据资产信息，所述查询与所述获取请求对应的qps上限阈值的步骤包括：判断是否存在与所述获取请求对应的qps上限阈值，若否，输出第二提示消息，所述第二提示消息用于表征所述获取请求没有得到授权；若是，则获取与所述使用方信息和/或所述目标数据资产信息对应的qps上限阈值；和/或，所述返回所述目标数据资产至所述使用方的步骤包括：查询与所述目标数据资产对应的至少一种存储介质；获取使用方的耗时等级；从所述存储介质中筛选与所述耗时等级对应的目标存储介质；从所述目标存储介质中获取所述目标数据资产并发送至所述使用方。3.根据权利要求1所述的数据资产管理方法，其特征在于，所述接收使用方对目标数据资产的获取请求的步骤之前还包括：接收生产方对目标数据资产的配置请求，所述配置请求包括数据资产有效期、存储介质和生产方式；对所述生产方配置的所述目标数据资产进行审核，若审核通过，则接收所述生产方基于所述生产方式生产的所述目标数据资产，然后基于所述存储介质对所述目标数据资产进行处理和存储；接收使用方对目标数据资产的使用权限申请请求，所述使用权限申请请求包括使用权限有效期和耗时等级；对所述使用权限申请请求进行审核，若审核通过，则分配与所述使用权限对应的qps上限阈值。4.根据权利要求3所述的数据资产管理方法，其特征在于，所述数据资产管理方法还包括：定期统计数据资产的数据量和历史使用记录；根据所述历史使用记录和所述数据量调整所述数据资产对应的存储介质；监控所述数据资产有效期，并自动删除超出所述数据资产有效期的数据资产；监控所述使用权限有效期，并自动取消超过所述使用权限有效期的使用权限。5.一种数据资产管理系统，其特征在于，所述数据资产管理系统包括第一接收模块、查询模块、获取模块、判断模块、输出模块和响应模块：所述第一接收模块用于接收使用方对目标数据资产的获取请求；所述查询模块用于查询与所述获取请求对应的qps上限阈值；所述获取模块用于获取所述使用方请求所述目标数据资产的qps，其中，所述qps用于
表征过去一秒内的请求次数；所述判断模块用于判断所述qps是否大于所述qps上限阈值，若是，则调用所述输出模块；若否，则调用所述响应模块；所述输出模块用于输出第一提示消息，所述第一提示消息用于表征拒绝所述获取请求；所述响应模块用于返回所述目标数据资产至所述使用方。6.根据权利要求5所述的数据资产管理系统，其特征在于，所述获取请求包括使用方信息和目标数据资产信息，所述查询模块包括判断单元、输出单元和第一获取单元：所述判断单元用于判断是否存在与所述获取请求对应的qps上限阈值，若否，调用所述输出单元；若是，则调用所述第一获取单元；所述输出单元用于输出第二提示消息，所述第二提示消息用于表征所述获取请求没有得到授权；所述第一获取单元用于获取与所述使用方信息和/或所述目标数据资产信息对应的qps上限阈值；和/或，所述响应模块包括查询单元、第二获取单元、筛选单元和第三获取单元：所述查询单元用于查询与所述目标数据资产对应的至少一种存储介质；所述第二获取单元用于获取使用方的耗时等级；所述筛选单元用于从所述存储介质中筛选与所述耗时等级对应的目标存储介质；所述第三获取单元用于从所述目标存储介质中获取所述目标数据资产并发送至所述使用方。7.根据权利要求5所述的数据资产管理系统，其特征在于，所述数据资产管理系统还包括第二接收模块、第一审核模块、第三接收模块、处理模块、第四接收模块、第二审核模块和分配模块：所述第二接收模块用于接收生产方对目标数据资产的配置请求，所述配置请求包括数据资产有效期、存储介质和生产方式；所述第一审核模块用于对所述生产方配置的所述目标数据资产进行审核，若审核通过，则调用所述第三接收模块，然后调用所述处理模块；所述第三接收模块用于接收所述生产方基于所述生产方式生产的所述目标数据资产；所述处理模块用于基于所述存储介质对所述目标数据资产进行处理和存储；所述第四接收模块用于接收使用方对目标数据资产的使用权限申请请求，所述使用权限申请请求包括使用权限有效期和耗时等级；所述第二审核模块用于对所述使用权限申请请求进行审核，若审核通过，则调用分配模块；所述分配模块用于分配与所述使用权限对应的qps上限阈值。8.根据权利要求7所述的数据资产管理系统，其特征在于，所述数据资产管理系统还包括统计模块、调整模块、第一监控模块和第二监控模块：所述统计模块用于定期统计数据资产的数据量和历史使用记录；所述调整模块用于根据所述历史使用记录和所述数据量调整所述数据资产对应的存储介质；
所述第一监控模块用于监控所述数据资产有效期，并自动删除超出所述数据资产有效期的数据资产；所述第二监控模块用于监控所述使用权限有效期，并自动取消超过所述使用权限有效期的使用权限。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述的数据资产管理方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的数据资产管理方法。

技术总结
本发明公开了一种数据资产管理方法、系统、电子设备及存储介质。数据资产管理方法包括：接收使用方对目标数据资产的获取请求；查询与获取请求对应的QPS上限阈值；获取使用方请求目标数据资产的QPS；判断QPS是否大于QPS上限阈值，若是，则输出第一提示消息，第一提示消息用于表征拒绝获取请求；若否，则返回目标数据资产至使用方。本发明通过设置使用方获取目标数据资产的QPS上限阈值进行限流，不同使用方获取不同数据资产时的QPS上限阈值都是独立的，避免了不同使用方相互影响，从而精细化控制使用方获取数据资产的速度，提高了限流的灵活性和精细度，避免了整体限流的不足。避免了整体限流的不足。避免了整体限流的不足。


技术研发人员：刘栋林 贺东 许译丹 陈海强 高洪强
受保护的技术使用者：携程旅游网络技术（上海）有限公司
技术研发日：2022.02.21
技术公布日：2022/5/25