本说明书实施例涉及数据处理,尤其涉及一种特征加工平台、特征加工方法、设备及存储介质。
背景技术:
1、目前的特征加工方法中,特征加工全部在特征加工层(odm),不同的特征加工的处理逻辑在不同的odm层,且odm层交叉的相互依赖,最终通过视图层(model)将odm层数据进行组合提供给管理平台等下游进行使用。
2、但目前的特征加工方法中,特征加工链路很长,无法满足管理平台对特征的时效性要求,并且特征的口径复杂(尤其是新老系统交叉迁移)、不统一,且口径较旧,不符合使用要求,此外,特征加工层级混乱,复用性低,极大程度的增加了对口径变更修改的难度。
3、如何优化特征加工的步骤,从而提高特征加工的时效性是目前亟待解决的技术问题。
技术实现思路
1、为解决现有技术中特征加工层级混乱,特征处理逻辑复用性低,特征加工链路很长,且特征加工口径复杂多样,不统一,不满足下游对特征加工完成的时效性要求的问题,本说明书实施例提供了一种特征加工平台、特征加工方法、设备及存储介质,特征平台整体设计了分层规则,以最大程度避免在加工特征的时候出现任务或逻辑串行等待后最终完成所有特征的加工,以最大程度的设计任务并行,以便达到特征分层分步进行加工,最终通过简单的表关联组装成下游需要的全部任务。
2、本说明书实施例的具体技术方案如下:
3、一方面,本说明书实施例提供了一种特征加工平台,所述特征加工平台包括:基础数据层、中间加工层、特征层、公共信息层和接口层;
4、所述基础数据层用于获取数据湖中的数据,对所述数据进行预处理,得到基础数据层数据;
5、所述中间加工层用于获取所述基础数据层数据,并对所述基础数据层数据按照业务规则进行处理,得到中间加工层数据;
6、所述公共信息层中存储有用于特征加工的基本参数,所述特征层用于根据特征加工需求从所述公共信息层获取与所述特征加工需求对应的基本参数,作为目标基本参数,并根据所述目标基本参数从所述中间加工层数据中确定目标加工数据,对所述目标加工数据执行与所述特征加工需求对应的特征加工规则,得到特征加工结果;
7、所述接口层用于对外提供所述特征加工结果。
8、进一步地,所述基础数据层对所述数据进行预处理,得到基础数据层数据包括:
9、所述基础数据层执行数据清理规则对所述数据进行清理,并执行数据规范化规则对清理后的数据进行规范化处理,得到所述基础数据层数据。
10、进一步地,所述中间加工层对所述基础数据层数据按照业务规则进行处理,得到中间加工层数据包括:
11、所述中间加工层按照预定的数据主键对所述基础数据层数据进行汇总,得到所述中间加工层数据。
12、进一步地,所述数据主键包括客户号、产品、交易类型中一种或多种的组合。
13、进一步地,所述基本参数包括多个数据主键与多个特征加工需求中的参数之间的对应关系。
14、进一步地,所述特征层根据特征加工需求从所述公共信息层获取与所述特征加工需求对应的基本参数,作为目标基本参数,并根据所述目标基本参数从所述中间加工层数据中确定目标加工数据包括:
15、所述特征层从所述公共信息层中获取所述特征加工需求的参数对应的所述对应关系,并根据所述对应关系确定所述特征加工需求的参数对应的数据主键作为目标数据主键,从所述中间加工层数据中确定所述数据主键与所述目标数据主键对应的汇总后的数据,得到所述目标加工数据。
16、进一步地,所述基本参数是对所述基础数据层数据进行分析后得到的;
17、所述公共信息层进一步用于,按照预定周期对所述基础数据层中的基础数据层数据进行分析,从而更新所述基本参数。
18、进一步地,所述接口层进一步用于,从所述公共信息层获取所述目标基本参数,并对外同时提供所述特征加工结果以及所述目标基本参数,以便于后续根据所述特征加工结果以及所述目标基本参数生成特征视图。
19、基于同一发明构思,本说明书实施例还提供了一种特征加工方法,应用于上述的特征加工平台,所述方法包括:
20、控制基础数据层获取数据湖中的数据,对所述数据进行预处理,得到基础数据层数据;
21、控制中间加工层获取所述基础数据层数据,并对所述基础数据层数据按照业务规则进行处理,得到中间加工层数据;
22、控制特征层根据特征加工需求从公共信息层获取与所述特征加工需求对应的基本参数,作为目标基本参数,并根据所述目标基本参数从所述中间加工层数据中确定目标加工数据,对所述目标加工数据执行与所述特征加工需求对应的特征加工规则,得到特征加工结果,其中,所述公共信息层中存储有用于特征加工的基本参数;
23、控制接口层对外提供所述特征加工结果。
24、进一步地,控制基础数据层获取数据湖中的数据,对所述数据进行预处理,得到基础数据层数据包括:
25、控制所述基础数据层执行数据清理规则对所述数据进行清理,并执行数据规范化规则对清理后的数据进行规范化处理,得到所述基础数据层数据。
26、进一步地,控制中间加工层获取所述基础数据层数据,并对所述基础数据层数据按照业务规则进行处理,得到中间加工层数据包括:
27、控制所述中间加工层按照预定的数据主键对所述基础数据层数据进行汇总,得到所述中间加工层数据。
28、进一步地,所述数据主键包括客户号、产品、交易类型中一种或多种的组合。
29、进一步地,所述基本参数包括多个数据主键与多个特征加工需求中的参数之间的对应关系。
30、进一步地,控制特征层根据特征加工需求从公共信息层获取与所述特征加工需求对应的基本参数,作为目标基本参数,并根据所述目标基本参数从所述中间加工层数据中确定目标加工数据包括:
31、控制所述特征层从所述公共信息层中获取所述特征加工需求的参数对应的所述对应关系,并根据所述对应关系确定所述特征加工需求的参数对应的数据主键作为目标数据主键,从所述中间加工层数据中确定所述数据主键与所述目标数据主键对应的汇总后的数据,得到所述目标加工数据。
32、进一步地,在控制基础数据层获取数据湖中的数据,对所述数据进行预处理,得到基础数据层数据之前,所述方法还包括:
33、控制所述公共信息层对所述基础数据层数据进行分析,得到所述基本参数并存储。
34、进一步地,控制所述公共信息层对所述基础数据层数据进行分析,得到所述基本参数还包括:
35、控制所述公共信息层按照预定周期对所述基础数据层中的基础数据层数据进行分析,更新所述基本参数。
36、进一步地,所述方法还包括:
37、控制所述接口层从所述公共信息层获取所述目标基本参数;
38、控制接口层对外提供所述特征加工结果还包括:
39、控制所述接口层对外同时提供所述特征加工结果以及所述目标基本参数,以便于后续根据所述特征加工结果以及所述目标基本参数生成特征视图。
40、另一方面,本说明书实施例还提供了一种计算机设备,包括存储器、处理器、以及存储在存储器上的计算机程序,处理器执行所述计算机程序时实现上述的方法。
41、另一方面,本说明书实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
42、最后,本说明书实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述的方法。
43、利用本说明书实施例,特征平台设计了分层处理规则,基础数据层用于获取数据湖中的数据,并对数据进行预处理,中间加工层对预处理后的数据按照业务规则进行处理,同时在公共信息层中存储用于特征加工的基本参数,特征层根据特征加工需求获取对应的基本参数作为目标基本参数,然后根据目标基本参数从中间加工层数据中确定目标加工数据,执行特征加工规则对特征进行加工,得到特征加工结果,最后由接口层对外提供特征加工结果,实现了在特征层并行进行多个特征加工任务,避免在特征加工时出现任务或逻辑串行等待后方能完成特征加工的问题,提高了特征加工的效率。并且本说明书实施例的特征加工分层清晰明确,避免“套娃”现象,提高了代码复用率,缩短了特征加工链路,确保了下游使用特征的时效性。
1.一种特征加工平台,其特征在于,所述特征加工平台包括:基础数据层、中间加工层、特征层、公共信息层和接口层;
2.根据权利要求1所述的特征加工平台,其特征在于,所述基础数据层对所述数据进行预处理,得到基础数据层数据包括:
3.根据权利要求1所述的特征加工平台,其特征在于,所述中间加工层对所述基础数据层数据按照业务规则进行处理,得到中间加工层数据包括:
4.根据权利要求3所述的特征加工平台,其特征在于,所述数据主键包括客户号、产品、交易类型中一种或多种的组合。
5.根据权利要求3所述的特征加工平台,其特征在于,所述基本参数包括多个数据主键与多个特征加工需求中的参数之间的对应关系。
6.根据权利要求5所述的特征加工平台,其特征在于,所述特征层根据特征加工需求从所述公共信息层获取与所述特征加工需求对应的基本参数,作为目标基本参数,并根据所述目标基本参数从所述中间加工层数据中确定目标加工数据包括:
7.根据权利要求1所述的特征加工平台,其特征在于,所述基本参数是对所述基础数据层数据进行分析后得到的;
8.根据权利要求1所述的特征加工平台,其特征在于,所述接口层进一步用于,从所述公共信息层获取所述目标基本参数,并对外同时提供所述特征加工结果以及所述目标基本参数,以便于后续根据所述特征加工结果以及所述目标基本参数生成特征视图。
9.一种特征加工方法,应用于权利要求1-8任意一项所述的特征加工平台,其特征在于,所述方法包括:
10.根据权利要求9所述的方法,其特征在于,控制基础数据层获取数据湖中的数据,对所述数据进行预处理,得到基础数据层数据包括:
11.根据权利要求9所述的方法,其特征在于,控制中间加工层获取所述基础数据层数据,并对所述基础数据层数据按照业务规则进行处理,得到中间加工层数据包括:
12.根据权利要求11所述的方法,其特征在于,所述数据主键包括客户号、产品、交易类型中一种或多种的组合。
13.根据权利要求11所述的方法,其特征在于,所述基本参数包括多个数据主键与多个特征加工需求中的参数之间的对应关系。
14.根据权利要求13所述的方法,其特征在于,控制特征层根据特征加工需求从公共信息层获取与所述特征加工需求对应的基本参数,作为目标基本参数,并根据所述目标基本参数从所述中间加工层数据中确定目标加工数据包括:
15.根据权利要求9所述的方法,其特征在于,在控制基础数据层获取数据湖中的数据,对所述数据进行预处理,得到基础数据层数据之前,所述方法还包括:
16.根据权利要求15所述的方法,其特征在于,控制所述公共信息层对所述基础数据层数据进行分析,得到所述基本参数还包括:
17.根据权利要求9所述的方法,其特征在于,所述方法还包括:
18.一种计算机设备,包括存储器、处理器、以及存储在所述存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现权利要求9至17任一所述的方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求9至17任一所述方法。
20.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求9至17任一所述方法。
