本申请涉及数据处理,尤其涉及一种数据标准的处理方法和装置、电子设备及存储介质。
背景技术:
1、相关技术中,数据标准是进行数据标准化的主要依据,数据标准化是治理数据的重要环节。而随着信息技术的迅猛发展,各行业产生的数据量急剧增加,相应的数据标准的数量和类型也越来越多。现有方法是通过人工对各类数据标准进行管理,这种通过人工方式管理数据标准的过程,效率低且容易出错,从而导致后续应用过程中检索和管理的效率较低。
2、综上,相关技术中存在的技术问题有待得到改善。
技术实现思路
1、本申请实施例的主要目的在于提出一种数据标准的处理方法和装置、电子设备及存储介质,能够有效提高数据标准在应用过程中的检索和管理效率。
2、为实现上述目的,本申请实施例的一方面提出了一种数据标准的处理方法,所述方法包括以下步骤:
3、获取多条第一待处理数据标准,多条所述第一待处理数据标准的数据结构类型包含多个;
4、对所述第一待处理数据标准进行标准化处理,得到第二待处理数据标准,多条所述第二待处理数据标准的数据结构相同;
5、对所有所述第二待处理数据标准进行分类,得到各个类型的数据标准集;
6、根据所述数据标准集构建第一主题框架,所述第一主题框架内包括多条数据标准的隶属关系和优先级;
7、根据预设信息对所述第一主题框架进行优化,得到第二主题框架,所述预设信息包括专家审核信息和目标对象行为信息;
8、根据所述第一待处理数据标准的来源采集第三待处理数据标准;
9、根据所述第三待处理数据标准更新所述第二主题框架。
10、在一些实施例中,所述获取多条第一待处理数据标准,包括:
11、通过爬虫算法以预设时间间隔爬取第三待处理数据标准,所述第三待处理数据标准包括数据标准图表或数据标准文档;
12、根据所述第三待处理数据标准的来源对所述第三待处理数据标准的权威性和可靠性进行评估,得到评估结果;
13、根据所述评估结果对所述第三待处理数据标准进行预处理,得到所述第一待处理数据标准。
14、在一些实施例中,所述对所述第一待处理数据标准进行标准化处理,得到第二待处理数据标准,包括:
15、通过预设算法对所述第一待处理数据标准进行解析,得到关键信息;
16、对所述关键信息进行标准化处理,得到所述第二待处理数据标准。
17、在一些实施例中,所述对所有所述第二待处理数据标准进行分类,得到各个类型的数据标准集,包括:
18、将所述第二待处理数据标准归类到预定义类型中,得到分类结果;
19、根据所述分类结果生成所述第二待处理数据标准的数据标准条目;
20、通过文本分类和词向量算法生成所述数据标准条目的数据标签;
21、将所述数据标准条目和所述数据标签进行关联,得到第一关联关系;
22、根据所述分类结果和所述第一关联关系生成各个类型的数据标准集。
23、在一些实施例中,所述根据所述数据标准集构建第一主题框架,包括:
24、通过自然语言处理和知识图谱算法提取所述数据标准集中的每条数据标准的核心主题;
25、将所述核心主题与业务信息进行关联,得到第二关联关系;
26、根据所述第二关联关系构建第三主题框架;
27、对所述第三主题框架审核和优化,得到所述第一主题框架,所述第一主题框架上的每条数据标准均对应有预设编码。
28、在一些实施例中,所述根据预设信息对所述第一主题框架进行优化,得到第二主题框架,包括:
29、获取所述第一主题框架中数据标准的专家审核意见;
30、根据所述专家审核意见对所述第一主题框架中数据标准进行优化,得到所述第二主题框架。
31、在一些实施例中,所述根据所述第三待处理数据标准更新所述第二主题框架,包括:
32、根据标准映射频率、及时性和重要性计算所述第三待处理数据标准的加权评估值;
33、根据所述加权评估值确定所述第三待处理数据标准的优先级;
34、根据所述第三待处理数据标准的优先级更新所述第二主题框架。
35、为实现上述目的,本申请实施例的另一方面提出了一种数据标准的处理装置,所述装置包括:
36、第一模块,用于获取多条第一待处理数据标准,多条所述第一待处理数据标准的数据结构类型包含多个;
37、第二模块,用于对所述第一待处理数据标准进行标准化处理,得到第二待处理数据标准,多条所述第二待处理数据标准的数据结构相同;
38、第三模块,用于对所有所述第二待处理数据标准进行分类,得到各个类型的数据标准集;
39、第四模块,用于根据所述数据标准集构建第一主题框架,所述第一主题框架内包括多条数据标准的隶属关系和优先级;
40、第五模块,用于根据预设信息对所述第一主题框架进行优化,得到第二主题框架,所述预设信息包括专家审核信息和目标对象行为信息;
41、第六模块,用于根据所述第一待处理数据标准的来源采集第三待处理数据标准;
42、第七模块,用于根据所述第三待处理数据标准更新所述第二主题框架。
43、为实现上述目的,本申请实施例的另一方面提出了一种电子设备,包括:
44、至少一个处理器;
45、至少一个存储器,用于存储至少一个程序;
46、当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现上述的方法。
47、为实现上述目的,本申请实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法。
48、本申请实施例至少包括以下有益效果:本申请提供一种数据标准的处理方法和装置、电子设备及存储介质,该方案通过将多条第一待处理数据标准进行标准化处理得到第二待处理数据标准后,对所有第二待处理数据标准进行分类,然后根据分类得到的数据标准集构建包括多条数据标准的隶属关系和优先级的第一主题框架,再根据预设信息对第一主题框架进行优化后得到第二主题框架,然后根据采集的第三待处理数据标准更新第二主题框架,从而使得数据标准在应用过程中,可以基于第二主题框架进行数据标准的检索和管理,有效提高检索和管理效率。
1.一种数据标准的处理方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述获取多条第一待处理数据标准,包括:
3.根据权利要求1所述的方法,其特征在于,所述对所述第一待处理数据标准进行标准化处理,得到第二待处理数据标准,包括:
4.根据权利要求1所述的方法,其特征在于,所述对所有所述第二待处理数据标准进行分类,得到各个类型的数据标准集,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述数据标准集构建第一主题框架,包括:
6.根据权利要求1所述的方法,其特征在于,所述根据预设信息对所述第一主题框架进行优化,得到第二主题框架,包括:
7.根据权利要求1所述的方法,其特征在于,所述根据所述第三待处理数据标准更新所述第二主题框架,包括:
8.一种数据标准的处理装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。