本技术涉及数据库,尤其涉及一种资产数据自动化导入图数据库的方法、装置及电子设备。
背景技术:
1、随着大数据技术的发展,资产数据愈发成为企业或者个人赖以生存的基石。其中,资产数据是指个人或者企业所拥有或者控制的,能够为个人或者企业带来未来经济收益的,以物理或者虚拟形式记录的数据资产。其中,资产数据可以是各类物理资产、虚拟资产的总和。物理资产是指服务器、网络设备、通信设备等的实体资产。虚拟资产是指域名、ip地址、网络虚拟应用、小程序、公众号、视频账号等无形的虚拟资产。
2、为了便于资产数据管理,通常需要将个人或者企业所拥有或者控制的资产数据进行统一存储、统一管理。在数据库领域中,图数据库中点代表实体、点与点之间的边代表实体之间的关系,因此,在资产数据管理领域,常借助图数据库此种特殊的数据存储特性,利用图数据库存储管理资产数据,以清晰、明确地记录个人或企业所拥有的资产数据,以及记录资产数据之间的内部联系。
3、但是,资产数据常因为数据载体不同,数据格式不同,当前并无通用不同类型数据载体的资产数据导入至图数据库的数据导入方法。
技术实现思路
1、有鉴于此,本技术实施例提供了一种资产数据自动化导入图数据库的方法、装置及电子设备,以实现将不同类型的数据载体的数据自动地导入至图数据库中。
2、第一方面,本技术实施例提供了一种资产数据自动化导入图数据库的方法,其中,所述方法包括:
3、接收待导入资产数据,其中,所述待导入资产数据来源于不同的数据源;
4、按照预设格式转换模板,将所述待导入资产数据转换为待导入图数据库文件,其中,所述图数据库文件的格式为目标图数据库支持访问的文件格式;
5、根据目标图数据库中的数据库存储模板规定的映射关系,将所述待导入图数据库文件中的实体对象导入至所述数据库存储模板中对应的点中,将所述实体对象之间的关联关系导入至所述数据库存储模板中对应的边中。
6、在一些实施例中,在所述接收待导入资产数据步骤之后,所述方法还包括:
7、若所述待导入资产数据的数据来源不属于图数据库,和/或,所述待导入资产数据的数据格式不属于图数据库支持导入的数据格式,则生成待处理数据标签。
8、在一些实施例中,所述按照预设格式转换模板,将所述待导入资产数据转换为待导入图数据库文件,包括:
9、解析带有所述待处理数据标签的待导入资产数据,获取所述待导入资产数据中包含的各目标实体对象,并结合所述不同的数据源中与所述待导入资产数据有关的其他资产数据,确定各目标实体对象之间的关联关系;
10、按照所述预设格式转换模板规定的各实体对象写入规则以及各实体对象之间的关联关系写入规则,将所述待导入资产数据中的各所述目标实体对象、各所述目标实体对象之间的关联关系填充至所述预设格式转换模板,以生成所述待导入图数据库文件。
11、在一些实施例中,所述待导入图数据库文件为json格式文件。
12、在一些实施例中,在所述接收待导入资产数据步骤之后,所述方法还包括:
13、解析所述待导入资产数据,获取资产数据解析结果;
14、按照预设数据筛选规则,识别并处理所述资产数据解析结果中的重复项、缺失项、异常项,其中,所述预设数据筛选规则是基于所述待导入资产数据预设字段进行重复项、缺失项、异常项识别的。
15、在一些实施例中,在所述根据目标图数据库中的数据库存储模板规定的映射关系,将所述待导入图数据库文件中的实体对象导入至所述数据库存储模板中对应的点中,将所述实体对象之间的关联关系导入至所述数据库存储模板中对应的边中的过程中,所述方法还包括:
16、利用预设冲突检测算法,对导入的待导入资产数据与所述目标图数据库中已存的资产数据进行冲突检测;
17、若所述待导入资产数据与所述目标图数据库中已存的资产数据存在冲突,则利用预设修正规则对所述待导入资产数据,或者与所述待导入资产数据存在冲突的已存的资产数据进行修正;
18、其中,所述预设修正规则包括:优先级规则、合并规则、置信度规则。
19、第二方面,本技术提供了一种资产数据自动化导入图数据库的装置,所述装置包括:
20、资产数据接收模块,用于接收待导入资产数据,其中,所述待导入资产数据来源于不同的数据源;
21、资产数据预处理模块,用于按照预设格式转换模板,将所述待导入资产数据转换为待导入图数据库文件,其中,所述图数据库文件的格式为目标图数据库支持访问的文件格式;
22、资产数据导入模块,用于根据目标图数据库中的数据库存储模板规定的映射关系,将所述待导入图数据库文件中的实体对象导入至所述数据库存储模板中对应的点中,将所述实体对象之间的关联关系导入至所述数据库存储模板中对应的边中。
23、在一些实施例中,所述资产数据接收模块还用于:
24、若所述待导入资产数据的数据来源不属于图数据库,和/或,所述待导入资产数据的数据格式不属于图数据库支持导入的数据格式,则生成待处理数据标签。
25、在一些实施例中,所述按照预设格式转换模板,将所述待导入资产数据转换为待导入图数据库文件,包括:
26、解析带有所述待处理数据标签的待导入资产数据,获取所述待导入资产数据中包含的各目标实体对象,并结合所述不同的数据源中与所述待导入资产数据有关的其他资产数据,确定各目标实体对象之间的关联关系;
27、按照所述预设格式转换模板规定的各实体对象写入规则以及各实体对象之间的关联关系写入规则,将所述待导入资产数据中的各所述目标实体对象、各所述目标实体对象之间的关联关系填充至所述预设格式转换模板,以生成所述待导入图数据库文件。
28、在一些实施例中,所述待导入图数据库文件为json格式文件。
29、在一些实施例中,所述资产数据预处理模块还用于:
30、解析所述待导入资产数据,获取资产数据解析结果;
31、按照预设数据筛选规则,识别并处理所述资产数据解析结果中的重复项、缺失项、异常项,其中,所述预设数据筛选规则是基于所述待导入资产数据预设字段进行重复项、缺失项、异常项识别的。
32、在一些实施例中,所述资产数据导入模块还用于:
33、利用预设冲突检测算法,对导入的待导入资产数据与所述目标图数据库中已存的资产数据进行冲突检测;
34、若所述待导入资产数据与所述目标图数据库中已存的资产数据存在冲突,则利用预设修正规则对所述待导入资产数据,或者与所述待导入资产数据存在冲突的已存的资产数据进行修正;
35、其中,所述预设修正规则包括:优先级规则、合并规则、置信度规则。
36、第三方面,本技术实施例提供了一种电子设备,其中,所述电子设备包括:
37、处理器;以及
38、存储程序的存储器,
39、其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行第一方面所述的资产数据自动化导入图数据库的方法。
40、第四方面,本技术实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行第一方面所述的资产数据自动化导入图数据库的方法。
41、本技术的有益效果:
42、本技术提供了一种资产数据自动化导入图数据库的方法、装置及电子设备,针对不同数据源的待导入资产数据,按照预设格式转换模板,将待导入资产数据转换为图数据库支持访问的文件格式的待导入图数据库文件,然后根据目标图数据库中的数据库存储模板规定的映射关系,将该待导入图数据库文件中的实体对象导入至该数据库存储模板中对应的存储点中,将实体对象之间的关联关系导入至数据库存储模板中对应的边中。
43、如此,在针对不同数据源的待导入图数据库的资产数据需要导入图数据库时,按照预设格式转换模板快速实现数据的统一转换,转换为目标图数据库支持访问的文件格式,然后快速按照数据库存储模板规定的映射关系,将待导入资产数据中的实体对象导入至对应的点中,将待导入资产数据中的实体对象之间的关联关系导入至对应的边中。从而实现不同类型数据载体的图数据库数据自动化识别、自动化导入,可有效确保导入后的数据的数据结构与图数据库规定的数据结构一致,减少不同数据源资产数据导入图数据库存在的误差。
1.一种资产数据自动化导入图数据库的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在所述接收待导入资产数据步骤之后,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述按照预设格式转换模板,将所述待导入资产数据转换为待导入图数据库文件,包括:
4.根据权利要求1~3任一所述的方法,其特征在于,所述待导入图数据库文件为json格式文件。
5.根据权利要求1所述的方法,其特征在于,在所述接收待导入资产数据步骤之后,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,在所述根据目标图数据库中的数据库存储模板规定的映射关系,将所述待导入图数据库文件中的实体对象导入至所述数据库存储模板中对应的点中,将所述实体对象之间的关联关系导入至所述数据库存储模板中对应的边中的过程中,所述方法还包括:
7.一种资产数据自动化导入图数据库的装置,其特征在于,所述装置包括:
8.根据权利要求7所述的装置,其特征在于,所述资产数据接收模块还用于:
9.根据权利要求7所述的装置,其特征在于,所述资产数据预处理模块还用于:
10.根据权利要求7所述的装置,其特征在于,所述资产数据导入模块还用于:
11.一种电子设备,其特征在于,所述电子设备包括:
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使计算机执行根据权利要求1-6中任一项所述的方法。
