用于数据库的数据脱敏方法、装置、设备及存储介质与流程

    专利查询2025-06-03  82


    本技术涉及数据脱敏的,尤其是涉及一种用于数据库的数据脱敏方法、装置、设备及存储介质。


    背景技术:

    1、数据脱敏,指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。

    2、当前常见的数据脱敏方式主要包括通过编写特定的sql语句,利用数据库函数(如concat、left、right等)对敏感数据进行脱敏处理;例如,对电话号码和身份证号码进行脱敏;以及通过编写特定的正则表达式,在数据导出前对敏感数据进行脱敏处理;例如,使用正则表达式或自定义规则对数据进行脱敏。

    3、在实现本技术的过程中,发明人发现上述数据脱敏方式至少存在如下问题:上述两种数据脱敏方式本质上都是采用内置函数对字段内容进行截取和转换操作,这会导致代码执行性能大幅下降,且处理大数据量时需要耗费的时间较长。


    技术实现思路

    1、为了有助于提高脱敏过程中代码的执行性能,降低脱敏过程中耗费的时间,本技术提供的一种用于数据库的数据脱敏方法、装置、设备及存储介质。

    2、第一方面,本技术提供一种用于数据库的数据脱敏方法,采用如下的技术方案:所述方法包括:获取敏感信息,所述敏感信息包括待遮罩的敏感数据以及与敏感数据对应的信息类型;

    3、在预设的遮罩规则数据库中查询与所述信息类型对应的遮罩规则;

    4、利用hex函数将所述敏感数据转换为第一数据;

    5、基于所述遮罩规则对所述第一数据进行遮罩并记录遮罩信息;

    6、利用unhex函数将遮罩后的第一数据转换为加密数据并将所述加密数据存储至加密存储表;

    7、在获取到敏感信息的查询请求时,确定敏感信息对应的目标遮罩信息;

    8、基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据。

    9、通过上述技术方案,在对敏感信息进行加密存储及脱敏导出的过程中,利用hex函数将敏感信息对应的敏感数据转化为十六进制格式的第一数据,继而使得后续利用遮罩规则对敏感数据进行遮罩加密的过程可以基于十六进制掩码按位与操作,提高了加密遮罩的效率;同时,敏感数据的遮罩及脱敏过程都是直接依靠预设的遮罩规则进行,使得遮罩及脱敏过程均无需对敏感数据进行截取和转换操作,从而提高了对敏感数据进行加密遮罩及脱敏导出的效率且显著降低了大数据量时的处理时长。

    10、在一个具体的可实施方案中,所述利用hex函数将所述敏感数据转换为第一数据包括:判断所述敏感数据的字段类型是否为blob类型;若所述敏感数据的字段类型为blob类型,则利用hex函数将所述敏感数据转换为第一数据;否则,将所述敏感数据的字段类型转换为blob类型,利用hex函数将转换后的敏感数据转换为第一数据。

    11、在一个具体的可实施方案中,在所述在预设的遮罩规则数据库中查询与所述信息类型对应的遮罩规则之后,还包括:基于与所述信息类型对应的遮罩规则对敏感信息的配置文件进行设置,所述敏感信息的配置文件包括与敏感信息对应的数据源id、数据源类型、表名、字段名以及字段类型。

    12、在一个具体的可实施方案中,所述基于所述遮罩规则对所述第一数据进行遮罩并记录遮罩信息包括:基于遮罩规则对所述第一数据进行遮罩得到遮罩数据;将第一数据对应的配置文件以及遮罩规则打包存储为所述遮罩信息。

    13、在一个具体的可实施方案中,所述基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据包括:基于所述目标遮罩信息的遮罩规则对加密存储表中的加密数据进行脱敏;查询目标遮罩信息内的配置信息对应的数据源类型,根据查询到的数据源类型对应调用与数据源类型对应的数据库管理工具;利用与数据源类型对应的数据库管理工具对加密存储表中脱敏后的加密数据进行导出。

    14、在一个具体的可实施方案中,所述利用unhex函数将遮罩后的第一数据转换为加密数据并将所述加密数据存储至加密存储表包括:利用unhex函数将遮罩后的第一数据转换为加密数据;新建与第一数据对应的加密存储表并将所述加密数据对应存储至所述加密存储表。

    15、在一个具体的可实施方案中,所述基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据包括:基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏;对脱敏后的加密存储表进行整表复制得到加密存储复制表;导出所述加密存储复制表,所述加密存储复制表中包含有脱敏数据。

    16、第二方面,本技术提供一种用于数据库的数据脱敏装置,采用如下技术方案:所述装置包括:

    17、敏感信息获取模块,用于获取敏感信息,所述敏感信息包括待遮罩的敏感数据以及与敏感数据对应的信息类型;

    18、遮罩规则查询模块,用于在预设的遮罩规则数据库中查询与所述信息类型对应的遮罩规则;

    19、敏感数据转换模块,用于利用hex函数将所述敏感数据转换为第一数据;

    20、敏感数据遮罩模块,用于基于所述遮罩规则对所述第一数据进行遮罩并记录遮罩信息;

    21、敏感数据存储模块,用于利用unhex函数将遮罩后的第一数据转换为加密数据并将所述加密数据存储至加密存储表;

    22、敏感信息查询模块,用于在获取到敏感信息的查询请求时,确定敏感信息对应的目标遮罩信息;

    23、敏感数据导出模块,用于基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据。

    24、第三方面,本技术提供一种数据脱敏设备,采用如下技术方案:包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如上述任一种用于数据库的数据脱敏方法的计算机程序。

    25、第四方面,本技术提供一种计算机可读存储介质,采用如下技术方案:存储有能够被处理器加载并执行上述任一种用于数据库的数据脱敏方法的计算机程序。

    26、综上所述,本技术至少具有以下有益技术效果:

    27、1、在对敏感信息进行加密存储及脱敏导出的过程中,利用hex函数将敏感信息对应的敏感数据转化为十六进制格式的第一数据,继而使得后续利用遮罩规则对敏感数据进行遮罩加密的过程可以基于十六进制掩码按位与操作,提高了加密遮罩的效率;同时,敏感数据的遮罩及脱敏过程都是直接依靠预设的遮罩规则进行,使得遮罩及脱敏过程均无需对敏感数据进行截取和转换操作,从而提高了对敏感数据进行加密遮罩及脱敏导出的效率且显著降低了大数据量时的处理时长;

    28、2、在利用hex函数对敏感数据进行转换之前,首先将敏感数据统一转换为blob类型二进制数据,继而利用hex函数对二进制形式的敏感数据进行统一转换,一方面减少了敏感数据格式复杂导致利用hex函数进行转换时出错的可能;另一方面,将敏感数据统一转换为blob类型二进制数据方式,还屏蔽了不同数据库及字段类型差异导致的脱敏规则重复开发的问题,从而进一步提高了数据脱敏的准确度及适用性;

    29、3、在对敏感数据进行导出之前,首先对应查询敏感数据对应的数据源类型,继而利用该数据源类型对应的数据库管理工具对敏感数据进行导出,减少了由于不同数据库之间存在兼容问题,导致导出后的敏感数据存在格式错误影响查询结果的可能,进一步提高了数据脱敏后导出数据的准确率及导出效果;

    30、4、在对脱敏数据进行导出时对加密存储表进行复制导出的方式,实现了将加密存储表与导出数据相互备份隔离的效果,降低了导出过程对加密存储表中数据的干扰,从而进一步提升了数据脱敏过程中的准确度及稳定性。


    技术特征:

    1.一种用于数据库的数据脱敏方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述利用hex函数将所述敏感数据转换为第一数据包括:

    3.根据权利要求1所述的方法,其特征在于,在所述在预设的遮罩规则数据库中查询与所述信息类型对应的遮罩规则之后,还包括:

    4.根据权利要求3所述的方法,其特征在于,所述基于所述遮罩规则对所述第一数据进行遮罩并记录遮罩信息包括:

    5.根据权利要求4所述的方法,其特征在于,所述基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据包括:

    6.根据权利要求1所述的方法,其特征在于,所述利用unhex函数将遮罩后的第一数据转换为加密数据并将所述加密数据存储至加密存储表包括:

    7.根据权利要求1所述的方法,其特征在于,所述基于所述目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据包括:

    8.一种用于数据库的数据脱敏装置,其特征在于,所述装置包括:

    9.一种数据脱敏设备,其特征在于,包括存储器和处理器,所述存储器上存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。

    10.一种计算机可读存储介质,其特征在于,存储有能够被处理器加载并执行如权利要求1至7中任一种方法的计算机程序。


    技术总结
    本申请涉及一种用于数据库的数据脱敏方法、装置、设备及存储介质,应用在数据脱敏领域,其中方法包括:获取敏感信息,敏感信息包括待遮罩的敏感数据以及信息类型;在预设的遮罩规则数据库中查询与信息类型对应的遮罩规则;利用hex函数将敏感数据转换为第一数据;基于遮罩规则对第一数据进行遮罩并记录遮罩信息;利用unhex函数将遮罩后的第一数据转换为加密数据并将加密数据存储至加密存储表;在获取到敏感信息的查询请求时,确定敏感信息对应的目标遮罩信息;基于目标遮罩信息对加密存储表中的加密数据进行脱敏并导出脱敏数据。本申请具有的技术效果是:提高了对敏感数据进行加密遮罩及脱敏导出的效率且显著降低了大数据量时的处理时长。

    技术研发人员:陈涛,郁彬
    受保护的技术使用者:无锡锡银金科信息技术有限责任公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-29023.html

    最新回复(0)