一种时序数据处理方法及装置与流程

    专利查询2026-09-24  13


    本发明实施例涉及数据处理,尤其涉及一种时序数据处理方法及装置。


    背景技术:

    1、随着互联网、工业物联网、人工智能的发展,越来越多的设备和服务将采集到的时序数据存储到云端,例如这些数据被存储到云端的时序数据库中,供第三方应用查询和分析。由于设备采集的时序数据中包含了大量可能会泄露用户个人隐私的数据,因此在保证时序数据可用的前提下,保障时序数据的机密性至关重要。

    2、相关技术中,数据生产者通过加密信道向云端发送时序数据,以保证时序数据传输过程中的安全性,然后将时序数据以明文的形式存储于时序数据库中。一方面,目前针对各种云平台的攻击方法层出不穷,一旦时序数据库被攻破,就会造成时序数据泄露,在数据存储场景下无法保障时序数据的安全性。另一方面,时序数据库还可以为数据使用方提供数据查询分析服务,目前获得授权的数据使用方均能访问时序数据库中的所有明文数据,在数据访问场景下会存在时序数据被窃取的风险。因此,亟需一种时序数据处理方法,用以提高时序数据的安全性。


    技术实现思路

    1、本发明实施例提供了一种时序数据处理方法及装置,用以提高时序数据的安全性。

    2、第一方面,本发明实施例提供了一种时序数据处理方法,该方法应用于第一设备,该方法包括:获取待存储的时序数据,并按照预设时间间隔将待存储的时序数据划分为n个数据块,n为正整数;从服务器获取第一密钥集合,第一密钥集合至少包括n个第一密钥;针对n个数据块中的第i个数据块,根据第一密钥集合中的第i个第一密钥对第i个数据块进行加密,得到第i个数据块对应的数据密文,其中,i取遍1至n之间的整数;向服务器发送加密数据,加密数据包括n个数据块分别对应的数据密文,加密数据用于存储于服务器中的时序数据库。

    3、通过该方案,将时序数据以数据密文的方式存储在时序数据库中,即使时序数据库被攻破,攻击者拿到时序数据库中的加密数据,也无法得到加密数据对应的数据明文,从而可以提高时序数据的安全性。

    4、可选地,加密数据还包括n个数据块分别对应的同态密文集合,其中第i个数据块对应的同态密文集合包括第i个数据块对应的p个同态密文;向服务器发送加密数据之前,还包括:针对n个数据块中的第i个数据块,执行:对第i个数据块分别执行预设的p个统计操作,得到第i个数据块对应的p个统计值;根据第i个数据块对应的第二密钥,对第i个数据块对应的p个统计值分别进行同态加密,得到第i个数据块对应的p个同态密文;第i个数据块对应的第二密钥为根据第一密钥集合中的第i个第一密钥与第i+1个第一密钥确定。

    5、可选地,加密数据还包括n个数据块分别对应的摘要集合,其中第i个数据块对应的摘要集合包括第i个数据块对应的同态密文集合中每个同态密文的摘要;向服务器发送加密数据之前,还包括:针对第i个数据块对应的同态密文集合中的第j个同态密文,执行:根据第j个同态密文、第i个数据块对应的第二密钥、摘要密钥以及第一公开参数,确定第j个同态密文对应的摘要,j取遍1至p中的整数。

    6、第二方面,本发明实施例提供了一种时序数据处理方法,该方法应用于服务器,服务器包括时序数据库;该方法包括:向第一设备发送第一密钥集合,第一密钥集合包括n个第一密钥,n为正整数;接收第一设备发送的加密数据,加密数据包括n个数据块分别对应的数据密文,n个数据块为待存储的时序数据按照预设时间间隔划分得到,n个数据块中的第i个数据块对应的数据密文为采用第一密钥集合中的第i个第一密钥对第i个数据块进行加密得到,i为取遍1至n之间的整数;将加密数据存储于时序数据库中。通过将时序数据以数据密文的方式存储在时序数据库中,即使时序数据库被攻破,攻击者拿到时序数据库中的加密数据,也无法得到加密数据对应的数据明文,从而可以提高时序数据的安全性。

    7、可选地,加密数据还包括n个数据块分别对应的同态密文集合;其中,第i个数据块对应的同态密文集合包括:第i个数据块对应的p个同态密文,p个同态密文为根据第i个数据块对应的第二密钥,对第i个数据块对应的p个统计值分别进行同态加密得到的,第i个数据块对应的p个统计值为对第i个数据块分别执行预设的p个统计操作得到。

    8、可选地,加密数据还包括n个数据块分别对应的摘要集合;其中,第i个数据块对应的摘要集合包括第i个数据块对应的同态密文集合中每个同态密文对应的摘要,第i个数据块对应的摘要集合中的第j个摘要为根据第i个数据块对应的同态密文集合中的第j个同态密文、第i个数据块对应的第二密钥、摘要密钥以及第一公开参数得到,j取遍1至p中的整数。

    9、可选地,将加密数据存储于时序数据库中,包括:将n个数据块分别对应的数据密文存储于时序数据库对应的磁盘中,将n个数据块分别对应的同态密文集合以及n个数据块分别对应的摘要集合存储于时序数据库对应的内存中。

    10、可选地,将n个数据块分别对应的同态密文集合以及n个数据块分别对应的摘要集合存储于时序数据库对应的内存中,包括:根据接收到的n个数据块分别对应的同态密文集合以及n个数据块分别对应的摘要集合,在时序数据库对应的内存中构建密文索引;其中,密文索引为k叉树结构,k叉树结构中的第i个叶子节点用于存储第i个数据块对应的同态密文集合以及第i个数据块对应的摘要集合,k叉树结构中的第一父节点用于存储第一父节点的各个子节点中所存储的同态密文集合的聚合值以及第一父节点的各个子节点所存储的摘要集合的聚合值,第一父节点为k叉树结构中的任一父节点。

    11、第三方面,本发明实施例提供了一种时序数据处理方法,该方法应用于服务器,服务器包括时序数据库;该方法包括:接收第三设备发送的数据查询请求,数据查询请求包括第一时间范围以及第一查询操作;若第一时间范围以及第一查询操作在访问控制信息指示的访问权限内,对时序数据库中第一时间范围的加密数据执行第一查询操作,得到第一查询操作对应的密文结果;向第三设备发送第一查询操作对应的密文结果;接收第三设备发送的密钥请求,密钥请求用于请求所访问的加密数据对应的密钥;根据密钥请求,向第三设备发送第一凭证密文。

    12、通过该方案,第三设备在查询时序数据库时,只能在数据属主所允许的访问权限内对时序数据库进行访问,相较于只支持数据库级别或者数据表级别的访问策略,该方案中的时序数据库支持数据块级别的数据查询,可以实现细粒度的数据访问控制,从而可以消除数据属主的供数顾虑,从而可以提高时序数据的安全性。

    13、可选地,服务器还包括密钥管理服务,该方法还包括:接收第二设备发送的访问控制信息,访问控制信息用于指示授权第三设备访问时序数据库的访问权限,访问权限包括允许第三设备访问的加密数据对应的时间范围以及允许的查询操作;根据第一密钥集合以及访问控制信息,确定访问控制信息对应的解密密钥;采用第三设备的公钥对访问控制信息对应解密密钥进行加密,得到第一凭证密文;将第一凭证密文存储于密钥管理服务中。

    14、可选地,第一查询操作为all操作,第一查询操作对应的密文结果包括时序数据库中的第一时间范围内的l个数据块分别对应数据密文。

    15、可选地,第一查询操作包括第一统计操作,第一统计操作为p个统计操作中的至少一个;对时序数据库中第一时间范围的加密数据执行第一查询操作,得到第一查询操作对应的密文结果,包括:查询时序数据库中的第一时间范围内的l个数据块分别对应的同态密文集合以及摘要集合,并确定第一聚合结果以及第二聚合结果,其中,第一聚合结果为l个数据块分别对应的同态密文集合的聚合值,第二聚合结果为l个数据块分别对应的摘要集合的聚合值;将第一聚合结果以及第二聚合结果作为第一查询操作对应的密文结果。

    16、可选地,查询时序数据库中的第一时间范围内的l个数据块分别对应的同态密文集合以及摘要集合,并确定第一聚合结果以及第二聚合结果,包括:遍历k叉树结构中的属于第一时间范围的l个叶子节点,加入聚集集合中;针对聚集集合中的各个节点分别执行第一操作,其中,针对第一节点执行第一操作包括:访问第一节点的父节点,记录第一叶子节点的父节点被访问的次数,并将第一节点的父节点加入至父节点集合;第一节点为聚集集合中的任一节点;针对父节点集合中的各个父节点,分别执行第二操作,其中,针对第一父节点执行第二操作包括:确定第一父节点被访问的次数;若第一父节点被访问的次数等于k,则将第一父节点从父节点集合转移至聚集集合,并将第一父节点的所有子节点从聚集集合中删除;第一父节点为父节点集合中的任一父节点;将聚集集合中的每个节点存储的同态密文集合的聚合值,确定为第一聚合结果;将聚集集合中的每个节点存储的摘要集合的聚合值,确定为第二聚合结果。

    17、第四方面,本发明实施例提供了一种时序数据处理方法,该方法一种时序数据处理方法,应用于第三设备,该方法包括:向服务器发送数据查询请求,数据查询请求包括第一时间范围以及第一查询操作;查询请求用于请求服务器中的时序数据库对第一时间范围的加密数据执行第一查询操作;接收服务器发送的第一查询操作对应的密文结果;向服务器发送密钥请求,密钥请求用于请求所访问的加密数据对应的解密密钥;接收服务器发送的第一凭证密文,第一凭证密文为服务器确定第一时间范围以及第一查询操作在访问控制信息所指示的访问权限内的情况下发送;根据第三设备的私钥对第一凭证密文进行解密,得到第一解密密钥;根据第一查询操作对应的密文结果以及第一解密密钥,确定第一查询操作对应的明文结果。

    18、通过该方案,第三设备在查询时序数据库时,只能在数据属主所允许的访问权限内对时序数据库进行访问,相较于只支持数据库级别或者数据表级别的访问策略,该方案中的时序数据库支持数据块级别的数据查询,可以实现细粒度的数据访问控制,从而可以消除数据属主的供数顾虑,从而可以提高时序数据的安全性。

    19、可选地,第一查询操作为all操作;第一查询操作对应的密文结果包括时序数据库中的第一时间范围内的l个数据块分别对应的数据密文;第一解密密钥包括l个第一密钥,l个数据块分别对应的数据密文为根据l个第一密钥对l个数据块进行加密得到;根据第一查询操作对应的密文结果以及第一解密密钥,确定第一查询操作对应的明文结果,包括:针对l个数据块中的第f个数据块对应的数据密文,执行:根据l个第一密钥中的第f个第一密钥,对第f个数据块对应的数据密文进行解密,得到第f个数据块的数据明文;其中,f取遍1至l之间的整数。

    20、可选地,第一查询操作包括第一统计操作;第一查询操作对应的密文结果包括第一聚合结果以及第二聚合结果,其中,第一聚合结果为时序数据库中的第一时间范围内的l个数据块分别对应的同态密文集合的聚合值,第二聚合结为l个数据块分别对应的摘要集合的聚合值,l个数据块中的第f个数据块对应的同态密文集合为根据第f个数据块对应的第二密钥对第f个数据块对应的p个统计值分别进行同态加密得到;第f个数据块对应的摘要集合中的第j个摘要为根据第f个数据块对应的同态密文集合中的第j个同态密文、第f个数据块对应的第二密钥、摘要密钥以及第一公开参数确定;第一解密密钥包括第一密钥差值,第一密钥差值为l个数据块中的第一个数据块对应的第一密钥与l个数据块的下一个数据块对应的第一密钥之间的差值。

    21、可选地,该方法还包括:根据第一聚合结果、第二聚合结果、第一解密密钥以及第二公开参数,对第一聚合结果进行完整性校验;根据第一查询操作对应的密文结果以及第一解密密钥,确定第一查询操作对应的明文结果,包括:若完整性校验的结果为有效,则根据第一查询操作对应的密文结果以及第一解密密钥,确定第一查询操作对应的明文结果。

    22、可选地,根据第一聚合结果、第二聚合结果、第一解密密钥以及第二公开参数,对第一聚合结果进行完整性校验,包括:根据第一聚合结果、第二聚合结果以及第二公开参数,确定密钥校验值;若确定第一解密密钥与密钥校验值相等,则确定完整性校验的结果为有效;或者,若确定第一解密密钥与密钥校验值不相等,则确定完整性校验的结果为无效。

    23、可选地,根据第一查询操作对应的密文结果以及第一解密密钥,确定第一查询操作对应的明文结果,包括:根据第一密钥差值对第一聚合结果进行解密,得到第一聚合结果对应的明文结果,第一聚合结果对应的明文结果包括p个统计聚合值,p个统计聚合值中的第j个统计值为第一时间范围内的l个数据块分别对应的第j个统计值的聚合值,其中j取遍0至p中的整数;根据第一聚合结果对应的明文结果以及第一查询操作,确定第一查询操作对应的明文结果。

    24、第五方面,本发明实施例提供了一种时序数据处理方法,该方法应用于第二设备,该方法包括:接收第三设备发送的访问授权请求,访问授权请求用于请求授权访问权限;基于访问授权请求,生成访问控制信息,访问控制信息用于指示授权第三设备访问时序数据库的访问权限,访问权限包括允许第三设备访问的加密数据对应的时间范围以及允许的查询操作;向服务器发送访问控制信息。

    25、可选地,允许的查询操作包括all操作;all操作用于访问允许访问的时间范围内的所有数据块。

    26、可选地,允许的查询操作包括以下至少一项统计操作:

    27、sum操作,sum操作用于统计允许访问的时间范围内的数据和;

    28、avg操作,avg操作用于统计允许访问的时间范围内的数据平均值;

    29、count操作,count操作用于统计允许访问的时间范围内的数据条数;

    30、var操作,var操作用于统计允许访问的时间范围内的数据块的方差;

    31、stdev操作,stdev操作用于统计允许访问的时间范围内的数据的协方差;

    32、max操作,max操作用于统计允许访问的时间范围内的出现次数最多的数据;

    33、min操作,min操作用于统计允许访问的时间范围内的出现次数最少的数据。

    34、第六方面,本发明实施例还提供了一种装置,包括:

    35、获取单元,用于获取待存储的时序数据,并按照预设时间间隔将待存储的时序数据划分为n个数据块,n为正整数;从服务器获取第一密钥集合,第一密钥集合至少包括n个第一密钥;

    36、处理单元,用于针对n个数据块中的第i个数据块,根据第一密钥集合中的第i个第一密钥对第i个数据块进行加密,得到第i个数据块对应的数据密文,其中,i取遍1至n之间的整数;

    37、通信单元,用于向服务器发送加密数据,加密数据包括n个数据块分别对应的数据密文,加密数据用于存储于服务器中的时序数据库。

    38、第七方面,本发明实施例还提供了一种装置,包括:

    39、通信单元,用于向第一设备发送第一密钥集合,第一密钥集合包括n个第一密钥,n为正整数;接收第一设备发送的加密数据,加密数据包括n个数据块分别对应的数据密文,n个数据块为待存储的时序数据按照预设时间间隔划分得到,n个数据块中的第i个数据块对应的数据密文为采用第一密钥集合中的第i个第一密钥对第i个数据块进行加密得到,i为取遍1至n之间的整数;处理单元,用于将加密数据存储于时序数据库中。

    40、第八方面,本发明实施例还提供了一种装置,包括:

    41、通信单元,用于接收第三设备发送的数据查询请求,数据查询请求包括第一时间范围以及第一查询操作;

    42、处理单元,用于若第一时间范围以及第一查询操作在访问控制信息指示的访问权限内,对时序数据库中第一时间范围的加密数据执行第一查询操作,得到第一查询操作对应的密文结果;

    43、通信单元,还用于向第三设备发送第一查询操作对应的密文结果;接收第三设备发送的密钥请求,密钥请求用于请求所访问的加密数据对应的密钥;根据密钥请求,向第三设备发送第一凭证密文。

    44、第九方面,本发明实施例还提供了一种装置,包括:

    45、通信单元,用于向服务器发送数据查询请求,数据查询请求包括第一时间范围以及第一查询操作;查询请求用于请求服务器中的时序数据库对第一时间范围的加密数据执行第一查询操作;接收服务器发送的第一查询操作对应的密文结果;向服务器发送密钥请求,密钥请求用于请求所访问的加密数据对应的解密密钥;接收服务器发送的第一凭证密文,第一凭证密文为服务器确定第一时间范围以及第一查询操作在访问控制信息所指示的访问权限内的情况下发送;

    46、处理单元,用于根据第三设备的私钥对第一凭证密文进行解密,得到第一解密密钥;根据第一查询操作对应的密文结果以及第一解密密钥,确定第一查询操作对应的明文结果。

    47、第十方面,本发明实施例还提供了一种装置,包括:

    48、通信单元,用于接收第三设备发送的访问授权请求,访问授权请求用于请求授权访问权限;

    49、处理单元,用于基于访问授权请求,生成访问控制信息,访问控制信息用于指示授权第三设备访问时序数据库的访问权限,访问权限包括允许第三设备访问的加密数据对应的时间范围以及允许的查询操作;

    50、处理单元,还用于向服务器发送访问控制信息。

    51、第十一方面,本发明实施例提供一种计算设备,包括:

    52、存储器,用于存储程序指令;

    53、处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行上述第一方面至第三方面中的任一实现方式中的方法步骤。

    54、第十二方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行上述第一方面至第三方面中的任一实现方式中的方法步骤。


    技术特征:

    1.一种时序数据处理方法,其特征在于,应用于第一设备,所述方法包括:

    2.如权利要求1所述的方法,其特征在于,所述加密数据还包括所述n个数据块分别对应的同态密文集合,其中第i个数据块对应的同态密文集合包括所述第i个数据块对应的p个同态密文;

    3.如权利要求2所述的方法,其特征在于,所述加密数据还包括所述n个数据块分别对应的摘要集合,其中第i个数据块对应的摘要集合包括所述第i个数据块对应的同态密文集合中每个同态密文的摘要;

    4.一种时序数据处理方法,其特征在于,应用于服务器,所述服务器包括时序数据库;所述方法包括:

    5.如权利要求4所述的方法,其特征在于,所述加密数据还包括所述n个数据块分别对应的同态密文集合;

    6.如权利要求5所述的方法,其特征在于,所述加密数据还包括所述n个数据块分别对应的摘要集合;

    7.如权利要求6所述的方法,其特征在于,所述将所述加密数据存储于时序数据库中,包括:

    8.如权利要求7所述的方法,其特征在于,所述将所述n个数据块分别对应的同态密文集合以及所述n个数据块分别对应的摘要集合存储于所述时序数据库对应的内存中,包括:

    9.一种时序数据处理方法,其特征在于,应用于服务器,所述服务器包括时序数据库;所述方法包括:

    10.如权利要求9所述的方法,其特征在于,所述服务器还包括密钥管理服务,所述方法还包括:

    11.如权利要求8或9所述的方法,其特征在于,所述第一查询操作为all操作,所述第一查询操作对应的密文结果包括所述时序数据库中的所述第一时间范围内的l个数据块分别对应数据密文。

    12.如权利要求8或9所述的方法,其特征在于,所述第一查询操作包括第一统计操作,所述第一统计操作为所述p个统计操作中的至少一个;所述对所述时序数据库中所述第一时间范围的加密数据执行第一查询操作,得到所述第一查询操作对应的密文结果,包括:

    13.如权利要求12所述的方法,其特征在于,所述查询所述时序数据库中的所述第一时间范围内的l个数据块分别对应的同态密文集合以及摘要集合,并确定第一聚合结果以及第二聚合结果,包括:

    14.一种时序数据处理方法,其特征在于,应用于第三设备,所述方法包括:

    15.如权利要求14所述的方法,其特征在于,所述第一查询操作为all操作;所述第一查询操作对应的密文结果包括所述时序数据库中的所述第一时间范围内的l个数据块分别对应的数据密文;所述第一解密密钥包括l个第一密钥,所述l个数据块分别对应的数据密文为根据所述l个第一密钥对所述l个数据块进行加密得到;

    16.如权利要求14所述的方法,其特征在于,所述第一查询操作包括第一统计操作;所述第一查询操作对应的密文结果包括第一聚合结果以及第二聚合结果,其中,第一聚合结果为所述时序数据库中的所述第一时间范围内的l个数据块分别对应的同态密文集合的聚合值,所述第二聚合结为所述l个数据块分别对应的摘要集合的聚合值,所述l个数据块中的第f个数据块对应的同态密文集合为根据所述第f个数据块对应的第二密钥对所述第f个数据块对应的p个统计值分别进行同态加密得到;所述第f个数据块对应的摘要集合中的第j个摘要为根据所述第f个数据块对应的同态密文集合中的第j个同态密文、所述第f个数据块对应的第二密钥、摘要密钥以及第一公开参数确定;

    17.如权利要求16所述的方法,其特征在于,所述方法还包括:

    18.如权利要求17所述的方法,其特征在于,所述根据所述第一聚合结果、所述第二聚合结果、所述第一解密密钥以及第二公开参数,对所述第一聚合结果进行完整性校验,包括:

    19.如权利要求17或18所述的方法,其特征在于,所述根据所述第一查询操作对应的密文结果以及所述第一解密密钥,确定所述第一查询操作对应的明文结果,包括:

    20.一种时序数据处理方法,其特征在于,应用于第二设备,所述方法包括:

    21.如权利要求20所述的方法,其特征在于,允许的查询操作包括all操作;所述all操作用于访问允许访问的时间范围内的所有数据块。

    22.如权利要求20所述的方法,其特征在于,允许的查询操作包括以下至少一项统计操作:

    23.一种计算设备,其特征在于,包括:

    24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行权利要求1至22任一项所述的方法。


    技术总结
    本发明实施例提供了一种时序数据处理方法及装置,用以提高时序数据的安全性。该方法包括:第一设备获取待存储的时序数据,并按照预设时间间隔将待存储的时序数据划分为N个数据块,N为正整数;从服务器获取第一密钥集合,第一密钥集合至少包括N个第一密钥;针对N个数据块中的第i个数据块,根据第一密钥集合中的第i个第一密钥对第i个数据块进行加密,得到第i个数据块对应的数据密文,其中,i取遍1至N之间的整数;向服务器发送加密数据,加密数据包括N个数据块分别对应的数据密文,加密数据用于存储于服务器中的时序数据库。由此可以实现在时序数据库中存储加密数据,从而可以提高时序数据的安全性。

    技术研发人员:陈宇杰,李辉忠,张开翔,姚辉亚,李昊轩,贺双洪,王章,王朝阳,鄢新义,廖飞强,马晨,黄飞
    受保护的技术使用者:深圳前海微众银行股份有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-39264.html

    最新回复(0)