本技术属于电器,具体涉及数据处理方法、装置、设备及介质。
背景技术:
1、为了给用户更好的使用体验,现有家电中一般具备物联网功能,家电上设置有主机板,用于家电设备的各类运行数据,并实时传输至服务器中,以用来分析用户习惯,改善用户体验。
2、但在数据传输过程中,受许多因素影响,例如网络信号差,主机板嵌入式软件出现问题等,上传至服务器的数据会出现丢失等异常情况,这些情况极大影响了数据分析的结论,从而不能准确的改善用户体验。
技术实现思路
1、为了解决现有技术中家电在上传实时运行数据时出现数据传输异常无法进行有效识别的问题,本技术提供了一种数据处理方法、装置、设备及介质。
2、第一方面,本技术提供一种数据处理方法,所述方法包括:
3、从家电的主机板中实时获取第一数据流,以及从云端服务器中实时获取所述主机板实时上传的第二数据流;其中,所述第一数据流和所述第二数据流用于反应所述家电的运行状态;
4、根据所述第一数据流和所述第二数据流,进行实时流式比对处理;
5、若所述第一数据流和所述第二数据流比对不一致,则获取异常数据,并将所述异常数据发送至用户终端。
6、在一种可能的实现方式中,所述根据所述第一数据流和所述第二数据流,进行实时流式比对处理,包括:
7、获取所述第一数据流和所述第二数据流共有的时间戳和属性字段;
8、以所述时间戳和所述属性字段作为对齐标志位,对实时获取的第一数据流和所述第二数据流进行对齐操作;
9、在对齐操作完成后,对所述第一数据流和所述第二数据流进行流式比对处理。
10、在一种可能的实现方式中,所述在对齐操作完成后,对所述第一数据流和所述第二数据流进行流式比对处理,包括:
11、在对齐操作完成后,判断所述第一数据流中是否存在多余字节流未与所述第二数据流对齐;
12、若存在,则比对不一致,确定所述多余字节流为所述第二数据流相对于所述第一数据流的缺失数据,并继续对所述第一数据流和所述第二数据流中的属性字段进行流式比对处理;
13、若不存在,则对所述第一数据流和所述第二数据流中的属性字段进行流式比对处理。
14、在一种可能的实现方式中,所述对所述第一数据流和所述第二数据流中的属性字段进行流式比对处理,包括:
15、判断所述第一数据流和所述第二数据流同一对齐位置处的属性字段是否一致;
16、若否,则比对不一致,获取不一致的属性字段;
17、若是,则获取属性字段对应的属性值,并对所述属性值进行校验。
18、在一种可能的实现方式中,所述对所述属性值进行校验,包括:
19、判断所述属性值是否在预设范围内;
20、若是,则校验通过;
21、若否,则校验失败,记录所述属性字段对应的异常属性值。
22、在一种可能的实现方式中,若所述第一数据流和所述第二数据流比对不一致,则获取异常数据,包括:
23、根据所述服务器的缺失数据、所述不一致的属性字段以及属性字段对应的异常属性值,获取所述异常数据。
24、在一种可能的实现方式中,所述从家电的主机板中实时获取第一数据流,包括:
25、在接入所述家电的串口后,通过java程序,将所述主机板传输的实时串口数据读取为第一数据流。
26、第二方面,本技术提供一种数据处理装置,所述装置包括:
27、获取模块,用于从家电的主机板中实时获取第一数据流,以及从云端服务器中实时获取所述主机板实时上传的第二数据流;其中,所述第一数据流和所述第二数据流用于反应所述家电的运行状态;
28、处理模块,用于根据所述第一数据流和所述第二数据流,进行实时流式比对处理;
29、所述处理模块还用于,若所述第一数据流和所述第二数据流比对不一致,则获取异常数据,并将所述异常数据发送至用户终端。
30、在一种可能的实现方式中,所述处理模块具体用于:
31、获取所述第一数据流和所述第二数据流共有的时间戳和属性字段;
32、以所述时间戳和所述属性字段作为对齐标志位,对实时获取的第一数据流和所述第二数据流进行对齐操作;
33、在对齐操作完成后,对所述第一数据流和所述第二数据流进行流式比对处理。
34、在一种可能的实现方式中,所述处理模块还用于:
35、在对齐操作完成后,判断所述第一数据流中是否存在多余字节流未与所述第二数据流对齐;
36、若存在,则比对不一致,确定所述多余字节流为所述第二数据流相对于所述第一数据流的缺失数据,并继续对所述第一数据流和所述第二数据流中的属性字段进行流式比对处理;
37、若不存在,则对所述第一数据流和所述第二数据流中的属性字段进行流式比对处理。
38、在一种可能的实现方式中,所述处理模块还用于:
39、判断所述第一数据流和所述第二数据流同一对齐位置处的属性字段是否一致;
40、若否,则比对不一致,获取不一致的属性字段;
41、若是,则获取属性字段对应的属性值,并对所述属性值进行校验。
42、在一种可能的实现方式中,所述处理模块还用于:判断所述属性值是否在预设范围内;
43、若是,则校验通过;
44、若否,则校验失败,记录所述属性字段对应的异常属性值。
45、在一种可能的实现方式中,所述处理模块还用于:
46、根据所述服务器的缺失数据、所述不一致的属性字段以及属性字段对应的异常属性值,获取所述异常数据。
47、在一种可能的实现方式中,所述获取模块具体用于:
48、在接入所述家电的串口后,通过java程序,将所述主机板传输的实时串口数据读取为第一数据流。
49、第三方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面任意一项所述的方法。
50、第四方面,本技术提供一种电子设备,包括:至少一个处理器和存储器;其中,
51、所述存储器存储计算机执行指令;
52、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如第一方面任一项所述的方法。
53、本实施例提供的数据处理方法、装置、设备及介质,通过实时获取并处理家电主机板的数据为第一数据流,同时获取云端服务器中主机板传的第二数据流,将第一数据流与第二数据流进行实时的流式比对处理,以第一数据流为基准,当第二数据流相对于第一数据流出现不一致时,则获取异常数据,并且发送至用户终端,该方法有效的识别了家电主机板在上传数据至云端服务器时出现的数据错传漏传的问题,有利于及时处理异常问题,使数据分析的结论更加准确,从而准确的改善用户体验。
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一数据流和所述第二数据流,进行实时流式比对处理,包括:
3.根据权利要求2所述的方法,其特征在于,所述在对齐操作完成后,对所述第一数据流和所述第二数据流进行流式比对处理,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述第一数据流和所述第二数据流中的属性字段进行流式比对处理,包括:
5.根据权利要求4所述的方法,其特征在于,所述对所述属性值进行校验,包括:
6.根据权利要求5所述的方法,其特征在于,若所述第一数据流和所述第二数据流比对不一致,则获取异常数据,包括:
7.根据权利要求1所述的方法,其特征在于,所述从家电的主机板中实时获取第一数据流,包括:
8.一种数据处理装置,其特征在于,所述装置包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任意一项所述的方法。
10.一种电子设备,其特征在于,包括:至少一个处理器和存储器;其中,
