一种物联网设备数据解析方法、设备、存储介质与流程

1.本技术涉及物联网领域，尤其涉及一种物联网设备数据解析方法、设备、存储介质。


背景技术：

2.消息队列kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。消息队列流kafka stream提供了对存储于kafka内的数据进行流式计算和分析的功能。
3.当今社会中，越来越多的物联网设备比如监控摄像头、高空抛物抓拍设备、化粪池监测设备、消防报警各类设备等等安装在我们居住的社区之中，用来保证社区中的居民在安全的居住环境中生活。众多的物联网设备会产生大量的监控数据、监测数据等，如何获取并利用这些数据为我们的社区基层治理提供支撑能力成为重中之重。


技术实现要素：

4.本技术提供了一种物联网设备数据解析方法、设备、存储介质，解决了难以获取并利用物联网设备数据的技术问题。
5.一种物联网设备数据解析方法，包括：
6.通过物联网iot数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；
7.将所述物联网设备数据发送到所属类别的话题中；
8.通过iot数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；
9.判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。
10.在本技术的一种实施例中，在iot数据接收器接收物联网设备数据前，所述方法还包括：通过所述iot数据接收器定义数据接收标准规范，以接收符合所述标准规范的物联网设备数据；通过所述iot数据接收器定义每一种类别的物联网设备数据或每一种业务领域的消息队列话题kafkatopic；根据消息队列流kafka stream的功能，定义物联网设备数据kstream，规定各类数据流向的话题topic。
11.在本技术的一种实施例中，所述判断解析后的数据适用的数据库类型，并将所述解析后的数据根据所述数据库类型存储到对应的数据库中，具体包括：判断解析后的数据适用的数据库类型是否为关系型数据库，若是，将所述解析后的数据存储到关系型数据库中；若否，判断解析后的数据适用的数据库类型是否为数据分析型数据库，若是，将所述解析后的数据存储到数据分析型数据库中。
12.在本技术的一种实施例中，在通过iot数据解析器监听所有topic中的物联网设备
数据前，所述方法还包括：通过iot数据解析器定义各种类别的物联网设备数据的解析模型；通过iot数据解析器定义各类物联网设备数据的存储方式。
13.在本技术的一种实施例中，所述方法还包括：当消费者调取所述topic中的物联网设备数据时，通过流式计算将所述物联网设备数据发送至对应的消费者。
14.在本技术的一种实施例中，在通过iot数据解析器监听所有topic中的物联网设备数据时，所述方法还包括：通过单个或多个服务进行topic的监听。
15.在本技术的一种实施例中，所述数据解析模型采用json格式进行定义。
16.在本技术的一种实施例中，所述存储方式包括行式存储、列式存储。
17.一种物联网设备数据解析设备，包括：
18.至少一个处理器；以及，
19.与所述至少一个处理器通信连接的存储器；其中，
20.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
21.通过物联网iot数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；
22.将所述物联网设备数据发送到所属类别的话题中；
23.通过iot数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；
24.判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。
25.一种非易失性存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：
26.通过物联网iot数据接收器接收物联网设备数据，确定所述物联网设备数据的类别，并将所述物联网设备数据与所述类别对应的话题进行绑定；
27.将所述物联网设备数据发送到所属类别的话题中；
28.通过iot数据解析器监听所有话题中的物联网设备数据，当监听到所述话题中存入物联网设备数据后，获取对应所述话题的数据解析模型，对所述话题中的所述物联网设备数据进行解析；
29.判断解析后的数据适用的数据库类型，并根据所述数据库类型将所述解析后的数据存储到对应的数据库中。
30.本技术提供了一种物联网设备数据解析方法、设备、存储介质，至少包括以下有益效果：通过流式计算保持长任务，使每个工作work一直运行，持续接收物联网设备传过来的数据，有效的提高了数据解析的效率；通过配置的方式定义数据解析模型，通过丰富的数据解析模型解析各类物联网设备数据，简化了对接物联网设备数据的研发过程，可以快速地解析接收到的物联网设备数据；根据物联网设备数据所属的业务领域划分物联网设备数据，根据不同的物联网设备数据选择对应的存储方式，能够为业务拓展提供更好的支撑能力。
附图说明
31.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
32.图1为本技术实施例提供的一种物联网设备数据解析方法的步骤示意图；
33.图2为本技术实施例提供的物联网设备数据解析及存储的流程示意图；
34.图3为本技术实施例提供的一种物联网设备数据解析设备的组成结构图。
具体实施方式
35.为了使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例对本技术进行清楚、完整的描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.在本技术的一种实施例中，本方案基于kafka stream的流式计算的iot数据接收器和iot数据解析器来处理物联网设备数据，可以对各种类别的物联网设备数据或者各种业务领域的物联网设备数据做到实现不同的数据解析及数据存储的处理，使每一类的物联网设备数据能够在社区基层治理业务上提供不同业务领域的支撑能力。通过将社区中物联网设备产生的各种数据接入到kafka中，然后通过kafka stream对各种数据进行流式计算和分析，将各种设备的原始数据转换成能够为社区基层治理提供支撑能力的数据，并结合不同类型的数据、不同业务领域的数据做针对性的存储。下面进行具体说明。
37.图1为本技术实施例提供的一种物联网设备数据解析方法的步骤示意图，可以包括以下步骤：
38.s101：通过物联网iot数据接收器接收物联网设备数据，确定物联网设备数据的类别，并将物联网设备数据与类别对应的话题进行绑定。
39.在本技术的一种实施例中，在通过物联网iot数据接收器接收物联网设备数据前，通过数据接收器定义数据接收标准规范，以接收符合标准规范的物联网设备数据；通过数据接收器定义每一种类别的物联网设备数据或每一种业务领域的物联网设备数据的消息队列话题kafkatopic；基于消息队列流kafka stream的功能，定义物联网设备数据kstream，规定各类数据流向的话题topic；然后将接收到的数据发送到相应的topic中。
40.具体地，iot数据接收器可以针对各种类型的物联网设备使用相同的接收标准进行数据的接收。通过统一的接收标准，各种类型的物联网设备数据都可以通过一个接口接入。还可以通过定义各类物联网设备数据的topic以及kstream物联网设备数据，然后进行topic与物联网设备数据的绑定，来实现持续不断地接收物联网设备数据，当消费者调取话题中的物联网设备数据时，通过流式计算把数据发送至相应的消费者。
41.s102：将物联网设备数据发送到所属类别的话题中。
42.具体地，iot数据接收器启动之后，开始初始化kstream物联网设备数据，并为每一类物联网设备数据绑定kafka topic。物联网设备持续地按照接入标准往iot数据接收器推送数据。iot数据接收器接收到数据之后，按照物联网设备数据与topic的绑定关系，把数据发送至对应的topic中。
43.s103：通过iot数据解析器监听所有话题中的物联网设备数据，当监听到话题中存
入物联网设备数据后，获取对应话题的数据解析模型，对话题中的物联网设备数据进行解析。
44.在本技术的一种实施例中，在通过物联网iot数据解析器监听所有话题中的物联网设备数据前，通过iot数据解析器定义各种类别的物联网设备数据的解析模型；其中，数据解析模型采用json格式进行定义。通过iot数据解析器定义各类物联网设备数据的存储方式。
45.具体地，iot数据解析器主要有以下几个功能：定义各类物联网设备数据的解析模型；定义各类物联网设备数据的存储方式，行式存储、列式存储等等；消费topic中的物联网设备数据，根据解析模型解析物联网设备数据；将解析后的物联网设备数据按指定的存储方式进行存储。
46.iot数据解析器启动后开始监听所有的topic，可以通过单个或多个服务监听所有话题中的物联网设备数据。当收到topic中的物联网设备数据时，iot数据解析器获取对应的解析模型，通过对各类物联网设备数据定义解析模型，实现从简单到复杂的各种数据的解析，解析模型采用json格式进行定义并可以随时扩展。然后将解析出来的数据按照对应的存储方式存储下来，可定义多个物联网设备数据的存储方式，比如行式存储、列式存储等，并可与各个数据流进行绑定。
47.s104：判断解析后的数据适用的数据库类型，并根据数据库类型将解析后的数据存储到对应的数据库中。
48.在本技术的一种实施例中，判断解析后的数据适用的数据库类型是否为关系型数据库，若是，将解析后的数据存储到关系型数据库中；若否，判断解析后的数据适用的数据库类型是否为数据分析型数据库，若是，将解析后的数据存储到数据分析型数据库中。
49.具体地，通过iot数据解析器对不同的物联网设备数据进行解析后，根据预设规则判断解析后的物联网设备数据适用的存储方式，比如适用于数据分析的数据存储在数据分析型数据库，适用于关系型业务的数据存储在关系型数据库等，能够为以后的业务拓展提供更好的支撑能力。
50.如图2所示为本技术实施例提供的物联网设备数据解析及存储的流程示意图，不同的物联网设备按照接入标准持续地向iot数据接收器发送物联网设备数据，iot数据接收器启动后初始化kstream物联网设备数据，并按照物联网设备数据与topic的绑定关系，把数据发送至对应的topic中。iot数据解析器通过单个或多个服务监听所有topic中的物联网设备数据，当topic中收到物联网设备数据时，iot数据解析器获取对应该topic的解析模型，然后对物联网设备数据中的数据进行解析，将解析出来的数据按照对应的存储方式存储至对应的数据库中。
51.以上为本技术实施例提供的一种物联网设备数据解析方法，基于同样的发明思路，本技术实施例还提供了相应的一种物联网设备数据解析设备，如图3所示。
52.本实施例提供了一种物联网设备数据解析设备，包括：
53.至少一个处理器；以及，
54.与至少一个处理器通信连接的存储器；其中，
55.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
56.通过物联网iot数据接收器接收物联网设备数据，确定物联网设备数据的类别，并将物联网设备数据与类别对应的话题进行绑定；
57.将物联网设备数据发送到所属类别的话题中；
58.通过iot数据解析器监听所有话题中的物联网设备数据，当监听到话题中存入物联网设备数据后，获取对应话题的数据解析模型，对话题中的物联网设备数据进行解析；
59.判断解析后的数据适用的数据库类型，并根据数据库类型将解析后的数据存储到对应的数据库中。
60.基于同样的思路，本技术的一些实施例还提供了上述方法对应的介质。
61.本技术的一些实施例提供的一种物联网设备数据解析存储介质，存储有计算机可执行指令，计算机可执行指令设置为：
62.通过物联网iot数据接收器接收物联网设备数据，确定物联网设备数据的类别，并将物联网设备数据与类别对应的话题进行绑定；
63.将物联网设备数据发送到所属类别的话题中；
64.通过iot数据解析器监听所有话题中的物联网设备数据，当监听到话题中存入物联网设备数据后，获取对应话题的数据解析模型，对话题中的物联网设备数据进行解析；
65.判断解析后的数据适用的数据库类型，并根据数据库类型将解析后的数据存储到对应的数据库中。
66.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
67.本技术实施例提供的方法和介质与方法是一一对应的，因此，方法和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述方法和介质的有益技术效果。
68.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程方法商品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程方法商品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程方法商品或者方法中还存在另外的相同要素。
69.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。