基于stream的数据集成平台及其数据集成方法与流程

1.本发明涉及数据集成技术领域，具体为一种基于stream的数据集成平台及其数据集成方法。


背景技术：

2.在当下的物流供应链领域，企业都在进行这数字化转型，企业都业务正常运行都摆脱不了多套信息系统都支撑，各系统之间也必定不会是一个孤立的状态。信息系统供应商在为进行系统实施的过程中就必定会遇到如何进行系统集成的问题。
3.在软件系统集成的过程中主要需要考虑几个纬度的事情：第一、确定系统之间的传输协议。如http、webservice、rpc等；第一、根据业务场景确定集成接口的业务节点，即在什么实践节点集成什么样的数据，其数据流方向是怎样的。如销售订单下传、质检结果回告、出库单回传等；第一、确定集成的数据内容及格式，也就是常说的字段对接或报文对接。
4.目前行业内进行系统间的数据集成，主要采用以下几种方式：一、数据库对接方式，采用sql脚本、存储过程、dblink等技术，直接从数据库表的纬度进行数据的集成；二、代码开发方式，使用系统间提供的api、sdk，采用编码的开发方式完成系统间的集成；三、集成应用，常见的如接口工具，通过配置的方式完成数据的集成。
5.上述三种方式的缺点如下：一、数据库对接方式，场景覆盖度低，扩展性低，成本中等，性能中等，适合小数据规模场景，当数据量大，频率高时，性能瓶颈表现突出；二、代码开发方式，场景覆盖度高，扩展性高，成本高，性能高；三、集成应用，场景覆盖度中等，扩展性中等，成本低，性能中等。
6.为此，我们推出一种基于stream的数据集成平台及其数据集成方法。


技术实现要素：

7.本发明的目的在于提供一种基于stream的数据集成平台及其数据集成方法，以解决上述背景技术中提出的问题。
8.为实现上述目的，本发明提供如下技术方案：一种基于stream的数据集成平台，包括：
9.协议网关的设计：将协议层与数据处理层进行分离，网关是数据的入口，支持多中协议；
10.限流设计：网关处可以对不同的api进行限流，限流算法采用基于redis分布式限流算法实现，支持集群限流；
11.黑白名单设计：在网关处进行黑白名过滤，提升系统安全；
12.鉴权设计：在网关处动态配置鉴权机制，支持加密、加签，支持rsa512、aes算法；
13.组件库：提供丰富的组件支持，包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、edi写组件、edi读组件、iot组件、es2组件和sap组件；
14.api管理器：对api进行管理设计调度，包括api配置管理器、api流程设计器和api执行调度器；
15.组件表单引擎：通过描述定义，自动生成组件的表单，减少开发工作量。
16.所述协议网关包括http、webservice、rpc、mq、socket和as2。
17.所述api为每一个数据处理逻辑抽象，支持api自定义创建。
18.所述组件库内组件不断丰富增加，支持组件库内组件的自定义，提供组件扩展sdk，每个api基于组件库内的组件来完成数据的处理，通过组件装配的方式来提高扩展的灵活性。
19.所述api流程设计器将api设计为一个基于stream的flow，每个flow由不同的组件节点构成，通过api的流程设计器，进行api的拖拽化设计。
20.所述api执行调度器用于完成api的执行调度，支持分布式调度执行。
21.所述api执行调度器支持分布式部署，提高系统的可用性和高并发处理能力。
22.本发明还提供了一种基于stream的数据集成平台的数据集成方法，具体包括以下步骤：
23.s1、确定协议，配置网关：
24.确定数据系统的数据交换通讯协议，从而确定采用与其相匹配的网关，如http协议，则选用http类型网关；
25.s2、确定报文，配置api：
26.确定待集成系统双方或多方的数据格式，根据格式约定定义api，配置api各节点数据处理流程；
27.s3、根据数据安全策略，配置鉴权：
28.确定鉴权方式，在api中开始节点后新增一个鉴权节点，并根据鉴权策略配置相应的参数；
29.s4、根据数据安全策略，配置黑白访问名单：
30.确定访问策略，配置网关的黑白名单；
31.s5、根据集成系统的负载，配置限流策略：
32.确定各系统之间的负载情况，作为参考，以配置api的限流策略；
33.s6、根据数据并发处理的数据流量要求，确定部署模式：
34.根据集成场景的数据流量，确定是否采用分布式部署方式，以提高并发处理能力和可用性；
35.s7、部署运行。
36.与现有技术相比，本发明的有益效果是：本发明通过基于stream的数据集成平台，能够轻松面对不同场景下的数据集成需求，同时通过简单配置化的方式降低实施成本、缩短实施周期；通过分布式部署的方式，更能适应高可用、高并发的应用场景。
附图说明
37.图1为本发明基于stream的数据集成平台结构示意图；
38.图2为本发明基于stream的数据集成平台的数据集成方法流程图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.请参阅图1，本发明提供一种技术方案：一种基于stream的数据集成平台，包括：
41.协议网关的设计：将协议层与数据处理层进行分离，网关是数据的入口，支持多中协议；
42.限流设计：网关处可以对不同的api进行限流，限流算法采用基于redis分布式限流算法实现，支持集群限流；
43.黑白名单设计：在网关处进行黑白名过滤，提升系统安全；
44.鉴权设计：在网关处动态配置鉴权机制，支持加密、加签，支持rsa512、aes算法；
45.组件库：提供丰富的组件支持，包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、edi写组件、edi读组件、iot组件、es2组件和sap组件；
46.api管理器：对api进行管理设计调度，包括api配置管理器、api流程设计器和api执行调度器；
47.组件表单引擎：通过描述定义，自动生成组件的表单，减少开发工作量。
48.所述协议网关包括http、webservice、rpc、mq、socket和as2。
49.所述api为每一个数据处理逻辑抽象，支持api自定义创建。
50.所述组件库内组件不断丰富增加，支持组件库内组件的自定义，提供组件扩展sdk，每个api基于组件库内的组件来完成数据的处理，通过组件装配的方式来提高扩展的灵活性。
51.所述api流程设计器将api设计为一个基于stream的flow，每个flow由不同的组件节点构成，通过api的流程设计器，进行api的拖拽化设计。
52.所述api执行调度器用于完成api的执行调度，支持分布式调度执行。
53.所述api执行调度器支持分布式部署，提高系统的可用性和高并发处理能力。
54.请参阅图2，本发明还提供了一种基于stream的数据集成平台的数据集成方法，具体包括以下步骤：
55.s1、确定协议，配置网关：
56.确定数据系统的数据交换通讯协议，从而确定采用与其相匹配的网关，如http协议，则选用http类型网关；
57.s2、确定报文，配置api：
58.确定待集成系统双方或多方的数据格式，根据格式约定定义api，配置api各节点数据处理流程；
59.s3、根据数据安全策略，配置鉴权：
60.确定鉴权方式，在api中开始节点后新增一个鉴权节点，并根据鉴权策略配置相应的参数；
61.s4、根据数据安全策略，配置黑白访问名单：
62.确定访问策略，配置网关的黑白名单；
63.s5、根据集成系统的负载，配置限流策略：
64.确定各系统之间的负载情况，作为参考，以配置api的限流策略；
65.s6、根据数据并发处理的数据流量要求，确定部署模式：
66.根据集成场景的数据流量，确定是否采用分布式部署方式，以提高并发处理能力和可用性；
67.s7、部署运行。
68.综上所述，与现有技术相比，本发明通过基于stream的数据集成平台，能够轻松面对不同场景下的数据集成需求，同时通过简单配置化的方式降低实施成本、缩短实施周期；通过分布式部署的方式，更能适应高可用、高并发的应用场景。
69.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于stream的数据集成平台，其特征在于，包括：协议网关的设计：将协议层与数据处理层进行分离，网关是数据的入口，支持多中协议；限流设计：网关处可以对不同的api进行限流，限流算法采用基于redis分布式限流算法实现，支持集群限流；黑白名单设计：在网关处进行黑白名过滤，提升系统安全；鉴权设计：在网关处动态配置鉴权机制，支持加密、加签，支持rsa512、aes算法；组件库：提供丰富的组件支持，包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、edi写组件、edi读组件、iot组件、es2组件和sap组件；api管理器：对api进行管理设计调度，包括api配置管理器、api流程设计器和api执行调度器；组件表单引擎：通过描述定义，自动生成组件的表单，减少开发工作量。2.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述协议网关包括http、webservice、rpc、mq、socket和as2。3.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述api为每一个数据处理逻辑抽象，支持api自定义创建。4.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述组件库内组件支持自定义，提供组件扩展sdk，每个api基于组件库内的组件来完成数据的处理。5.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述api流程设计器将api设计为一个基于stream的flow，每个flow由不同的组件节点构成，通过api的流程设计器，进行api的拖拽化设计。6.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述api执行调度器用于完成api的执行调度，支持分布式调度执行。7.根据权利要求1所述的一种基于stream的数据集成平台，其特征在于：所述api执行调度器支持分布式部署。8.一种权利要求1-7任意一项所述的基于stream的数据集成平台的数据集成方法，其特征在于：具体包括以下步骤：s1、确定协议，配置网关：确定数据系统的数据交换通讯协议，从而确定采用与其相匹配的网关；s2、确定报文，配置api：确定待集成系统双方或多方的数据格式，根据格式约定定义api，配置api各节点数据处理流程；s3、根据数据安全策略，配置鉴权：确定鉴权方式，在api中开始节点后新增一个鉴权节点，并根据鉴权策略配置相应的参数；s4、根据数据安全策略，配置黑白访问名单：确定访问策略，配置网关的黑白名单；s5、根据集成系统的负载，配置限流策略：
确定各系统之间的负载情况，作为参考，以配置api的限流策略；s6、根据数据并发处理的数据流量要求，确定部署模式：根据集成场景的数据流量，确定是否采用分布式部署方式；s7、部署运行。

技术总结
本发明涉及数据集成技术领域，具体的说是一种基于stream的数据集成平台及其数据集成方法，其中基于stream的数据集成平台包括：协议网关的设计、限流设计、黑白名单设计、鉴权设计、组件库、API管理器和组件表单引擎；组件库包括数据库读组件、数据库写组件、http访问组件、feign组件、mq客户端组件、redis读组件、redis写组件、内容转义组件、字段转换组件、延时组件、EDI写组件、EDI读组件、IOT组件、ES2组件和SAP组件。本发明通过基于stream的数据集成平台，能够轻松面对不同场景下的数据集成需求，同时通过简单配置化的方式降低实施成本、缩短实施周期；通过分布式部署的方式，更能适应高可用、高并发的应用场景。高并发的应用场景。高并发的应用场景。


技术研发人员：周志刚 陈勇超 蔡波
受保护的技术使用者：湖北普罗格科技股份有限公司
技术研发日：2022.02.18
技术公布日：2022/5/25