基于分布式的数据隔离即时BI平台架构方法、BI平台与流程

基于分布式的数据隔离即时bi平台架构方法、bi平台
技术领域
1.本技术涉及数据处理领域，也可用于金融领域，具体涉及一种基于分布式的数据隔离即时bi平台架构方法、bi平台。


背景技术：

2.随着大数据技术的流行，各种数据库如oracle、mysql、hive等如雨后春笋般越来越受到用户的青睐。在存储数据的同时，大家越来越看重数据中的价值。因此各大公司开始将数据采集、数据筛选、数据处理、数据展现等模块一一集成，做成bi(business intelligence，商业智能)平台，供业务人员一键式开发，最终以图表的形式展现，将数据做到简洁、形象，方便各行各业的人员取用。
3.但是，现有的平台虽然在数据处理流程上做到了先后有序、在图表的展现上越来越美观，但在实际使用中，千万级别的数据处理与展现还是存在延迟，每个人使用的数据没有进行隔离，且无法细分数据权限。


技术实现要素：

4.针对现有技术中的问题，本技术提供一种基于分布式的数据隔离即时bi平台架构方法、bi平台，能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
5.为了解决上述问题中的至少一个，本技术提供以下技术方案：
6.第一方面，本技术提供一种基于分布式的数据隔离即时bi平台架构方法，应用于一种基于分布式的数据隔离即时bi平台，所述平台包括：分布式用户集群管理模块、商业智能模块以及人工智能模块，所述方法包括：
7.分布式用户集群管理模块在分布式用户集群中创建用户角色，并创建与所述用户角色具有关联关系的资源队列和数据库，将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块；
8.所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块；
9.所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果；
10.所述商业智能模块根据用户自选组件、所述数据集以及所述人工智能模块的数据预测结果生成图形展示报告。
11.进一步的，所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，包括：
12.所述商业智能模块接收到所述用户角色信息和所述分布式用户集群基础配置信息后与所述分布式用户集群管理模块建立连接，并在分布式用户集群的与所述用户角色具
有关联关系的数据库中新建表结构并导入源数据；
13.所述商业智能模块接收用户发送的数据库操作语句和/或分布式逻辑算子以对该表结构中的源数据进行运算处理，得到经过运算处理后的源数据。
14.进一步的，所述商业智能模块接收用户发送的数据库操作语句和/或分布式逻辑算子以对该表结构中的源数据进行运算处理，还包括：
15.所述商业智能模块将用户发送的数据库操作语句和/或分布式逻辑算子以及表结构中的源数据发送至设定运算测试系统进行运算结果验证。
16.进一步的，还包括：
17.所述商业智能模块按照设定时间频率向新建表结构中导入新增源数据，并根据用户发送的数据库操作语句和/或分布式逻辑算子对该表结构中的新增源数据进行运算处理，得到经过运算处理后的新增源数据。
18.进一步的，所述分布式用户集群管理模块对分布式用户集群中各组件的当前运行状态信息进行图表展示，其中，所述当前运行状态信息包括当前内存、当前cpu使用率、当前连接数量、当前报错数量中的至少一种。
19.进一步的，所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，还包括：
20.所述人工智能模块确定所述商业智能模块发送来的数据集中的自变量、因变量以及变量相关系数，并提取所述自变量和因变量的变量特征值。
21.进一步的，所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，包括：
22.所述人工智能模块对数据集中的自变量、因变量、变量相关系数以及变量特征值进行神经网络模型训练，并根据训练后的神经网络模型对所述数据集进行数据预测，得到数据预测结果。
23.第二方面，本技术提供一种基于分布式的数据隔离即时bi平台，包括：分布式用户集群管理模块、商业智能模块以及人工智能模块；
24.所述分布式用户集群管理模块包括：
25.用户角色管理单元，用于在分布式用户集群中创建用户角色；
26.资源管理与隔离单元，用于创建与所述用户角色具有关联关系的资源队列和数据库；
27.数据同步单元，用于将所述用户角色管理单元的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块，以使所述商业智能模块与所述分布式用户集群管理模块建立连接；
28.所述商业智能模块包括：
29.数据建模单元，用于调用所述资源队列并将源数据导入所述数据库中；
30.创建数据集及数据控权单元，用于根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块；
31.报告制作单元，用于根据用户自选组件、所述数据集以及所述人工智能模块发送的数据预测结果生成图形展示报告；
32.所述人工智能模块用于对所述商业智能模块发送来的数据集进行数据预测，并向
所述商业智能模块返回数据预测结果。
33.第三方面，本技术提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于分布式的数据隔离即时bi平台架构方法的步骤。
34.第四方面，本技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的基于分布式的数据隔离即时bi平台架构方法的步骤。
35.第五方面，本技术提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现所述的基于分布式的数据隔离即时bi平台架构方法的步骤。
36.由上述技术方案可知，本技术提供一种基于分布式的数据隔离即时bi平台架构方法、bi平台，通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
附图说明
37.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例中的基于分布式的数据隔离即时bi平台结构示意图；
39.图2为本技术实施例中的分布式用户集群管理模块结构示意图；
40.图3为本技术实施例中的数据建模单元结构示意图；
41.图4为本技术实施例中的人工智能模块结构示意图；
42.图5为本技术实施例中的基于分布式的数据隔离即时bi平台架构方法流程图；
43.图6为本技术一具体实施例中的基于分布式的数据隔离即时bi平台架构方法流程图；
44.图7为本技术实施例中的电子设备的结构示意图。
具体实施方式
45.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.考虑到现有的平台虽然在数据处理流程上做到了先后有序、在图表的展现上越来越美观，但在实际使用中，千万级别的数据处理与展现还是存在延迟，每个人使用的数据没有进行隔离，且无法细分数据权限的问题，本技术提供一种基于分布式的数据隔离即时bi平台架构方法、bi平台，通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且
通过人工智能的数据预测，提供多维度的数据进行展示。
47.为了能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示，本技术提供一种用于实现所述基于分布式的数据隔离即时bi平台架构方法的全部或部分内容的基于分布式的数据隔离即时bi平台的实施例，参见图1，所述基于分布式的数据隔离即时bi平台具体包含有如下内容：分布式用户集群管理模块10、商业智能模块20以及人工智能模块30。
48.可选的，本技术的分布式用户集群管理模块10主要是指hadoop分布式系统基础架构，其上设计有用于为数据提供存储的hdfs、用于为数据提供计算的mapreduce；本技术的商业智能模块20主要是指即时bi(business intelligence，商业智能)模块，本技术的人工智能模块30能够利用现有的神经网络、机器学习等先进的ai技术，对数据进行推演、预测，为商业决策提供支持。
49.所述分布式用户集群管理模块10包括：用户角色管理单元11，用于在分布式用户集群中创建用户角色；资源管理与隔离单元12，用于创建与所述用户角色具有关联关系的资源队列和数据库；数据同步单元13，用于将所述用户角色管理单元的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块，以使所述商业智能模块与所述分布式用户集群管理模块建立连接。
50.可选的，本技术的分布式用户集群管理模块10包含有现有hadoop集群的各项管理功能，包括创建用户、创建角色、创建资源队列、创建数据库以及将后续商业智能模块20(即bi模块)中使用到的hadoop的keytab配置文件、kbr5文件等配置文件自动下发的功能，同时，还可以包括配置集群的基础功能、启动/停止集群、监控集群的运行状态等。
51.可选的，本技术针对不用用户角色(也即不同应用或者不同群组)，新建不同的数据库和资源队列；例如，新建数据库的命名方式为：hive_xxxx(xxxx表示应用名)，新建资源队列的命名方式为：queue_xxxx(xxxx表示应用名)。由此可以保证各个群组使用时的数据隔离，不会相互影响。
52.同时，本技术还可以通过河图引擎对hadoop读取数据进行加速，减少报表展现时间。hive_xxxx和queue_xxxx会对应后续商业智能模块20启动的不同应用的bi启动实例，进一步对数据和资源进行隔离。
53.可选的，本技术所述用户角色管理单元11可以细分为：
54.用户管理子单元，用于新增hadoop集群的用户，该用户可以为人机用户，也可以为机机用户。某个项目组或者团体需要使用bi平台，就需要在hadoop集群上先新增这个用户，便于hadoop资源的隔离与维护。正常是“etlxxxx”的形式。
55.角色管理子单元，用于新增hadoop集群的角色。这个角色可以绑定某一hive数据库、hadoop资源队列、hdfs、某一hbase。用角色和这些属性和资源绑定，然后将角色赋予用户，高效管理用户所拥有的东西。例如“xxxx_manager_role”的形式。
56.可选的，本技术所述资源管理与隔离单元12用于新增yarn资源，可以理解的是，凡是在hadoop集群上运行的程序，都需要有hadoop的资源，即内存大小、vcore个数、队列权重等，这些资源被绑定在角色上，进而被绑定到用户，做到资源隔离。例如“queue_xxxx”的形式。
57.同时，所述资源管理与隔离单元12还用于新增hive数据库，存放不同应用或者不
同群组使用的数据，这些数据在底层是隔离的，相互之间没有影响。例如“hive_xxxx”的形式。
58.其中，hive_xxxx库和queue_xxxx资源队列会绑定到对应的etlxxxx用户中，各应用或者群组使用不同的etlxxxx用户，从而实现数据隔离功能。
59.可以理解的是，商业智能模块20与分布式用户集群管理模块10连接(即时bi连接hadoop)需要hadoop的元数据信息、集群的配置文件、用户名、角色名、资源名等基础信息，由此本技术所述的数据同步单元13该模块可以自动将这些信息推送到bi模块，将即时bi平台的使用做到高效无延时。
60.所述商业智能模块20包括：数据建模单元21，用于调用所述资源队列并将源数据导入所述数据库中；创建数据集及数据控权单元，用于根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块；报告制作单元，用于根据用户自选组件、所述数据集以及所述人工智能模块发送的数据预测结果生成图形展示报告。
61.可选的，本技术的商业智能模块20(即bi模块)可以实现现有的bi系统功能，包括数据建模、创建数据集、制作报告、查看报告、发布共享。针对数据建模，本技术还可以细分为创建表、数据引入、数据加工、数据测试、定时调度、任务管理等子单元。同时将数据作为数据源传给后续人工智能模块3(即ai模块)进行数据预测。
62.可选的，本技术可以通过paas的方式，为不同的应用或者群组启动自己的bi实例，分配上下文根，新建自己的bi实例中的数据源，配置好分配给自己的数据库hive_xxxx和资源队列queue_xxxx。用户通过f5负载均衡自动跳转到自己的bi实例中进行报表的开发。由此本技术可以从web层对数据进行了一一对应，从而又加强了数据的隔离。
63.所述人工智能模块3用于对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果。
64.可选的，本技术的人工智能模块30(即ai模块)通过神经网络、机器学习等ai算法，对商业智能模块20传输过来的数据集进行筛选、挖掘、训练、预测等处理，并返回用户行为方式、数据走势等数据预测结果，给用户提供决策支持。
65.从上述描述可知，本技术实施例提供的基于分布式的数据隔离即时bi平台，能够通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
66.为了能够准确实现数据隔离，在本技术的基于分布式的数据隔离即时bi平台的一实施例中，参见图3，所述数据建模单元21包括：
67.数据处理子单元211，用于在所述商业智能模块与所述分布式用户集群管理模块建立连接后，在分布式用户集群的与所述用户角色具有关联关系的数据库中新建表结构并导入源数据，接收用户发送的数据库操作语句和/或分布式逻辑算子以对该表结构中的源数据进行运算处理，得到经过运算处理后的源数据。
68.数据测试子单元212，用于将用户发送的数据库操作语句和/或分布式逻辑算子以及表结构中的源数据发送至设定运算测试系统进行运算结果验证。
69.定时调度子单元213，用于按照设定时间频率向新建表结构中导入新增源数据，并根据用户发送的数据库操作语句和/或分布式逻辑算子对该表结构中的新增源数据进行运算处理，得到经过运算处理后的新增源数据。
70.可选的，本技术的数据建模单元21可以具体为：在线在hadoop集群中新建一表结构，并通过文件导入、源表导入、样例数据生成等方式，将平台使用的源数据导入到hadoop集群中，此时，接收用户发送的数据库操作语句和/或分布式逻辑算子，例如，用户通过编写sql语句或者在线拖拉拽hive算子、拖拉拽spark算子，将源表数据进行求和、分组、求最大等方式进行统计，并保存到目标表中，编写好后，可以保存为一个任务。与此同时，本技术还可以通过在线测试平台，将编写好的sql语句或者算子，绑定到测试集群，进行结果的验证。并且，本技术还可以设置数据加工的任务的自动执行的频度，可以只运行一次，可以每隔一段时间运行等。定时生成结果表数据。
71.在本技术的其他一些实施例中，本技术的商业智能模块20除数据建模单元21外，还可以包括：
72.创建数据集及数据控权单元22，用于编写sql语句，从结果表中通过求和、分组、求最大等方式进行统计，统计后的结果作为数据集的结果，用于制作报告的源数据。
73.其中，数据控权是指，在全局数据集参数中，本技术为每个人设置能访问哪些表、能访问表中的哪些字段、能访问表中哪些条件的数据。通过全局数据集参数，当某应用或者某群组的个人登录bi平台查看报告时，数据集会自动展示这个人能查看到的有权限的数据，从而实现表中数据权限的详细划分。最典型的场景就是制作好的同一份报表表样，总行人员登录后浏览报告只能看到总行的数据；分行人员登录后浏览报告只能看到分行的数据。
74.制作报告单元23，用于通过页面在线制作报告。平台中会提供自由表、饼图、交叉表、折线图、雷达图等组件，通过拖拉拽的方式，就可以完成报告模板的搭建。然后针对各组件，绑定数据集，设置展现效果(行高自适应、深色主题、背景颜色等)，最终预览符合预期目标后保存。
75.其中，报告中的数据，大部分来自数据集；还有一部分数据来自ai系统反馈的预测数据，用于报表中对应业务的未来展望。
76.查看报告单元24，用于用户点击制作好的报表，可以即时查询数据展现填充好数据的报告；同时可以右击“报表链接”，设置好权限，将链接发给相关的人员使用。
77.发布共享单元25，用于新增发布目录，并对目录设置父子权限。然后选择源报告，点击发布。发布后，在发布目录中就会有相同样式的报告供查看。这种方式可以作为各父业务系统中嵌入bi平台的方式使用。
78.bi运维单元26，用于将bi服务器的运行信息、存储空间、登陆用户、报表个数、错误个数等信息，通过报表的形式展现，便于对即时bi系统的维护。
79.为了能够准确实现数据隔离，在本技术的基于分布式的数据隔离即时bi平台的一实施例中，参见图2，所述分布式用户集群管理模块10还包括：
80.运维监控单元14，用于对分布式用户集群中各组件的当前运行状态信息进行图表展示，其中，所述当前运行状态信息包括当前内存、当前cpu使用率、当前连接数量、当前报错数量中的至少一种。
81.由此，供运维人员监控hadoop集群的运行状态，保证hadoop的稳定。
82.在本技术的其他一些实施例中，分布式用户集群管理模块10除上述单元外，还可以包括：
83.集群管理单元15，用于hadoop集群被搭建后稳定运行，如果需要调整hadoop某组件的运行参数，如运行内存，如果需要对hadoop进行扩容等针对hadoop本身的操作，可以通过本单元实现操作。
84.为了能够提供多维度数据，在本技术的基于分布式的数据隔离即时bi平台的一实施例中，参见图4，所述人工智能模块30包括：
85.数据分析和特征提取单元31，用于确定所述商业智能模块发送来的数据集中的自变量、因变量以及变量相关系数，并提取所述自变量和因变量的变量特征值。
86.训练和预测单元32，用于对数据集中的自变量、因变量、变量相关系数以及变量特征值进行神经网络模型训练，并根据训练后的神经网络模型对所述数据集进行数据预测，得到数据预测结果。
87.可选的，本技术人工智能模块30主要通过采集的源数据进行学习和预测，并将预测结果反馈给商业智能模块20。具体可以为：
88.步骤1，数据源录入，源数据直接由bi平台的数据集自动导入。
89.步骤2，数据分析，对不同场景下的数据，确定数据哪些维度为自变量y，哪些维度为因变量x，并确定相关系数。比如：某场景下，我们要预测某一时间段资源运行的情况，所以需要通过时间段划分，将所需资源大小进行汇总。需要确定时间为自变量y，资源大小为因变量x，确定相关系数。
90.步骤3，特征值提取，通过手工选择或者模型选择，选择合适的特征，对变量进行命名以便更好标记。
91.步骤4，向量化，对特征提取结果再加工，目的是增强特征的表示能力。本技术可以根据不同场景的不同维度离散化，用数字进行标识产生label和枚举值的关系。
92.步骤5，拆分数据集，将得到的数据分为2部分：一部分用于训练，另一部分用于评估训练模型的表现。训练数据占很大一部分，用大量数据，可以找到数据和数据之间的紧密联系。通常用8:2或者7:3进行划分。
93.步骤6，模型训练，选取合适的算法，比如svm、逻辑回归、决策树等，得到最好的模型。选择算法的时候最佳方法就是测试各种不同的算法，然后用交叉验证的方式选择最好的一个。
94.步骤7，预测评估，通过步骤5拆分的验证数据判断模型的好坏。模型评估常见的5个方法为：混淆矩阵、提升图&洛伦兹图、基尼系数、ks曲线、roc曲线。完成评估后，我们还可以调整参数，进行重复训练和评估，找到最好的参数和模型。
95.步骤8，预测结果反馈，在不同场景下，需要将对应有实际价值的维度的预测结果保存，并将预测结果反馈到bi模块，并在制作报表的过程中，将预测结果作为备数据，供使用人进行决策。
96.为了能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示，本技术提供一种基于分布式的数据隔离即时bi平台架构方法的实施例，应用于上述的基于分布式的数据隔离即时bi平台，参见图5，所述基于分布式的数据隔离即时bi平台
架构方法具体包含有如下内容：
97.步骤s101：分布式用户集群管理模块在分布式用户集群中创建用户角色，并创建与所述用户角色具有关联关系的资源队列和数据库，将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块。
98.步骤s102：所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块。
99.步骤s103：所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果。
100.步骤s104：所述商业智能模块根据用户自选组件、所述数据集以及所述人工智能模块的数据预测结果生成图形展示报告。
101.从上述描述可知，本技术实施例提供的基于分布式的数据隔离即时bi平台架构方法，能够通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
102.在本技术的基于分布式的数据隔离即时bi平台架构方法的一实施例中，上述步骤s102还包括：
103.步骤s201：所述商业智能模块接收到所述用户角色信息和所述分布式用户集群基础配置信息后与所述分布式用户集群管理模块建立连接，并在分布式用户集群的与所述用户角色具有关联关系的数据库中新建表结构并导入源数据。
104.步骤s202：所述商业智能模块接收用户发送的数据库操作语句和/或分布式逻辑算子以对该表结构中的源数据进行运算处理，得到经过运算处理后的源数据。
105.在本技术的基于分布式的数据隔离即时bi平台架构方法的一实施例中，上述步骤s102还包括：
106.所述商业智能模块将用户发送的数据库操作语句和/或分布式逻辑算子以及表结构中的源数据发送至设定运算测试系统进行运算结果验证。
107.所述商业智能模块按照设定时间频率向新建表结构中导入新增源数据，并根据用户发送的数据库操作语句和/或分布式逻辑算子对该表结构中的新增源数据进行运算处理，得到经过运算处理后的新增源数据。
108.在本技术的基于分布式的数据隔离即时bi平台架构方法的一实施例中，所述分布式用户集群管理模块对分布式用户集群中各组件的当前运行状态信息进行图表展示，其中，所述当前运行状态信息包括当前内存、当前cpu使用率、当前连接数量、当前报错数量中的至少一种。
109.在本技术的基于分布式的数据隔离即时bi平台架构方法的一实施例中，上述步骤s104包括：
110.所述人工智能模块确定所述商业智能模块发送来的数据集中的自变量、因变量以及变量相关系数，并提取所述自变量和因变量的变量特征值。
111.所述人工智能模块对数据集中的自变量、因变量、变量相关系数以及变量特征值
进行神经网络模型训练，并根据训练后的神经网络模型对所述数据集进行数据预测，得到数据预测结果。
112.为了更进一步说明本方案，本技术还提供一种应用上述基于分布式的数据隔离即时bi平台实现基于分布式的数据隔离即时bi平台架构方法的具体应用实例，参见图6，具体包含有如下内容：
113.步骤s301：有应用或者项目需要使用hadoop，需要找hadoop集群管理员申请。同意后，hadoop集群管理员会为其新增用户、角色、资源等。做好这些基础工作后，其使用人才可以正常使用hadoop。
114.步骤s302：hadoop管理模块，会自动将步骤s301的信息推送到bi模块，以便于bi模块中快速自动配置连接上hadoop集群。
115.步骤s303：平台用户登录bi模块，新建一个项目。该项目可以认为是一个文件夹，里面可以新增与之相应的数据集、报告等数据。
116.步骤s304：平台用户数据建模。新建表、引入数据、新增数据集，保存并测试。
117.步骤s305：在测试过程中，是否有hadoop的报错。如果有，可能是hadoop上用户、资源配置错误，需要联系hadoop管理员重新执行s301步骤；如果没有，则继续。
118.步骤s306：在测试过程中，是否有sql的报错。如果有，则需要返回s304步骤检查sql语句是否错误；如果没有，则继续。
119.步骤s307：制作报告，报告组件中可以包含s304中的数据集，也可以包含s309的预测数据集。
120.步骤s308：bi平台自动将s304中的数据集对应的源数据导入到ai系统，供分析、学习、预测。
121.步骤s309：平台用户需要在ai平台中新增ai训练模型，划分训练数据和对比数据，然后又ai模块学习、预测，并最终得出满意的训练结果与预测结果，并将结果反馈给bi系统，绑定到s307制作的报表中。
122.步骤s310：查看报告，在实际数据的展现中确认是否为最终所需报表。
123.步骤s311：分享报告。将发布后的报告和制作的报告分离，并赋予权限，供其他人查看、分析与决策。
124.有上述内容可知，平台在数据底层先进行了数据隔离，避免各应用或者群组数据的干扰；然后又在web层对平台的入口进行了隔离，通过上下文根的不同区分各自使用的bi平台实例；最后在报告展现时通过数据控权实现了数据的权限详细划分。真正做到了每个人数据不干扰、权限相隔离的目的。
125.同时，平台实现了报表的一站式开发，从数据生成、报表制作、报表预览，到智慧推荐都可以在同一个平台上制作，降低了使用门槛，不仅为客户展现了所需的报告，还提供了对应场景的预测，为决策者提供决策依据。同时该平台也提供了模块化的功能，适合各行各业的数据的分析、展现、挖掘、预测的需要，提高商业回报率。
126.从硬件层面来说，为了能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示，本技术提供一种用于实现所述基于分布式的数据隔离即时bi平台架构方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
127.处理器(processor)、存储器(memory)、通信接口(communications interface)和
总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现基于分布式的数据隔离即时bi平台与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的基于分布式的数据隔离即时bi平台架构方法的实施例，以及基于分布式的数据隔离即时bi平台的实施例进行实施，其内容被合并于此，重复之处不再赘述。
128.可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(pda)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
129.在实际应用中，基于分布式的数据隔离即时bi平台架构方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本技术对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
130.上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
131.图7为本技术实施例的电子设备9600的系统构成的示意框图。如图7所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图7是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
132.一实施例中，基于分布式的数据隔离即时bi平台架构方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
133.步骤s101：分布式用户集群管理模块在分布式用户集群中创建用户角色，并创建与所述用户角色具有关联关系的资源队列和数据库，将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块。
134.步骤s102：所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块。
135.步骤s103：所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果。
136.步骤s104：所述商业智能模块根据用户自选组件、所述数据集以及所述人工智能模块的数据预测结果生成图形展示报告。
137.从上述描述可知，本技术实施例提供的电子设备，通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
138.在另一个实施方式中，基于分布式的数据隔离即时bi平台可以与中央处理器9100分开配置，例如可以将基于分布式的数据隔离即时bi平台配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现基于分布式的数据隔离即时bi平台架构方法功能。
139.如图7所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图7中所示的所有部件；此外，电子设备9600还可以包括图7中没有示出的部件，可以参考现有技术。
140.如图7所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
141.其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
142.输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为lcd显示器，但并不限于此。
143.该存储器9140可以是固态存储器，例如，只读存储器(rom)、随机存取存储器(ram)、sim卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为eprom等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
144.存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
145.通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
146.基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
147.本技术的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的基于分布式的数据隔离即时bi平台架构方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例
中的执行主体为服务器或客户端的基于分布式的数据隔离即时bi平台架构方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
148.步骤s101：分布式用户集群管理模块在分布式用户集群中创建用户角色，并创建与所述用户角色具有关联关系的资源队列和数据库，将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块。
149.步骤s102：所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块。
150.步骤s103：所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果。
151.步骤s104：所述商业智能模块根据用户自选组件、所述数据集以及所述人工智能模块的数据预测结果生成图形展示报告。
152.从上述描述可知，本技术实施例提供的计算机可读存储介质，通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
153.本技术的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的基于分布式的数据隔离即时bi平台架构方法中全部步骤的一种计算机程序产品，该计算机程序/指令被处理器执行时实现所述的基于分布式的数据隔离即时bi平台架构方法的步骤，例如，所述计算机程序/指令实现下述步骤：
154.步骤s101：在分布式用户集群中创建用户角色，并创建与所述用户角色具有关联关系的资源队列和数据库。
155.步骤s102：将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块。
156.步骤s103：调用所述资源队列并将源数据导入所述数据库中。
157.步骤s104：根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块，以使所述人工智能模块用于对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果。
158.步骤s105：根据用户自选组件、所述数据集以及所述人工智能模块的数据预测结果生成图形展示报告。
159.从上述描述可知，本技术实施例提供的计算机程序产品，通过分布式用户集群管理模块在数据底层先进行了数据隔离，避免各用户角色的相互干扰，然后通过商业智能模块区分不同用户角色各自使用的bi平台实例，在报告展现时通过数据控权进行数据的权限详细划分，由此能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。
160.本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
161.本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
162.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
163.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
164.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于分布式的数据隔离即时bi平台架构方法，其特征在于，应用于一种基于分布式的数据隔离即时bi平台，所述平台包括：分布式用户集群管理模块、商业智能模块以及人工智能模块，所述方法包括：分布式用户集群管理模块在分布式用户集群中创建用户角色，并创建与所述用户角色具有关联关系的资源队列和数据库，将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块；所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块；所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果；所述商业智能模块根据用户自选组件、所述数据集以及所述人工智能模块的数据预测结果生成图形展示报告。2.根据权利要求1所述的基于分布式的数据隔离即时bi平台架构方法，其特征在于，所述商业智能模块调用所述资源队列并将源数据导入所述数据库中，包括：所述商业智能模块接收到所述用户角色信息和所述分布式用户集群基础配置信息后与所述分布式用户集群管理模块建立连接，并在分布式用户集群的与所述用户角色具有关联关系的数据库中新建表结构并导入源数据；所述商业智能模块接收用户发送的数据库操作语句和/或分布式逻辑算子以对该表结构中的源数据进行运算处理，得到经过运算处理后的源数据。3.根据权利要求2所述的基于分布式的数据隔离即时bi平台架构方法，其特征在于，所述商业智能模块接收用户发送的数据库操作语句和/或分布式逻辑算子以对该表结构中的源数据进行运算处理，还包括：所述商业智能模块将用户发送的数据库操作语句和/或分布式逻辑算子以及表结构中的源数据发送至设定运算测试系统进行运算结果验证。4.根据权利要求2所述的基于分布式的数据隔离即时bi平台架构方法，其特征在于，还包括：所述商业智能模块按照设定时间频率向新建表结构中导入新增源数据，并根据用户发送的数据库操作语句和/或分布式逻辑算子对该表结构中的新增源数据进行运算处理，得到经过运算处理后的新增源数据。5.根据权利要求1所述的基于分布式的数据隔离即时bi平台架构方法，其特征在于，所述分布式用户集群管理模块对分布式用户集群中各组件的当前运行状态信息进行图表展示，其中，所述当前运行状态信息包括当前内存、当前cpu使用率、当前连接数量、当前报错数量中的至少一种。6.根据权利要求1所述的基于分布式的数据隔离即时bi平台架构方法，其特征在于，所述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，还包括：所述人工智能模块确定所述商业智能模块发送来的数据集中的自变量、因变量以及变量相关系数，并提取所述自变量和因变量的变量特征值。7.根据权利要求6所述的基于分布式的数据隔离即时bi平台架构方法，其特征在于，所
述人工智能模块对所述商业智能模块发送来的数据集进行数据预测，包括：所述人工智能模块对数据集中的自变量、因变量、变量相关系数以及变量特征值进行神经网络模型训练，并根据训练后的神经网络模型对所述数据集进行数据预测，得到数据预测结果。8.一种基于分布式的数据隔离即时bi平台，其特征在于，包括：分布式用户集群管理模块、商业智能模块以及人工智能模块；所述分布式用户集群管理模块用于在分布式用户集群中创建用户角色，创建与所述用户角色具有关联关系的资源队列和数据库，将所述用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块，以使所述商业智能模块与所述分布式用户集群管理模块建立连接；所述商业智能模块用于调用所述资源队列并将源数据导入所述数据库中，根据与所述用户角色信息对应的全局数据集参数从所述源数据中获取对应的数据并构建数据集，将所述数据集同步至人工智能模块；还用于根据用户自选组件、所述数据集以及所述人工智能模块发送的数据预测结果生成图形展示报告；所述人工智能模块用于对所述商业智能模块发送来的数据集进行数据预测，并向所述商业智能模块返回数据预测结果。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的基于分布式的数据隔离即时bi平台架构方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的基于分布式的数据隔离即时bi平台架构方法的步骤。11.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任一项所述的基于分布式的数据隔离即时bi平台架构方法的步骤。

技术总结
本申请实施例提供一种基于分布式的数据隔离即时BI平台架构方法、BI平台，可用于金融领域，架构方法包括：分布式用户集群管理模块创建与用户角色具有关联关系的资源队列和数据库，将用户角色的用户角色信息和分布式用户集群基础配置信息同步至商业智能模块；商业智能模块调用资源队列并将源数据导入数据库中，根据与用户角色信息对应的全局数据集参数从源数据中获取对应的数据并构建数据集，将数据集同步至人工智能模块；人工智能模块对数据集进行数据预测，并返回数据预测结果；商业智能模块根据用户自选组件、数据集以及数据预测结果生成图形展示报告；本申请能够有效实现数据隔离，且通过人工智能的数据预测，提供多维度的数据进行展示。的数据进行展示。的数据进行展示。


技术研发人员：张宏兵 黄炳 郑凡奇 黄婷婷
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2022.02.21
技术公布日：2022/5/25