一种基于大数据的数据可视化预处理系统的制作方法

1.本发明涉及数据可视化技术领域，尤其涉及一种基于大数据的数据可视化预处理系统。


背景技术：

2.数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。
3.经检索，中国专利号为cn112835971a的发明专利，公开了一种基于大数据的数据可视化加工处理系统，包括：数据挖掘模块，用于基于预设的数据挖掘规则实现目标数据的挖掘，生成目标数据集；数据加工模型构建模块，用于基于录入的数据加工处理需求生成对应的数据加工模型，并为每一个数据加工模型配置对应的图表绘制脚本；数据可视化加工模块，基于hadoop运行数据加工模型实现目标数据集的加工处理，同时运行对应的图标绘制脚本，实现数据处理加工过程及结果的可视化。本发明可以实现目标数据的分析过程和结果的可视，数据加工流程全程可追溯。
4.然而上述系统在使用过程中金能够对数据进行挖掘与处理，从而对数据进行可视化处理，但是在数据处理的过程中数据中包含大量的危险信息以及冗杂信息，从而对整个系统造成影响，并且也难以起到有效的交互功能，因此需要一种基于大数据的数据可视化预处理系统。


技术实现要素：

5.本发明的目的是为了解决现有技术中存在在数据处理的过程中数据中包含大量的危险信息以及冗杂信息，从而对整个系统造成影响，并且也难以起到有效的交互功能的缺点，而提出的一种基于大数据的数据可视化预处理系统。
6.为了实现上述目的，本发明采用了如下技术方案：
7.一种基于大数据的数据可视化预处理系统，包括可视化主机，所述可视化主机的内部包括中央处理系统、数据系统、数据传输模块、深度学习模块和云端存储模块，所述数据系统的内部包括数据预处理模块、数据处理模块、数据分类模块和数据剔除模块，所述数据系统对外部的数据进行录入，并对录入的数据进行处理、分析以及剔除，所述数据系统与所述数据传输模块之间通信连接；
8.所述数据传输模块与所述中央处理系统之间通信连接，所述数据传输模块将所述数据系统中的数据传输到所述中央处理系统中，所述中央处理系统对接收到的数据进行分析，从而判断数据之间的关联性，所述中央处理系统与所述深度学习模块之间通信连接，所述中央处理系统将数据传输到所述深度学习模块中；
9.所述深度学习模块的内部包括模型建立模块、交互模块和波动预估模块，所述深度学习模块对数据进行深度学习，从而对数据之间的发展规律进行学习，并且根据获取的
关联性以及数据之间的发展规律建立出数据模型，同时对数据后续的波动进行预估，所述交互模块的内部包括接收反馈模块、语音分析模块和excel自助分析模块，所述交互模块对外部的语音进行分析，同时对语音发出的指令进行运行，从而对excel中的数据进行自助分析，并且将分析后的结果反馈到所述中央处理系统中。
10.上述技术方案进一步包括：
11.所述数据预处理模块对外部接收到的数据进行预处理，预处理包括对数据进行初步检测，将数据进行分割，并对分割后的数据进行抽样检测，判断数据安全性，所述数据预处理模块将判断安全的数据传输到所述数据处理模块中。
12.所述数据处理模块对预处理后的数据进行再次审核，从而对数据的真实性与准确性进行判断，所述数据处理模块对数据偏差过大的组别进行标记，所述数据处理模块将处理后的数据传输到所述数据分类模块中。
13.所述数据分类模块对根据数据的类别不同对数据进行分类，所述数据剔除模块对系统中冗杂的数据进行剔除，同时所述数据剔除模块对数据中具有危害的数据进行剔除。
14.所述数据剔除模块将处理后的数据传输到所述数据传输模块中，再由所述数据传输模块传输到所述中央处理系统中，通过所述中央处理系统判断数据之间的关联性，所述中央处理系统再将数据传输到所述深度学习模块中。
15.所述模型建立模块根据接收到的数据进行模型建立，在模型建立的过程中先进行建立出散点图，根据每个点位之间的数据进行最小二乘法计算(其中f(x)为拟合函数)，从而根据最小二乘法计算的结果得出数据所对应的坐标图形。
16.同时所述波动预估模块根据坐标图形中数据的走向以及点位之间的误差从而对接下来数据的波动进行预估，通过所述接收反馈模块对外部的语音进行接收，所述语音分析模块对接收到的语音进行识别，所述语音分析模块并对识别后的语音进行分析。
17.当语音发出指令对excel中数据进行分析时，所述excel自助分析模块对excel中的数据进行录入，并将数据输出到所述模型建立模块与所述交互模块中，所述excel自助分析模块对所述模型建立模块和所述交互模块处理后的结果进行自助分析，并通过所述接收反馈模块将结果传输到所述中央处理系统中。
18.相比现有技术，本发明的有益效果为：
19.1、本发明中，通过数据系统中数据预处理模块、数据处理模块、数据分类模块和数据剔除模块的配合使用能够实现对数据进行初步检测，从而将数据进行分割，并对分割后的数据进行抽样检测，判断数据安全性，避免数据中包含的病毒木马对系统造成损坏，同时数据处理模块对预处理后的数据进行再次审核，从而对数据的真实性与准确性进行判断，最后通过数据剔除模块对系统中冗杂的数据进行剔除，同时数据剔除模块对数据中具有危害的数据进行剔除，从而保证整体系统的安全性以及运行时的稳定性。
20.2、本发明中，模型建立模块根据接收到的数据进行模型建立，在模型建立的过程中先进行建立出散点图，根据每个点位之间的数据进行最小二乘法计算，并且语音分析模块对接收到的语音进行识别，语音分析模块并将识别后的语音进分析，excel自助分析模块对excel中的数据进行录入，并将数据输出到模型建立模块与交互模块中，excel自助分析模块对模型建立模块和交互模块处理后的结果进行自助分析，进而能够对外界的指令进行
有效的实施，实现操作人员与系统之间有效的交互功能。
附图说明
21.图1为本发明提出的一种基于大数据的数据可视化预处理系统的系统框图；
22.图2为本发明中数据系统的系统框图；
23.图3为本发明中深度学习模块的系统框图；
24.图4为本发明中交互模块的系统框图。
25.图中：1、中央处理系统；2、数据系统；3、数据传输模块；4、深度学习模块；5、云端存储模块；6、数据预处理模块；7、数据处理模块；8、数据分类模块；9、数据剔除模块；10、模型建立模块；11、交互模块；12、波动预估模块；13、接收反馈模块；14、语音分析模块；15、excel自助分析模块。
具体实施方式
26.下文结合附图和具体实施例对本发明的技术方案做进一步说明。
27.实施例一
28.如图1-4所示，本发明提出的一种基于大数据的数据可视化预处理系统，包括可视化主机，可视化主机的内部包括中央处理系统1、数据系统2、数据传输模块3、深度学习模块4和云端存储模块5，数据系统2的内部包括数据预处理模块6、数据处理模块7、数据分类模块8和数据剔除模块9，数据系统2对外部的数据进行录入，并对录入的数据进行处理、分析以及剔除，数据系统2与数据传输模块3之间通信连接；
29.数据传输模块3与中央处理系统1之间通信连接，数据传输模块3将数据系统2中的数据传输到中央处理系统1中，中央处理系统1对接收到的数据进行分析，从而判断数据之间的关联性，中央处理系统1与深度学习模块4之间通信连接，中央处理系统1将数据传输到深度学习模块4中；
30.数据预处理模块6对外部接收到的数据进行预处理，预处理包括对数据进行初步检测，将数据进行分割，并对分割后的数据进行抽样检测，判断数据安全性，数据预处理模块6将判断安全的数据传输到数据处理模块7中；
31.数据处理模块7对预处理后的数据进行再次审核，从而对数据的真实性与准确性进行判断，数据处理模块7对数据偏差过大的组别进行标记，数据处理模块7将处理后的数据传输到数据分类模块8中；
32.数据分类模块8对根据数据的类别不同对数据进行分类，数据剔除模块9对系统中冗杂的数据进行剔除，同时数据剔除模块9对数据中具有危害的数据进行剔除。
33.基于实施例一的一种基于大数据的数据可视化预处理系统工作原理是，工作时，数据预处理模块6对外部接收到的数据进行预处理，预处理包括对数据进行初步检测，将数据进行分割，并对分割后的数据进行抽样检测，判断数据安全性；
34.数据预处理模块6将判断安全的数据传输到数据处理模块7中，数据处理模块7对预处理后的数据进行再次审核，从而对数据的真实性与准确性进行判断，数据处理模块7对数据偏差过大的组别进行标记，数据处理模块7将处理后的数据传输到数据分类模块8中；
35.数据分类模块8对根据数据的类别不同对数据进行分类，数据剔除模块9对系统中
冗杂的数据进行剔除，同时数据剔除模块9对数据中具有危害的数据进行剔除，这个可视化主机内部的数据通过云端存储模块5进行实时同步。
36.实施例二
37.如图1-4所示，基于实施例一的基础上，深度学习模块4的内部包括模型建立模块10、交互模块11和波动预估模块12，深度学习模块4对数据进行深度学习，从而对数据之间的发展规律进行学习，并且根据获取的关联性以及数据之间的发展规律建立出数据模型同时对数据后续的波动进行预估；
38.数据剔除模块9将处理后的数据传输到数据传输模块3中，再由数据传输模块3传输到中央处理系统1中，通过中央处理系统1判断数据之间的关联性，中央处理系统1再将数据传输到深度学习模块4中；
39.模型建立模块10根据接收到的数据进行模型建立，在模型建立的过程中先进行建立出散点图，根据每个点位之间的数据进行最小二乘法计算(其中f(x)为拟合函数)，从而根据最小二乘法计算的结果得出数据所对应的坐标图形；
40.同时波动预估模块12根据坐标图形中数据的走向以及点位之间的误差从而对接下来数据的波动进行预估。
41.本实施例中，工作时，数据剔除模块9将处理后的数据传输到数据传输模块3中，再由数据传输模块3传输到中央处理系统1中，通过中央处理系统1判断数据之间的关联性，中央处理系统1再将数据传输到深度学习模块4中；
42.模型建立模块10根据接收到的数据进行模型建立，在模型建立的过程中先进行建立出散点图，根据每个点位之间的数据进行最小二乘法计算(其中f(x)为拟合函数)，从而根据最小二乘法计算的结果得出数据所对应的坐标图形；
43.同时波动预估模块12根据坐标图形中数据的走向以及点位之间的误差从而对接下来数据的波动进行预估。
44.实施例三
45.如图1-4所示，基于上述实施例一或二，交互模块11的内部包括接收反馈模块13、语音分析模块14和excel自助分析模块15，交互模块11对外部的语音进行分析，同时对语音发出的指令进行运行，从而对excel中的数据进行自助分析，并且将分析后的结果反馈到中央处理系统1中；
46.通过接收反馈模块13对外部的语音进行接收，语音分析模块14对接收到的语音进行识别，语音分析模块14并对识别后的语音进行分析；
47.当语音发出指令对excel中数据进行分析时，excel自助分析模块15对excel中的数据进行录入，并将数据输出到模型建立模块10与交互模块11中，excel自助分析模块15对模型建立模块10和交互模块11处理后的结果进行自助分析，并通过接收反馈模块13将结果传输到中央处理系统1中。
48.本实施例中，工作时，接收反馈模块13对外部的语音进行接收，语音分析模块14对接收到的语音进行识别，语音分析模块14并对识别后的语音进行分析；
49.当语音发出指令对excel中数据进行分析时，excel自助分析模块15对excel中的数据进行录入，并将数据输出到模型建立模块10与交互模块11中，excel自助分析模块15对模型建立模块10和交互模块11处理后的结果进行自助分析，并通过接收反馈模块13将结果传输到中央处理系统1中，实现语音交互功能。
50.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于大数据的数据可视化预处理系统，包括可视化主机，其特征在于，所述可视化主机的内部包括中央处理系统(1)、数据系统(2)、数据传输模块(3)、深度学习模块(4)和云端存储模块(5)，所述数据系统(2)的内部包括数据预处理模块(6)、数据处理模块(7)、数据分类模块(8)和数据剔除模块(9)，所述数据系统(2)对外部的数据进行录入，并对录入的数据进行处理、分析以及剔除，所述数据系统(2)与所述数据传输模块(3)之间通信连接；所述数据传输模块(3)与所述中央处理系统(1)之间通信连接，所述数据传输模块(3)将所述数据系统(2)中的数据传输到所述中央处理系统(1)中，所述中央处理系统(1)对接收到的数据进行分析，从而判断数据之间的关联性，所述中央处理系统(1)与所述深度学习模块(4)之间通信连接，所述中央处理系统(1)将数据传输到所述深度学习模块(4)中；所述深度学习模块(4)的内部包括模型建立模块(10)、交互模块(11)和波动预估模块(12)，所述深度学习模块(4)对数据进行深度学习，从而对数据之间的发展规律进行学习，并且根据获取的关联性以及数据之间的发展规律建立出数据模型，同时对数据后续的波动进行预估，所述交互模块(11)的内部包括接收反馈模块(13)、语音分析模块(14)和excel自助分析模块(15)，所述交互模块(11)对外部的语音进行分析，同时对语音发出的指令进行运行，从而对excel中的数据进行自助分析，并且将分析后的结果反馈到所述中央处理系统(1)中。2.根据权利要求1所述的一种基于大数据的数据可视化预处理系统，其特征在于，所述数据预处理模块(6)对外部接收到的数据进行预处理，预处理包括对数据进行初步检测，将数据进行分割，并对分割后的数据进行抽样检测，判断数据安全性，所述数据预处理模块(6)将判断安全的数据传输到所述数据处理模块(7)中。3.根据权利要求2所述的一种基于大数据的数据可视化预处理系统，其特征在于，所述数据处理模块(7)对预处理后的数据进行再次审核，从而对数据的真实性与准确性进行判断，所述数据处理模块(7)对数据偏差过大的组别进行标记，所述数据处理模块(7)将处理后的数据传输到所述数据分类模块(8)中。4.根据权利要求3所述的一种基于大数据的数据可视化预处理系统，其特征在于，所述数据分类模块(8)对根据数据的类别不同对数据进行分类，所述数据剔除模块(9)对系统中冗杂的数据进行剔除，同时所述数据剔除模块(9)对数据中具有危害的数据进行剔除。5.根据权利要求4所述的一种基于大数据的数据可视化预处理系统，其特征在于，所述数据剔除模块(9)将处理后的数据传输到所述数据传输模块(3)中，再由所述数据传输模块(3)传输到所述中央处理系统(1)中，通过所述中央处理系统(1)判断数据之间的关联性，所述中央处理系统(1)再将数据传输到所述深度学习模块(4)中。6.根据权利要求5所述的一种基于大数据的数据可视化预处理系统，其特征在于，所述模型建立模块(10)根据接收到的数据进行模型建立，在模型建立的过程中先进行建立出散点图，根据每个点位之间的数据进行最小二乘法计算(其中f(x)为拟合函数)，从而根据最小二乘法计算的结果得出数据所对应的坐标图形。7.根据权利要求6所述的一种基于大数据的数据可视化预处理系统，其特征在于，同时所述波动预估模块(12)根据坐标图形中数据的走向以及点位之间的误差从而对接下来数据的波动进行预估，通过所述接收反馈模块(13)对外部的语音进行接收，所述语音分析模
块(14)对接收到的语音进行识别，所述语音分析模块(14)并对识别后的语音进行分析。8.根据权利要求7所述的一种基于大数据的数据可视化预处理系统，其特征在于，当语音发出指令对excel中数据进行分析时，所述excel自助分析模块(15)对excel中的数据进行录入，并将数据输出到所述模型建立模块(10)与所述交互模块(11)中，所述excel自助分析模块(15)对所述模型建立模块(10)和所述交互模块(11)处理后的结果进行自助分析，并通过所述接收反馈模块(13)将结果传输到所述中央处理系统(1)中。

技术总结
本发明公开了一种基于大数据的数据可视化预处理系统，涉及数据可视化领域，其技术方案包括可视化主机，可视化主机的内部包括中央处理系统、数据系统、数据传输模块、深度学习模块和云端存储模块，数据系统的内部包括数据预处理模块、数据处理模块、数据分类模块和数据剔除模块，数据系统对外部的数据进行录入，并对录入的数据进行处理、分析以及剔除，数据系统与数据传输模块之间通信连接，数据处理模块对预处理后的数据进行再次审核，从而对数据的真实性与准确性进行判断，最后通过数据剔除模块对系统中冗杂的数据进行剔除，同时数据剔除模块对数据中具有危害的数据进行剔除，从而保证整体系统的安全性以及运行时的稳定性。证整体系统的安全性以及运行时的稳定性。证整体系统的安全性以及运行时的稳定性。


技术研发人员：刘亭君 王艺琳
受保护的技术使用者：武汉微橡科技有限公司
技术研发日：2022.02.14
技术公布日：2022/5/25