本发明涉及企业数据优化,具体为一种基于大数据的企业数据优化管理系统及方法。
背景技术:
1、企业文件处理和管理是企业信息系统的重要组成部分,关系到信息的有效传递与存储。随着企业规模的扩大和业务流程的复杂化,手动管理大量文件变得繁琐且容易出错。因此,现代企业越来越依赖于技术手段来优化文件管理流程。文件管理具有文件版本控制、权限管理、自动归档、搜索和检索等功能。版本控制允许多个用户在不同的时间点对文件进行编辑和审阅,同时保留历史版本记录,方便回溯和恢复。通过设置不同的访问权限,确保敏感信息的安全性和可控性。用户根据授权级别能访问特定文件或执行特定操作,有效防止数据泄露。综上所述,通过利用现代信息技术,企业可以实现更高效、更安全的文件处理和管理,从而提升工作效率和企业竞争力。
2、现有在处理企业文件过程中,如果不及时保存,存在文件丢失的风险,同时考虑到内存的容量,如果过多的保存重复性高的文件造成文件冗余,不利于内存的管理。
3、本方案提出,根据采集间隔和执行间隔集,获取执行时间点集,判断文件在各个时间点的大小,根据判断的结果,执行不同的策略。
技术实现思路
1、本发明提供了一种基于大数据的企业数据优化管理系统及方法,用于促进解决上述背景技术中所提到的问题。
2、本发明提供如下技术方案:一种基于大数据的企业数据优化管理方法,包括:
3、通过一级文件录入端口:保存一级文件处理人处理的文件;
4、通过二级文件录入端口:保存一级文件处理人处理完成后提交至二级文件处理人审核的文件;
5、通过三级文件录入端口:保存二级文件处理人审核完成后提交的文件;
6、针对一级文件录入端口的每个文件;
7、记录一级文件处理人每次打开和关闭文件的时间,得到处理时间集;
8、执行处理周期计算策略,得到处理周期;
9、当一级文件处理人处理文件时:
10、在处理周期内;
11、设定判断一级文件处理人是否误打开文件的阈值间隔;
12、根据阈值间隔,执行预处理策略,获取执行间隔集;
13、设定自动保存文件的采集间隔;
14、根据执行间隔集和采集间隔,执行定制化保存策略,保存处理过程中的文件,得到文件副本,组成文件副本集;
15、一级文件处理人每次关闭文件时,询问一级文件处理人是否将本次处理的文件提交至二级文件处理人;
16、若一级文件处理人选择提交,执行提交策略,处理二级文件处理人接收的文件。
17、可选的,所述执行处理周期计算策略,包括:
18、三级文件录入端口中的文件均为已经完成处理的文件;
19、获取一级文件处理人已经完成处理的文件的总数,记为完结次数;
20、当完结次数≧1时:
21、获取一级文件处理人已经完成处理的所有文件;
22、针对每个文件:
23、记第一次打开文件的时间点为处理起始点;
24、记最后一次关闭文件的时间点为处理结束点;
25、计算每个文件处理起始点和处理结束点的间隔,分别记为第一间隔、第二间隔……第r间隔;
26、计算处理周期;
27、通过以下公式计算处理周期:
28、(第一间隔+第二间隔+……+第r间隔)÷r=处理周期。
29、可选的,所述执行处理周期计算策略,包括:
30、当完结次数=0时:
31、获取其他所有一级文件处理人的处理周期,分别记为第一周期、第二周期……第t周期;
32、计算处理周期;
33、通过以下公式计算处理周期:
34、(第一周期+第二周期+……+第t周期)÷t=一级文件处理人第一次处理的处理周期。
35、可选的,所述根据阈值间隔,执行预处理策略,获取执行间隔集,包括:
36、在处理时间集中:
37、计算每次打开文件和对应关闭文件的间隔,记为处理间隔;
38、获取所有的处理间隔,和阈值间隔做比较:
39、获取大于阈值间隔的所有处理间隔,组成执行间隔集。
40、可选的,所述根据执行间隔集和采集间隔,执行定制化保存策略,保存处理过程中的文件,得到文件副本集,包括:
41、获取执行间隔集中的任意一个元素,记为标记间隔;
42、执行间隔划分策略,得到执行时间点集;
43、获取执行时间点集中每个时间点对应文件的大小,记为文件存储数据,并按照出现时间从早到晚的顺序组成文件存储数据集;
44、设定判断是否保存文件的阈值数据,阈值数据大于0;
45、按照元素出现的时间顺序依次遍历文件存储数据集中每个元素:
46、s1、获取文件存储数据集中的一个元素,记为第一标记数据;
47、s2、获取和第一标记数据相邻的下一个元素,记为第二标记数据;
48、s3、计算第二标记数据-第一标记数据,结果记为判断数据;
49、s4、当判断数据大于等于阈值数据时,在第二标记数据对应的时间点保存文件,得到文件副本;
50、s5、当判断数据大于零且小于阈值数据时:
51、在文件存储数据集中获取和第二标记数据相邻的下一个元素,替换当前的第二标记数据,重复s3-s5;
52、s6、当判断数据小于零时,对第二标记数据之前的所有文件存储数据执行回溯优化策略。
53、可选的,所述对第二标记数据之前的所有文件存储数据执行回溯优化策略,包括:
54、获取第二标记数据之前的所有文件存储数据,组成回溯数据集;
55、用第二标记数据的数值分别减去回溯数据集中每个元素的数值,结果组成回溯差值集;
56、遍历回溯差值集中的所有元素,获取小于零的最大元素,记为回溯定位差值;
57、记回溯定位差值对应的文件存储数据出现的时间点为回溯定位开始点;
58、记第二标记数据对应的时间点为回溯定位结束点;
59、则,从文件副本集中删除从回溯定位开始点到回溯定位结束点保存的所有文件副本;
60、保存第二标记数据对应的文件副本。
61、可选的,所述执行间隔划分策略,得到执行时间点集,包括:
62、获取标记间隔的开始时间点;
63、获取标记间隔的结束时间点;
64、记距离开始时刻1个采集间隔的时间点为第一时间点;
65、记距离开始时刻2个采集间隔的时间点为第二时间点;
66、……
67、记距离开始时刻u个采集间隔的时间点为第u时间点,其中,第u时间点小于等于结束时间点;
68、开始时间点和结束时间点以及在开始时间点和结束时间点之间的所有时间点共同组成执行时间点集。
69、可选的,所述执行提交策略,包括:
70、二级文件处理人接收一级文件处理人发送的文件,记为接收文件:
71、针对二级文件录入端口中的所有文件:
72、若存在和接收文件的文件名相同的文件,则记该文件为第一底稿文件;
73、用接收文件替换第一底稿文件存入二级文件录入端口;
74、若不存在和接收文件的文件名相同的文件,遍历二级文件录入端口的所有文件和接收文件进行比对:
75、设定判断文件是否作为第一版保存在二级文件录入端口的阈值重复度;
76、若存在和接收文件的重复度大于阈值重复度的文件,记该文件为第二底稿文件;
77、用接收文件替换第二底稿文件存入二级文件录入端口;
78、若不存在和接收文件的重复度大于阈值重复度的文件,将接收文件存入二级文件录入端口。
79、一种基于大数据的企业数据优化管理方法的系统,包括:
80、数据采集模块:一级文件录入端口、二级文件录入端口和三级文件录入端口;
81、针对一级文件录入端口的每个文件,记录一级文件处理人每次打开和关闭文件的时间,得到处理时间集;
82、数据处理模块:执行处理周期计算策略,得到处理周期;根据阈值间隔,执行预处理策略,获取执行间隔集;
83、执行模块:根据执行间隔集和采集间隔,执行定制化保存策略,得到文件副本集;当一级文件处理人提交文件给二级文件处理人时,执行提交策略,处理二级文件处理人接收的文件。
84、本发明具备以下有益效果:
85、1、一种基于大数据的企业数据优化管理方法,当一级文件处理人的完结次数大于等于1时,获取每个文件的处理起始点和处理结束点,计算每个文件处理的间隔,计算均值,得到一级文件处理人的处理周期。通过记录每个文件的开始和结束时间,可以精确地计算出处理每个文件所需的真实时间。计算处理周期有助于评估文件处理流程的效率,从而找出改进点。
86、2、一种基于大数据的企业数据优化管理方法,当一级文件处理人的完结次数为0时,说明该一级文件处理人为新人,获取其他所有一级文件处理人的处理周期,计算均值,得到新人的处理周期,为新的一级文件处理人提供预期的处理周期,帮助设定合理的目标和预期。
87、3、一种基于大数据的企业数据优化管理方法,计算文件的处理间隔,和阈值间隔做比较,可以避免由于误打开文件在对应的处理间隔执行定制化保存策略,造成文件的冗余,节省内存。
88、4、一种基于大数据的企业数据优化管理方法,从执行间隔集中获取标记间隔,执行间隔划分策略,得到执行时间点集,获取每个时间点的文件大小,进行比较,当第二标记数据大于第一标记数据,说明增加文件的内容,若判断数据大于阈值数据时,保存第二标记数据的对应的文件;若判断数据大于0且小于阈值数据,获取新的第二标记数据,重复判断。通过跟踪文件大小的变化,可以有效管理存储空间,避免无谓的数据堆积。合理设置阈值可以帮助确定何时需要额外的存储或备份,确保数据安全。
89、5、一种基于大数据的企业数据优化管理方法,当判断数据小于阈值数据时,说明一级文件处理人对文件进行的删减,计算第二标记数据的数值分别减去回溯数据集中每个元素的数值,获取回溯差值集中小于零的最大元素,得到回溯定位差值,回溯定位差值对应的文件存储数据是最接近第二标记数据且大于第二标记数据的文件的大小,代表着回溯定位开始点对应的文件和第二标记数据对应的文件的重复度最高,而回溯定位开始点到回溯定位结束点保存的所有文件副本是冗余的,通过删除无用的文件副本,减少存储空间的使用和管理复杂度。避免在文件处理系统中保留冗余数据,从而提高系统的运行效率。通过准确的时间点定位,确保仅删除相关的数据,保留必要的历史记录。
90、6、一种基于大数据的企业数据优化管理方法,获取标记间隔的开始时间点和结束时间点,从开始时间点开始间隔不同数量的采集间隔得到多个时间点,将开始时间点和结束时间点以及在开始时间点和结束时间点之间的所有时间点共同组成执行时间点集,进而执行后续的定制化保存策略,系统化的时间点生成帮助确保数据采集的连贯性和完整性。通过设定时间点,可以优化数据处理和分析的效率。
91、7、一种基于大数据的企业数据优化管理方法,当二级文件录入端口中存在和接收文件的文件名相同的文件时,用接收文件替换第一底稿文件存入二级文件录入端口;否则,若存在和接收文件的重复度大于阈值重复度的文件,说明接收文件在二级文件录入端口不是第一版,用接收文件替换第二底稿文件存入二级文件录入端口;若不存在和接收文件的重复度大于阈值重复度的文件,说明接收文件在二级文件录入端口是第一版,将接收文件存入二级文件录入端口,及时更新文件确保信息的准确性和最新性。通过检查文件重复度,有效管理存储资源,避免不必要的数据重复。合理利用存储空间,减少无效或过时信息的堆积。
1.一种基于大数据的企业数据优化管理方法,包括:
2.根据权利要求1所述的基于大数据的企业数据优化管理方法,其特征在于:所述执行处理周期计算策略,包括:
3.根据权利要求2所述的基于大数据的企业数据优化管理方法,其特征在于:所述执行处理周期计算策略,包括:
4.根据权利要求1所述的基于大数据的企业数据优化管理方法,其特征在于:所述根据阈值间隔,执行预处理策略,获取执行间隔集,包括:
5.根据权利要求1所述的基于大数据的企业数据优化管理方法,其特征在于:所述根据执行间隔集和采集间隔,执行定制化保存策略,保存处理过程中的文件,得到文件副本集,包括:
6.根据权利要求5所述的基于大数据的企业数据优化管理方法,其特征在于:所述对第二标记数据之前的所有文件存储数据执行回溯优化策略,包括:
7.根据权利要求5所述的基于大数据的企业数据优化管理方法,其特征在于:所述执行间隔划分策略,得到执行时间点集,包括:
8.根据权利要求1所述的基于大数据的企业数据优化管理方法,其特征在于:所述执行提交策略,包括:
9.实现权利要求1所述的基于大数据的企业数据优化管理方法的系统,包括:
