本发明涉及表格填充,具体涉及一种基于物联网设备的高校数据自动填充方法。
背景技术:
1、随着信息技术的发展,高校内部管理越来越依赖于电子化手段,包括学生信息管理、教务管理、财务管理等,传统的数据填报方式往往需要手动输入大量数据,不仅耗时耗力,而且容易出错,数据的精确性和可靠性难以保证;也没有对收集的数据进行关联分析,浪费了大量有价值的信息。
2、因此,本发明提供一种基于物联网设备的高校数据自动填充方法,通过物联网设备整合校内所有的业务数据资源,并利用区块链技术完成对数据的存储管理;根据填报需求构建目标表格,并应用apriori算法获取数据之间的关联规则,实现数据的自动填充,并进一步评估任务填充表,提高数据自动填充的准确性。
技术实现思路
1、本发明的目的是提供一种基于物联网设备的高校数据自动填充方法,以解决背景技术中的不足。
2、本发明的目的可以通过以下技术方案实现:一种基于物联网设备的高校数据自动填充方法,包括以下步骤:
3、步骤1、通过物联网设备收集高校内部的各种数据,并对各种数据进行预处理,得到源数据集并上传至业务数据库;
4、步骤2、利用区块链技术对源数据集进行存储管理;
5、步骤3、获取填报需求,构建目标表格;
6、步骤4、根据预设的数据填充模式及检验规则完成对目标表格的数据填充,得到任务填充表;
7、步骤5、对填充后的任务填充表进行全面检查,计算数据自动填充的完整性系数,并根据设定的标准阈值判断数据是否通过审核。
8、进一步地,步骤1中对收集到的数据进行预处理的方法如下:
9、对收集到的数据进行初步清洗,剔除异常值和重复信息,将来自不同物联网设备的数据进行格式化和整合,形成统一的源数据集;其中,各种数据包括但不限于学生信息、教师信息、课程信息、成绩信息、设备使用情况。
10、进一步地,步骤2中对源数据集进行存储管理的实施方法如下:
11、对源数据集进行存储,利用哈希算法对源数据集进行计算,将源数据集作为自变量,计算得到的哈希值为源数据集的存储地址;
12、计算公式为:
13、m=hash(x);
14、式中,m为源数据集的哈希值,hash为哈希函数,x为输入的源数据集;
15、获取源数据集与其对应的哈希值,在区块链下存储源数据集,在区块链上存储源数据集的哈希值。
16、进一步地,步骤3中构建目标表格的方法如下:
17、根据获取的填报需求选择预先设计的模板或自定义样式,确定目标表格中每个目标单元格所需要填充的数据位置和数据字段;其中,自定义样式包括设置表单控件、控件属性和数据属性。
18、进一步地,步骤4中预设的数据填充模式和检验规则具体包括:
19、遍历业务数据库获取源数据集,根据数据之间的关联规则,将源数据集和目标表格中所需的数据字段进行匹配,识别出关联字段;
20、根据已匹配的关联字段,创建一个映射表,依次遍历目标表格的每个单元格;若单元格需要填充数据,则根据映射表找到相应的数据字段进行推荐,并自动填充到相应的数据位置;若不需要,则移动到下一个单元格;
21、对填充的目标表格进行数据验证,基于填充的数据字段,利用相同的哈希函数对获取的数据字段重新计算哈希值,并与存储的哈希值进行比较;若两个哈希值相同,则验证成功,说明该数据字段未被篡改;反之,则验证失败,说明该数据字段已被篡改且无法进行填充,同时,弹出错误提示。
22、进一步地,获取数据之间的关联规则的方法如下:
23、遍历业务数据库获取源数据集,源数据集中的每个业务为一个项集且包含一组数据项;
24、对于数据项a和数据项b,统计同时包含a、b的项集数,计算规则ab的支持度:
25、
26、式中,s为关联规则ab的支持度,n为同时包含a、b的项集数,n为源数据集中包含的项集总数;
27、统计包含数据项a的项集数,计算关联规则ab的置信度;
28、
29、式中,c为规则ab的置信度,m为包含数据项a的项集数;
30、设置最小支持度阈值和最小置信度阈值,当且仅当规则ab的支持度和置信度分别大于等于最小支持度阈值和最小置信度阈值,则该规则成立,记为关联规则。
31、进一步地,步骤5中对任务填充表进行评估审核具体包括:
32、通过设置sql查询语句对任务填充表进行全面检查,确认数据字段是否存在遗漏或错误,并对发现的错误问题进行统计,计算数据自动填充的完整性系数;
33、计算公式为:
34、
35、式中,p为完整性系数,u为任务填充表中数据字段遗漏的数量,v为任务填充表中数据字段存在错误的数量,h为任务填充表中所需填充的数据字段总数;
36、设置标准阈值为q,将获取的完整性系数与标准阈值进行对比,若p<q,则该任务填充表通过审核,并进行细微完善;若p≥q,则重新进行任务填报收集。
37、为了解决问题,本发明还公开了一种基于物联网设备的高校数据自动填充系统,包括:
38、数据收集处理模块,通过物联网设备收集高校内部的各种数据,并对各种数据进行预处理,得到源数据集并上传至业务数据库;
39、数据存储管理模块,利用区块链技术对源数据集进行存储管理;
40、表格构建模块,获取填报需求,构建目标表格;
41、数据填充模块,根据预设的数据填充模式及检验规则完成对目标表格的数据填充,得到任务填充表;
42、审核评估模块,对填充后的任务填充表进行全面检查,计算数据自动填充的完整性系数,并根据设定的标准阈值判断数据是否通过审核。
43、相比于现有方案,本发明实现的有益效果:
44、本发明通过物联网设备收集高校内部的各种数据,提高了数据采集的效率和准确性;对各种数据进行预处理,确保后续步骤使用的数据质量。
45、本发明通过利用区块链技术对源数据集进行存储管理,对源数据集进行哈希计算,有利于对数据的管理以及后续对源数据集进行检验;
46、本发明通过获取填报需求,构建目标表格,并通过预设的数据填充模式及检验规则完成对目标表格的数据填充,确保了数据填充的一致性和合规性,提高了数据处理的自动化程度和效率。
47、本发明通过对填充后的任务填充表进行全面检查,计算数据自动填充的完整性系数,并根据设定的标准阈值判断数据是否通过审核,保障了数据的质量标准,提高了数据填充的准确性。
1.一种基于物联网设备的高校数据自动填充方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于物联网设备的高校数据自动填充方法,其特征在于,步骤1中对收集到的数据进行预处理的方法如下:
3.根据权利要求2所述的一种基于物联网设备的高校数据自动填充方法,其特征在于,步骤2中对源数据集进行存储管理的实施方法如下:
4.根据权利要求1所述的一种基于物联网设备的高校数据自动填充方法,其特征在于,步骤3中构建目标表格的方法如下:
5.根据权利要求1所述的一种基于物联网设备的高校数据自动填充方法,其特征在于,步骤4中预设的数据填充模式和检验规则具体包括:
6.根据权利要求5所述的一种基于物联网设备的高校数据自动填充方法,其特征在于,获取数据之间的关联规则的方法如下:
7.根据权利要求6所述的一种基于物联网设备的高校数据自动填充方法,其特征在于,步骤5中对任务填充表进行评估审核具体包括:
8.一种基于物联网设备的高校数据自动填充系统,其特征在于,包括:
