本发明涉及分布式文件存储系统,尤其涉及一种分布式文件上传校验方法、装置、设备及存储介质。
背景技术:
1、在现代信息社会中,数据量急剧增加,尤其是在大数据和云计算技术的推动下,各种类型的文件上传需求也显著增加。分布式文件存储系统(dfs)已成为管理和存储大量数据的重要工具。然而,现有的分布式文件存储系统在文件上传过程中仍然面临许多技术挑战和问题。
2、在分布式文件存储系统中,文件上传的过程中容易受到网络环境的影响。例如,网络延迟、带宽限制、网络拥堵等因素会导致数据传输速度不稳定,甚至发生数据丢失或损坏。这些问题在大文件上传过程中尤为显著,可能导致文件上传时间延长,甚至上传失败。
3、由于网络传输的不确定性,文件在上传过程中可能会出现“丢包”现象,即部分数据块在传输过程中丢失或损坏,导致文件不完整。这种情况不仅影响用户体验,还可能导致重要数据的丢失或损坏,严重时可能引发数据安全问题。
4、现有的分布式文件存储系统大多缺乏有效的实时监控和反馈机制,无法及时监控文件上传过程中的数据完整性问题。用户在上传文件时,往往只能在上传完成后才能知道文件是否成功上传和是否完整,这种滞后的反馈机制无法满足用户对实时性和可靠性的需求。
5、由于上传过程中可能出现的数据丢失或损坏,现有系统在重新上传数据时,通常会重复上传整个文件或大量数据块,导致数据冗余增加,存储成本提高。此外,缺乏智能判断机制,无法有效区分需要重新上传的数据块和已成功上传的数据块,进一步增加了存储和传输成本。
技术实现思路
1、本发明的主要目的在于提供一种分布式文件上传校验方法、装置、设备及存储介质,旨在解决现有技术在上传文件过程中难以保证数据完整性的技术问题。
2、为实现上述目的,本发明提供一种分布式文件上传校验方法,所述分布式文件上传校验方法包括以下步骤:
3、获取待上传文件,将所述待上传文件按照预设阈值拆分成多个数据块,将所述多个数据块上传至分布式文件系统,通过所述分布式文件系统获取每个数据块的上传信息,将所述每个数据块的上传信息存储至uploading链表;
4、对所述uploading链表中的上传信息进行整合,得到整合数据,所述整合数据中包含每个数据块的上传信息,将所述整合数据上传至upload-result链表;
5、实时监控所述upload-result链表的整合数据,当监测到存在上传成功的数据块时,将所述上传成功的数据块通过所述分布式文件系统进行比对;
6、若所述上传成功的数据块存在异常,提示用户上传异常;若所述多个数据块全部不存在异常,提示用户上传成功。
7、可选地,所述若所述上传成功的数据块存在异常的步骤之后,还包括:
8、从所述分布式文件系统中删除存在异常的数据块。
9、可选地,所述实时监控所述upload-result链表的整合数据的步骤之后,还包括:
10、当监测到存在上传失败的数据块时,标记所述上传失败的数据块,并从所述分布式文件系统中删除所述上传失败的数据块。
11、可选地,所述若所述上传成功的数据块存在异常,提示用户上传异常;若所述多个数据块全部不存在异常,提示用户上传成功的步骤之后,还包括:
12、将所有上传成功的数据块信息整合到monitor-result链表,当所述用户重新上传所述待上传文件时,根据所述monitor-result链表确定需要重新上传的待上传数据块,将所述待上传数据块上传至所述分布式文件系统;
13、若所述待上传数据块上传成功,提示所述用户上传成功。
14、可选地,所述将所有上传成功的数据块信息整合到monitor-result链表的步骤之后,还包括:
15、从所述upload-result链表删除所有上传成功的数据块信息对应的上传信息。
16、可选地,所述若所述待上传数据块上传成功的步骤之后,还包括:
17、将所述monitor-result链表中所有上传成功的数据块信息持久化存储于数据库中,若所述持久化存储成功,删除所述monitor-result链表中已经持久化存储的数据块信息。
18、可选地,所述将所述多个数据块上传至分布式文件系统的步骤包括:
19、采用多线程上传的方式将所述多个数据块上传至所述分布式文件系统。
20、进一步地,为实现上述目的,本发明还提供一种分布式文件上传校验装置,所述分布式文件上传校验装置包括:
21、文件拆分上传模块,获取待上传文件,将所述待上传文件按照预设阈值拆分成多个数据块,将所述多个数据块上传至分布式文件系统,通过所述分布式文件系统获取每个数据块的上传信息,将所述每个数据块的上传信息存储至uploading链表;
22、上传信息整合模块,对所述uploading链表中的上传信息进行整合,得到整合数据,所述整合数据中包含每个数据块的上传信息,将所述整合数据上传至upload-result链表;
23、上传状态监控模块,实时监控所述upload-result链表的整合数据,当监测到存在上传成功的数据块时,将所述上传成功的数据块通过所述分布式文件系统进行比对;
24、校验结果提示模块,若所述上传成功的数据块存在异常,提示用户上传异常;若所述多个数据块全部不存在异常,提示用户上传成功。
25、进一步地,为实现上述目的,本发明还提供一种分布式文件上传校验设备,所述分布式文件上传校验设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的分布式文件上传校验程序,所述分布式文件上传校验程序被所述处理器执行时实现如上述所述的分布式文件上传校验方法的步骤。
26、进一步地,为实现上述目的,本发明还提供一种存储介质,所述存储介质上存储有分布式文件上传校验程序,所述分布式文件上传校验程序被处理器执行时实现如上所述的分布式文件上传校验方法的步骤。
27、本发明涉及一种分布式文件上传校验方法,通过获取待上传文件,将待上传文件按照预设阈值拆分成多个数据块,将多个数据块上传至分布式文件系统;通过分布式文件系统获取每个数据块的上传信息,将每个数据块的上传信息存储至uploading链表;对uploading链表中的上传信息进行整合,得到整合数据,整合数据中包含每个数据块的上传信息,将整合数据上传至upload-result链表;实时监控upload-result链表的整合数据,当监测到存在上传成功的数据块时,将上传成功的数据块通过分布式文件系统进行比对;若上传成功的数据块存在异常,提示用户上传异常;若多个数据块全部不存在异常,提示用户上传成功。本发明通过实时监控和校验每个数据块的上传状态,确保了数据的完整性和准确性。
1.一种分布式文件上传校验方法,其特征在于,所述分布式文件上传校验方法包括以下步骤:
2.如权利要求1所述的分布式文件上传校验方法,其特征在于,所述若所述上传成功的数据块存在异常的步骤之后,还包括:
3.如权利要求1所述的分布式文件上传校验方法,其特征在于,所述实时监控所述upload-result链表的整合数据的步骤之后,还包括:
4.如权利要求1所述的分布式文件上传校验方法,其特征在于,所述若所述上传成功的数据块存在异常,提示用户上传异常;若所述多个数据块全部不存在异常,提示用户上传成功的步骤之后,还包括:
5.如权利要求4所述的分布式文件上传校验方法,其特征在于,所述将所有上传成功的数据块信息整合到monitor-result链表的步骤之后,还包括:
6.如权利要求4所述的分布式文件上传校验方法,其特征在于,所述若所述待上传数据块上传成功的步骤之后,还包括:
7.如权利要求1所述的分布式文件上传校验方法,其特征在于,所述将所述多个数据块上传至分布式文件系统的步骤包括:
8.一种分布式文件上传校验装置,其特征在于,所述分布式文件上传校验装置包括:
9.一种分布式文件上传校验设备,其特征在于,所述分布式文件上传校验设备包括存储器、处理器以及存储在所述存储器上并可以在所述处理器上运行的分布式文件上传校验程序,所述分布式文件上传校验程序被所述处理器执行时实现如权利要求1-7中任一项所述的分布式文件上传校验方法的步骤。
10.一种计算机存储介质,其特征在于,所述存储介质上存储有分布式文件上传校验程序,所述分布式文件上传校验程序被处理器执行时实现如权利要求1-7中任一项所述的分布式文件上传校验方法的步骤。
