本公开涉及网络安全,尤其涉及一种自动化测试方法、装置、存储介质、程序产品。
背景技术:
1、在网络安全领域,在设备新版本上线前的测试至关重要,但是传统的测试方法依赖人工获取数据包、回放数据包以及核对结果,各项数据通常会在研发人员、测试人员之间来回周转。若回放失败,需检查数据包完整性和格式,成功回放后,人工在设备端核对问题,设备更新后,重复上述步骤。
2、由于工具兼容性问题,某些数据包需人工干预才能播放,在处理海量数据时,人力消耗巨大,并且人工对检索到的数据进行逐条核对,要做到对每个数据详情及字段进行核对,具有研判错误和遗漏风险,如果收集的数据文件、数据内容较多,则重复上述工作时需要投入的人力都在翻倍增长,这一过程不仅耗费人力,而且准确性受限,特别是在处理大量或特殊数据包时效率低下,而且数据留存也会成为难题。
技术实现思路
1、有鉴于此,本公开实施例提供了一种自动化测试方法、装置、存储介质、程序产品,能够在被测设备更新版本时,对被测设备进行全自动化测试,减少人工干预,提高测试效率和准确度。
2、第一方面,本公开实施例提供了一种自动化测试方法,采用如下技术方案:
3、获取原始数据包,对所述原始数据包进行合规化处理,获取合规数据包;
4、播放所述合规数据包;
5、在播放成功之后,对所述合规数据包进行设备端校验和脚本校验,生成日志文件,其中,设备端为被测设备;
6、根据所述日志文件生成测试用例;
7、积累多个日志文件,基于所述多个日志文件对基线模型进行训练;
8、采用训练好的基线模型对最新生成的日志文件进行数据提取,获取核心内容,基于所述核心内容优化所述被测设备的校验条件;
9、基于所述核心内容更新测试用例;
10、当所述被测设备更新时,基于更新后的测试用例和优化后的校验条件,对所述被测设备进行回归测试,生成测试报告。
11、可选地,所述对所述原始数据包进行合规化处理,获取合规数据包,包括:
12、检测所述原始数据包的格式,
13、若格式是标准格式,则检测所述原始数据包是否包含异常标签;
14、若格式不是标准格式,则检测所述原始数据包是否仅命名不正确;
15、若不是仅命名不正确,则删除所述原始数据包;
16、若是仅命名不正确,则对所述原始数据包进行命名修改,检测命名修改后的原始数据包是否包含异常标签;
17、对包含异常标签的原始数据包进行归一化处理,获得所述合规数据包;
18、将不包含异常标签的原始数据包判定为所述合规数据包。
19、可选地,所述对包含异常标签的原始数据包进行归一化处理,获得所述合规数据包,包括:
20、删除所述原始数据包的异常标签,按照标准要求重新封装所述原始数据包,获得所述合规数据包。
21、可选地,所述对所述合规数据包进行设备端校验和脚本校验,生成日志文件,包括:
22、按照所述被测设备的校验条件,在所述被测设备上对所述合规数据包进行校验,生成审计结果;
23、通过执行自动化脚本采集合规数据包的内容,基于所述合规数据包的内容对所述合规数据包进行模拟校验,生成校验结果;
24、若所述审计结果与所述校验结果存在差异,则记录差异内容;
25、若所述审计结果与所述校验结果不存在差异,则无需记录差异内容;
26、所述日志文件包括所述审计结果、所述校验结果、所述合规数据包的内容、所述差异内容中的至少一项。
27、可选地,所述合规数据包的内容包括五元组、协议信息、请求信息、响应信息、返回结果、报文格式、报文大小、分段数据包信息、重组后的数据内容、等待时间、超长请求语句、返回结果集完整性中的至少一项。
28、yy+242210p
29、可选地,所述基于所述核心内容更新测试用例,包括:
30、对所述测试用例进行校验,获取测试结果;
31、将所述测试结果与所述核心内容进行对比,根据对比结果对所述测试用例进行修正。
32、可选地,所述核心内容包括协议类型、请求方法、变量类型分类、变量结构、变量返回结果、附件内容及文件中的至少一项。
33、第二方面,本公开实施例还提供了一种自动化测试系统,采用如下技术方案:
34、合规化处理模块,用于获取原始数据包,对所述原始数据包进行合规化处理,获取合规数据包;
35、合规数据包播放模块,用于播放所述合规数据包;
36、合规数据包校验模块,用于在播放成功之后,对所述合规数据包进行设备端校验和脚本校验,生成日志文件,其中,设备端为被测设备;
37、测试用例生成模块,用于根据所述日志文件生成测试用例;
38、基线模型训练模块,用于积累多个日志文件,基于所述多个日志文件对基线模型进行训练;
39、数据提取模块,用于采用训练好的基线模型对最新生成的日志文件进行数据提取,获取核心内容,基于所述核心内容优化所述被测设备的校验条件;
40、测试用例更新模块,用于基于所述核心内容更新测试用例;
41、回归测试模块,用于当所述被测设备更新时,基于更新后的测试用例和优化后的校验条件,对所述被测设备进行回归测试,生成测试报告。
42、第三方面,本公开实施例还提供了一种计算机装置,采用如下技术方案:
43、所述计算机装置包括:
44、至少一个处理器;以及,
45、与所述至少一个处理器通信连接的存储器;其中,
46、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行以上任一所述的自动化测试方法。
47、第四方面,本公开实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行以上任一所述的自动化测试方法。
48、第五方面,本公开实施例还提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现以上任一项所述方法的步骤。
49、本公开实施例提供的自动化测试方法,通过处理数据包、播放合规数据、进行设备端和脚本校验等全自动化流程,能够大幅提高测试的速度和效率,减少了人工干预,缩短了测试周期。合规化处理原始数据包后再执行播放和校验等流程,可以确保测试数据的准确性和一致性,有助于减少由于数据问题引起的测试错误,从而提高测试结果的可靠性。通过设备端校验和脚本校验相结合的方式,确保了数据包分析的准确性。自动化生成的日志文件为两种校验过程提供了详细的记录,便于后续分析和审计。基于日志文件自动生成测试用例,减少了手动编写测试用例的时间和潜在错误。利用积累的日志文件对基线模型进行训练,采用训练好的基线模型对最新日志文件进行数据提取,动态优化被测设备的校验条件,以适应不断变化的测试需求,提高了测试方法的智能化水平,能够应对复杂的测试场景。通过核心内容优化测试用例,可以确保测试用例始终适应被测设备的变化,这种动态更新的机制使得测试用例能针对被测设备的最新功能和变化进行调整,从而提高测试覆盖面和测试深度。在被测设备更新后,能够基于更新后的测试用例和优化后的校验条件对被测设备进行回归测试,保证每次被测设备更新后功能的稳定性和兼容性,及时发现和解决潜在的问题。通过回归测试生成的测试报告可以帮助开发人员和测试人员了解被测设备的状态、发现的问题以及改进的方向。这对后续的开发和维护提供了有价值的信息。
50、上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
1.一种自动化测试方法,其特征在于,包括:
2.根据权利要求1所述的自动化测试方法,其特征在于,所述对所述原始数据包进行合规化处理,获取合规数据包,包括:
3.根据权利要求2所述的自动化测试方法,其特征在于,所述对包含异常标签的原始数据包进行归一化处理,获得所述合规数据包,包括:
4.根据权利要求1所述的自动化测试方法,其特征在于,所述对所述合规数据包进行设备端校验和脚本校验,生成日志文件,包括:
5.根据权利要求4所述的自动化测试方法,其特征在于,所述合规数据包的内容包括五元组、协议信息、请求信息、响应信息、返回结果、报文格式、报文大小、分段数据包信息、重组后的数据内容、等待时间、超长请求语句、返回结果集完整性中的至少一项。
6.根据权利要求1所述的自动化测试方法,其特征在于,所述基于所述核心内容更新测试用例,包括:
7.根据权利要求1所述的自动化测试方法,其特征在于,所述核心内容包括协议类型、请求方法、变量类型分类、变量结构、变量返回结果、附件内容及文件中的至少一项。
8.一种计算机装置,其特征在于,所述计算机装置包括:
9.一种计算机可读存储介质,其特征在于,该计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行权利要求1-7任一所述的自动化测试方法。
10.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现权利要求1-7任一项所述方法的步骤。