基于页面图像识别的测试方法、系统、设备、介质、产品与流程

1.本发明涉及自动测试技术领域，特别涉及一种基于页面图像识别的测试方法、系统、设备、介质、产品。


背景技术：

2.文档对象模型(document object model，简称dom)，是w3c组织推荐的处理可扩展置标语言的标准编程接口。它是一种与平台和语言无关的应用程序接口(api)，它可以动态地访问程序和脚本，更新其内容、结构和www文档的风格(目前，html和xml文档是通过说明部分定义的)。文档可以进一步被处理，处理的结果可以加入到当前的页面。dom是一种基于树的api文档，它要求在处理过程中整个文档都表示在存储器中。
3.xpath即为xml路径语言，它是一种用来确定xml(标准通用标记语言的子集)文档中某部分位置的语言。xpath基于xml的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。起初xpath的提出的初衷是将其作为一个通用的、介于xpointer与xslt间的语法模型。但是xpath很快的被开发者采用来当作小型查询语言。
4.cnn即卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别。
5.现有技术方案一：基于页面dom结构识别控件，如selenium，是通过页面dom结构的xpath路径或css路径来识别控件并进行操作。其缺点是，基于dom结构识别控件的方案编写案例时需要获取准确的控件在页面文件中的路径信息，编写成本较高。且如果控件层次较多，会出现识别慢或无法识别的情况。如果页面结构发生变化，需要对案例进行调整，维护成本较高。同时该种方案依赖浏览器，不同浏览器需要搭配不同的驱动程序，同样的页面针对不同浏览器可能存在文档结构和内容不同的情况，案例维护成本较高。
6.现有技术方案二：基于图像识别技术方案如sikuli，是一种图形脚本语言，即在代码中用图片描述对象，通过与页面图像进行匹配，匹配到空间后执行操作。其缺点是，基于图像识别技术方案编写案例时需要截图，操作复杂。而且一旦页面风格发生变化，则需要对案例进行调整，更新图片，维护成本较高。


技术实现要素：

7.本发明的主要目的是提供一种基于页面图像识别的测试方法、系统、设备、存储介质、程序产品，旨在改善现有技术中，在案例进行调整时，维护成本较高的技术问题。
8.为实现上述目的，本发明提供一种基于页面图像识别的测试方法，可应用于金融
领域，所述基于页面图像识别的测试方法包括如下步骤：
9.获取页面控件的类型、以及页面控件的特征属性；
10.根据案例中指定的所述页面控件的类型和所述页面控件的特征属性，利用控件识别功能在页面中找到对应的控件；
11.再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行。
12.可选地，所述页面控件的类型包括按钮、输入框、复选框、单选按钮、链接。
13.可选地，所述页面控件的特征属性包括文字、颜色、是否可用。
14.可选地，所述空间操作包括单击、拖拽。
15.可选地，所述获取页面控件的类型、以及页面控件的特征属性的步骤包括：
16.通过cnn算法对页面内容的图像进行识别分类，区分出各种页面控件。
17.可选地，所述再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行的步骤包括：
18.通过cnn算法识别页面中的指定控件并模拟键盘或鼠标输入对控件进行操作。
19.可选地，在所述再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行的步骤之后还包括：
20.判断案例运行是否成功；
21.如果成功，则操作后保留页面截图用于后续学习；
22.如果失败，则不保留页面截图。
23.此外，为实现上述目的，本发明还提出一种基于页面图像识别的测试系统，包括：
24.控件识别模块，用以对页面内容的图像进行识别分类；
25.案例执行模块，用以依据案例中指定的动作执行对应的操作，从而实现案例的执行。
26.此外，为实现上述目的，本发明还提出一种电子设备，包括：
27.一个或多个处理器；
28.存储装置，用于存储一个或多个程序，
29.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任一项所述的方法。
30.此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行根据上述任一项所述的方法。
31.此外，为实现上述目的，本发明还提出一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的文件系统管理方法的步骤。
32.在本发明提供的技术方案中，可应用于金融系统领域，基于页面图像识别的测试方法包括如下步骤：获取页面控件的类型、以及页面控件的特征属性；根据案例中指定的所述页面控件的类型和所述页面控件的特征属性，利用控件识别功能在页面中找到对应的控件；再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行。本发明提供的技术方案能够在识别页面控件时根据实际展示内容进行识别，并将识别出的控件进行分类，编写案例时只需指定控件种类(如：按钮、输入框、链接等)和部分特征(如：文字、颜色、状态等)即可，完全依靠视觉不用分析代码。同时当页面控件样式发生变化时，只要控件类型不
发生变化，则无需单独维护案例。不依赖于页面代码。避免现有技术中识别控件复杂度高，识别效率低的问题，所见即所得。进一步降低自动化测试的难度。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
34.图1是本发明实施例方案涉及的硬件运行环境的系统架构的结构示意图；
35.图2为图1中基于页面图像识别的测试系统的结构示意图；
36.图3为电子设备结构示意图；
37.图4为本发明提供的基于页面图像识别的测试方法的一实施例的流程示意图。
38.附图标号说明：
[0039][0040][0041]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0042]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细
节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0044]
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和 /或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
[0045]
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
[0046]
在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/ 或具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和 c、具有b和c、和/或具有a、b、c的系统等)。
[0047]
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/ 或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件 (包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
[0048]
需要说明，若本发明实施例中有涉及方向性指示，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0049]
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“a和/或b”为例，包括a 方案、或b方案、或a和b同时满足的方案。还有就是，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0050]
在本发明的描述中，需要说明的是，术语
““
上”、“下”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0051]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是
两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0052]
此外，在本发明的描述中，除非另有说明，“多个”、“多根”、“多组”的含义是两个或两个以上。
[0053]
现有技术方案一：基于页面dom结构识别控件，如selenium，是通过页面dom结构的xpath路径或css路径来识别控件并进行操作。其缺点是，基于dom结构识别控件的方案编写案例时需要获取准确的控件在页面文件中的路径信息，编写成本较高。且如果控件层次较多，会出现识别慢或无法识别的情况。如果页面结构发生变化，需要对案例进行调整，维护成本较高。同时该种方案依赖浏览器，不同浏览器需要搭配不同的驱动程序，同样的页面针对不同浏览器可能存在文档结构和内容不同的情况，案例维护成本较高。
[0054]
现有技术方案二：基于图像识别技术方案如sikuli，是一种图形脚本语言，即在代码中用图片描述对象，通过与页面图像进行匹配，匹配到空间后执行操作。其缺点是，基于图像识别技术方案编写案例时需要截图，操作复杂。而且一旦页面风格发生变化，则需要对案例进行调整，更新图片，维护成本较高。
[0055]
鉴于此，本发明提供一种基于页面图像识别的测试方法、系统、设备、存储介质、程序产品，旨在改善现有技术中，在案例进行调整时，维护成本较高的技术问题。
[0056]
如图1所示，根据该实施例的系统架构100可以包括基于页面图像识别的测试系统101，网络102及服务器103。网络102用于在基于页面图像识别的测试系统101和服务器103之间提供通信链路。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
[0057]
需要说明的是，本公开实施例所提供的基于页面图像识别的测试方法可以由服务器103执行。相应地，本公开实施例所提供的基于页面图像识别的测试系统101可以设置于服务器103中。或者，本公开实施例所提供的基于页面图像识别的测试方法也可以由不同于服务器103且能够与基于页面图像识别的测试系统101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于页面图像识别的测试系统101 也可以设置于不同于服务器103且能够与服务器103通信的服务器或服务器集群中。或者，本公开实施例所提供的基于页面图像识别的测试方法也可以部分由服务器103执行，基于页面图像识别的测试系统101执行。相应的，本公开实施例所提供的基于页面图像识别的测试系统101也可以部分设置于服务器103中。
[0058]
应该理解，图1中的基于页面图像识别的测试系统101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的基于页面图像识别的测试系统101、网络102和服务器103。
[0059]
图2示意出了根据本公开实施例的基于页面图像识别的测试系统101 包括：控件识别模块104、案例执行模块105。控件识别模块104通过cnn 算法对页面内容的图像进行识别分类，区分出各种页面控件，如：按钮、输入框、复选框、单选按钮等。并且能够识别控件的特征属性，如：文字、颜色、是否可用等。案例执行模块105根据案例中指定的控件类型和特征属性，利用控件识别功能在页面中找到对应的控件，再依据案例中指定的动作执行对应
的操作，从而实现案例的执行。
[0060]
在编写案例时使用控件类型(如：按钮、输入框、复选框、单选按钮等)和控件特征属性(如：文字、颜色、是否可用等)表示被操作控件对象，通过调用不同的动作方法表示对空间操作(如：单击、拖拽等)，不依赖于页面代码。避免现有技术中识别控件复杂度高，识别效率低的问题，所见即所得。进一步降低自动化测试的难度。
[0061]
需要说明的是，本公开的实施例中基于页面图像识别的测试系统101 的部分与本公开的实施例中基于页面图像识别的测试方法部分是相对应的，其具体实施细节及带来的技术效果也是相同的，在此不再赘述。图2 示意性示出了根据本公开实施例的适于实现上文描述的方法的系统的框图。图2示出基于页面图像识别的测试系统101仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0062]
如图3所示，图3为本发明实施例方案涉及的硬件运行环境的电子设备1800的结构示意图。如图3所示，该电子设备1800可以包括：处理器 1801，其可以根据存储在只读存储器(rom)1802中的程序或者从存储部分1808加载到随机访问存储器(ram)1803中的程序而执行各种适当的动作和处理。处理器1801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路 (asic))，等等。处理器1801还可以包括用于缓存用途的板载存储器。处理器1801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0063]
在ram 1803中，文本转流程图方法的控制装置1800操作所需的各种程序和数据。处理器1801以及存储单元3，存储单元3包括rom 1802 以及ram1803通过总线1804彼此相连。处理器1801通过执行rom 1802 和/或ram1803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom 1802和ram 1803以外的一个或多个存储器中。处理器1801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0064]
根据本公开的实施例，文本转流程图方法的控制装置1800还可以包括输入/输出(i/o)接口1805，输入/输出(i/o)接口1805也连接至总线 1804。文本转流程图方法的控制装置1800还可以包括连接至i/o接口1805 的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分 1807；包括硬盘等的存储部分1808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1809。通信部分1809经由诸如因特网的网络执行通信处理。驱动器1810也根据需要连接至i/o接口1805。可拆卸介质1811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1810上，以便于从其上读出的计算机程序根据需要被安装入存储部分1808。其中，通信部分1809用于实现这些组件之间的连接通信，包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。输入/输出 (i/o)接口1805还可以包括标准的有线接口、无线接口，其中有线接口可以为usb接口。
[0065]
在图3所示的电子设备1800还包括：网络接口主要用于连接后台服务器103，与所述后台服务器103进行数据通信；用户接口主要用于连接用户设备；电子设备1800通过处理器1801调用存储器中存储的基于页面图像识别的测试方法的控制程序，并执行本发明实施例提供的基于页面图像识别的测试方法的控制步骤。
[0066]
本领域技术人员可以理解，图3中示出的结构并不构成对电子设备 1800的限定，
可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0067]
基于上述硬件结构，提出本发明基于页面图像识别的测试方法的实施例。
[0068]
参见图4，图4为本发明基于页面图像识别的测试方法一实施例的流程示意图，在一实施例中，基于页面图像识别的测试方法包括如下步骤：
[0069]
s10：获取页面控件的类型、以及页面控件的特征属性。
[0070]
s20：根据案例中指定的所述页面控件的类型和所述页面控件的特征属性，利用控件识别功能在页面中找到对应的控件。
[0071]
s30：再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行。
[0072]
需要说明的是，在本方法中所述页面控件的类型包括按钮、输入框、复选框、单选按钮、链接。所述页面控件的特征属性包括文字、颜色、是否可用(状态)。所述空间操作包括单击、拖拽。
[0073]
进一步地，步骤s10包括如下步骤：
[0074]
步骤s101：通过cnn算法对页面内容的图像进行识别分类，区分出各种页面控件。
[0075]
需要说明的是，通过cnn算法对页面内容的图像进行识别分类，区分出各种页面控件，如：按钮、输入框、复选框、单选按钮等。并且能够识别控件的特征属性，如：文字、颜色、是否可用等。对于控件识别的方法，由于目前图像分类方法有多种，本方案中的cnn算法可由knn、svm、 bpnn和迁移学习等算法进行替代。
[0076]
更进一步地，在一实施例中，步骤s30包括如下步骤：
[0077]
步骤s301：通过cnn算法识别页面中的指定控件并模拟键盘或鼠标输入对控件进行操作。
[0078]
进一步地，在一实施例中，在步骤s30之后还包括如下步骤：
[0079]
步骤s40：判断案例运行是否成功；
[0080]
如果成功，则操作后保留页面截图用于后续学习；
[0081]
如果失败，则不保留页面截图。
[0082]
综上所述，可应用于金融系统领域，基于页面图像识别的测试方法包括如下步骤：获取页面控件的类型、以及页面控件的特征属性；根据案例中指定的所述页面控件的类型和所述页面控件的特征属性，利用控件识别功能在页面中找到对应的控件；再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行。本发明提供的技术方案能够在识别页面控件时根据实际展示内容进行识别，并将识别出的控件进行分类，编写案例时只需指定控件种类(如：按钮、输入框、链接等)和部分特征(如：文字、颜色、状态等)即可，完全依靠视觉不用分析代码。同时当页面控件样式发生变化时，只要控件类型不发生变化，则无需单独维护案例。不依赖于页面代码。避免现有技术中识别控件复杂度高，识别效率低的问题，所见即所得。进一步降低自动化测试的难度。编写案例时，仅需要根据页面展现出来的页面控件的类型和特征，以及自己需要进行的操作来编写案例即可，无需在控件的定位上花费过的时间。对于页面元素位置、样式经常变动情况，只要控件类型和特征属性不发生改变，就无需对案例进行维护，避免了现有方案中只要控件位置、样式改变就要维护案例的情况。
[0083]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的装置/系统中所包含的；也可以是单独存在，而未装配入该装置/系统中。上述
计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0084]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器 (eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0085]
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom和/或ram和/或rom和ram以外的一个或多个存储器。
[0086]
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被处理器执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0087]
当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的物品推荐方法。在该计算机程序被处理器 1801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0088]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1809被下载和安装，和/ 或从可拆卸介质1811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0089]
在这样的实施例中，该计算机程序可以通过通信部分1809从网络上被下载和安装，和/或从可拆卸介质1811被安装。在该计算机程序被处理器1801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0090]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0091]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方
法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(read only memory image，rom)/随机存取存储器(random accessmemory，ram)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0092]
最后应说明的是：在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0093]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于页面图像识别的测试方法，其特征在于，包括如下步骤：获取页面控件的类型、以及页面控件的特征属性；根据案例中指定的所述页面控件的类型和所述页面控件的特征属性，利用控件识别功能在页面中找到对应的控件；再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行。2.如权利要求1所述的基于页面图像识别的测试方法，其特征在于，所述页面控件的类型包括按钮、输入框、复选框、单选按钮、链接。3.如权利要求1所述的基于页面图像识别的测试方法，其特征在于，所述页面控件的特征属性包括文字、颜色、是否可用。4.如权利要求1所述的基于页面图像识别的测试方法，其特征在于，所述空间操作包括单击、拖拽。5.如权利要求1所述的基于页面图像识别的测试方法，其特征在于，所述获取页面控件的类型、以及页面控件的特征属性的步骤包括：通过cnn算法对页面内容的图像进行识别分类，区分出各种页面控件。6.如权利要求1所述的基于页面图像识别的测试方法，其特征在于，所述再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行的步骤包括：通过cnn算法识别页面中的指定控件并模拟键盘或鼠标输入对控件进行操作。7.如权利要求1所述的基于页面图像识别的测试方法，其特征在于，在所述再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行的步骤之后还包括：判断案例运行是否成功；如果成功，则操作后保留页面截图用于后续学习；如果失败，则不保留页面截图。8.一种基于页面图像识别的测试系统，其特征在于，包括：控件识别模块，用以对页面内容的图像进行识别分类；案例执行模块，用以依据案例中指定的动作执行对应的操作，从而实现案例的执行。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。

技术总结
本发明提供了一种基于页面图像识别的测试方法，可用于金融系统领域，基于页面图像识别的测试方法包括如下步骤：获取页面控件的类型、以及页面控件的特征属性；根据案例中指定的页面控件的类型和页面控件的特征属性，利用控件识别功能在页面中找到对应的控件；再依据案例中指定的动作执行对应的空间操作，从而实现案例的执行。本发明提供的技术方案能够在识别页面控件时，根据实际展示内容进行识别，并将识别出的控件进行分类，完全依靠视觉，不用分析代码。当页面控件样式发生变化时，只要控件类型不发生变化，则无需单独维护案例。本发明还提供了一种基于页面图像识别的测试系统、设备、存储介质、程序产品。程序产品。程序产品。


技术研发人员：翁丛
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2022.02.18
技术公布日：2022/5/25