本申请涉及机器视觉领域,更具体地,涉及用于确定图像的目标区域的方法和装置。
背景技术:
1、对于语义视觉任务,诸如图像分类、对象检测、实例分割等,感兴趣区域(roi)逻辑上讲应该包含目标对象,这与人类视角是一样的。然而,对于工业系统中的应用,所捕获的图像在人类语义上经常是不容易理解的,此外,考虑到安全性,在工业应用中总是优选视觉任务具有更高精确度。例如,对于工业应用中的同一个视觉任务模型,稍有不同的roi选取可能导致超过1%的准确度差异,而这1%的精确度提高在工业应用中是显著的。因此,通过优化roi的选取,对于机器视觉任务的性能往往具有重要的影响。
技术实现思路
1、提供下面的简介是为了以简单的形式介绍选择的一些概念,在后面的详细说明中会进一步描述这些概念。该简介不是想要突出所要求保护主题的关键特征或必要特征,也不是想要限制所要求保护主题的范围。
2、根据本申请的一个方面,提供了一种用于确定图像的目标区域的方法。该方法包括:确定图像中的一个或多个第一区域,所述一个或多个第一区域分别具有各自的尺寸和位置;针对所述一个或多个第一区域中的每个第一区域:确定所述图像中与该第一区域相关联的多个第二区域,所述多个第二区域分别具有各自的尺寸和位置;基于所述一个或多个第一区域的性能度量以及与所述一个或多个第一区域分别相关联的所述多个第二区域的性能度量,选择所述一个或多个第一区域以及与所述一个或多个第一区域分别相关联的所述多个第二区域中的一个区域作为所述目标区域。
3、根据本申请的一个方面,提供了一种用于确定图像的目标区域的装置,包括:第一区域确定模块,用于确定图像中的一个或多个第一区域,所述一个或多个第一区域分别具有各自的尺寸和位置;第二区域确定模块,用于针对所述一个或多个第一区域中的每个第一区域:确定所述图像中与该第一区域相关联的多个第二区域,所述多个第二区域分别具有各自的尺寸和位置;目标区域选择模块,用于基于所述一个或多个第一区域的性能度量以及与所述一个或多个第一区域分别相关联的所述多个第二区域的性能度量,选择所述一个或多个第一区域以及与所述一个或多个第一区域分别相关联的所述多个第二区域中的一个区域作为所述目标区域。
4、根据本申请的一个方面,提供了一种用于确定图像的目标区域的装置,包括:一个或多个处理器;以及存储器,其存储计算机可执行指令,所述指令当被执行时使得所述一个或多个处理器执行本公开各个实施例描述的确定图像的目标区域的方法。
5、根据本申请的一个方面,提供了一种用于执行视觉任务的系统,包括:图像获取模块,用于获取待处理图像;图像剪裁模块,用于根据本公开各个方面所述的用于确定目标区域的方法或装置所确定的目标区域,剪裁出所述待处理图像中的目标图像区域;视觉任务执行模块,用于根据所述目标图像区域执行特定的视觉任务。
6、根据本申请的一个方面,提供了一种机器可读存储介质,其存储有可执行指令,所述指令当被执行时使得一个或多个处理器执行本公开各个实施例描述的确定图像的目标区域的方法。
7、根据本申请的一个方面,提供了一种计算机程序产品,其包括计算机可执行指令,所述指令当被执行时使得一个或多个处理器执行本公开各个实施例描述的确定图像的目标区域的方法。
8、利用根据本申请的用于确定图像的目标区域的方法,能够改进图像的目标区域的选取,从而帮助改进工业应用中的机器视觉任务的精确度。更具体而言,本申请提供了一种基于搜索的区域选择系统,与现有的经典计算机视觉(cv)算法、区域生成网络(rpn)和人工标注方法相比,本申请的技术方案至少提供了以下有益效果中的一个或多个:(1)提供数字性能指标来帮助开发人员选择在现实世界细粒度视觉任务中表现良好的图像区域;(2)提出全局-局部搜索系统,避免人为在区域选择中的偏差,并允许开发人员根据性能指标对不同区域进行定量分析;(3)节省手动选择可区分区域的时间,手动选择可区分区域既困难又耗时,尤其是在细粒度的特征匹配任务中;(4)基于子集选择的区域在大型数据集上也可以表现良好。本申请技术方案的其他优点将在下文的详细描述中加以说明。
1.一种用于确定图像的目标区域的方法,包括:
2.如权利要求1所述的方法,其中,所述确定与该第一区域相关联的多个第二区域包括:
3.如权利要求2所述的方法,其中,所述通过调整该第一区域的尺寸来得到多个候选尺寸包括:按照预定的尺寸步长来调整所述第一区域的尺寸,来得到所述多个候选尺寸;
4.如权利要求1所述的方法,其中,所述确定一个或多个第一区域包括:接收对于所述一个或多个第一区域的指定。
5.如权利要求1所述的方法,其中,所述确定一个或多个第一区域包括:
6.如权利要求5所述的方法,其中,所述在该图像的整个范围内,确定分别具有所述多个区域尺寸之一的多个第三区域包括:
7.如权利要求1所述的方法,其中,还包括:计算所述一个或多个第一区域的性能度量、以及计算与所述一个或多个第一区域分别相关联的所述多个第二区域的性能度量。
8.如权利要求5或7所述的方法,其中,所述计算该图像中的任一区域的性能度量包括:
9.如权利要求8所述的方法,其中,所述图像集包括第一图像子集和第二图像子集,所述第一图像子集中的每个图像与所述第二图像子集中的相应图像具有预定义的图像对的关系,每个预定义的图像对包括针对同一对象的两个图像。
10.如权利要求9所述的方法,其中,所述利用图像集计算与该任一区域对应的准确率包括:
11.如权利要求9所述的方法,其中,所述利用所述图像集计算与该任一区域对应的类间距离包括:
12.如权利要求11所述的方法,其中,所述基于所述匹配特征距离和所述非匹配特征距离中的至少一部分非匹配特征距离来确定与该任一区域对应的子类间距离包括:
13.如权利要求12所述的方法,其中,所述基于所述匹配特征距离和所述一部分非匹配特征距离来确定与该任一区域对应的子类间距离包括:
14.如权利要求9所述的方法,其中,所述图像集包括多个预定义的图像对,所述多个预定义的图像对应于同一种产品,每个预定义的图像对包括的两个图像对应于同一个产品个体,不同的预定义的图像对分别对应于所述同一种产品的不同产品个体。
15.一种用于确定图像的目标区域的装置,包括:
16.一种用于确定图像的目标区域的装置,包括:
17.一种机器可读存储介质,其存储有可执行指令,所述指令当被执行时使得一个或多个处理器执行如权利要求1到14中任一个所述的方法。
18.一种用于执行视觉任务的系统,包括:
19.根据权利要求18所述的系统,其特征在于,所述特定的视觉任务包括:对象检测、实例分割、语义分割中的一种或任意多种。
