小目标对象的检测方法和检测装置与流程

1.本技术涉及人工智能领域，更具体地，涉及一种小目标对象的检测方法和检测装置。


背景技术：

2.随着发射、制造成本的大幅下降，面向公众的卫星服务逐渐增多。卫星服务具有非接触、广覆盖、数据真实等特性，而且基本不受目标区域的地理条件限制。装载在轨道卫星上的遥感器可按照特定间隔周期对待检测目标进行重复观测，周期越短，对待检测目标的动态变化情况掌握越精细。在同样拍摄精度下，卫星遥感图像更加经济，更加节省人力、物力。
3.在基于遥感卫星的地物影像检测场景下，地物影像中的小目标对象的尺寸较小，例如，考虑采集空间范围为10km
×
10km的遥感影像，对于平面尺寸为30m
×
30m的大目标对象，其在整个影像尺寸占比为十万分之一，对于平面尺寸为3m
×
3m的小目标对象，其在影像尺寸占比仅为千万分之一。
4.由此可见，遥感卫星的地物影像检测的难点在于对小目标对象的检测，而现有的检测模型无法满足小目标对象对检测精度的要求。因此，如何在遥感卫星的地物影像检测场景下提高小目标对象的检测精度成为一项亟待解决的问题。


技术实现要素：

5.本技术提供一种小目标对象的检测方法和检测装置，有利于提高小目标对象的检测精度。
6.第一方面，提供了一种小目标对象的检测方法，包括：获取遥感卫星拍摄的待检测图像。将待检测图像输入至目标检测模型，获得待检测图像的目标检测结果。其中，目标检测模型是通过增强数据集训练得到的，增强数据集中包括样本图像和样本图像的多个增强图像，样本图像包括小目标对象，多个增强图像是通过对样本图像的多个图像副本中每个图像副本进行随机变换组合得到的，随机变换组合包括平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种。
7.在本技术中，基于增强数据集训练好的目标检测模型可以对遥感卫星拍摄的待检测图像进行小目标对象检测，由于增强数据集中包括样本图像的多个增强图像，而多个增强图像实现了对样本图像的扩充，使得增强数据集中包括小目标对象的样本图像与包括中/大目标对象的样本图像的比例较为均衡，这样通过增强数据集训练得到的目标检测模型可以更好的适用于对小目标对象的检测，有利于提高小目标对象的检测精度。
8.结合第一方面，在第一方面的某些实现方式中，在所述将所述待检测图像输入至目标检测模型，获得所述待检测图像的目标检测结果之前，该方法还包括：从原始数据集中获取样本图像，其中，样本图像中的小目标对象的像素掩码面积小于预设阈值。对样本图像进行复制，获得多个图像副本。对多个图像副本中每个图像副本进行随机变换组合，获得多
个增强图像。基于样本图像和样本图像的多个增强图像，训练目标检测模型。
9.结合第一方面，在第一方面的某些实现方式中，增强数据集还包括多个轮廓图像。在基于样本图像和样本图像的多个增强图像，训练目标检测模型之前，该方法还包括：获取多个增强图像中每个增强图像的小目标对象的像素掩码信息，像素掩码信息包括小目标对象的像素掩码值和像素掩码位置。基于像素掩码信息，对每个增强图像中的小目标对象进行裁剪和复制，得到每个增强图像中的小目标对象的多个轮廓副本。对多个轮廓副本进行仿射变换，并将仿射变换之后的多个轮廓副本粘贴至每个增强图像中，获得多个轮廓图像。基于样本图像和样本图像的多个增强图像，训练目标检测模型，包括：基于样本图像、样本图像的多个增强图像以及多个轮廓图像，训练目标检测模型。
10.结合第一方面，在第一方面的某些实现方式中，对多个轮廓副本进行仿射变换，包括：从预设剪切比例范围内选择剪切比例对多个轮廓副本中的全部或者部分轮廓副本进行剪切变换；或者，从预设旋转角度范围内选择旋转角度对多个轮廓副本中的全部或者部分轮廓副本进行旋转变换；或者，从预设缩放比例范围内选择缩放比例对多个轮廓副本中的全部或者部分轮廓副本进行缩放变换。
11.结合第一方面，在第一方面的某些实现方式中，基于样本图像和样本图像的多个增强图像，训练目标检测模型，包括：基于样本图像和样本图像的多个增强图像，对预训练模型进行迁移学习，获得优化后的预训练模型，该预训练模型是通过原始数据集训练得到的。获取遥感卫星拍摄的图像数据集，并利用图像数据集对优化后的预训练模型进行微调，获得目标检测模型。
12.结合第一方面，在第一方面的某些实现方式中，在对多个图像副本中每个图像副本进行随机变换组合，获得多个增强图像之前，该方法还包括：确定多个图像副本中第一图像副本的随机变换组合。对多个图像副本中每个图像副本进行随机变换组合，获得多个增强图像，包括：在第一图像副本的随机变化组合包括预设随机变换的情况下，对第一图像副本以及第一图像副本中的小目标对象的像素掩码信息进行所述预设随机变换，得到第一图像副本的增强图像。其中，预设随机变换包括平移和/或旋转。
13.结合第一方面，在第一方面的某些实现方式中，确定多个图像副本中第一图像副本的随机变换组合，包括：根据预设概率确定平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种为第一图像副本的随机变化组合。
14.第二方面，提供了一种小目标对象的检测装置，用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
15.第三方面，提供了一种小目标对象的检测装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该装置还包括存储器。可选地，该装置还包括通信接口，处理器与通信接口耦合。
16.第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述第一方面中任一种可能实现方式中的方法。
17.在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所
接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本技术对处理器及各种电路的具体实现方式不做限定。
18.第五方面，提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。
19.可选地，处理器为一个或多个，存储器为一个或多个。
20.可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。
21.在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，rom)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术对存储器的类型以及存储器与处理器的设置方式不做限定。
22.应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。
23.上述第五方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。
24.第六方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序代码，当该计算机程序代码被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
25.第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当该计算机程序被运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
附图说明
26.图1是本技术实施例提供的一种小目标对象的检测方法的示意性流程图；
27.图2是本技术实施例提供的一种模型训练的方法的示意性流程图；
28.图3是本技术实施例提供的另一种模型训练的方法的示意性流程图；
29.图4是本技术实施例提供的一种数据集的增强方法的示意性流程图；
30.图5是本技术实施例提供的一种小目标对象的检测装置的示意性框图；
31.图6是本技术实施例提供的另一种小目标对象的检测装置的示意性框图。
具体实施方式
32.下面将结合附图，对本技术中的技术方案进行描述。
33.在介绍本技术实施例提供的小目标对象的检测方法和检测装置之前，先做出以下几点说明。
34.第一，在下文示出的实施例中，各术语及英文缩略语，如目标检测模型、增强图像、轮廓图像等，均为方便描述而给出的示例性举例，不应对本技术构成任何限定。本技术并不排除在已有或未来的协议中定义其它能够实现相同或相似功能的术语的可能。
35.第二，在下文示出的实施例中第一、第二以及各种数字编号仅为描述方便进行的区分，并不用来限制本技术实施例的范围。
36.第三，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b和c中的至少一项(个)，可以表示：a，或b，或c，或a和b，或a和c，或b和c，或a、b和c，其中a，b，c可以是单个，也可以是多个。
37.需要说明的是，本技术实施例的小目标对象的检测方法和检测装置可用于人工智能领域，也可用于除人工智能领域以外的任意领域，本技术实施例对应用领域不作限定。
38.贷后监控作为银行信贷管理的核心组成部分，对于及时发现信贷项目中各种风险，规避或减少银行损失具有非常重要的意义。工程建设类贷款因其放贷资金规模大、时间周期长的特点，加大了信贷管理的不确定性，因此对工程建设类贷款的贷后监控是银行的痛点。
39.通常，银行为实施贷后风险监控，可以线下定期派遣专员去建设工程现场实地监控项目进度，这往往耗费大量人力、物力，效率较低、成本较高。此外，水电站、大桥、水坝等地理环境较复杂的建设工程，纯靠人力现场监控方式会面临物理条件限制等困难。
40.近年来，随着数字化技术的革新进步，遥感卫星图像获取容易并且获取成本持续降低，图像的种类不断增加，基于图像处理技术的遥感卫星图像识别技术越来越受到银行重视。将卫星服务与银行需求对接，为了解和服务客户提供全新途径。
41.通常，遥感卫星拍摄的图像中的待检测目标多为尺寸较小的小目标对象，而小目标对象的检测在业内是个难题。目前，可以采用优化后的检测模型实现小目标对象的检测任务，优化方案通常聚焦在对检测模型的网络结构或者算法进行改进。例如，引入特征金字塔网络(feature pyramid network，fpn)，在不同尺寸特征图上分别进行小目标对象的检测。这样的方式在预训练数据集的数量较大、样本比例较为均衡的情况下，可以一定程度上提升小目标对象的检测精度。然而，在预训练数据集的数据较少、样本比例严重失衡的情况下，得到的小目标对象的检测精度无法令人满意。
42.有鉴于此，本技术实施例提供一种小目标对象的检测方法和检测装置，该方法可以对预训练数据集中包括小目标对象的图像进行扩充，得到增强数据集，并通过增强数据集优化预训练模型得到目标检测模型，基于目标检测模型可以对遥感卫星拍摄的待检测图像中的小目标对象进行检测，这样有利于解决训练数据集中小目标对象样本失衡的情况，从而提高小目标对象的检测精度。
43.应理解，本技术实施例可以通过增强数据集优化专用的预训练模型得到适用于检测小目标对象的目标检测模型。根据遥感卫星的设备精度的不同，遥感图像的分辨率可以分为亚米级和米级，其中，亚米级分辨率通常为0.5m至1m，米级分辨率通常为2m至300m。1m分辨率是指图像中的每个像元实际对应1m
×
1m的空间区域，分辨率越小，图像的内容越精
细，成本也越高。
44.由于受到在轨卫星运行高度的约束，遥感卫星采集到的图像中的待检测目标相较于相机、手机等终端所采集的图像中的待检测目标的尺寸占比较小，因此遥感卫星图像检测澄江下的目标检测本质上是一个小目标对象检测任务，并且对检测精度具有较高要求，这对于深度学习模型而言是一个巨大的挑战。
45.目前，基于回归方法的预训练模型，例如二阶段快速(faster)区域卷积神经网络(region convolutional neural networks，rcnn)或者视网膜网络(retinanet)在小目标对象的检测任务上的效果不尽人意，其原因在于基于回归方法在使用rcnn网络提取特征的过程中通过降采样增大了感受野，使得特征图尺寸不断缩小，最终送入检测子网络(目标分类/边界框回归子分支)的特征图分辨率降低，导致面积较小区域的信息难以有效传递到最后的检测子网络中，从而难以获取较高精度的目标检测结果。
46.基于语义分割方法的预训练模型通常采用编码器-解码器网络进行目标检测。编码器-解码器网络可以将rcnn特征抽取层(即编码器)得到的低分辨率特征图通过解码器进行上采样得到原始尺寸的图像，同时，在上采样过程中可以采用融合低阶特征的方式以尽可能保留蕴含在低阶特征中的空间信息。
47.由于现实中目标建筑地物的平面形状往往是不规则的，例如，交通基础设备、采矿工地设施、房屋等，基于回归检测方法的预训练模型仅适用于目标边框较为规整的场景。而基于语义分割方法的预训练模型对于目标轮廓非规整的场景可以做到像素级预测，因此，本技术实施例可以采用基于语义分割方法的掩码(mask)rcnn实现对遥感卫星拍摄的图像进行小目标对象检测。
48.目前，以上述预训练模型为掩码rcnn为例，基于语义分割方法的掩码rcnn大多可以通过公开数据集进行预训练。以公开数据集为上下文中的通用对象(common objects in context，coco)数据集为例，由于coco数据集中的小目标对象样本的比例较少，可能使得基于coco数据集预训练的掩码rcnn更偏向于对中目标对象或者大目标对象的检测，因此直接基于掩码rcnn对遥感卫星拍摄的图像进行小目标对象检测可能无法获得较好的检测精度。
49.基于以上描述，本技术实施例可以在公开数据集的基础上，对公开数据集中包括小目标对象的图像进行过采样，以此增大公开数据集中包括小目标对象的样本图像的比例得到增强数据集，缓解包括小目标对象的样本图像与包括中/大目标对象的样本图像的比例失衡问题。通过增强数据集对预训练模型进行再训练以得到适用于遥感卫星图像检测场景下针对小目标对象检测的目标检测模型，这样可以避免目标检测模型偏向中/大目标对象而导致过拟合，有利于提高对小目标对象的检测精度。
50.图1是本技术实施例提供的一种小目标对象的检测方法100的示意性流程图。方法100的步骤可以由图像处理设备执行，但本技术实施例对此不作限定。方法100包括如下步骤：
51.s101，获取遥感卫星拍摄的待检测图像；
52.s102，将待检测图像输入至目标检测模型，获得待检测图像的目标检测结果。
53.其中，目标检测模型是通过增强数据集训练得到的，增强数据集中包括样本图像和样本图像的多个增强图像，样本图像包括小目标对象。在本技术实施例中，基于增强数据集训练好的目标检测模型可以对遥感卫星拍摄的待检测图像进行小目标对象检测，由于增
强数据集中包括样本图像的多个增强图像，而多个增强图像实现了对样本图像的扩充，使得增强数据集中包括小目标对象的样本图像和包括中/大目标对象的样本图像的比例较为均衡，这样通过增强数据集训练得到的目标检测模型可以更好的适用于对小目标对象的检测，有利于提高小目标对象的检测精度。
54.示例性地，上述增强数据集可以是通过对公开数据集中包括小目标对象的样本图像进行过采样得到的，公开数据集可以是coco数据集、城市景观(cityscapes)数据集或者斯坦福背景数据集(standford background dataset)。应理解，本技术实施例对选取的公开数据集不作限定。
55.应理解，本技术实施例又将公开数据集称为原始数据集。
56.示例性地，上述过采样可以指对样本图像的多个图像副本中每个图像副本进行随机变换组合，随机变换组合包括平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种。对多个图像副本进行随机变换组合的方式有利于提高图像副本的多样性，从而提升目标检测模型的泛化效果。
57.下面结合图2和图3对本技术实施例的目标检测模型的训练过程进行描述。
58.图2是本技术实施例提供的一种模型训练的方法200的示意性流程图。方法200的步骤可以由图像处理设备在方法100的步骤之前执行，但本技术实施例对此不作限定。方法200包括：
59.s201，从原始数据集中获取样本图像。
60.在本步骤中，图像处理设备可以从原始数据集中获取包括小目标对象的样本图像。其中，小目标对象的判断标准可以是像素掩码面积(area)小于预设阈值，示例性地，该预设阈值为1024＝32
×
32。
61.应理解，原始数据集的样本图像中不同的目标对象(包括小目标对象、中目标对象和大目标对象)对应不同的像素掩码值，基于该像素掩码值可以对不同的目标对象进行检测、识别以及分割。
62.s202，对样本图像进行复制，获得多个图像副本。
63.其中，图像处理设备可以按照预设比例对样本图像进行复制，获得多个图像副本。
64.示例性地，图像处理设备可以按照预设比例为1：3对包括小目标对象的样本图像进行复制，生成多个样本图像的图像副本。
65.s203，对多个图像副本中每个图像副本进行随机变换组合，获得多个增强图像。
66.在本步骤中，图像处理设备可以构建随机变换组合t，示例性地，随机变换组合为t＝[t
1 t
2 t
3 t
4 t5]的6维向量。其中，t1、t2、t3、t4、t5分别表示平移、旋转、饱和度、加噪、亮度、对比度，ti∈{0，1}，i＝1,2,
…
,6。当ti取1时，表示对应的随机变换被选中，当ti取0时，表示对应的随机变换未被选中。
[0067]
其中，可以按照预设概率确定多个图像副本中的第一图像副本的随机变换组合。示例性地，预设概率为0.5，也就是平移、旋转、饱和度、加噪、亮度、对比度中的每一项被选中的概率都是0.5。应理解，第一图像副本可以是多个图像副本中的任意一个或者多个，本技术实施例对此不作限定。
[0068]
s204，基于样本图像和样本图像的多个增强图像，对预训练模型进行迁移学习，获得优化后的预训练模型。
[0069]
在本步骤中，由于预训练模型是通过上述原始数据集训练得到的，而原始数据集可能存在样本比例失衡的问题。因此在本步骤中，图像处理设备可以采用样本图像以及过采样后得到的样本图像的多个增强图像对预训练模型进行迁移学习，也就是再训练预训练模型，得到优化后的预训练模型，该优化后的预训练模型适用于对小目标对象的检测任务，有利于提高对小目标对象的检测精度。
[0070]
s205，获取遥感卫星拍摄的图像数据集，并利用该图像数据集对优化后的预训练模型进行微调，获得目标检测模型。
[0071]
在本步骤中，图像处理设备可以基于遥感卫星拍摄的图像数据集对优化后的预训练模型进行微调训练，得到适用于遥感卫星图像检测场景下的目标检测模型。
[0072]
基于上述方法200训练得到的目标检测模型适用于遥感卫星图像检测场景下的小目标对象的检测任务，基于方法200可以有效实现对数据集的扩充，有利于减小原始数据集中包括小目标对象的样本图像占比较小的问题，从而有利于提高对小目标对象的检测精度。
[0073]
作为一个可选的实施例，对多个图像副本中每个图像副本进行随机变换组合，获得多个增强图像，包括：在第一图像副本的随机变化组合包括预设随机变换的情况下，对第一图像副本以及第一图像副本中的小目标对象的像素掩码信息进行预设随机变换，得到第一图像副本的增强图像。其中，预设随机变换包括平移和/或旋转。
[0074]
在本技术实施例中，如果对多个图像副本中的第一图像副本进行了平移和/或旋转，那么第一图像副本的像素掩码信息也需要进行相应变换，如果对第一图像副本的进行了饱和度、加噪、亮度、对比度变换，则第一图像副本的像素掩码信息保持不变。
[0075]
图3是本技术实施例提供的另一种模型训练的方法300的示意性流程图，方法300可以由图像处理设备，但本技术实施例对此不作限定。其中，在s301之前，方法300可以包括上述s201至s203，方法300的步骤可以在上述s203之后执行。方法300包括：
[0076]
s301，获取多个增强图像中每个增强图像的小目标对象的像素掩码信息。
[0077]
小目标对象的像素掩码信息包括小目标对象的像素掩码值和像素掩码位置。其中，像素掩码值可以标注每个增强图像中不同的小目标对象，像素掩码位置可以标注每个增强图像中不同的小目标对象的像素掩码值的位置。
[0078]
s302，基于像素掩码信息，对每个增强图像中的小目标对象进行裁剪和复制，得到每个增强图像中的小目标对象的多个轮廓副本。
[0079]
基于像素掩码信息，图像处理设备可以准确地裁剪出小目标对象，并对裁剪出的小目标对象进行复制，得到小目标对象的多个轮廓副本。
[0080]
示例性地，图像处理设备可以按照1：10的比例生成多个轮廓副本。
[0081]
s303，对多个轮廓副本进行仿射变换，并将仿射变换之后的多个轮廓副本粘贴至每个增强图像中，获得多个轮廓图像。
[0082]
可选地，仿射变换的类型包括旋转、缩放和剪切。这样对多个轮廓副本进行仿射变换的方式有利于提高目标检测模型的泛化能力。
[0083]
示例性地，如果选取的仿射变换的类型为剪切，图像处理设备可以从预设剪切比例范围内选择剪切比例对所述多个轮廓副本中的全部或者部分轮廓副本进行剪切变换。示例性地，预设剪切比例范围为[0.8，12]，
[0084]
示例性地，如果选取的仿射变换的类型为旋转，图像处理设备可以从预设旋转角度范围内选择旋转角度对所述多个轮廓副本中的全部或者部分轮廓副本进行旋转变换。示例性地，预设旋转角度范围为[-30度， 30度]
[0085]
示例性地，如果选取的仿射变换的类型为缩放，图像处理设备可以从预设缩放比例范围内选择缩放比例对所述多个轮廓副本中的全部或者部分轮廓副本进行缩放变换。示例性地，预设缩放比例范围为[0.9，1.1]。
[0086]
应理解，轮廓副本的仿射变换的类型可以是随机选取的，也可以是按照预设概率选取的，本技术实施例对多个轮廓副本中进行剪切变换、旋转变换或者缩放变换的轮廓副本的数量不作限定。
[0087]
可选地，图像处理设备可以将仿射变换之后的多个轮廓副本粘贴至每个增强图像中的随机位置，并根据随机位置以及每个增强图像中的小目标对象的像素掩码值，确定粘贴后的每个小目标对象的多个轮廓副本的像素掩码信息。
[0088]
应理解，本步骤中的轮廓图像表示包括小目标对象的多个轮廓副本的增强图像，多个轮廓副本可以位于轮廓图像的不同位置。
[0089]
s304，基于样本图像、样本图像的多个增强图像以及多个轮廓图像，对预训练模型进行迁移学习，获得优化后的预训练模型。
[0090]
相较于上述s204，本步骤中增强数据集中还进一步包括了多个轮廓图像，图像处理设备可以基于样本图像、样本图像的多个增强图像以及多个轮廓图像再训练预训练模型以达到优化预训练模型的目的。
[0091]
s305，获取遥感卫星拍摄的图像数据集，并利用该图像数据集对优化后的预训练模型进行微调，获得目标检测模型。
[0092]
在本技术实施例中，图像处理设备在得到样本图像的多个增强图像之后，可以针对多个增强图像中每个增强图像进行小目标对象的增广。具体而言，图像处理设备可以通过将每个增强图像中的小目标对象进行复制，得到小目标对象的多个轮廓副本，再将经过仿射变换后的多个轮廓副本粘贴到每个增强图像的不同位置从而实现对小目标对象的增广。这样增强数据集中还包括了多个轮廓图像，进一步增加了小目标对象的样本数量，有利于缓解包括小目标对象与中目标对象或者大目标对象的比例失衡问题，从而提高小目标对象的检测精度。
[0093]
图4是本技术实施例提供的一种数据集的增强方法400的示意性流程图。方法400的步骤可以由图像处理设备执行，但本技术实施例对此不作限定。
[0094]
方法400包括如下步骤：
[0095]
s401，输入原始的coco数据集。
[0096]
s402，从coco数据集中选择出包括小目标对象的图像。
[0097]
本技术实施例中将包括小目标对象的图像称为小目标图像。
[0098]
s403，按照预设比例对小目标图像进行复制，得到多个图像副本。
[0099]
示例性地，本步骤中的预设比例可以为1：3，本技术实施例对此不作限定。
[0100]
s404，对每个图像副本进行随机变换组合，得到多个增强图像。
[0101]
示例性地，每种变换(平移、旋转、饱和度、加噪、亮度、对比度)可以以0.5的概率选中进行随机组合。
[0102]
s405，判断多个增强图像中是否存在进行了平移和/或旋转的增强图像。若是，则执行s406。若否，则执行s407。
[0103]
s406，对进行了平移和/或旋转得到的增强图像中的小目标对象的像素掩码信息实施相应变换。
[0104]
s407，获取多个增强图像中的小目标对象的像素掩码信息。
[0105]
s408，基于小目标对象的像素掩码信息，裁剪多个增强图像中的小目标对象的轮廓，按照预设比例生成多个小目标轮廓副本。
[0106]
示例性地，本步骤中的预设比例可以为1：10，但本技术实施例对此不作限定。
[0107]
s409，从旋转、缩放和剪切这三种仿射变换中以等概率的方式随机选择一种仿射变换。
[0108]
s410，确定随机选择的仿射变换的类型。
[0109]
s411，根据仿射变换的类型对每个小目标轮廓副本进行相应的变换。这样有利于提高目标检测模型的泛化能力。
[0110]
示例性地，如果是剪切变换，可以在水平和垂直方向分别从剪切比例范围[0.8，1.2]内随机选取剪切比例，对小目标轮廓副本进行剪切处理。
[0111]
示例性地，如果是旋转变换，可以在旋转角度范围[-30度， 30度]内随机选取角度，对小目标轮廓副本进行旋转处理。
[0112]
示例性地，如果是缩放变换，可以在尺寸缩放比例范围[0.9，1.1]内随机选取一个缩放比，对小目标轮廓副本进行缩放处理。
[0113]
s412，将仿射变换后的小目标轮廓副本粘贴至增强图像上随机选取的位置区域，得到多个轮廓图像。
[0114]
s413，根据粘贴的位置区域以及每个增强图像中的小目标对象的像素掩码信息，得到每个轮廓图像中的小目标轮廓副本的像素掩码信息。
[0115]
s414，对每个轮廓图像中粘贴后的位置区域进行高斯模糊平滑操作。这样可以使得粘贴后小目标轮廓副本附近的像素分布更为平滑。
[0116]
s415，输出增强数据集。
[0117]
s416，基于增强数据集对预训练模型进行再训练，得到针对小目标对象优化的预训练模型。
[0118]
示例性地，预训练模型为掩码rcnn。
[0119]
s417，基于真实遥感卫星地物影像集对优化后的预训练模型进行微调训练。
[0120]
s418，输出目标检测模型。该目标检测模型为适用于遥感卫星图像中的小目标对象检测的模型。
[0121]
上述s402至s414为数据集增强的过程，s416为模型再训练的过程，s417为模型微调训练的过程。其中，s402至s406可以称为数据集的过采样，可以通过将包括小目标对象的图像复制多个副本来实现；s407至s414可以称为数据集的增广，可以通过将图像中的小目标对象复制多份，再粘贴到图像中的不同位置区域来实现。
[0122]
应理解，由于原始的小目标对象所在的区域与粘贴的位置区域的像素分布通常不一致，在复制粘贴的过程中，如果小目标对象的轮廓未裁剪干净，可能会导致粘贴后的小目标轮廓副本与背景区域无法完美贴合，这样可能损害模型提取特征的表现。coco数据集的
实力分割标注提供了图像中小目标对象的像素级掩码，即上述像素掩码信息，图像处理设备可以基于像素掩码信息裁剪小目标对象，得到多个小目标轮廓副本，再将小目标轮廓副本粘贴至图像中的不同位置区域。
[0123]
在将本技术实施例中通过增强数据集训练得到的目标检测模型应用于银行的贷后风险监控场景下，图像处理设备还可以进一步计算出检测到的小目标对象的宽高、面积、数量等信息，从而银行的贷后监管设备可以定期通过比较同一区域不同时相的遥感卫星图像中目标区域内建设工程的实时进度变化情况，及时准确地获取贷款投放项目的经营风险情况(例如，业务场景停工、施工进度落后)并做出相应的预警分析，这样可以丰富银行的风险防控能力，实现风险评估自动化。
[0124]
应理解，本技术实施例适用但不限于监控工程建设的实时范围、施工面积、楼房建设数量、施工机械数量、建成工程个数等贷款投放项目的建设进度的变化情况。
[0125]
此外，本技术实施例使用公开数据集对预训练模型进行优化可以减少从第三方购买遥感卫星拍摄的图像的开销，图像处理设备可以通过少量的遥感卫星拍摄的图像数据集对采用增强数据集优化后的预训练模型进行微调训练得到目标检测模型。
[0126]
应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0127]
上文中结合图1至图4，详细描述了根据本技术实施例的小目标对象的检测方法，下面将结合图5和图6详细描述根据本技术实施例的小目标对象的检测装置。
[0128]
图5示出了本技术实施例提供的一种小目标对象的检测装置500的示意性框图，该装置500包括获取模块510和处理模块520。
[0129]
其中，获取模块510用于：获取遥感卫星拍摄的待检测图像。处理模块520用于：将待检测图像输入至目标检测模型，获得待检测图像的目标检测结果。
[0130]
其中，目标检测模型是通过增强数据集训练得到的，增强数据集中包括样本图像和样本图像的多个增强图像，样本图像包括小目标对象，多个增强图像是通过对样本图像的多个图像副本中每个图像副本进行随机变换组合得到的，随机变换组合包括平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种。
[0131]
可选地，获取模块510用于：从原始数据集中获取样本图像，样本图像中的小目标对象的像素掩码面积小于预设阈值。处理模块520用于：对样本图像进行复制，获得多个图像副本；对多个图像副本中每个图像副本进行随机变换组合，获得多个增强图像；以及，基于样本图像和样本图像的多个增强图像，训练目标检测模型。
[0132]
可选地，增强数据集还包括多个轮廓图像。获取模块510用于：获取多个增强图像中每个增强图像的小目标对象的像素掩码信息，像素掩码信息包括小目标对象的像素掩码值和像素掩码位置。处理模块520用于：基于像素掩码信息，对每个增强图像中的小目标对象进行裁剪和复制，得到每个增强图像中的小目标对象的多个轮廓副本；对多个轮廓副本进行仿射变换，并将仿射变换之后的多个轮廓副本粘贴至每个增强图像中，获得多个轮廓图像；以及，基于样本图像、样本图像的多个增强图像以及多个轮廓图像，训练目标检测模型。
[0133]
可选地，处理模块520用于：从预设剪切比例范围内选择剪切比例对多个轮廓副本中的全部或者部分轮廓副本进行剪切变换；或者，从预设旋转角度范围内选择旋转角度对
多个轮廓副本中的全部或者部分轮廓副本进行旋转变换；或者，从预设缩放比例范围内选择缩放比例对多个轮廓副本中的全部或者部分轮廓副本进行缩放变换。
[0134]
可选地，处理模块520用于：基于样本图像和样本图像的多个增强图像，对预训练模型进行迁移学习，获得优化后的预训练模型，该预训练模型是通过原始数据集训练得到的。获取模块510用于：获取遥感卫星拍摄的图像数据集，并利用图像数据集对优化后的预训练模型进行微调，获得目标检测模型。
[0135]
可选地，处理模块520用于：对样本图像按照预设比例进行复制，获得多个图像样本。
[0136]
可选地，处理模块520用于：确定多个图像副本中第一图像副本的随机变换组合；以及，在第一图像副本的随机变化组合包括预设随机变换的情况下，对第一图像副本以及第一图像副本中的小目标对象的像素掩码信息进行预设随机变换，得到第一图像副本的增强图像。其中，预设随机变换包括平移和/或旋转。
[0137]
可选地，处理模块520用于：根据预设概率确定平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种为第一图像副本的随机变化组合。
[0138]
在一个可选的例子中，本领域技术人员可以理解，装置500可以具体为上述实施例中的图像处理设备，或者，上述实施例中图像处理设备的功能可以集成在装置500中。上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。装置500可以用于执行上述方法实施例中与图像处理设备对应的各个流程和/或步骤。
[0139]
应理解，这里的装置500以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在本技术的实施例，图5中的装置500也可以是芯片或者芯片系统，例如：片上系统(system on chip，soc)。
[0140]
图6是本技术实施例提供的另一种小目标对象的检测装置600的示意性框图。该装置600包括处理器610、收发器620和存储器630。其中，处理器610、收发器620和存储器630通过内部连接通路互相通信，该存储器630用于存储指令，该处理器610用于执行该存储器630存储的指令，以控制该收发器620发送信号和/或接收信号。
[0141]
应理解，装置600可以具体为上述实施例中的图像处理设备，或者，上述实施例中图像处理设备的功能可以集成在装置600中，装置600可以用于执行上述方法实施例中与图像处理设备对应的各个步骤和/或流程。可选地，该存储器630可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器610可以用于执行存储器中存储的指令，并且该处理器执行该指令时，该处理器可以执行上述方法实施例中与图像处理设备对应的各个步骤和/或流程。
[0142]
应理解，在本技术实施例中，该处理器610可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规
的处理器等。
[0143]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0144]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0145]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0146]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0147]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0148]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0149]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0150]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种小目标对象的检测方法，其特征在于，包括：获取遥感卫星拍摄的待检测图像；将所述待检测图像输入至目标检测模型，获得所述待检测图像的目标检测结果；其中，所述目标检测模型是通过增强数据集训练得到的，所述增强数据集中包括样本图像和所述样本图像的多个增强图像，所述样本图像包括小目标对象，所述多个增强图像是通过对所述样本图像的多个图像副本中每个图像副本进行随机变换组合得到的，所述随机变换组合包括平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种。2.根据权利要求1所述的方法，其特征在于，在所述将所述待检测图像输入至目标检测模型，获得所述待检测图像的目标检测结果之前，所述方法还包括：从原始数据集中获取所述样本图像，所述样本图像中的小目标对象的像素掩码面积小于预设阈值；对所述样本图像进行复制，获得所述多个图像副本；对所述多个图像副本中每个图像副本进行所述随机变换组合，获得所述多个增强图像；基于所述样本图像和所述样本图像的多个增强图像，训练所述目标检测模型。3.根据权利要求2所述的方法，其特征在于，所述增强数据集还包括多个轮廓图像；在所述基于所述样本图像和所述样本图像的多个增强图像，训练所述目标检测模型之前，所述方法还包括：获取所述多个增强图像中每个增强图像的小目标对象的像素掩码信息，所述像素掩码信息包括小目标对象的像素掩码值和像素掩码位置；基于所述像素掩码信息，对所述每个增强图像中的小目标对象进行裁剪和复制，得到所述每个增强图像中的小目标对象的多个轮廓副本；对所述多个轮廓副本进行仿射变换，并将所述仿射变换之后的所述多个轮廓副本粘贴至所述每个增强图像中，获得所述多个轮廓图像；所述基于所述样本图像和所述样本图像的多个增强图像，训练所述目标检测模型，包括：基于所述样本图像、所述样本图像的多个增强图像以及所述多个轮廓图像，训练所述目标检测模型。4.根据权利要求3所述的方法，其特征在于，所述对所述多个轮廓副本进行仿射变换，包括：从预设剪切比例范围内选择剪切比例对所述多个轮廓副本中的全部或者部分轮廓副本进行剪切变换；或者，从预设旋转角度范围内选择旋转角度对所述多个轮廓副本中的全部或者部分轮廓副本进行旋转变换；或者，从预设缩放比例范围内选择缩放比例对所述多个轮廓副本中的全部或者部分轮廓副本进行缩放变换。5.根据权利要求2所述的方法，其特征在于，所述基于所述样本图像和所述样本图像的多个增强图像，训练所述目标检测模型，包括：基于所述样本图像和所述样本图像的多个增强图像，对预训练模型进行迁移学习，获
得优化后的预训练模型，所述预训练模型是通过所述原始数据集训练得到的；获取遥感卫星拍摄的图像数据集，并利用所述图像数据集对所述优化后的预训练模型进行微调，获得所述目标检测模型。6.根据权利要求2所述的方法，其特征在于，在所述对所述多个图像副本中每个图像副本进行所述随机变换组合，获得所述多个增强图像之前，所述方法还包括：确定所述多个图像副本中第一图像副本的随机变换组合；所述对所述多个图像副本中每个图像副本进行所述随机变换组合，获得所述多个增强图像，包括：在所述第一图像副本的随机变化组合包括预设随机变换的情况下，对所述第一图像副本以及所述第一图像副本中的小目标对象的像素掩码信息进行所述预设随机变换，得到所述第一图像副本的增强图像，其中，所述预设随机变换包括平移和/或旋转。7.根据权利要求6所述的方法，其特征在于，所述确定所述多个图像副本中第一图像副本的随机变换组合，包括：根据预设概率确定平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种为所述第一图像副本的随机变化组合。8.一种小目标对象的检测装置，其特征在于，包括：获取模块，用于获取遥感卫星拍摄的待检测图像；处理模块，用于将所述待检测图像输入至目标检测模型，获得所述待检测图像的目标检测结果；其中，所述目标检测模型是通过增强数据集训练得到的，所述增强数据集中包括样本图像和所述样本图像的多个增强图像，所述样本图像包括小目标对象，所述多个增强图像是通过对所述样本图像的多个图像副本中每个图像副本进行随机变换组合得到的，所述随机变换组合包括平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种。9.一种小目标对象的检测装置，其特征在于，包括：处理器，所述处理器和存储器耦合，所述存储器用于存储计算机程序，当所述处理器调用所述计算机程序时，使得所述装置执行权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。11.一种计算机程序产品，其特征在于，包括计算机程序代码，所述计算机程序代码被运行时，实现如权利要求1至7中任一项所述的方法。

技术总结
本申请提供一种小目标对象的检测方法和检测装置，可用于人工智能领域，有利于提高小目标对象的检测精度。该方法包括：获取遥感卫星拍摄的待检测图像；将待检测图像输入至目标检测模型，获得待检测图像的目标检测结果。其中，目标检测模型是通过增强数据集训练得到的，增强数据集中包括样本图像和样本图像的多个增强图像，样本图像包括小目标对象，多个增强图像是通过对样本图像的多个图像副本中每个图像副本进行随机变换组合得到的，随机变换组合包括平移、旋转、加噪、饱和度、亮度或者对比度中的至少一种。比度中的至少一种。比度中的至少一种。


技术研发人员：李兆佳
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2022.02.21
技术公布日：2022/5/25