结合频率与边缘学习的高分遥感影像显著性目标检测方法

1.本发明涉及高分遥感影像处理技术领域与计算机视觉领域的显著性检测技术领域，具体涉及高分遥感影像显著性目标检测的实现方法，适用于高分遥感影像的地物目标的显著性检测。


背景技术：

2.显著性目标检测技术根据显著性特征(空间域、频域等)，快速有效地提取场景中的目标区域进行进一步分析。高分辨率遥感影像具有丰富的地理信息以及光谱信息，全图信息处理的计算复杂度巨大，结合显著性目标检测技术可以只提取图像中人最感兴趣的目标区域，从而缩小信息处理的范围，提高信息处理的效率。另外，一些深度学习网络通过将局部特征融合进入显著对象的方法可以提升目标显著性。然而，高分辨率遥感影像具有覆盖面积广、包含目标复杂、具有光谱复杂性的特点，普通的深度学习网络并不能获得遥感图像精确的边缘特征以及提取丰富的遥感光谱信息。目前，遥感领域显著性检测主要是采取“自底向上”与“自顶向下”模型融合的方式。虽然这种方式兼顾了全局信息与局部详细信息，在一定层度上弥补了目标检测形状的不完整，精度缺失等问题,但对于复杂的，包含多类型的遥感图像的检测能力仍有不足，后续仍然需要扩展遥感图像的种类和优化检测算法。基于深度学习的显著性目标检测方法具有学习多层特征的能力，故更容易确定显著区域。所以如何提取更多的遥感特征信息，提升检测精度是本发明要解决的问题。


技术实现要素：

3.为了解决上述问题，本发明提出一种结合边缘学习与频率通道注意力的遥感显著性目标检测方法。在所涉及的模型中，通过边缘学习所获得的边缘特征预测结果与语义分割目标的预测结果进行融合，以获得边缘更加精确的显著性目标；使用一种基于频率的通道注意力机制fca(frequencychannelattention)，弥补因降维操作而引起的特征信息的丢失，同时获取更多的频率特征来加强图像的特征信息。使用数据增强技术扩充数据量，以及使用迁移学习的方式强化训练效果。
4.本发明的结合频率与边缘学习的高分遥感影像显著性目标检测方法，包括显著性检测网络模型的搭建，训练，预测等过程，包括以下步骤：
5.步骤1：制作高分遥感影像样本，人工描画目标的精确边界并标注语义类型，进行栅格化处理，生成相应的线标签样本和面标签样本，并使用数据增强方法扩充样本。
6.步骤2：搭建高分遥感影像显著性目标检测网络模型；
7.步骤2.1：选取合适的cnn网络作为backbone，其中较低层的卷积后的数据用于目标边缘特征提取模块，其他层的卷积用于显著性目标特征提取模块；
8.步骤2.2：在有维度下降的卷积后接入fca注意力机制，其模型如图3所示，给图像的特征赋予二维的权重，其强化了通道信息以及遥感影像的频率信息，其中
9.att＝sigmoid(fc(freq))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
10.freq＝[freq0,freq1,
…
,freq
n-1
]
[0011]
freqi＝2ddct
u,v
(xi),i∈(0,1,
…
,n-1)
[0012][0013]
步骤2.3：目标边缘特征提取模块与显著性目标特征提取模块均是经过三次卷积加激活函数组合的操作，且从最下层的显著性目标特征提取模块开始，均将数据传递给上一层，用于强化上一层的特征信息，且最下层的特征信息经过一次步骤2.2后传给边缘特征提取模块，强化该模块的特征信息；
[0014]
步骤2.4：目标边缘特征提取模块与显著性目标特征提取模块每一层再经过一次卷积加激活函数的组合操作后获取预测图像，使用线标签样本计算各层中的边缘损失之和loss
edge
,其中
[0015][0016]
步骤2.5：目标边缘特征提取模块与显著性目标特征提取模块重复步骤2.2后接入边缘融合模块进行一对一融合，卷积后获取各层的预测图像，使用面标签计算语义分割的损失loss
sal
；
[0017]
步骤2.6：将边缘融合模块中的每一层经过三次卷积加激活函数的组合操作扩大视野后再经过一次卷积加激活函数的组合操作获取预测图像。将步骤2.5中各层特征进行融合，并计算总损失
[0018]
loss＝loss
edge
loss
sal
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0019]
步骤3：利用步骤1中的样本训练该网络模型至拟合状态；
[0020]
步骤4：通过该网络模型获取预测图像。
[0021]
本发明根据目标地物轮廓绘制样本，制作边缘检测样本以及语义分割样本；搭建引入了边缘学习以及基于频谱的通道注意力机制的神经网络模型，将高分遥感影像、边缘检测样本、语义分割样本输入训练至拟合状态，得到遥感影像的显著性目标检测模型；输入高分遥感影像获取预测图像。本发明结合了边缘学习以及基于频谱的通道注意力机制，解决了传统遥感领域显著性检测边缘不清晰的问题，以及使用深度学习方法缺少对光谱特征而导致的检测不精确的问题。
[0022]
本发明的优点是：
[0023]
(1)网络模型中引入边缘学习，强化了目标的边缘信息，并于目标对象进行融合，强化目标边界；
[0024]
(2)网络模型中引入基于频谱的通道注意力机制，强化通道信息以及遥感影像的频率信息。
附图说明
[0025]
图1为网络模型的流程图示意图。
[0026]
图2a～图2c为实验数据图，图2a表示高分遥感影像原始图像样本图，图2b表示面标签样本图，图2c表示线标签样本图。
[0027]
图3为fca通道注意力机制图。
[0028]
图4a～图4b为实验效果图，图4a为面标签样本图，图4b为预测结果图.
具体实施方式
[0029]
参照图1所示，为本发明的结合边缘学习与频率通道注意力的高分遥感影像显著性目标检测方法，具体步骤如下：
[0030]
(1)制作高分遥感影像样本，包括以下步骤：
[0031]
(1-1)准备高分遥感影像：人工选择显著性区域，采用arcgis软件对地物目标的边缘进行人工标注，严格遵循真实目标边界绘制，并赋予地物目标语义类型属性值，其中显著区域标注为1，其他区域标注为0，得到对应的矢量文件和原图，将矢量文件栅格化为面标签和线标签。
[0032]
(1-2)对数据进行扩充：对步骤(1-1)所得图进行镜像、旋转和裁剪操作等数据增强操作，扩充面标签与线标签样本，原图如图2a所示，面标签样本如图2b所示，线标签样本如图2c所示；
[0033]
(2)搭建高分遥感影像训练模型，包括以下步骤：
[0034]
(2-1)选择resnet50作为backbone，其中resnet50中的第一层用于边缘
[0035]
特征提取，其他层用于显著性目标特征提取模块；
[0036]
(2-2)在有维度下降的卷积后接入fca注意力机制，其模型如图3所示，给图像的特征赋予二维的权重，其强化了通道信息以及遥感影像的频率信息，其中
[0037][0038]
(2-3)最下层的显著性目标特征提取模块开始，每一层经过三次卷积加激活函数组合的操作扩大感知视野，其中，卷积的输入通道数与输出通道数相同(n*n)，激活函数使用relu函数。之后的数据传递给上一层，用于强化上一层的特征信息，且最下层的特征信息经过一次步骤2.2后传给边缘特征提取模块，强化该模块的特征信息；
[0039]
(2-4)目标边缘特征提取模块与显著性目标特征提取模块每一层再经过一次卷积(n*1)加激活函数(relu)的组合操作后获取预测图像。使用线标签样本计算各层中的边缘损失之和loss
edge
,其中
[0040][0041]
(2-5)目标边缘特征提取模块与显著性目标特征提取模块重复步骤(2-2)后接入边缘融合模块进行一对一融合，融合方式使用线性相加的方式融合。卷积后获取各层的预测图像，使用面标签计算语义分割的损失loss
sal
；
[0042]
(2-6)将边缘融合模块中的每一层经过三次卷积加激活函数的组合操作扩大视野后再经过一次卷积(n*1)加激活函数(relu)的组合操作获取预测图像。将步骤2.5中各层特
征进行融合，并计算总损失
[0043]
loss＝loss
edge
loss
sal
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0044]
(3)训练该网络模型，包括以下步骤：
[0045]
(3-1)初始化权重，设置模型的超参数：卷层的权重均使用截断法线(σ＝0.01)随机初始化，并且偏差初始化为0。超参数的设置如下：learning rate＝5e-5，weight decay＝0.0005，momentum＝0.9，每侧输出的损失权重等于1，使用adam优化器对网络梯度进行更新；
[0046]
(3-2)将数据源设置为准备好的数据源，训练网络模型至拟合状态，获取最终的网络模型参数；
[0047]
(4)使用步骤(3)中得到的网络模型参数设置网络参数，输入测试样本来获取预测图像，如图4b所示，图4a为其面标签样本。
[0048]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。