基于边缘指导和多层次特征动态聚合的显著性目标检测方法

：
1.本发明涉及图像处理领域，具体来说，涉及了基于边缘指导和多层次特征 动态聚合的显著性目标检测方法。


背景技术：

2.本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现 有技术。
3.随着多媒体数据技术、网络技术、摄像设备以及数字存储技术的快速发展， 人们获取的数字图像数据容量不断增加，面对这些海量的数据，仅凭人力根本 无法对其进行实时处理，也就意味着也对图像信息处理有了更高的需求。受到 人类视觉系统所启发，显著性目标检测应运而生。
4.根据特征选择时是否基于人的先验知识，显著性目标检测大致可以分为两 类，一类是基于刺激驱动的传统显著性目标检测，另一类是基于数据驱动的深 度学习显著性目标检测。传统显著性目标检测基于刺激驱动，主要是利用一些 低级的视觉先验信息(如颜色、对比度、纹理等)进行显著性目标检测。虽然， 传统的显著性检测方法可以利用各类视觉先验信息，理解图像中的内容，区分 出显著性目标。但是因为它只能利用低级视觉先验信息，无法利用高层次的语 义信息，使得很难从复杂的背景的图像中区分出显著性目标。随着，硬件的不 断发展，电脑计算速度的不断提升，基于数据驱动的深度学习方法开始广泛流 行，基于深度学习的显著性目标检测方法也开始了蓬勃的发展。由于它可以利 用深层次的神经网络提取到图像中的高层次语义信息，进而可以充分的利用高 层次语义信息来更好的定位显著性目标。
5.虽然，基于深度学习的显著性目标检测方法，相较于传统的显著性目标检 测有了很大的提升。针对不同场景下显著性目标尺寸复杂多变且类别不固定， 使得多尺度特征在显著性目标检测中起到非常重要的作用。现有的很多方法提 出了大量的多尺度特征融合策略，来利用多尺度特征。然而，都是静态特征融 合策略，无法判断特征融合后的优劣情况，而特征的优劣将直接导致显著性图 性能的好坏。同时，现有方法虽然可以较准确定位显著性目标，但分割出的显 著性目标边缘信息仍然不够丰富。而边缘信息是判断显著性图性能的重要指标。


技术实现要素：
:
6.为了解决上述问题，本发明提出了基于边缘知道和多层次特征动态聚合的 显著性目标检测方法，通过对多层次动态匹配最优融合策略，进一步提升主干 vgg-16框架生成特征的质量，生成初始显著性图；设计边缘预测模块，生成 高质量边缘信息图；初始显著性图与边缘预测图进行融合生成高质量显著性图。 使得网络可以从复杂背景中准确地定位显著性目标并完整地将其分割出来。
7.本发明的技术方案是提供了基于边缘指导和多层次特征动态聚合的显著 性目标
检测方法，该方法包括以下步骤：
8.1.收集rgb图像数据集，利用vgg-16主干框架提取图像初始多层次特征 并进行编码；
9.1.1)收集显著性目标检测领域常用的rgb图像数据集,duts数据集、 dut-omron数据集、msra-10k数据集、ecssd数据集、pascal-s数据集、sod数据集、thus数据集。
10.1.2)将duts数据集作为训练数据集，将sod数据集、ecssd数据集、 pascal-s数据集、thus数据集、msra-10k数据集、dut-omron数据集 作为测试数据集。
11.1.3)将预训练好的vgg-16作为主干框架从输入rgb图像数据集提取多 尺度特征，然后对多尺度特征进行编码(conv_1、conv_2、conv_3、conv_4、 conv_5)。
12.2.利用多尺度特征动态融合模块优化多尺度特征，生成初始显著性图；
13.2.1)将初始多层次特征输入多层次特征动态聚合模块进行特征融合，通过 卷积操作与sigmoid(x)函数生成显著性图利用平均绝对误差(mae)进行判 断，保留最优融合特征。多层次特征进行动态最优融合生成高质量特征(p1、 p2、p3、p4、p5)
[0014][0015]
其中x，y是像素坐标点的位置，s是生成显著性图，g是真值标签，w，h 是显著性图s的长度和宽度。
[0016]
pi＝θ(ρ(concat(conv_i，conv))，w)(i＝1，2，3，4，5)
ꢀꢀ
(2)
[0017]
其中θ(x)是卷积核大小是1
×
1，参数为w的卷积操作，ρ(x)是平均绝对误差 判断机制，concat(x)是特征融合操作，conv除了conv_i本身的所有多尺度特征。
[0018]
2.2)步骤3.1中生成的高质量特征p2、p3、p4、p5进行上采样到与p1尺 寸相同，然后进行特征融合通过卷积核大小为1
×
1的卷积操作和sigmoid(x) 函数预测初始的显著性图s1；
[0019]
s1＝s(θ(concat(p1，up(p2)，up(p3)，up(p4)，up(p5))，w))
ꢀꢀ
(3)
[0020]
其中s(x)是sigmoid(x)函数，up(x)是上采样操作，θ(x)是卷积操作， w是卷积操作参数，s1是预测的初始显著性图。
[0021]
3.利用边缘预测模块从主干网络中低层次的特征生成高质量边缘信息图；
[0022]
3.1)将vgg-16主干框架中高层次语义特征(conv_5)与低层次边缘特征 (conv_1、conv_2)进行特征相乘，生成特征t1、t2，用作更好地定位显著性 目标。
[0023]
ti＝multi(conv_i，conv_5)(i＝1，2)
ꢀꢀ
(4)
[0024]
其中multi(x)是特征相称操作。
[0025]
3.2)将生成的特征t1、t2输入边缘预测模块，然后利用空洞卷积扩张率为 (0,2,4)和残差结构提升特征的性能，t2特征通过上采样与t1特征进行融合， 通过一个1
×
1的卷积核和sigmoid函数生成边缘预测图e。
[0026]
e＝s(θ(concat(τ(t1)，up(τ(t2)))，w))
ꢀꢀ
(5)
[0027]
其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1
×
1，参数为w的卷积 操作，concat(x)是特征聚合操作，τ(x)是边缘预测模块。
[0028]
4.初始显著性图与边缘信息图进行高效融合增强显著性目标的边缘信息，生 成
高性能最终显著性图；
[0029]
4.1)对步骤3.3)和步骤4.2)生成的初始显著性图s1和边缘预测图e进行融 合，得到显著性图s2。
[0030]
s2＝s(θ(concat(s1，e)，w))
ꢀꢀꢀꢀ
(6)
[0031]
其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1
×
1，参数为w的卷积 操作，concat(x)是特征聚合操作。
[0032]
4.2)对于生成的显著性图s2进行自迭代操作，生成最终的显著性图s3。
[0033]
s3＝concat(s2，up(θ1(s2))，up(θ2(s2)))
ꢀꢀꢀꢀ
(7)
[0034]
其中concat(x)为特征聚合操作，θ1(x)卷积核为3
×
3的卷积操作，θ2 卷积核为5
×
5的卷积操作，up(x)为上采样操作。
[0035]
基于上述，多层次特征动态聚合模块分为多层次特征动态融合，优化特征 融合两部分组成，多尺度特征动态融合是将conv_1、conv_2、conv_3、 conv_4、和conv_5这五个尺度特征通过最优匹配策略，在空间维度上进行融 合，提升初始多尺度特征性能。优化特征融合是将多尺度特征动态融合后生成 的高质量特征(p1、p2、p3、p4、p5)，所有的特征进行上采用，通过步长为 1，卷积核大小为1
×
1卷积层利用sigmoid(x)函数生成初始显著性图s1。
[0036]
基于上述边缘预测模块，主要由空洞卷积操作和特征融合两部分组成，使 用填充率分别为(0,2,4)空洞卷积和两个残差连接进行进一步提取边缘细节特 征，然后在特征融合模块，通过步长为1，卷积核大小为1
×
1的卷积层中进行 融合，利用sigmoid函数生成边缘预测图e。
[0037]
基于上述的初始显著性图和边缘预测图通过步长为1，卷积核大小为1
×
1 的卷积层进行融合生成显著性图s2，然后通过自迭代方法生成的最终显著性图 s3。
[0038]
本发明的优势：本发明充分利用了从vgg-16中提取的多尺度特征，利用 多尺度特征动态融合策略大大缓解静态融合策略融合后特征情况无法判断优劣 情况，更进一步的提升特征质量，用于生成初始显著性图s1；同时边缘预测模 块的加入，将大大缓解因下采样或池化操作造成边缘信息模糊问题，增加显著 性目标的边缘信息。与现有的显著性目标检测方法相比具有良好的性能。
附图说明
[0039]
图1网络流程图
[0040]
图2网络训练模式图
[0041]
图3多尺度特征动态融合模块
[0042]
图4边缘预测模块
[0043]
图5初始显著性图与边缘预测图融合模块
[0044]
图6预测显著性图
具体实施方式
[0045]
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，此外，所叙述的实施例仅仅是本发明一部分实施例，而不是所有 的实施例。基于本
发明中的实施例，本研究方向普通技术人员在没有付出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
[0046]
本发明的流程图框架如图1所示，本发明基于边缘指导和多层次特征动态 聚合的显著性目标检测方法，其具体操作说明如下：
[0047]
1.收集rgb图像数据集，利用vgg-16主干框架提取图像多尺度特征并进 行编码
[0048]
收集公开rgb图像数据集，设置训练数据和测试数据，为了增强网络的 鲁棒性，对训练数据进行随机缩放、剪裁、填充边界、反转等数据增强处理， 利用vgg-16作为主干框架，提出初始的多尺度特征信息并对多尺度特征进行 编码。
[0049]
具体步骤如下：
[0050]
1.1收集显著性目标检测领域常用的rgb图像数据集,duts数据集、 dut-omron数据集、msra-10k数据集、ecssd数据集、pascal-s数据集、 sod数据集、thus数据集。
[0051]
1.2此网络采用端到端的训练方式，如图2所示，具体的说，将duts数据 集作为训练数据集，将sod数据集、ecssd数据集、pascal-s数据集、thus 数据集、msra-10k数据集、dut-omron数据集作为测试数据集。
[0052]
1.3将预训练好的vgg-16作为主干框架从输入rgb图像数据集提取多尺 度特征，然后对多尺度特征进行编码(conv_1、conv_2、conv_3、conv_4、 conv_5)。
[0053]
2.利用多层次特征动态聚合模块优化多层次特征，生成初始显著性图，如图 3所示。
[0054]
由于不同场景下，显著性目标往往尺度变化大而且类别也不固定，这导致 准确而完整地从复杂场景中分割出显著性目标是一件非常困难的事情。现有很 多方法利用多尺度特征融合策略优化多尺度特征，来缓解上述问题。但这些方 法大都基于静态特征融合策略，无法判断特征融合后的优劣情况，而特征的优 劣将直接影响最终显著性图性能的好坏。本发明设计了多层次特征动态聚合模 块，通过融合多个不同的多层次特征能够达到互补的功能，从而提高定位显著 性目标的准确率。
[0055]
具体步骤如下：
[0056]
2.1将初始多层次特征输入多层次特征动态聚合模块进行特征融合，通过卷 积操作与sigmoid(x)函数生成显著性图利用平均绝对误差(mae)进行判断， 保留最优融合特征。多层次特征进行动态最优融合生成高质量特征(p1、p2、 p3、p4、p5)
[0057][0058]
其中x，y是像素坐标点的位置，s是生成显著性图，g是真值标签，w，h 是显著性图s的长度和宽度。
[0059]
pi＝θ(ρ(concat(conv_i，conv))，w)(i＝1，2，3，4，5)
ꢀꢀꢀꢀ
(2)
[0060]
其中θ(x)是卷积核大小是1
×
1，参数为w的卷积操作，ρ(x)是平均绝对误差 判断机制，concat(x)是特征融合操作，conv除了conv_i本身的所有多尺度特征。
[0061]
2.2步骤3.1中生成的高质量特征p2、p3、p4、p5进行上采样到与p1尺寸 相同，然后进行特征融合通过卷积核大小为1
×
1的卷积操作和sigmoid(x)函 数预测初始的显著性图s1；
[0062]
s1＝s(θ(concat(p1，up(p2)，up(p3)，up(p4)，up(p5))，w))
ꢀꢀꢀꢀ
(3)
[0063]
其中s(x)是sigmoid(x)函数，up(x)是上采样操作，θ(x)是卷积操作， w是卷积操作参数，s1是预测的初始显著性图。
[0064]
3.利用边缘预测模块从主干网络中低层次的特征生成高质量边缘信息图，如 图4所示。
[0065]
基于深度学习的显著性目标检测方法，虽然有利提升成显著性图的性能。 但是由于卷积神经网络中的卷积操作和池化操作会使得显著性目标的边缘信息 丢失严重，而边缘信息丰富的显著性目标却是判断显著性图优劣情况的一个重 要指标。本发明设计了边缘预测模块增强显著性目标的边缘信息，提升显著性 图的性能。
[0066]
具体步骤如下：
[0067]
3.1将vgg-16主干框架中高层次语义特征(conv_5)与低层次边缘特征 (conv_1、conv_2)进行特征相乘，生成特征t1、t2，用作更好地定位显著性 目标。
[0068]
ti＝multi(conv_i，conv_5)(i＝1，2)
ꢀꢀ
(4)
[0069]
其中multi(x)是特征相称操作。
[0070]
3.2将生成的特征t1、t2输入边缘预测模块，然后利用空洞卷积扩张率为(0,2,4)和残差结构提升特征的性能，t2特征通过上采样与t1特征进行融合， 通过一个1
×
1的卷积核和sigmoid函数生成边缘预测图e。
[0071]
e＝s(θ(concat(τ(t1)，up(τ(t2)))，w))
ꢀꢀ
(5)
[0072]
其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1
×
1，参数为w的卷积 操作，concat(x)是特征聚合操作，τ(x)是边缘预测模块。
[0073]
4.初始显著性图与边缘信息图进行高效融合增强显著性目标的边缘信息，生 成高性能最终显著性图，如图5所示。
[0074]
基于多层次特征动态聚合模块生成的初始显著性图s1可以准确的定位显 著性目标而基于边缘预测模块生成边缘预测图e内含丰富的显著性目标的边缘 信息，因此二者融合能够进一步提升显著性图性能，同时对生成的显著性图进 行自迭代进一步细化显著性图，生成最终显著性图。
[0075]
具体步骤如下：
[0076]
4.1对步骤3.3和步骤4.2生成的初始显著性图s1和边缘预测图e进行融 合，得到显著性图s2。
[0077]
s2＝s(θ(concat(s1，e)，w))
ꢀꢀ
(6)
[0078]
其中s(x)是sigmoid(x)函数，θ(x)是卷积核为1
×
1，参数为w的卷积 操作，concat(x)是特征聚合操作。
[0079]
4.2对于生成的显著性图s2进行自迭代操作，生成最终的显著性图s3。
[0080]
s3＝concat(s2，up(θ1(s2))，up(θ2(s2)))
ꢀꢀ
(7)
[0081]
其中concat(x)为特征聚合操作，θ1(x)卷积核为3
×
3的卷积操作， θ2(x)卷积核为5
×
5的卷积操作，up(x)为上采样操作。
[0082]
5.为了展示我们提出的基于边缘指导和多层次特征动态聚合的显著性目标 检测方法的高效性，如图6所示，我们展示了网络预测的显著性图，第一行表 示输入图像，第二行表示真值标签，而第三行代表预测的显著性图。
[0083]
以上所述为本技术优选实施而以，并不用于限制本技术，对于本领域的技 术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内， 所作的任何修改、等同替换、改进等，均应包括在本技术的保护范围内。