一种基于端到端神经网络的单幅图像去雨方法

1.本发明属于图像处理技术领域，具体涉及一种基于端到端神经网络的单幅图像去雨方法。


背景技术：

2.降雨是一种常见的自然现象，基于视觉的目标检测、目标分割等应用通常假设环境良好，图像中的雨点极易对这些应用产生干扰，因此，图像去雨具备较高的应用价值。


技术实现要素：

3.本发明要解决的技术问题是提供一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。
4.为解决上述技术问题，本发明的实施例提供一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：
5.s1、构建基于端到端的图像去雨网络模型：由一个3
×
3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3
×
3卷积层构成；
6.s2、设计损失函数：由l1距离函数和对比感知的正则化约束项构成；
7.s3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；
8.s4、在神经网络模型中导入步骤s3训练好的模型参数，输入有雨图像，输出得到无雨图像。
9.其中，步骤s1中下采样层和上采样层之间进行短连接，基础模块的头尾之间进行短连接。
10.其中，所述短连接的方法为：低层输出f
l
和高层输出fh进行级联f＝[f
l
,fh]，然后再经过一个1
×
1卷积层处理。
[0011]
其中，所述基本模块由图卷积网络和注意力卷积网络组成，其输入特征f
in
经过空间图卷积网络(sgcn)、若干个注意力卷积网络(cam)和一个通道图卷积网络(cgcn)提取全局特征和局部特征后，通过短连接将特征从低层网络引入高层网络，得到输出特征f
out
。
[0012]
其中，所述注意力卷积网络(cam)由两个空洞卷积层和一个注意力单元(attention module,am)构成，其中，第一层空洞卷积层的空洞卷积参数df＝1，第二层空洞卷积层的空洞卷积参数df＝3；
[0013]
所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。
[0014]
进一步，所述注意力单元由空间注意力和像素注意力融合构成，融合步骤如下：
[0015]
(1)采用全局平均池化处理输入特征：
[0016][0017]
其中，h
p
表示全局平均池化函数，xc(i,j)表示输入值的c通道位于(i,j)处的值；
[0018]
(2)池化后的特征通过两个空洞卷积层提取特征，其中，第一个空洞卷积层的空洞卷积参数设置为df＝1，并采用relu激活函数，第二个空洞卷积层的空洞卷积参数设置为df＝3，并采用sigmoid激活函数，得到ca：
[0019]
ca＝σ(dconv(δ(dconv(gc))))；
[0020]
其中，σ表示sigmoid函数，δ表示relu函数；
[0021]
(3)将输入特征与ca相乘得到通道注意力特征ca
*
：
[0022][0023]
然后ca
*
通过两层空洞卷积层，空洞参数分别设置为df＝1和df＝3：
[0024]
pa＝σ(conv(δ(conv(ca
*
))))；
[0025]
最终融合通道注意力和像素注意力输出：
[0026][0027]
其中，所述空间图卷积网络(sgcn)用于学习特征空间中像素间的关联关系，学习过程如下：
[0028]
(1)令输入特征为f∈r
hw
×c；
[0029]
其中，h和w分别表示特征高度和宽度，c表示通道数；
[0030]
(2)输入特征经过三个1
×
1的卷积层处理，其中后两个卷积层加入softmax激活函数防止数值不稳定，得到输出特征为：
[0031]fsgcn
＝f
in
a
sgcnfswsgcn
；
[0032]
其中，fs＝conv(f
in
),a
sgcn
为邻接矩阵，w
sgcn
是一个权重矩阵。
[0033]
其中，由图中最后一个卷积层计算得到。
[0034]
其中，所述通道图卷积网络(cgcn)用于学习特征图中通道级全局关联关系，学习过程如下：
[0035]
(1)令输入特征f
in
∈r
hw
×c；
[0036]
其中，h和w分别表示特征高度和宽度，c表示通道数；
[0037]
(2)输入特征经过两个1
×
1的卷积层处理，得到输出特征为：
[0038][0039]
(3)利用softmax激活函数进行处理，得到输出特征为：
[0040][0041]
(4)fc经过1
×
1空洞卷积层处理后与再经过3
×
3空洞卷积层处理，其中，空洞参数分别设置为df＝1，df＝3，得到fd；
[0042]
(5)fd与进行点乘，得到：
[0043]
(6)fe经过一个1
×
1的卷积层处理之后，与f
in
相加得到最终输出表示为：
[0044][0045]
其中，步骤s2中的损失函数定义如下：
[0046][0047]
其中，j表示真实的无雨图像，i表示输入的有雨图像，φ(i,w)表示经过网络处理后得到的去雨图像，w表示模型的参数，‖j-φ(i,w)‖1表示l1损失值；
[0048]
表示对比感知正则化约束项，gi(
·
)表示通过预训练模型提取的图像特征，这里采用了vgg-19预训练网络，d(
·
)表示l1距离，n表示提取的图像特征层数，ωi表示每层特征系数，α表示正则化占比参数。
[0049]
其中，对神经网络模型进行训练的步骤为：(1)选取有雨-无雨的图像对样本集，各12000张，测试图像1200对；
[0050]
(2)优化函数为adam，参数β1＝0.9和β2＝0.99，学习率设置为0.001；
[0051]
(3)训练200轮，每20轮测试一次结果，测试结果采用峰值信噪比(psnr)和结构相似性(ssim)进行度量，选择最好的结果保存模型参数。
[0052]
本发明的上述技术方案的有益效果如下：本发明提出了一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。
附图说明
[0053]
图1为本发明中图像去雨网络模型图；
[0054]
图2为本发明中基本模块的网络模型图；
[0055]
图3为本发明中注意力卷积网络模型图；
[0056]
图4为本发明中注意力单元的结构图；
[0057]
图5为本发明中空间图卷积网络模型图；
[0058]
图6为本发明中通道图卷积网络模型图；
[0059]
图7为本发明实施例一中图像去雾前后的对比图；
[0060]
图8为本发明实施例二中图像去雾前后的对比图。
具体实施方式
[0061]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0062]
本发明提供了一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：
[0063]
s1、构建基于端到端的图像去雨网络模型(见图1)：由一个3
×
3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3
×
3卷积层构成；
[0064]
s2、设计损失函数：由l1距离函数和对比感知的正则化约束项构成；
[0065]
s3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；
[0066]
s4、在神经网络模型中导入步骤s3训练好的模型参数，输入有雨图像，输出得到无雨图像。
[0067]
所述步骤s1中下采样层和上采样层之间进行短连接，基础模块的头尾之间进行短连接。
[0068]
所述短连接的方法为：低层输出f
l
和高层输出fh进行级联f＝[f
l
,fh]，然后再经过一个1
×
1卷积层处理。
[0069]
所述基本模块由空间图卷积网络和注意力卷积网络组成，其网络模型如图2所示，其输入特征f
in
经过空间图卷积网络(sgcn)、若干个注意力卷积网络(cam)和一个通道图卷积网络(cgcn)提取全局特征和局部特征后，通过短连接将特征从低层网络引入高层网络，得到输出特征f
out
。
[0070]
所述注意力卷积网络(cam)由两个空洞卷积层和一个注意力单元(attention module,am)构成，结构如图3所示，其中，第一层空洞卷积层的空洞卷积参数df＝1，第二层空洞卷积层的空洞卷积参数df＝3；
[0071]
所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。
[0072]
所述注意力单元由空间注意力和像素注意力融合构成，结构如图4所示，融合步骤如下：
[0073]
(1)采用全局平均池化处理输入特征：
[0074][0075]
其中，h
p
表示全局平均池化函数，xc(i,j)表示输入值的c通道位于(i,j)处的值；
[0076]
(2)池化后的特征通过两个空洞卷积层提取特征，其中，第一个空洞卷积层的空洞卷积参数设置为df＝1，并采用relu激活函数，第二个空洞卷积层的空洞卷积参数设置为df＝3，并采用sigmoid激活函数，得到ca：
[0077]
ca＝σ(dconv(δ(dconv(gc))))；
[0078]
其中，σ表示sigmoid函数，δ表示relu函数；
[0079]
(3)将输入特征与ca相乘得到通道注意力特征ca
*
：
[0080][0081]
然后ca
*
通过两层空洞卷积层，空洞参数分别设置为df＝1和df＝3：
[0082]
pa＝σ(conv(δ(conv(ca
*
))))；
[0083]
最终融合通道注意力和像素注意力输出：
[0084][0085]
所述空间图卷积网络(sgcn)用于学习特征空间中像素间的关联关系，结构如图5所示，学习过程如下：
[0086]
(1)令输入特征为f∈r
hw
×c；
[0087]
其中，h和w分别表示特征高度和宽度，c表示通道数；
[0088]
(2)输入特征经过三个1
×
1的卷积层处理，其中后两个卷积层加入softmax激活函数防止数值不稳定，得到输出特征为：
[0089]fsgcn
＝f
in
a
sgcnfswsgcn
；
[0090]
其中，fs＝conv(f
in
),a
sgcn
为邻接矩阵，通过图示中的卷积计算得到：
[0091][0092]
其中，w
sgcn
是一个权重矩阵，由图示的最后一个卷积层计算得到。
[0093]
所述通道图卷积网络(cgcn)用于学习特征图中通道级全局关联关系，结构如图6所示，学习过程如下：
[0094]
(1)令输入特征f
in
∈r
hw
×c；
[0095]
其中，h和w分别表示特征高度和宽度，c表示通道数；
[0096]
(2)输入特征经过两个1
×
1的卷积层处理，得到输出特征为：
[0097][0098]
(3)利用softmax激活函数进行处理，得到输出特征为：
[0099][0100]
(4)fc经过1
×
1空洞卷积层处理后与再经过3
×
3空洞卷积层处理，其中，空洞参数分别设置为df＝1，df＝3，得到fd；
[0101]
(5)fd与进行点乘，得到：
[0102]
(6)fe经过一个1
×
1的卷积层处理之后，与f
in
相加得到最终输出表示为：
[0103]
步骤s2中的损失函数定义如下：
[0104][0105]
其中，j表示真实的无雨图像，i表示输入的有雨图像，φ(i,w)表示经过网络处理后得到的去雨图像，w表示模型的参数，‖j-φ(i,w)‖1表示l1损失值；
[0106]
表示对比感知正则化约束项，gi(
·
)表示通过预训练模型提取的图像特征，这里采用了vgg-19预训练网络，d(
·
)表示l1距离，n表示提取的图像特征层数，ωi表示每层特征系数，α表示正则化占比参数。
[0107]
优选的，本发明实施时，提取了vgg-19的第1、3、5、9、13层的特征，ωi分别为和α＝0.2。
[0108]
本发明中，对神经网络模型进行训练的步骤为：
[0109]
(1)选取“有雨-无雨”的图像对样本集，各12000张，测试图像1200对；
[0110]
(2)利用优化函数为adam，参数β1＝0.9andβ2＝0.99，学习率设置为0.001；
[0111]
(3)训练200轮，每20轮测试一次结果，测试结果采用峰值信噪比(psnr)和结构相似性(ssim)进行度量，得出训练好的模型参数。
[0112]
为了验证本发明的创新性，进行测试，测试结果为：采用峰值信噪比(psnr)和结构相似性(ssim)进行度量，在did-data、rain200l、rain200h、spa-data等多个数据集上测试结果均优于现有方法。去雨后的可视化效果如图7、图8所示。
[0113]
其中，图7a和图8a为去雨前图像，图7b和图8b为去雨后图像。
[0114]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于端到端神经网络的单幅图像去雨方法，其特征在于，包括如下步骤：s1、构建神经网络模型：由一个3
×
3卷积层、两个下采样层、若干个基本模块、两个可变卷积层、两个上采样层和一个3
×
3卷积层构成；s2、设计损失函数：由l1距离函数和对比感知的正则化约束项构成；s3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；s4、在神经网络模型中导入步骤s3训练好的模型参数，输入有雨图像，输出得到无雨图像。2.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，步骤s1中，下采样层和上采样层之间进行短连接，基础模块的头尾之间进行短连接。3.根据权利要求2所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述短连接的方法为：低层输出f
l
和高层输出f
h
进行级联f＝[f
l
,f
h
]，然后再经过一个1
×
1卷积层处理。4.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述基本模块由空间图卷积网络和注意力卷积网络组成，其输入特征f
in
经过空间图卷积网络、若干个注意力卷积网络和一个通道图卷积网络提取全局特征和局部特征后，通过短连接将特征从低层网络引入高层网络，得到输出特征f
out
。5.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述注意力卷积网络由两个空洞卷积层和一个注意力单元构成，其中，第一层空洞卷积层的空洞卷积参数df＝1，第二层空洞卷积层的空洞卷积参数df＝3；所述注意力卷积网络中加入两个短连接将全局特征和局部特征从低层网络引入高层网络。6.根据权利要求5所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述注意力单元由空间注意力和像素注意力融合构成，融合步骤如下：(1)采用全局平均池化处理输入特征：其中，h
p
表示全局平均池化函数，x
c
(i,j)表示输入值的c通道位于(i,j)处的值；(2)池化后的特征通过两个空洞卷积层提取特征，其中，第一个空洞卷积层的空洞卷积参数设置为df＝1，并采用relu激活函数，第二个空洞卷积层的空洞卷积参数设置为df＝3，并采用sigmoid激活函数，得到ca：ca＝σ(dconv(δ(dconv(g
c
))))；其中，σ表示sigmoid函数，δ表示relu函数；(3)将输入特征与ca相乘得到通道注意力特征ca
*
：然后ca
*
通过两层空洞卷积层，空洞参数分别设置为df＝1和df＝3：pa＝σ(conv(δ(conv(ca
*
))))；最终融合通道注意力和像素注意力输出：
7.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述空间图卷积网络用于学习特征空间中像素间的关联关系，学习过程如下：(1)令输入特征为f∈r
hw
×
c
；其中，h和w分别表示特征高度和宽度，c表示通道数；(2)输入特征经过三个1
×
1的卷积层处理，其中后两个卷积层加入softmax激活函数防止数值不稳定，得到输出特征为：f
sgcn
＝f
in
a
sgcn
f
s
w
sgcn
；其中，f
s
＝conv(f
in
),a
sgcn
为邻接矩阵，w
sgcn
为权重矩阵。8.根据权利要求4所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，所述通道图卷积网络用于学习特征图中通道级全局关联关系，学习过程如下：(1)令输入特征f
in
∈r
hw
×
c
；其中，h和w分别表示特征高度和宽度，c表示通道数；(2)输入特征经过两个1
×
1的卷积层处理，得到输出特征为：and(3)利用softmax激活函数进行处理，得到输出特征为：(4)f
c
经过1
×
1空洞卷积层处理后与再经过3
×
3空洞卷积层处理，其中，空洞参数分别设置为df＝1，df＝3，得到f
d
；(5)f
d
与进行点乘，得到：(6)f
e
经过一个1
×
1的卷积层处理之后，f
in
相加得到最终输出：9.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，步骤s2中的损失函数定义如下：其中，j表示真实的无雨图像，i表示输入的有雨图像，φ(i,w)表示经过网络处理后得到的去雨图像，w表示模型的参数，‖j-φ(i,w)‖1表示l1损失值；表示对比感知正则化约束项，g
i
(
·
)表示通过预训练模型提取的图像特征，d(
·
)表示l1距离，n表示提取的图像特征层数，ω
i
表示每层特征系数，α表示正则化占比参数。10.根据权利要求1所述的基于端到端神经网络的单幅图像去雨方法，其特征在于，对神经网络模型进行训练的步骤为：(1)选取有雨-无雨的图像对样本集，各12000张，测试图像1200对；
(2)优化函数为adam，参数β1＝0.9和β2＝0.99，学习率设置为0.001；(3)训练200轮，每20轮测试一次结果，测试结果采用峰值信噪比和结构相似性进行度量，选择最好的结果保存模型参数。

技术总结
本发明提供了一种基于端到端神经网络的单幅图像去雨方法，包括如下步骤：S1、构建神经网络模型；S2、设计损失函数；S3、利用有雨图像和无雨图像对进行神经网络模型的训练，得到神经网络模型的模型参数；S4、在神经网络模型中导入步骤S3训练好的模型参数，输入有雨图像，在损失函数中加入基于对比感知的正则化约束项，输出无雨图像。本发明提出了一种基于端到端神经网络的单幅图像去雨方法，设计了一种融合图卷积网络和注意力卷积网络的基本模块，用于提取图像的全局和局部特征，并在损失函数中加入了基于对比感知的正则化约束项，取得了较好的去雨效果。好的去雨效果。好的去雨效果。


技术研发人员：胡彬 顾铭岑 李金航 王尧
受保护的技术使用者：南通大学
技术研发日：2022.02.21
技术公布日：2022/5/25