一种基于门控循环特征融合的深度图像修复系统及方法

1.本发明涉及图像处理技术领域，具体而言，涉及一种基于门控循环特征融合的深度图像修复系统及方法。


背景技术：

2.近年来，深度学习框架已广泛用于深度图像修复领域。其中，有的方法在深度修复网络中融入了表面法线信息，有的方法将稀疏深度图像和同场景的彩色图像特征堆砌后传入自监督网络，并使用光度一致性损失来监督修复过程；有的方法则在归一化网络中结合深度和彩色信息来完成深度修复。在这些方法中，多级特征融合或者多模态特征融合往往采用了简单的逐像素相加或者特征堆砌来完成。
3.此外，一些最新的深度图像修复方法采用了粗细结合的网络架构，即粗略修复网络结合精细修复网络的架构。其中，精细修复网络中，部分研究人员采用卷积空间传播网络模型(convolutional spatial propagation network,cspn)，在亲和矩阵的引导下将相邻点进行迭代扩散，以修正深度结果。随后，这些研究人员提出了cspn ，其通过自适应地学习卷积核尺寸和扩散迭代次数，来提升修复性能。有部分研究人员提出了非局部空间传播网络模型(non-local spatial propagation network,nlspn)，在迭代扩散过程中用非局部邻域点间的亲和矩阵来引导深度修正。亲和矩阵决定了空间传播的速度和方向，它的准确性将较大程度地影响精细修复网络的深度修正性能。但目前这些方法仅仅由一个简单的卷积层来计算亲和矩阵，忽略了对特征间相关性的研究，降低了密集深度图像的修复质量。


技术实现要素：

4.本发明的目的在于提供一种基于门控循环特征融合的深度图像修复系统及方法，用以实现提高深度图像修复质量的技术效果。
5.第一方面，本发明提供了一种基于门控循环特征融合的深度图像修复系统，包括：浅层特征提取模块、门控循环特征融合模块以及空间传播模块；
6.所述浅层特征提取模块用于从输入的彩色图像和稀疏深度图像中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征；
7.所述门控循环特征融合模块包括编码器和解码器；所述编码器包括依次连接的s个尺度的编码单元；所述编码单元包括r个依次连接的残差块；所述解码器包括与所述编码单元对称设置的s个依次连接的解码单元；除第一编码单元对应的第一解码单元包括一个门控循环单元以及与对应门控循环单元连接一个卷积层外，其余解码单元均包括一个门控循环单元以及与对应门控循环单元连接的上采样层；其中，s和r均为大于1的整数；
8.所述编码器用于根据所述统一浅层特征进行多个尺度的编码，得到各个解码单元中的特征融合时所需的低层次特征；所述解码器用于通过获取到的初始高层次特征从第s个解码单元开始依次解码，得到粗略修复的第一密集深度图像，同时输出第一解码单元中的门控循环单元处理得到的高层次特征；
9.所述空间传播模块用于根据所述稀疏深度图像、所述第一密集深度图像和所述高层次特征通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像。
10.进一步地，所述编码器中前s-1个编码单元的最后一个残差块均进行下采样操作。
11.进一步地，所述空间传播模块包括一个逐维度注意力模块、一个卷积层和一个空间传播网络；所述逐维度注意力模块包括特征通道注意力单元、特征高度注意力单元、特征宽度注意力单元和一个concat层；所述特征通道注意力单元用于分析所述高层次特征的通道注意力权重，并将所述通道注意力权重与所述高层次特征进行相乘并输出；所述特征高度注意力单元用于分析所述高层次特征的高度注意力权重，并将所述高度注意力权重与所述高层次特征进行相乘并输出；所述特征宽度注意力单元用于分析所述高层次特征的宽度注意力权重，并将所述宽度注意力权重与所述高层次特征进行相乘并输出；所述逐维度注意力模块中的concat层用于将三个注意力单元的输出结果堆砌为一个统一特征；所述空间传播模块中的卷积层根据所述统一特征分析得到对应的亲和矩阵；所述空间传播网络以所述稀疏深度图像和所述第一密集深度图像作为输入，并通过亲和矩阵引导邻域像素间的迭代扩散和更新，得到所述第二密集深度图像。
12.进一步地，所述特征通道注意力单元包括一个全局池化层、一个“1
×
1卷积层-relu层-1
×
1卷积层-sigmoid层”组合结构以及一个乘法器”；所述特征高度注意力单元和上述特征宽度注意力单元均包括一个全局池化层、一个“resize层-1
×
1卷积层-relu层-1
×
1卷积层-sigmoid层-resize层”组合结构以及一个乘法器；所述高层次特征先分别通过所述特征通道注意力单元、所述特征高度注意力单元和所述特征宽度注意力单元中的全局池化层获得对应的一维统计信号；其次，通过对应的组合结构处理得到对应的注意力权重；然后，通过对应的乘法器将对应的注意力权重与所述高层次特征进行逐像素相乘处理；最后，通过concat层将三个注意力单元的输出堆砌为一个统一特征。
13.进一步地，所述浅层特征提取模块包括2个n
×
n卷积层和一个concat层；其中一个n
×
n卷积层用于从输入的彩色图像中提取浅层彩色特征，一个n
×
n卷积层用于从输入的稀疏深度图像中提取浅层稀疏深度特征；所述concat层用于将所述浅层彩色特征和浅层稀疏深度特征堆砌为一个统一浅层特征。
14.第二方面，本发明提供了一种基于门控循环特征融合的深度图像修复方法，应用于上述的基于门控循环特征融合的深度图像修复系统，包括：
15.s1.获取深度图像修复训练集{ii，xi，y
igt
}，其中，i表示变量，且1≤i≤n，n表示各类图像的数量；x表示稀疏深度图像；i表示同场景的彩色图像；y
gt
表示对应的真实密集深度图像；
16.s2.通过浅层特征提取模块从输入的彩色图像和稀疏深度图像中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征；
17.s3.通过门控循环特征融合模块根据所述统一浅层特征进行处理，得到粗略修复的第一密集深度图像，同时输出第一解码单元中的门控循环单元处理得到的高层次特征；
18.s4.通过空间传播模块根据所述稀疏深度图像、所述第一密集深度图像和所述高层次特征通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像。
19.进一步地，所述方法还包括：s5.使用n个精细修复的第二密集深度图像与对应的真实密集深度图像间的平均l2误差作为损失函数，对深度图像修复系统的参数进行优化，
其中损失函数为：
[0020][0021]
上式中，θ表示整个系统的参数；i表示变量，且1≤i≤n，n表示各类图像的数量；ⅱ(
·
)为标志器函数；y
gt
表示对应的真实密集深度图像；y表示精细修复的第二密集深度图像；
⊙
表示逐像素相乘。
[0022]
本发明能够实现的有益效果是：本发明提供的基于门控循环特征融合的深度图像修复系统及方法通过门控循环特征融合模块构成了粗略修复加精细修复的双网络结构，与现有技术相比，具有更强的复杂映射关系学习能力，能够修复出更高质量的密集深度图像。
附图说明
[0023]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0024]
图1为本发明实施例提供的一种基于门控循环特征融合的深度图像修复系统的拓扑结构示意图；
[0025]
图2为本发明实施例提供的门控循环特征融合模块的拓扑结构示意图；
[0026]
图3为本发明实施例提供的门控循环单元的原理图；
[0027]
图4为本发明实施例提供的空间传播模块的拓扑结构示意图；
[0028]
图5为本发明实施例提供的逐维度注意力模块的拓扑结构示意图；
[0029]
图6为本发明实施例提供的一种基于门控循环特征融合的深度图像修复方法的流程示意图。
[0030]
图标：10-深度图像修复系统；100-浅层特征提取模块；200-门控循环特征融合模块；210-编码器；220-解码器；221-门控循环单元；300-空间传播模块；310-逐维度注意力模块。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
[0032]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033]
请参看图1、图2和图3，图1为本发明实施例提供的一种基于门控循环特征融合的深度图像修复系统的拓扑结构示意图；图2为本发明实施例提供的门控循环特征融合模块的拓扑结构示意图；图3为本发明实施例提供的门控循环单元的原理图。
[0034]
在一种实施方式中，本发明实施例提供了一种基于门控循环特征融合的深度图像修复系统10，该深度图像修复系统10包括：浅层特征提取模块100、门控循环特征融合模块200以及空间传播模块300；浅层特征提取模块100用于从输入的彩色图像和稀疏深度图像
中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征f0；门控循环特征融合模块200包括编码器210和解码器220；编码器210包括依次连接的s个尺度的编码单元；编码单元包括r个依次连接的残差块；解码器220包括与编码单元对称设置的s个依次连接的解码单元；除第一编码单元对应的第一解码单元包括一个门控循环单元221(gated recurrent unit，gru)以及与对应门控循环单元221连接一个卷积层(conv层)外，其余解码单元均包括一个门控循环单元以及与对应门控循环单元连接的上采样层；其中，s和r均为大于1的整数；编码器210用于根据统一浅层特征f0进行多个尺度的编码，得到各个解码单元中的门控循环单元特征融合时所需的低层次特征；解码器220用于通过获取到的初始高层次特征从第s个解码单元开始依次解码，得到粗略修复的第一密集深度图像y0，同时输出第一解码单元中的门控循环单元处理得到的高层次特征q1；空间传播模块300用于根据稀疏深度图像x、第一密集深度图像y0和高层次特征q1通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像y。
[0035]
具体地，如图2所示，编码器包括从左到右的s个尺度的编码单元，每个编码单元均包括r个依次连接的残差块，统一浅层特征f0从第一个编码单元开始依次经过s个尺度的编码单元进行编码；解码器则包括与编码单元对称设置的s个依次连接的解码单元；除第一编码单元对应的第一解码单元包括一个门控循环单元221(gated recurrent unit，gru)以及与对应门控循环单元221连接一个卷积层(conv层)外，其余解码单元(即第2至s个解码单元)均包括一个门控循环单元以及与对应门控循环单元连接的上采样层(图2中的upsample层即为上采样层)。
[0036]
在上述实现过程中，浅层特征提取模块100先从输入的彩色图像和稀疏深度图像中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征；然后，通过门控循环特征融合模块200中的编码器210和解码器220构成的u网络根据该统一浅层特征进行多尺度的编码和解码，得到粗略修复的第一密集深度图像和第一解码单元中的门控循环单元处理得到的高层次特征；最后，空间传播模块300根据稀疏深度图像、第一密集深度图像和高层次特征通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像。通过门控循环特征融合模块200构成了粗略修复加精细修复的双网络结构，与现有技术相比，具有更强的复杂映射关系学习能力，能够修复出更高质量的密集深度图像。
[0037]
具体地，编码器210的处理流程为：将统一浅层特征f0传入编码器210，依次经过s个编码尺度；其中，每个尺度由r个残差块依次进行残差学习，第r个残差块还需要将特征尺寸下采样，以扩大感知域。将编码器210第s个尺度(1≤s≤s)中第r个残差块(1≤r≤r)提取的低层次特征表示为f
s,r
；则第r个残差块的输出为f
s,r
，f
s,r
可表示为：
[0038]fs,r
＝
↓fs,r
(f
s,r-1
(
…fs,1
(f
s,0
)))
[0039]
上式中，f
s,0
＝f
s-1,r
对应了编码器第s-1个尺度的输出；f
s,r
为编码器第s个尺度第r个残差块的残差学习函数；
↓
表示下采样操作。
[0040]
具体地，门控循环单元221的每个阶段包含了三个卷积层、2个sigmoid(σ)层、1个tanh层、3个逐像素乘法器(
⊙
)和1个逐像素加法器(
⊕
)，共同构成了重置门和更新门；重置门决定了在当前阶段，前一隐态哪些信息会被存储，哪些信息会被遗忘；更新门决定了哪些新信息会被加入当前隐态。
[0041]
解码器220的处理流程为：每个尺度都由对应的门控循环单元进行多层次特征融
合；前s-1个尺度由上采样层(图2中的upsample层)进行特征尺寸上采样，第1个尺度的编码单元对应的解码单元用卷积层(图2中的conv层)重建粗略修复的密集深度图像y0。以解码器220尺度s为例，多层次特征包括解码器220第s 1个尺度传递来的初始高层次特征qs 1，
↑
(图2中为none)和编码器尺度s传递来的低层次特征f
s,0
，f
s,1
，...，f
s,r-1
；则解码器220尺度s的输出为：
[0042]qs,
↑
＝
↑qs
＝
↑fgrfb
(f
s,0
,f
s,1
,
…
,f
s,r-1
,q
s 1,
↑
)
[0043]
上式中，f
grfb
表示门控循环单元的功能函数；
↑
表示上采样层的上采样函数；q
s，
↑
表示解码器第s个尺度输出的高层次特征。
[0044]
解码器尺度s中的门控循环单元(即门控循环单元s)能够展开为r个阶段，分别对应了r个隐态hr，将解码器第s 1个尺度传递来的高层次特征q
s 1，
↑
(none)作为初始隐态h0，将编码器尺度s传递来的r个低层次特征(即f
s,0
，f
s,1
，...，f
s,r-1
)依次传入每个阶段，作为各阶段的输入，并进行隐态的逐阶段更新。以第r个阶段为例，其处理流程包含：重置门、更新门、候选隐态计算以及隐态计算。将前一隐态h
r-1
和当前阶段的输入f
s,r-r
堆砌后，传入权重为w
x
的卷积层和sigmoid(σ)层，得到重置门输出xr；将前一隐态h
r-1
和当前阶段的输入f
s,r-r
堆砌后，传入权重为wc的卷积层和sigmoid(σ)层，得到更新门输出zr。重置门和更新门的表示式为：
[0045]
xr＝σ(w
x
*[h
r-1
,f
s,r-r
]),
[0046]
zr＝σ(wz*[h
r-1
,f
s,r-r
])。
[0047]
随后，将xr与前一隐态h
r-1
逐像素相乘，来决定前一隐态哪些信息会被存储，哪些信息会被遗忘。然后与当前阶段的输入特征f
s,r-r
堆砌，并传入权重为wh的卷积层和tanh层，得到候选隐态表达式为：
[0048][0049]
最后，由更新门输出zr在前一隐态h
r-1
和候选隐态中进行自适应选择，得到当前隐态hr，表达式为：
[0050][0051]
通过上述方式，门控循环单元可以通过隐态的逐阶段更新，实现了多层次特征的有效融合。
[0052]
在一种实施方式中，编码器中前s-1个编码单元的最后一个残差块均进行下采样操作。通过这种方式，可以扩大感知域。
[0053]
在一种实施方式中，如图1所示，浅层特征提取模块100包括2个n
×
n卷积层(图1中的comv层)和一个concat层(图1中的cat层)；其中一个n
×
n卷积层用于从输入的彩色图像中提取浅层彩色特征，一个n
×
n卷积层用于从输入的稀疏深度图像中提取浅层稀疏深度特征；concat层用于将浅层彩色特征和浅层稀疏深度特征堆砌为一个统一浅层特征。
[0054]
请参看图4和图5，图4为本发明实施例提供的空间传播模块的拓扑结构示意图；图5为本发明实施例提供的逐维度注意力模块的拓扑结构示意图。
[0055]
在一种实施方式中，空间传播模块300包括一个逐维度注意力模块310、一个卷积层和一个空间传播网络；逐维度注意力模块310包括特征通道注意力单元、特征高度注意力
单元、特征宽度注意力单元和一个concat层；特征通道注意力单元用于分析高层次特征的通道注意力权重，并将通道注意力权重与高层次特征进行相乘并输出；特征高度注意力单元用于分析高层次特征的高度注意力权重，并将高度注意力权重与高层次特征进行相乘并输出；特征宽度注意力单元用于分析高层次特征的宽度注意力权重，并将宽度注意力权重与高层次特征进行相乘并输出；逐维度注意力模块310中的concat层用于将三个注意力单元的输出结果堆砌为一个统一特征；空间传播模块300中的卷积层根据统一特征分析得到对应的亲和矩阵；空间传播网络以稀疏深度图像和第一密集深度图像作为输入，并通过亲和矩阵引导邻域像素间的迭代扩散和更新，得到第二密集深度图像。
[0056]
在一种实施方式中，特征通道注意力单元包括一个全局池化层、一个“1
×
1卷积层-relu层-1
×
1卷积层-sigmoid层”组合结构以及一个乘法器”；特征高度注意力单元和上述特征宽度注意力单元均包括一个全局池化层、一个“resize层-1
×
1卷积层-relu层-1
×
1卷积层-sigmoid层-resize层”组合结构以及一个乘法器；高层次特征先分别通过特征通道注意力单元、特征高度注意力单元和特征宽度注意力单元中的全局池化层获得对应的一维统计信号；其次，通过对应的组合结构处理得到对应的注意力权重；然后，通过对应的乘法器将对应的注意力权重与高层次特征进行逐像素相乘处理；最后，通过concat层将三个注意力单元的输出堆砌为一个统一特征。在上述实现过程中，通过第一个resize层，可以将一维统计信号的高度或宽度缩放为固定值，通过第二个resize层可以将注意力权重尺寸调整为与特征q的高度和宽度一致。
[0057]
具体地，空间传播模块300的处理流程为：将门控循环特征融合模块200输出的高层次特征q传入逐维度注意力模块310，学习特征在各个维度上的依赖关系，并依据这些关系生成注意力权重，与逐维度加权相乘，实现对q的自适应调整；将调整后的q传入conv层，计算出亲和矩阵w；将亲和矩阵w、稀疏深度图像x和粗略修复的第一密集深度图像y0传入空间传播网络，由亲和矩阵引导y0中相邻像素间的迭代扩散和更新，从而得到精细修复的第二密集深度图像y。在本发明的实施例中，图2中的q1即为上述过程中的q。
[0058]
空间传播网络的具体处理流程为：令y0＝(y
m,n
)∈rh×w，y
m,n
表示y0中位置(m，n)处的像素值，y
m,n
在第t次迭代时，可根据亲和矩阵由它的邻域集n
m，n
更新为：
[0059][0060]
其中(m，n)和(i，j)分别表示参考点和邻域点的位置。(m，n)和(i，j)间的亲和值被用作权重，来控制邻域(i，j)上的深度值向(m，n)点的传播扩散速度。为了保证传播稳定性，邻域集合内的亲和值需要预先进行绝对值归一化。参考点的权重为：
[0061][0062]
此外，空间传播网络还需要在每次迭代时采取置换操作，以保留稀疏深度图像x中的有效像素，置换操作可表示为：
[0063][0064]
如果x
m,n
为有效像素，则将置换为x
m,n
。通过t次迭代后，完成深度图像修正功
能，得到精细修复的第二密集深度图像y。
[0065]
请参看图6，图6为本发明实施例提供的一种基于门控循环特征融合的深度图像修复方法的流程示意图。
[0066]
在一种实施方式中，本发明实施例还提供了应用于上述深度图像修复系统10中的一种基于门控循环特征融合的深度图像修复方法，其具体内容如下所述。
[0067]
s1.获取深度图像修复训练集{ii，xi，y
igt
}，其中，i表示变量，且1≤i≤n，n表示各类图像的数量；x表示稀疏深度图像；i表示同场景的彩色图像；y
gt
表示对应的真实密集深度图像。
[0068]
s2.通过浅层特征提取模块从输入的彩色图像和稀疏深度图像中提取浅层特征，并将提取到的浅层特征堆砌为一个统一浅层特征。
[0069]
具体地，表达式如下：
[0070]
f0＝f
sf
(x,i)
[0071]
其中，f0表示浅层彩色特征和浅层稀疏深度特征堆砌后形成的统一浅层特征，f
sf
表示浅层特征提取模块100的功能函数。
[0072]
s3.通过门控循环特征融合模块根据所述统一浅层特征进行处理，得到粗略修复的第一密集深度图像，同时输出第一解码单元中的门控循环单元处理得到的高层次特征。
[0073]
具体地，表达式如下：
[0074]
(y0,q1)＝fu(f0)
[0075]
其中，fu表示门控循环特征融合模块200的功能函数，q1表示高层次特征，y0表示粗略修复的第一密集深度图像。
[0076]
s4.通过空间传播模块根据所述稀疏深度图像、所述第一密集深度图像和所述高层次特征通过迭代更新的方式进行深度图像修正，得到精细修复的第二密集深度图像。具体地，表达式如下：
[0077]
y＝f
cspn
(x,y0,q1)
[0078]
其中，f
cspn
表示空间传播模块300的功能函数，y表示精细修复的第二密集深度图像。
[0079]
在一种实施方式中，上述方法还包括：s5.使用n个精细修复的第二密集深度图像与对应的真实密集深度图像间的平均l2误差作为损失函数，对深度图像修复系统10的参数进行优化，其中损失函数为：
[0080][0081]
上式中，θ表示整个网络的参数；i表示变量，且1≤i≤n，n表示各类图像的数量；ⅱ(
·
)为标志器函数；y
gt
表示对应的真实密集深度图像；y表示精细修复的第二密集深度图像；
⊙
表示逐像素相乘。
[0082]
通过设置的损失函数优化系统的参数，从而进一步提高密集深度图像。
[0083]
为了更好地说明本发明的有效性，本发明实施例还采用了对比实验的方式进行深度图像修复效果的展示，其具体内容如下。
[0084]
数据集：本发明分别使用了kitti训练集和nyuv2训练集，其中kitti是目前国际上
dense:depth prediction from sparse depth samples and a single image,in:proc.ieee int.conf.robot.autom.,may 2018,pp.4796-4803.”。
[0097]
方法11(cspn)：cheng等人提出的方法，参考文献“x.cheng,p.wang,and r.yang,depth estimation via affinity learned with convolutional spatial propagation network,in:proc.european conf.on comput.vis.,2018,pp.108-125.”。
[0098]
方法12(deeplidar)：qiu等人提出的方法，参考文献“j.qiu,z.cui,y.zhang,x.zhang,s.liu,b.zeng,and m.pollefeys,deeplidar:deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image,in:proc.ieee conf.comput.vis.pattern recognit.,jun.2019,pp.3313-3322.”。
[0099]
从表1和表2可以看出(最优的值和排名第二优的值分别用黑色加粗和下划线表示)，在大多数情况下，本发明提供方法的客观评价指标值是最优的，修复性能明显优于目前具有代表性的一些深度图像修复方法。
[0100]
表1在kitti数据集上的客观评价指标比较
[0101][0102]
表2在nyuv2数据集上的客观评价指标比较(稀疏深度图像有效像素数分别为200和500)
[0103][0104]
综上所述，本发明实施例提供一种基于门控循环特征融合的深度图像修复系统及方法，其通过门控循环特征融合模块构成了粗略修复加精细修复的双网络结构，与现有技术相比，具有更强的复杂映射关系学习能力，能够修复出更高质量的密集深度图像。
[0105]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。