一种基于深度学习的水下图像恢复方法

1.本发明属于深度学习和图像处理领域，具体涉及一种基于深度学习的水下图像恢复方法。


背景技术：

2.水下图像处理在水下作业项目中是一个热门的话题，也是水下机器人发展的基础。水下图像受到水对光的吸收以及水中悬浮粒子对光的散射(前向散射与后向散射)，导致所捕获的图像可见度低、模糊、对比度下降以及产生色偏，这对水下作业任务带来了严峻的挑战。
3.在现行的技术中，传统的图像处理算法难以恢复出图像的边缘信息和颜色信息。此外，面对复杂的水下环境，传统水下图像复原方法不具备普适性和迁移性，且受不均匀光照影响较大。另一方面，利用深度学习技术进行图像增强的方法往往不能很好地从机理上去解决水下图像模糊不清、边缘对比度信息丢失等问题。
4.因此，需要一种结合深度学习技术和水下物理成像模型的方法，从物理上实现对水下图像的恢复，解决水下图像可见度低、色偏、对比度低、模糊等诸多问题，且增加网络模型的泛化性和实用性。


技术实现要素：

5.本发明提供了一种基于深度学习的水下图像恢复方法，结合了深度学习技术与水下物理成像模型，目的是解决现有技术方法的普适性低、受光照的影响较大以及恢复精确度低等问题。本发明提供的基于深度学的习水下图像恢复方法能够结合水下场景的物理特性，提升了图像恢复的视觉质量。
6.本发明所提出的技术问题是这样解决的：
7.一种基于深度学习的水下图像恢复方法，包括以下步骤：
8.步骤1，将水下退化图像i(z)输入到(dark channel prior，dcp)模型中，得到水下退化图像的水下透射率图t(z)和水下散射图b(z)，并将其标注为目标图像作为辅助训练标签；
9.步骤2，结构恢复网络(structure restoration network，srn)训练：将水下退化图像i(z)分别输入到残差密集网络(residual dense network，rdn)和u-net网络中，且分别以步骤1得出的水下透射率图t(z)和水下散射图b(z)为目标图像进行训练得到srn模型和权重；
10.步骤3，颜色校正网络(color correction network，ccn)训练：将步骤2训练好的网络模型分别预测出水下透射率图水下散射图通过水下物理成像模型，即反演得到水下结构恢复图像j(z)，再将j(z)输入到ccn网络模型
中，并进行训练得到ccn模型和权重；
11.步骤4，依次将步骤2、步骤3训练好的网络模型拼接成一个网络模型，再将测试图像输入到拼接好的网络模型中，最终直接输出水下复原图像
12.本发明步骤2包括：
13.步骤2-1，利用步骤1中的暗通道先验模型得出水下退化图像i(z)的先验图像，即暗通道图d(x)、水下散射图b(z)和水下透射率图t(z)：
14.(1)暗通道图d(x)
[0015][0016]
其中，x表示图像的每个像素点坐标，ω(x)表示以x为中心的一块领域区域，c表示图像的r、g、b三个通道；
[0017]
(2)水下散色图b(z)
[0018]
从d(x)中按照亮度的大小取前0.1％的像素点位置γ{d(x)}，再从i(z)中寻找与γ{d(x)}在对应位置且数量最多的像素值作为b(z)；
[0019]
(3)水下透射率图t(z)
[0020][0021]
其中，z表示图像的每个像素点坐标，ω(z)表示以z为中心的一块领域区域，w是一个常数；
[0022]
步骤2-2，将i(z)作为rdn的输入，并使用步骤2-1得到的水下透射率图t(z)作为该网络模型的目标图像；
[0023]
步骤2-3，将i(z)作为u-net网络输入，并使用步骤2-1得到的水下散射图b(z)作为该网络模型的目标图像；
[0024]
步骤2-4，将步骤2-2、步骤2-3中的网络模型进行联合训练得到srn的模型和权重。
[0025]
本发明步骤3包括：
[0026]
步骤3-1，使用步骤2-2和步骤2-3训练好的网络模型进行预测得到水下透射率图和水下散射图再通过水下物理成像模型，即反演得到水下结构恢复图像j(z)；
[0027]
步骤3-2，将j(z)依次输入到多尺度融合模块(multi-scale fusion block，msfb)和注意力模块(attention module，am)中，得到特征图f1；
[0028]
步骤3-3，将j(z)输入到图像高频信号提取网络模型中，得到特征图f2；
[0029]
步骤3-4，将f1和f2进行通道堆叠再通过卷积运算降低堆叠通道的维度；
[0030]
步骤3-5，将步骤3-2、步骤3-3和步骤3-4中的网络模型进行训练得到ccn的模型和权重。
附图说明
[0031]
下面结合附图和具体实施方式对本发明做进一步的具体说明，本发明的上述或其
他方面的优点将变得更加清楚。
[0032]
图1为本发明实施例的水下图像恢复算法的总流程图；
[0033]
图2为本发明实施例的各个神经网络模型训练、测试的流程图；
[0034]
图3为本发明实施例的提取图像高频信号算法的流程图；
[0035]
图4为本发明实施例的水下退化训练图像之一；
[0036]
图5为本发明实施例的经物理模型先验得出的水下透射率图和水下散射图；
[0037]
图6为本发明实施例的参考图像(ground truth，gt)；
[0038]
图7为本发明实施例的测试图像；
[0039]
图8为本发明实施例的最终复原图像；
具体实施方式
[0040]
下面结合附图及实施例对本发明做进一步说明。
[0041]
本发明方法所构建的总体流程如图1所示，其中包括各个神经网络的训练流程如图2所示，提取图像高频信号算法流程如图3所示，训练数据集如图4、图5所示，参考图像如图6所示，测试图像如图7所示，复原图像如图8所示。本发明实施例中水下图像处理算法的具体构建步骤如下：
[0042]
步骤1，将水下退化图像i(z)(如图4所示)输入到dcp模型中，得到每张退化图像的水下透射率图t(z)和水下散射图b(z)(如图5所示)，并将其标注为目标图像作为辅助训练标签；
[0043]
步骤2，结构恢复网络(structure restoration network，srn)训练：将水下退化图像i(z)分别输入到残差密集网络(residual dense network，rdn)和u-net网络中，且分别以步骤1得出的水下透射率图t(z)和水下散射图b(z)为目标图像进行联合训练得到srn模型和权重；
[0044]
步骤3，颜色校正网络(color correction network，ccn)训练：将步骤2训练好的网络模型分别预测出水下透射率图水下散射图通过水下物理成像模型，即反演得到水下结构恢复图像j(z)，再将j(z)输入到ccn网络模型中，并以gt为目标图像(如图6所示)，进行训练得到ccn模型和权重；
[0045]
步骤4，依次将步骤2、步骤3训练好的网络模型拼接成一个网络模型，再将测试图像(如图7所示)输入到拼接好的网络模型中，最终直接输出水下复原图像(如图8所示)。
[0046]
本发明步骤2包括：
[0047]
步骤2-1，利用步骤1中的暗通道先验模型得出水下退化图像i(z)的先验图像，即暗通道图d(x)、水下散射图b(z)和水下透射率图t(z)：
[0048]
(1)暗通道图d(x)
[0049][0050]
其中，x表示图像的每个像素点坐标，ω(x)表示以x为中心的一块领域区域，c表示
图像的r、g、b三个通道；
[0051]
(2)水下散色图b(z)
[0052]
从d(x)中按照亮度的大小取前0.1％的像素点位置γ{d(x)}，再从i(z)中寻找与γ{d(x)}在对应位置且数量最多的像素值作为b(z)；
[0053]
(3)水下透射率图t(z)
[0054][0055]
其中，z表示图像的每个像素点坐标，ω(z)表示以z为中心的一块领域区域，w的值为0.9；
[0056]
步骤2-2，将i(z)作为rdn的输入，并使用步骤2-1得到的水下透射率图t(z)作为该网络模型的目标图像；
[0057]
步骤2-3，将i(z)作为u-net网络输入，并使用步骤2-1得到的水下散射图b(z)作为该网络模型的目标图像；
[0058]
步骤2-4，将步骤2-2、步骤2-3中的网络模型进行联合训练得到srn的模型和权重。
[0059]
本发明步骤3包括：
[0060]
步骤3-1，使用步骤2-2和步骤2-3训练好的网络模型进行预测得到水下透射率图和水下散射图再通过水下物理成像模型，即反演得到水下结构恢复图像j(z)；
[0061]
步骤3-2，将j(z)依次输入到多尺度融合模块(multi-scale fusion block，msfb)和注意力模块(attention module，am)中，得到特征图f1；
[0062]
步骤3-3，将j(z)输入到图像高频信号提取网络模型中，得到特征图f2；
[0063]
步骤3-4，将f1和f2进行通道堆叠再通过卷积运算降低堆叠通道的维度；
[0064]
步骤3-5，将步骤3-2、步骤3-3和步骤3-4中的网络模型进行训练得到ccn的模型和权重。
[0065]
本发明提供了一种基于深度学习的水下图像恢复方法，具体实现该技术方案的方法和途径很多，以上所述是本发明的优选实施方式；对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。