基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统

1.本发明属于图像处理技术领域，特别涉及一种基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统。


背景技术：

2.随着大数据信息时代的来临，依靠传统采样定理对数据采样的缺点变得愈发明显。压缩感知作为一种先进的数据采样理论，基于信号的可压缩性，对低维测量值实现重构信号的感知。但传统迭代优化的压缩感知重构算法时间复杂度高，并且在低采样率下重构效果不太理想。随着深度学习的发展，基于深度学习的压缩感知模型的提出，大大减少了重构算法的时间复杂度，提高了重建效果。


技术实现要素：

3.为此，本发明提供一种基于多尺度深度空洞残差网络的图像压缩感知重建方法及系统，使用卷积采样网络模拟传统压缩感知测量过程对图像进行测量后得到测量值，测量值经过亚像素卷积网络完成测量向量到原始信号的初步重建；并对初步重建图像使用不同的空洞卷积卷积来学习不同的尺度特征，通过融合多尺度信息来增加网络的感受野以捕捉更多的上下文信息，提升成像效果，便于实际场景应用。
4.按照本发明所提供的设计方案，提供一种基于多尺度深度空洞残差网络的图像压缩感知重建方法，包含如下内容：
5.收集图像样本数据，并将数据按预设比例划分为训练集和测试集；
6.构建用于图像压缩感知重建的多尺度深度空洞残差网络模型并利用训练集和测试集中数据对模型进行训练调优，其中，多尺度深度空洞残差网络模型包含：用于依据设定的采样率对输入图像数据进行分割采样并生成与输入对应测量值的采样网络，用于依据采样网络输出的测量值进行图像重建并获取初始重建图像的初始重建网络，和用于对初始重建网络获取的初始重建图像进行多尺度空洞卷积来获取深度重建图像的深度重建网络；
7.利用训练优化后的多尺度深度空洞残差网络模型对目标图像数据进行压缩感知重建。
8.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，两个分支网络中，针对收集的图像样本数据，首先进行数据预处理，将图片数据调整为统一像素大小，然后按照预设比例划分为训练集和测试集。
9.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述采样网络采用大小为b
×b×
l、步长为b
×
b的卷积核进行模拟采样，并生成大小为的测量值，其中，m、n为输入图像数据长、宽尺寸。
10.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述初始重建网络包含：用于将采样网络生成的测量值的结点以获取输入图像数据测量值
特征的全连接层，及用于对输入图像数据测量值特征进行缩放和sub-pixel亚像素重建的亚像素卷积块。
11.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述深度重建网络包含：用于学习不同尺寸的初始重建图像特征的若干空洞卷积分支，及用于融合合并该若干空洞卷积分支多尺度特征信息的连接层，及用于对融合的多尺度特征信息进行卷积和批量归一化操作的输出层。
12.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述深度重建网络采用残差网络结构，利用不同速率的空洞卷积来卷积学习初始重建图像特征获取多尺度特征信息，并在深度重建网络输入和输出之间进行跳跃连接。
13.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，利用目标函数并利用adam优化算法对多尺度深度空洞残差网络模型训练优化，其中，n为训练集中训练图像样本数量，xi为原始图像，为重建图像，为梯度计算，ωo为下标。
14.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，在模型训练优化中，利用训练集中的图像样本数据进行模型训练学习，利用测试集中的图像样本数据进行模型测试，并利用预设评价指标来评估训练测试后的模型性能。
15.作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述评价指标包含：用于度量模型图像重建效果的峰值信噪比psnr和结构相似性ssim，其中，p为每像素的比特数，mse表示原始图像x和重建图像y的均方误差，μ
x
为原始图像x的平均值，μy为重建图像y的平均值，为x的方差，为y的方差，σ
xy
为x，y的协方差，c1为维持稳定的常熟。
16.进一步地，本发明还提供一种基于多尺度深度空洞残差网络的图像压缩感知重建方法，包含：数据收集模块、模型训练模块和图像重建模块，其中，
17.数据收集模块，用于收集图像样本数据，并将数据按预设比例划分为训练集和测试集；
18.模型训练模块，用于构建用于图像压缩感知重建的多尺度深度空洞残差网络模型并利用训练集和测试集中数据对模型进行训练调优，其中，多尺度深度空洞残差网络模型包含：用于依据设定的采样率对输入图像数据进行分割采样并生成与输入对应测量值的采样网络，用于依据采样网络输出的测量值进行图像重建并获取初始重建图像的初始重建网络，和用于对初始重建网络获取的初始重建图像进行多尺度空洞卷积来获取深度重建图像的深度重建网络；
19.图像重建模块，用于利用训练优化后的多尺度深度空洞残差网络模型对目标图像数据进行压缩感知重建。
20.本发明的有益效果：
21.(1)本发明使用多尺度空洞卷积构建了深度空洞残差网络。通过使用不同的空洞卷积卷积学习不同的尺度特征，然后融合多尺度信息，增加网络的感受野以捕捉更多的上下文信息，从而提升成像效果。同时通过使用卷积层代替传统随机矩阵的方法进行采样提
升了测量值与图像的相关性。对比传统基于块采样的压缩感知算法本发明在具有高重建图像质量的同时解决了现有基于块采样存在的图像块效应问题。深度空洞残差网络在mnist、fashion-mnist、celeba数据上进行实验的验证，结果表明该方法具有优于目前先进的深度压缩感知算法的重建效果，可应用于医学mri领域；与传统扫描方法相比，利用深度压缩感知的方法可以大大加快成像速度，缩短扫描时间。在低时间成本的同时，获得准确、高效的图像，保留了图像细节信息。在减少病人的扫描时间的同时，也有利于医生快速诊断。
22.(2)经验试验数据验证，本发明使用的网络结构模型与亚像素卷积对抗神经网络scgan相比，在mnist数据集上psnr平均提高了5.9983db，ssim平均提高了0.0963。在fashion-mnist数据集上psnr平均提高了3.1131db，ssim平均提高了0.0447。在celeba数据集上psnr平均提高了4.029db，ssim平均提高了0.1683。
附图说明：
23.图1为实施例中基于多尺度深度空洞残差网络的图像压缩感知重建流程示意；
24.图2为实施例中多尺度深度空洞残差网络结构示意；
25.图3为实施例中采样网络和初始重建网络结构示意；
26.图4为实施例中深度重建网络结构示意。
具体实施方式：
27.为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
28.本发明实施例，提供一种基于多尺度深度空洞残差网络的图像压缩感知重建方法，参见图1所示，包含如下内容：
29.s101、收集图像样本数据，并将数据按预设比例划分为训练集和测试集；
30.s102、构建用于图像压缩感知重建的多尺度深度空洞残差网络模型并利用训练集和测试集中数据对模型进行训练调优，其中，多尺度深度空洞残差网络模型包含：用于依据设定的采样率对输入图像数据进行分割采样并生成与输入对应测量值的采样网络，用于依据采样网络输出的测量值进行图像重建并获取初始重建图像的初始重建网络，和用于对初始重建网络获取的初始重建图像进行多尺度空洞卷积来获取深度重建图像的深度重建网络；
31.s103、利用训练优化后的多尺度深度空洞残差网络模型对目标图像数据进行压缩感知重建。
32.本案实施例中，参见图2所示，使用卷积采样网络模拟传统压缩感知测量过程对图像进行测量后得到测量值，测量值经过亚像素卷积网络完成测量向量到原始信号的初步重建；并对初步重建图像使用不同的空洞卷积通过卷积来学习不同的尺度特征，通过融合多尺度信息来增加网络的感受野以捕捉更多的上下文信息，提升成像效果，便于实际场景应用。
33.作为本发明实施例中基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，两个分支网络中，针对收集的图像样本数据，首先进行数据预处理，将图片数据调整为统一像素大小，然后按照预设比例划分为训练集和测试集。
34.可将公开训练数据集中celeba的202，599张178
×
218大小的图像分别162，770张训练集，19，867张作为验证集，19，961张作为测试集。在训练前，每个batch size将图片大小调整为64
×
64像素。
35.作为本发明实施例中基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述采样网络采用大小为b
×b×
l、步长为b
×
b的卷积核进行模拟采样，并生成大小为的测量值，其中，m、n为输入图像数据长、宽尺寸。进一步地，所述初始重建网络包含：用于将采样网络生成的测量值的结点以获取输入图像数据测量值特征的全连接层，及用于对输入图像数据测量值特征进行缩放和sub-pixel亚像素重建的亚像素卷积块。
36.采样网络使用卷积层进行采样的操作，其过程可表示为y
meas
＝ω
conv
*x，其中y
meas
为测量值，ω
conv
为卷积层的权重，*为卷积操作，x为原始图像，其过程可参见图3所示。采样网络采用卷积核大小为32
×
32步长为32单层卷积层组成。其中，输出通道数根据采样率进行设定。重构网络接收采样网络生成的测量值后，通过结点为16384的全连接层，将图像大小变换为16*16*64。第一层隐藏层为亚像素卷积块，亚像素卷积的过程可表示为：小变换为16*16*64。第一层隐藏层为亚像素卷积块，亚像素卷积的过程可表示为：其中t为图像的像素，x，y为图像的坐标，r为缩放的比例，c为通道数，为周期性的像素重组操作。通过这一过程可将h
×w×
cr2大小的图像尺寸提升为hr
×
wr
×
c。亚像素卷积块由大小为3
×
3卷积层、批量归一化层、selu激活函数层、亚像素卷积层、selu激活函数层组成的，其结构可表示为[conv3×
3-bn-selu-subpixelconv3×3]，输出通道数为512。第二、三隐藏层由3
×
3卷积层、批量归一化层、激活函数层组成。其结构分别可表示为[conv3×
3-bn-selu]和。[conv3×
3-tanh-bn-selu]，输出通道数分别为32和3，步长为1，1。
[0037]
作为本发明实施例中基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，所述深度重建网络包含：用于学习不同尺寸的初始重建图像特征的若干空洞卷积分支，及用于融合合并该若干空洞卷积分支多尺度特征信息的连接层，及用于对融合的多尺度特征信息进行卷积和批量归一化操作的输出层。进一步地，所述深度重建网络采用残差网络结构，利用不同尺寸的空洞卷积来卷积学习初始重建图像特征获取多尺度特征信息，并在深度重建网络输入和输出之间进行跳跃连接。其中，空洞卷积学习多尺度特征信息的过程中可表示为：i代表网络层数，ii为第i层网络的输出，ω为空洞卷积的权重，其下标为不同尺度空洞卷积的标记，*代表卷积操作， 代表将特征图按照通道进行连接。
[0038]
深度重建网络接收初始重建网络初始重建的图像并进行深度重建。参见图4所示，深度重建网络由6个空洞卷积块组成，多尺度空洞卷积块为三个分支，每个分支由空洞卷积层和批量归一化层，其结构可表示为[atrousconv3×
3-selu-bn]，三个分支的空洞卷积rate分别为1，2，3，通道数为8。分支经过concat层将多分支结果按照维度进行依次合并。合并后进入下一个隐藏层，由卷积层和批量归一化层组成，可表示为[conv3×
3-selu-bn]，通道数为24，步长为1。经过空洞卷积块后进入下一隐藏层由3
×
3卷积层组成，通道数为3，步长为1。残差网络通过在深度重建网络的输入和输出之间进行跳跃连接实现。
[0039]
作为本发明基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，
利用目标函数并利用adam优化算法对多尺度深度空洞残差网络模型训练优化，其中，n为训练集中训练图像样本数量，xi为原始图像，为重建图像，为梯度计算，ωo为下标。
[0040]
作为本发明实施例中基于多尺度深度空洞残差网络的图像压缩感知重建方法，进一步地，在模型训练优化中，利用训练集中的图像样本数据进行模型训练学习，利用测试集中的图像样本数据进行模型测试，并利用预设评价指标来评估训练测试后的模型性能。
[0041]
在试验过程中，可将batchsize大小设置为8，设置网络结构的超参数及初始学习速率learning rate为0.01，深度空洞残差网络迭代次数为20次。网络训练的目标损失函数：其中，n为训练集中训练图像的数量，xi为原始图像，为重建图像。通过利用adam优化算法对所述部分卷积生成对抗网络内的参数进行训练并更新。
[0042]
根据采样率设置采样卷积层的通道数来对不同采样率的图像数据集进行训练，通过训练学习网络模型的最优参数，得到不同采样率下已训练的压缩感知重建模型，并进行保存，保存格式可为.npz。并在测试过程中，使用评价指标峰值信噪比(psnr)、结构相似性(ssim)来验证网络的性能。
[0043]
使用峰值信噪比psnr来度量该网络模型的重建效果，其中psnr越大表示重建效果越好，计算公式如下：
[0044][0045]
n为每像素的比特数，一般取8，即像素灰阶数为256，单位为db。均方误差mse表示当前图像和参考图像f(i，j)的均方误差；m，n分别为图像的高度和宽度。
[0046]
使用ssim来度量该网络模型的重建效果，其中ssim越大表示重建效果越好，对于给定的图像x和y，两张图像的ssim计算公式如下：
[0047][0048]
其中μ
x
是x的平均值，μy是y的平均值。为x的方差，为y的方差，σ
xy
为x，y的协方差，c1＝(k1l)2，c2＝(k2l)2是用来维持稳定的常熟，l是像素值的动态范围，k1＝0.01，k2＝0.03。
[0049]
本案实施例通过在多尺度深度空洞残差网络中，使用不同的空洞卷积来卷积学习不同的尺度特征，然后融合多尺度信息，增加网络的感受野以捕捉更多的上下文信息，从而提升成像效果。同时通过使用卷积层代替传统随机矩阵的方法进行采样提升了测量值与图像的相关性。对比传统基于块采样的压缩感知算法，本案方案在具有高重建图像质量的同时，解决了现有基于块采样存在的图像块效应问题，便于实际重建图像场景中的应用。
[0050]
进一步地，基于上述的方法，本发明实施例还提供一种基于多尺度深度空洞残差网络的图像压缩感知重建方法，包含：数据收集模块、模型训练模块和图像重建模块，其中，
[0051]
数据收集模块，用于收集图像样本数据，并将数据按预设比例划分为训练集和测
试集；
[0052]
模型训练模块，用于构建用于图像压缩感知重建的多尺度深度空洞残差网络模型并利用训练集和测试集中数据对模型进行训练调优，其中，多尺度深度空洞残差网络模型包含：用于依据设定的采样率对输入图像数据进行分割采样并生成与输入对应测量值的采样网络，用于依据采样网络输出的测量值进行图像重建并获取初始重建图像的初始重建网络，和用于对初始重建网络获取的初始重建图像进行多尺度空洞卷积来获取深度重建图像的深度重建网络；
[0053]
图像重建模块，用于利用训练优化后的多尺度深度空洞残差网络模型对目标图像数据进行压缩感知重建。
[0054]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
[0055]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。