本发明涉及图像处理,尤其涉及一种图像去噪方法、装置、设备、存储介质及计算机程序产品。
背景技术:
1、现有的图像去噪方法中,基于人工特征的去噪方案对图像特征和编码较为依赖原始图像,编码特征的泛化性差,特征提取过程繁琐,计算量大,且最后的处理结果并不是最优的。基于深度学习的去噪技术中,目前通过构建卷积神经网络cnn的方法对于训练集以外的噪声图像泛化性、适应性仍然较差。基于cnn的图像去噪方法主要集中在卷积层对特征信息的提取和对网络结构的优化,主要问题是卷积层在前期的池化过程中会造成信息损失。同时,cnn网络随着卷积数量增加,造成参数增加,计算量加大,模型更加复杂且不易收敛。另外基于cnn的去噪方法大多需要无噪声的清晰图像和有噪声的图像作为成对的训练样本进行监督学习,在实际工程项目中,针对建筑体的三维重建,获取成对噪音样本较为困难。
技术实现思路
1、本发明所要解决的技术问题在于,提供一种图像去噪方法、装置、设备、存储介质及计算机程序产品,构建了两步去噪框架,通过循环一致的改进生成对抗网络生成成对的噪音样本,继而由深度卷积神经网络训练去噪网络来进行图像去噪,不再依赖成对图像,且有效提高了模型的稳定性、收敛性以及精准性。
2、为了实现上述目的,本发明实施例提供了一种图像去噪方法,包括:
3、获取待处理噪音图像;
4、将所述待处理噪音图像作为输入数据,输入至预设的图像去噪模型,得到所述图像去噪模型输出的去噪图像;其中,所述图像去噪模型根据生成对抗网络和深度卷积神经网络训练得到,所述生成对抗网络用于生成噪音样本,所述深度卷积神经网络用于根据所述噪音样本进行训练;所述噪音样本包括成对的噪音图像和干净图像;所述干净图像为所述噪音图像去噪后的图像。
5、作为上述方案的改进,所述图像去噪模型的训练方法包括:
6、获取噪音图像集和干净图像集;其中,所述噪音图像集和所述干净图像集为非成对的图像集;
7、将所述噪音图像集和所述干净图像集输入至改进的生成对抗网络,通过所述改进的生成对抗网络生成噪音样本;
8、将所述噪音样本输入至改进的深度卷积神经网络进行训练,得到训练好的图像去噪模型。
9、作为上述方案的改进,所述将所述噪音图像集和所述干净图像集输入至改进的生成对抗网络,通过所述改进的生成对抗网络生成噪音样本,包括:
10、根据所述噪音图像集提取噪音图像块,并根据所述噪音图像块提取局部图像块;
11、根据所述局部图像块判断所述噪音图像块是否为平滑快,并根据所述平滑块得到噪音集合;
12、将所述噪音集合和所述干净图像集输入至所述改进的生成对抗网络进行训练,得到训练好的改进的生成对抗网络,通过训练好的改进的生成对抗网络生成所述噪音样本;其中,所述改进的生成对抗网络包括第一生成器、第二生成器、第一鉴别器和第二鉴别器;所述第一生成器的输入与所述第一鉴别器的输入连接,所述第一鉴别器的输入还与所述第二生成器的输出连接;所述第二生成器的输入与所述第二鉴别器的输入连接,所述第二鉴别器的输入还与所述第一生成器的输出连接。
13、作为上述方案的改进,所述将所述噪音集合和所述干净图像集输入至所述改进的生成对抗网络进行训练,包括:
14、将所述噪音集合输入至所述第一生成器,得到所述第一生成器输出的干净图像;
15、将所述干净图像集输入至所述第二生成器,得到所述第二生成器输出的噪音图像;
16、通过所述第一鉴别器识别所述噪音集合与所述噪音图像之间的差异,通过所述第二鉴别器识别所述干净图像集与所述干净图像之间的差异;
17、基于第一损失函数和第二损失函数对所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器的参数进行优化。
18、作为上述方案的改进,所述改进的深度卷积神经网络包括dncnn网络,所述dncnn网络包括依次连接的第一部分、第二部分和第三部分;
19、所述第一部分为1层,包括一个卷积层conv和一个激活层relu;
20、所述第二部分为若干层,每层均包括一个卷积层conv、一个归一化层bn和一个激活层relu;
21、所述第三部分为1层,包括一个卷积层conv和一个激活层relu。
22、作为上述方案的改进,所述第一损失函数为:
23、
24、所述第二损失函数为:
25、
26、式中,x1表示第一输入图像,即噪音集合中的噪音图像,w1、e1和d1分别表示第一输入图像x1的宽度、高度和深度;x2表示第二输入图像,即干净图像集中的干净图像,w2、e2和d2分别表示第二输入图像x2的宽度、高度和深度;vgg表示输入图像由预训练的vgg16网络构成的卷积特征;ghl1表示第一生成器,ghl2表示第二生成器;
27、所述dncnn网络的损失函数为:
28、
29、式中,表示归一化因子,n表示样本数量;y表示实际值,y'表示预测值。
30、本发明实施例还提供了一种图像去噪装置,包括:
31、图像获取模块,用于获取待处理噪音图像;
32、图像去噪模块,用于将所述待处理噪音图像作为输入数据,输入至预设的图像去噪模型,得到所述图像去噪模型输出的去噪图像;其中,所述图像去噪模型根据生成对抗网络和卷积神经网络训练得到,所述生成对抗网络用于生成噪音样本,所述卷积神经网络用于根据所述噪音样本进行训练;所述噪音样本包括成对的噪音图像和干净图像;所述干净图像为所述噪音图像去噪后的图像。
33、本发明实施例还提供了一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的图像去噪方法。
34、本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任一项所述的图像去噪方法。
35、本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或所述计算机指令被处理器执行时实现上述任一项所述的图像去噪方法。
36、相对于现有技术,本发明实施例提供的一种图像去噪方法、装置、设备、存储介质及计算机程序产品的有益效果在于:通过获取待处理噪音图像;将所述待处理噪音图像作为输入数据,输入至预设的图像去噪模型,得到所述图像去噪模型输出的去噪图像;其中,所述图像去噪模型根据生成对抗网络和深度卷积神经网络训练得到,所述生成对抗网络用于生成噪音样本,所述深度卷积神经网络用于根据所述噪音样本进行训练;所述噪音样本包括成对的噪音图像和干净图像;所述干净图像为所述噪音图像去噪后的图像。本发明实施例通过构建两步去噪框架,通过循环一致的改进生成对抗网络生成成对的噪音样本,继而由深度卷积神经网络训练去噪网络来进行图像去噪,不再依赖成对图像,且有效提高了模型的稳定性、收敛性以及精准性。
1.一种图像去噪方法,其特征在于,包括:
2.如权利要求1所述的图像去噪方法,其特征在于,所述图像去噪模型的训练方法包括:
3.如权利要求2所述的图像去噪方法,其特征在于,所述将所述噪音图像集和所述干净图像集输入至改进的生成对抗网络,通过所述改进的生成对抗网络生成噪音样本,包括:
4.如权利要求3所述的图像去噪方法,其特征在于,所述将所述噪音集合和所述干净图像集输入至所述改进的生成对抗网络进行训练,包括:
5.如权利要求4所述的图像去噪方法,其特征在于,所述改进的深度卷积神经网络包括去噪卷积神经网络dncnn网络,所述dncnn网络包括依次连接的第一部分、第二部分和第三部分;
6.如权利要求5所述的图像去噪方法,其特征在于,所述第一损失函数为:
7.一种图像去噪装置,其特征在于,包括:
8.一种终端设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,且所述计算机程序被配置为由所述处理器执行,所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的图像去噪方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,其中,所述计算机可读存储介质所在设备执行所述计算机程序时,实现如权利要求1至6中任意一项所述的图像去噪方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或所述计算机指令被处理器执行时实现如权利要求1至6中任意一项所述的图像去噪方法。