本发明涉及图像处理，具体涉及基于改进扩散模型的图像去雨方法及系统。
背景技术：
1、当前，图像在多个领域广泛应用，包括计算机视觉、医学成像、安防监控、火灾预警等。
2、然而，在降雨条件下拍摄的图像往往会受到雨滴或雨条纹的影响。这些雨滴或雨条纹反射周围环境的光线，导致图像中出现光斑和噪点，从而使图片质量明显下降。这将严重影响后续算法和人眼视觉的有效性和准确性。因此，开发一种能够有效去雨并高质量恢复图像背景信息的图像去雨方法至关重要。
3、早期传统的图像去雨方法主要基于先验知识来进行去雨处理，如高斯混合模型、判别稀疏编码等。然而，这些基于先验知识的方法表示能力有限，难以处理复杂的有雨图像。近年来，深度学习以其自身强大的学习能力和表征能力被应用到单幅图像去雨问题中。这类方法主要利用卷积神经网络和生成对抗网络来学习有雨图像和干净图像之间的映射关系。相比早期传统的方法，深度学习的方法在处理有雨图像时性能得到了提升。但目前该类方法仍存在训练不稳定的问题，会生成低质量的去雨图像。
4、为了进一步提高图像去雨的效果，研究者提出基于扩散模型的图像去雨方法，例如利用马尔科夫链原理在正向扩散过程中逐步地向图像添加高斯噪声，并在反向扩散过程中逐步去除噪声来恢复图像。但是，这类方法应用于图像去雨时存在雨水残留、纹理细节丢失，导致恢复的背景产生过平滑效应，降低去雨图像的质量。
技术实现思路
1、鉴于上述现有技术的不足，本发明提供一种基于改进扩散模型的图像去雨方法及系统，旨在解决现有图像去雨方法存在雨水残留、局部细节的不完整等问题，提高图像去雨质量，并设计出与本发明方法匹配的适用于移动设备端的去雨系统，以实现本发明方法在手机、平板等移动设备端的应用。
2、本发明的技术方案是：
3、本发明第一方面提供一种基于改进扩散模型的图像去雨方法，该方法包括如下步骤：
4、步骤1：准备由图像对组成的数据集，并从中划分出训练集和测试集；所述图像对由有雨图像yj、与yj对应的干净图像xj构成，其中j＝0,1,2,…,q,…,n，n为数据集中的图像对总数，q为训练集中的图像对总数；
5、步骤2：对扩散模型的正向扩散过程的时间步序列长度t的大小进行设置；
6、步骤3：从训练集中选取一组图像对，并从t中随机选择一个时间步t；基于时间步t向该组图像对中的干净图像中添加高斯噪声执行正向扩散过程，得到时间步t的噪声图像xt；
7、步骤4：在扩散模型的噪声估计网络中引入频率依赖策略来改进噪声估计网络结构，加强噪声估计网络对噪声分布特征的提取能力，将步骤3选取的图像对中的有雨图像、时间步t以及时间步t的噪声图像xt输入到改进噪声估计网络中执行反向扩散过程提取噪声分布特征，预测更加精准的噪声分布；
8、步骤5：设定损失函数，迭代地训练改进噪声估计网络，在每一次训练结束时判断是否满足停止训练条件，若否，则转至步骤3，若是，则将当前训练结束时的噪声估计网络作为训练好的噪声估计网络模型；
9、步骤6：随机选择测试集中的有雨图像ys，s＝q+1,q+2,…,n，将其输入到训练好的噪声估计网络模型中，预测有雨图像的噪声分布εθ(xt,t)，并根据εθ(xt,t)得到初步有雨图像去噪结果xst，然后对其执行零值域分解恢复干净图像xs，完成图像去雨推理过程。
10、进一步地，所述引入频率依赖策略来改进噪声估计网络结构，具体是设置两个比例因子bf和sf，对噪声图像xt的低频特征xf、高频特征hf这两个特征进行平衡。
11、进一步地，设置两个比例因子bf和sf，对噪声图像xt的低频特征xf、高频特征hf这两个特征进行平衡的方法为：
12、首先对噪声图像xt的低频特征xf进行调整，计算出其沿着通道维度的平均特征图
13、
14、其中，xf,i表示低频特征xf的第i个通道的特征；c表示xf中的通道总数；随后确定低频特征信息的比例因子：
15、
16、其中，af是一个标量常数；然后将低频特征xf与比例因子bf相乘，对低频特征xf进行细节增强；
17、随着低频特征的细节增强会出现图像越来越平滑的现象，为了进一步缓解由低频特征xf引起的过平滑问题，需要高频特征hf中的高频成分来缓解；对于高频特征hf，首先将每个通道内的特征经过傅里叶变换转换到频域，对其高频分量保留原始值，并抑制其低频分量，具体操作如下：
18、
19、其中，hf，i表示高频特征hf的第i个通道的特征；fft(·)和ifft(·)分别为傅里叶变换和傅里叶反变换；h’f，i是傅里叶反变换后的特征；⊙表示元素级乘法；βf,i是一个傅里叶掩模，设计为傅里叶系数大小的函数：
20、
21、其中，sf是与高频特征hf相关的比例因子；rthresh表示半径阈值；r表示频域转换后的半径。
22、进一步地，步骤5中所述的停止训练条件为完成预设的迭代步数或者损失函数达到收敛。
23、进一步地，所述步骤6包括如下步骤：
24、步骤6.1：输入需要进行去雨处理的有雨图像ys，并从高斯分布中采样一个与有雨图像ys大小一致的纯高斯噪声图像xt将其作为推理过程的初始噪声，此时时间步t等于时间步序列长度t；
25、步骤6.2：将有雨图像ys、纯高斯噪声图像xt以及时间步t输入到训练好的噪声估计网络模型中，得到预测的噪声分布εθ(xt,t)，然后根据预测的噪声分布εθ(xt,t)，利用公式(7)获得初步有雨图像去噪结果xst；
26、
27、其中，αt＝1-βt，αt是经验；βt为方差调度；
28、步骤6.3：将初步有雨图像去噪结果xst进行零值域分解，细化零域信息，得到符合一致性的去雨结果
29、步骤6.4：利用公式(13)对当前时间步t的去雨结果更新，得到下一个时间步t-1对应的去雨图像：
30、
31、步骤6.5：将当前时间步t更新为t-1，判断当前时间步是否为0，若是，则推理完成，当前的xt-1即为预测的去雨图像xs；若否，则转至步骤6.1。
32、本发明第二方面提供一种基于改进扩散模型的图像去雨系统，该系统应用于移动设备，该系统包括：
33、图像收集模块，负责收集需要处理的有雨图像；将收集的有雨图像保存到移动设备的系统相册中；使用移动设备系统提供的图像选择器，从移动设备系统相册中选择已经保存的有雨图像；
34、图像预处理模块，负责对图像收集模块中选择的有雨图像进行缩放和归一化预处理，确保图像具有统一的尺寸以及图像的像素值分布更均匀；
35、图像推理模块，负责接收图像预处理模块处理后的预处理图像；在移动设备上部署权利要求1中所述的训练好的噪声估计网络模型；根据部署的模型对预处理图像进行去雨推理，得到去雨图像；
36、结果处理和展示模块，负责对图像推理模块输出的去雨图像进行反归一化处理，以将图像映射回原始的像素值范围；对处理后的去雨图像进行可视化展示，以便用户实时查看比较去雨处理前后的图像。
37、进一步地，在图像推理模块中，首先对训练好的噪声估计网络模型进行优化再将其部署到移动设备上；所述对训练好的噪声估计网络模型进行优化为：首先将训练好的噪声估计网络模型由derain.pth格式转换为derain.onnx格式；然后将derain.onnx格式简化为derain_sim.onnx格式；最后将derain_sim.onnx格式转换为derain_sim.param和derain_sim.bin格式。
38、与现有技术相比较，本发明具有如下有益效果：
39、1、本发明方法以基于扩散模型的深度学习算法为核心，来进行图像去雨处理。通过正向和反向扩散过程，从噪声图像中逐渐恢复出高质量的干净图像，保证了去雨图像的清晰度和视觉质量。
40、2、本发明采用频率依赖策略优化扩散模型的噪声估计网络结构。该策略能够自适应地平衡噪声估计网络中图像的高频特征信息和低频特征信息，从而获得高保真度和高细节表现能力的去雨图像。
41、3、本发明将零值域分解引入到扩散模型反向扩散过程中，以提升图像去雨的质量。图像去雨是一个逆问题，经过退化算子的作用后，导致图像的信息丢失。对有雨图像进行零值域分解，得到值域信息和零域信息，保留的是值域信息，而零域信息丢失了，并且值域信息保留了符合数据一致性要求的有效信息。为了求解零域信息，本发明将噪声估计网络生成的中间结果作为零域信息，提取有雨图像中有效的值域信息，对零域信息进行细化，使去雨图像向干净图像靠近，以提高去雨图像的一致性和真实性。
42、4、本发明还设计了与本发明方法匹配的适用于移动设备端的去雨系统，能够在移动设备上实时对有雨图像进行去雨处理以及展示图像去雨效果，不仅可以帮助用户随时随地进行图像去雨并直观地观察去雨效果，还可以为后续的计算机视觉系统提供便利。
1.基于改进扩散模型的图像去雨方法，其特征在于，该方法包括如下步骤：
2.根据权利要求1所述的基于改进扩散模型的图像去雨方法，其特征在于，所述引入频率依赖策略来改进噪声估计网络结构，具体是设置两个比例因子bf和sf，对噪声图像xt的低频特征xf、高频特征hf这两个特征进行平衡。
3.根据权利要求2所述的基于改进扩散模型的图像去雨方法，其特征在于，设置两个比例因子bf和sf，对噪声图像xt的低频特征xf、高频特征hf这两个特征进行平衡的方法为：
4.根据权利要求1所述的基于改进扩散模型的图像去雨方法，其特征在于，步骤5中所述的停止训练条件为完成预设的迭代步数或者损失函数达到收敛。
5.根据权利要求1所述的基于改进扩散模型的图像去雨方法，其特征在于，所述步骤6包括如下步骤：
6.基于改进扩散模型的图像去雨系统，其特征在于，该系统应用于移动设备端，该系统包括：
7.根据权利要求6所述的基于改进扩散模型的图像去雨系统，其特征在于，在图像推理模块中，首先对训练好的噪声估计网络模型进行优化再将其部署到移动设备上；所述对训练好的噪声估计网络模型进行优化为：首先将训练好的噪声估计网络模型由derain.pth格式转换为derain.onnx格式；然后将derain.onnx格式简化为derain_sim.onnx格式；最后将derain_sim.onnx格式转换为derain_sim.param和derain_sim.bin格式。
