一种划痕老照片综合修复的方法

    专利查询2025-11-03  4


    本发明属于低级计算机视觉,尤其涉及一种划痕老照片综合修复的方法。


    背景技术:

    1、随着智能化设备的发展和计算机资源的普及,将传统纸质照片转换为数字格式变得简单且高效。相较于纸质照片,数字存档的优势在于易编辑查阅和传播。由于纸质照片随着时间的推移,大多会出现破损或折痕等一类不可逆转的损伤,且扫描后照片大多存在画质模糊且结构粗糙的问题,其中人像一类的照片此类问题尤为严重。针对划痕老照片综合性修复的问题,可以分为传统方法和基于深度学习的方法。传统的修复方法主要人工标记待修复区域,算法根据待修复区域的边缘像素计算出填充像素,最后逐一迭代填充以达到修复的目的,但这种方式缺乏对图像内容的深层次理解,修复后依旧存在模糊且画面结构不连续的问题。近两年深度学习技术发展迅猛,被广泛用于图像处理的任务中。现阶段的基于深度学习的老照片修复方法,大多集中于单一退化信息的老照片修复或依旧存在画质模糊和纹理错位的问题。基于扩散模型的图片恢复方法可以从全局的角度去把控破损图像的结构信息以完成破损图像的修复。在人像照片中,由于退化老照片的内容残缺和分辨率较低的特性,人物面部的检测和恢复也面临一定的挑战,现有的老照片恢复技术方案中大多没有对人像照片进行针对性的操作和处理,对面部和画质进行增强后可以使老照片细节更加锐利且清晰。最后对老照片进行彩色化的操作可以使修复效果更加生动,观感更好。现有的老照片划痕修复技术方案大多数都存在修复效果失真的问题,尤其是在人像照片中尤为严重,对于单人肖像的划痕和合照的划痕,在修复后观感不佳,现有的照片修复系统中的人脸检测效率低,无法适用于合照一类或者面部区域较小的老照片中,此外,在对老照片进行修复上色时,由于清晰度不高,图像的纹理细节较少,会有轮廓颜色溢出的现象。


    技术实现思路

    1、为解决上述技术问题,本发明提出了一种划痕老照片综合修复的方法,通过训练深度学习模型网络,通过不同的检测器检测出照片中划痕和人脸并通过不同的技术方案分别对其进行修复;通过小目标人脸检测算法和面部生成恢复网络,即使是面部破损的人像照片也能有观感比较好的修复效果。

    2、为实现上述目的,本发明提供了一种划痕老照片综合修复的方法,包括:

    3、s1、建立扩散模型,基于所述扩散模型的加噪方式,对待修复划痕老照片进行加噪,获得完全高斯噪声图;根据所述待修复划痕老照片建立划痕去噪空间;

    4、s2、建立噪声预测网络,对所述完全高斯噪声图以及所述划痕去噪空间进行噪声预测,分别获得对应的纯噪声图,并计算各个所述纯噪声图的分数;

    5、s3、加权计算各个所述纯噪声图的分数,获得一个状态图;基于所述扩散模型的去噪方式,对所述状态图进行反向迭代去噪处理,获得无划痕老照片;

    6、s4、建立图像超分辨率网络,使用卷积神经网络,提取所述无划痕老照片的浅层特征图,并通过长跳跃连接将所述浅层特征图直接输入重构模块,用于保留低频信息;

    7、s5、将所述浅层特征图输入深度特征提取模块,对所述浅层特征图进行深层特征建模,获得深层特征图,用于恢复丢失的高频信息;

    8、s6、通过长跳跃连接,将所述低频信息直接输入重建模块,帮助深层特征提取模块聚焦高频信息,使用亚像素卷积层对所述低频信息和所述高频信息进行上采样,通过聚集上采样后的所述低频信息和所述高频信息对所述无划痕老照片进行重建,进行4倍超分获得清晰无划痕老照片;

    9、s7、建立人脸检测网络,将所述清晰无划痕老照片输入到所述人脸检测网络中进行照片中的人脸检测,获得人脸局部区域裁切图;

    10、s8、建立人脸恢复网络,将所述人脸局部区域裁切图单独处理进行面部恢复,获得修复后的人脸图像;

    11、s9、将所述修复后的人脸与人脸检测位置进行直方图匹配,获得一张清晰无划痕且面部完整的照片;

    12、s10、建立图像着色网络,对获得的一张清晰无划痕且面部完整的照片进行着色,获得无划痕且面部清晰的彩色照片。

    13、进一步的,获得完全高斯噪声图的方法为:

    14、dx=θt(η-x)dt+ξtdw

    15、其中,x为t时刻的状态图,θt(η-x)和ξt分别为drift和dispersion方程,η为划痕老照片,dw是高斯噪声,θt与ξt为与时间相关的正参数。

    16、进一步的,根据所述待修复划痕老照片建立划痕去噪空间的方法包括:

    17、基于奇数高斯卷积核,对所述待修复划痕老照片进行高斯模糊处理,获得一张保留图片亮度信息且消除了划痕的亮度信息特征图;

    18、建立并训练划痕检测网络,对所述待修复划痕老照片进行划痕检测,获得划痕正态分布;

    19、基于所述亮度信息特征图与所述划痕正态分布,建立所述划痕去噪空间。

    20、进一步的,建立并训练划痕检测网络的方法包括:

    21、基于真实划痕老照片和合成划痕模拟老照片,建立划痕老照片数据集;

    22、对所述划痕老照片数据集中每张老照片的划痕区域进行标注,并使划痕老照片和标注后需分割的照片一一对应,训练图像处理网络,获得划痕检测结果;

    23、基于所述划痕检测结果,采用交叉熵损失最小化检测划痕和实际划痕的差值;

    24、基于所述差值,获得划痕检测网络的目标函数,完成划痕检测网络的建立及训练。

    25、进一步的,获得所述划痕正态分布的方法包括:

    26、基于所述划痕检测网络对所述待修复划痕老照片进行划痕检测,获得具有划痕位置信息的二值图掩膜;

    27、将所述二值图掩膜与所述待修复划痕老照片进行裁剪运算,获得只有划痕信息的特征图;

    28、对所述只有划痕信息的特征图进行编码,获得待修复划痕老照片的划痕正态分布。

    29、进一步的,获得所述无划痕老照片的方法包括:

    30、对各个所述纯噪声图的分数进行加权计算,获得最终分数计算结果;

    31、基于所述最终分数计算结果,获得下一阶段状态图;

    32、基于所述扩散模型的去噪方式,对所述状态图进行反向迭代去噪处理,排除划痕信息并生成符合全局的语义信息,获得所述无划痕老照片。

    33、进一步的,使用卷积神经网络,提取所述无划痕老照片的浅层特征图的方法为:

    34、f0=hsf(ilq)

    35、其中,f0为浅层特征图;ilq为无划痕老照片;hsf(.)为卷积神经网络。

    36、进一步的,对所述浅层特征图进行深层特征建模,获得深层特征图的方法为:

    37、fdf=hdf(f0)

    38、其中,fdf为深层特征图;hdf(.)为深层特征提取模块;f0为浅层特征图。

    39、进一步的,获得所述清晰无划痕老照片的方法为:

    40、irhq=hrec(f0+fdf)

    41、其中,irhq为清晰无划痕老照片;hrec(.)为重建模块;fdf为深层特征图;f0为浅层特征图。

    42、本发明技术效果:本发明公开了一种划痕老照片综合修复的方法,通过训练深度学习模型网络,通过不同的检测器检测出照片中划痕和人脸并通过不同的技术方案分别对其进行修复;通过小目标人脸检测算法和面部生成恢复网络,即使是面部破损的人像照片也能有观感比较好的修复效果。


    技术特征:

    1.一种划痕老照片综合修复的方法,其特征在于,包括:

    2.如权利要求1所述的划痕老照片综合修复的方法,其特征在于,

    3.如权利要求1所述的划痕老照片综合修复的方法,其特征在于,

    4.如权利要求3所述的划痕老照片综合修复的方法,其特征在于,

    5.如权利要求3所述的划痕老照片综合修复的方法,其特征在于,

    6.如权利要求1所述的划痕老照片综合修复的方法,其特征在于,

    7.如权利要求1所述的划痕老照片综合修复的方法,其特征在于,

    8.如权利要求1所述的划痕老照片综合修复的方法,其特征在于,

    9.如权利要求1所述的划痕老照片综合修复的方法,其特征在于,


    技术总结
    本发明公开了一种划痕老照片综合修复的方法,通过训练深度学习模型网络,通过不同的检测器检测出照片中划痕和人脸并通过不同的技术方案分别对其进行修复;通过小目标人脸检测算法和面部生成恢复网络,即使是面部破损的人像照片也能有观感比较好的修复效果。

    技术研发人员:张伟,王盛,沈琼霞,易可心,潘能源,杨维明,李璋,刘国君,石鑫
    受保护的技术使用者:湖北大学
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-31591.html

    最新回复(0)