本技术涉及成像,特别涉及一种图像处理方法、训练方法、图像处理装置、电子设备及非易失性计算机可读存储介质。
背景技术:
1、图像超分辨率重建,简称图像超分,即将低分辨率图像重建为高分辨率图像的一种图像处理技术,可有效提升图像的清晰度,因此常应用于手机相机拍照、视频监控等广泛领域中。现有技术方案中通常采用多帧信息或利用梯度等输入信息进行恢复,但超分后的图像的细节仍然有限。
技术实现思路
1、本技术实施方式提供了一种图像处理方法、训练方法、图像处理装置、电子设备及非易失性计算机可读存储介质。
2、本技术实施方式的图像处理方法包括获取第一输入图像和第二输入图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;对所述第一输入图像进行特征提取,以得到第一图像特征,并对所述第二输入图像进行特征提取,以得到第二图像特征;及根据所述第一图像特征和所述第二图像特征,生成第三图像特征,并叠加所述第三图像特征的高频特征和所述第一输入图像,生成目标图像。
3、本技术实施方式的训练方法包括分别对第一输入图像和第二输入图像进行下采样,以分别得到第一样本图像和第二样本图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;对所述第一样本图像进行特征提取,以得到第一训练图像特征,并对所述第二样本图像进行特征提取,以得到第二训练图像特征;根据所述第一训练图像特征和所述第二训练图像特征,生成第三训练图像特征,并叠加所述第三训练图像特征的高频特征和所述第一样本图像,生成第一训练图像;及基于第一损失函数、所述第一训练图像、所述第一输入图像和第二输入图像,计算第一损失值,并根据所述第一损失值调整图像处理模型的模型参数,以训练所述图像处理模型至收敛。
4、本技术实施方式的图像处理装置包括获取模块、特征提取模块及特征处理模块。所述获取模块用于获取第一输入图像和第二输入图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;所述特征提取模块用于对所述第一输入图像进行特征提取,以得到第一图像特征,并对所述第二输入图像进行特征提取,以得到第二图像特征;所述特征处理模块用于根据所述第一图像特征和所述第二图像特征,生成第三图像特征,并叠加所述第三图像特征的高频特征和所述第一输入图像,生成目标图像。
5、本技术实施方式的电子设备包括处理器,所述处理器用于执行图像处理方法及训练方法。所述图像处理方法包括获取第一输入图像和第二输入图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;对所述第一输入图像进行特征提取,以得到第一图像特征,并对所述第二输入图像进行特征提取,以得到第二图像特征;及根据所述第一图像特征和所述第二图像特征,生成第三图像特征,并叠加所述第三图像特征的高频特征和所述第一输入图像,生成目标图像。所述训练方法包括分别对第一输入图像和第二输入图像进行下采样,以分别得到第一样本图像和第二样本图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;对所述第一样本图像进行特征提取,以得到第一训练图像特征,并对所述第二样本图像进行特征提取,以得到第二训练图像特征;根据所述第一训练图像特征和所述第二训练图像特征,生成第三训练图像特征,并叠加所述第三训练图像特征的高频特征和所述第一样本图像,生成第一训练图像;及基于第一损失函数、所述第一训练图像、所述第一输入图像和第二输入图像,计算第一损失值,并根据所述第一损失值调整图像处理模型的模型参数,以训练所述图像处理模型至收敛。
6、本技术实施方式的非易失性计算机可读存储介质包含计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行图像处理方法及训练方法。所述图像处理方法包括获取第一输入图像和第二输入图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;对所述第一输入图像进行特征提取,以得到第一图像特征,并对所述第二输入图像进行特征提取,以得到第二图像特征;及根据所述第一图像特征和所述第二图像特征,生成第三图像特征,并叠加所述第三图像特征的高频特征和所述第一输入图像,生成目标图像。所述训练方法包括分别对第一输入图像和第二输入图像进行下采样,以分别得到第一样本图像和第二样本图像,所述第一输入图像根据第一图像生成,所述第二输入图像根据第二图像生成,采集所述第一图像的第一相机的焦距小于采集所述第二图像的第二相机的焦距,所述第一输入图像和所述第二图像对应的视场范围至少部分重叠;对所述第一样本图像进行特征提取,以得到第一训练图像特征,并对所述第二样本图像进行特征提取,以得到第二训练图像特征;根据所述第一训练图像特征和所述第二训练图像特征,生成第三训练图像特征,并叠加所述第三训练图像特征的高频特征和所述第一样本图像,生成第一训练图像;及基于第一损失函数、所述第一训练图像、所述第一输入图像和第二输入图像,计算第一损失值,并根据所述第一损失值调整图像处理模型的模型参数,以训练所述图像处理模型至收敛。
7、本技术实施方式的图像处理方法、训练方法、图像处理装置、电子设备及非易失性计算机可读存储介质,分别控制第一相机和第二相机拍摄,以分别获取第一图像和第二图像,其中第一相机的焦距小于第二相机的焦距,使得第一图像的视场范围较大但细节较少,第二图像的视场范围较小但细节较丰富。然后根据第一图像生成变焦倍率更大的第一输入图像,根据第二图像生成第二输入图像,且第一输入图像和第二图像对应的视场范围至少部分相同,使得可利用视场范围较小但细节较为丰富的第二图像对视场范围较大但细节较少的第一输入图像进行增强。在获取第一输入图像和第二输入图像后,分别对第一输入图像和第二输入图像进行特征提取,以分别得到第一图像特征和第二图像特征。接着根据第一图像特征和第二图像特征,生成包含两种图像特征的第三图像特征,使得第三图像特征的细节较丰富,最后将第三图像特征的高频特征叠加到第一输入图像中,便可生成细节较丰富的目标图像。如此,可根据两个不同焦距的相机获取的图像,利用视场范围较小但细节较为丰富的第二图像来对视场范围较大但细节较少的第一输入图像进行增强,从而实现对第一输入的图像的超分重建,得到的目标图像的细节较完善,从而提高目标图像的成像效果。
8、本技术实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
1.一种图像处理方法,其特征在于,包括:
2.根据权利要求1所述的图像处理方法,其特征在于,还包括:
3.根据权利要求2所述的图像处理方法,其特征在于,所述确定所述第一输入图像中,与所述第二图像对应的目标图像区域,并根据所述第二图像调整所述目标图像区域,以生成所述第二输入图像,包括:
4.根据权利要求1所述的图像处理方法,其特征在于,所述根据所述第一图像特征和所述第二图像特征,生成第三图像特征,包括:
5.根据权利要求4所述的图像处理方法,其特征在于,所述确定所述第一图像特征和所述第二图像特征的相关性矩阵,包括:
6.根据权利要求1所述的图像处理方法,其特征在于,在所述叠加所述第三图像特征的高频特征和所述第一输入图像,生成目标图像之前,所述方法还包括:
7.一种训练方法,其特征在于,包括:
8.根据权利要求7所述的训练方法,其特征在于,还包括:
9.一种图像处理装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括处理器,所述处理器用于执行权利要求1-6任一项所述的图像处理方法及权利要求7-8任一项所述的训练方法。
11.一种包括计算机程序的非易失性计算机可读存储介质,所述计算机程序被处理器执行时,使得所述处理器执行权利要求1-6任一项所述的图像处理方法及权利要求7-8任一项所述的训练方法。
