图像处理方法、装置以及设备与流程

    专利查询2025-06-14  25


    本技术涉及数据处理,尤其涉及一种图像处理方法、装置以及设备。


    背景技术:

    1、传统的摄影中,人们通常需要亲自到达目的地并身处实景中,才能体验和拍摄到较为真实美丽的影像。但是,由于时间、条件、实景人员密度等问题,实景拍摄较难达到理想的拍摄条件。例如,对于旅行摄影,景区会设置保护栏、隔离区等,对景区进行保护;再例如,在人流高峰期,景区人员聚集,影像景区的摄影和观赏;并且景区内适合摄影的点位通常固定,且固定点位的景色较为单一,无法适应用户的摄影需求。

    2、针对上述实景拍摄出现的拍摄条件的限制,使得用户拍摄体验感较低的问题,目前尚未提出有效的解决方案。


    技术实现思路

    1、本说明书实施方式的目的是提供一种图像处理方法、装置及设备,以解决用户拍摄体验感较低的问题。

    2、为解决上述技术问题,本说明书第一方面提供了一种图像处理方法,包括:

    3、获取目标对象的多张待处理图像,所述多张待处理图像对应所述目标对象的多个视角;

    4、对所述多张待处理图像进行处理,并基于处理结果对所述目标对象进行三维重建,得到所述目标对象的三维模型;

    5、将所述三维模型向目标用户展示,并获取目标用户的用户图像以及所述目标用户对所述三维模型的显示参数的调整操作;

    6、基于所述调整操作对所述三维模型的显示参数进行调整,得到目标背景图像;

    7、对目标背景图像和用户图像进行融合,生成所述目标用户对应的目标图像。

    8、在本说明书的一些实施例中,对所述多张待处理图像进行处理,并基于处理结果对所述目标对象进行三维重建,得到所述目标对象的三维模型,包括:

    9、对所述多张待处理图像进行预处理;

    10、对预处理后的多张待处理图像进行图像分割,提取预处理后的多张待处理图像中目标对象图像;

    11、确定各目标对象图像对应的空间位置参数;

    12、基于多张目标对象图像以及各目标对象图像对应的空间位置参数,对所述目标对象进行三维重建,得到所述三维模型。

    13、在本说明书的一些实施例中,对预处理后的多张待处理图像进行图像分割,提取预处理后的多张待处理图像中目标对象图像,包括:

    14、对预处理后的多张待处理图像进行特征提取;

    15、基于特征选择算法对特征提取的结果进行特征选择,得到多个选择图像特征;

    16、利用预先训练的检测模型对各选择图像特征进行检测,并对各选择图像特征进行标注;

    17、对标注后的选择图像特征进行分割,得到所述目标对象图像。

    18、在本说明书的一些实施例中,所述检测模型通过以下方式训练得到:

    19、获取训练图像集,所述训练图像集中包括标注的第一训练图像以及未标注的第二训练图像;

    20、将标注的第一训练图像组成迭代训练集,利用迭代训练集对初始神经网络模型进行训练,得到用于对输入的图像进行标注的第一神经网络模型;

    21、从所述训练图像集中选取多张第二训练图像作为迭代优化集,利用所述第一神经网络模型对所述迭代优化集中的第二训练图像进行标注;

    22、确定所述第一神经网络模型对所述迭代优化集中的第二训练图像的标注准确率;

    23、将标注准确率满足预设阈值的迭代优化集中的第二训练图像与第一训练图像组成新的迭代训练集;

    24、执行迭代训练集训练神经网络以及迭代训练集调整的迭代过程,直至所述训练图像集中的所有训练图像对应的标注准确率满足预设阈值,得到所述检测模型。

    25、在本说明书的一些实施例中,基于多张目标对象图像以及各目标对象图像对应的空间位置参数,对所述目标对象进行三维重建,得到所述三维模型,包括:

    26、对各目标对象图像进行预处理;

    27、对预处理后的多张目标对象图像进行特征点提取;

    28、基于提取结果以及各目标对象图像对应的空间位置参数进行特征点匹配,构建目标对象的稀疏点云;

    29、对所述稀疏点云进行稠密化,得到目标对象的稠密点云;

    30、基于所述稠密点云构建目标对象的三维网格;

    31、对所述目标对象图像进行特征提取,并基于特征提取结果对三维网格进行纹理映射,构建得到所述三维模型。

    32、在本说明书的一些实施例中,对目标背景图像和用户图像进行融合,生成所述目标用户对应的目标图像,包括:

    33、利用主色度选择器对所述用户图像中的背景色进行检测,确定所述用户图像中颜色满足预设背景色区间的多个第一像素;

    34、计算各第一像素的颜色与目标背景色的相似度;

    35、基于各第一像素的相似度以及用户图像中的第一像素,生成第一遮罩图;

    36、对所述第一遮罩图进行翻转操作,得到用于对标用户的图像进行遮罩的第二遮罩图;

    37、利用次级色度选择器检测得到所述用户图像中与背景色的颜色差满足预设颜色阈值的第二目标像素,并基于所述第二目标像素生成第三遮罩图,所述第三遮罩图用于标识所述用户图像中的光晕抑制区;

    38、基于所述第三遮罩图对所述用户图像进行光晕抑制,得到光晕抑制图像;

    39、基于所述光晕抑制图像、所述第二遮罩图以及目标背景图像,生成所述目标图像。

    40、在本说明书的一些实施例中,基于所述第三遮罩图对所述用户图像进行光晕抑制,得到光晕抑制图像,包括:

    41、计算所述用户图像中各像素点的红色通道值、绿色通道值以及蓝色通道值;

    42、基于各像素点的蓝色通道值和红色通道值,计算红蓝通道的平均值;

    43、基于所述第三遮罩图中光晕抑制区内各像素点的绿色通道值与平均值的差异,确定光晕抑制区内各像素点进行光晕抑制后的绿色通道值;

    44、基于光晕抑制区内各像素点进行光晕抑制后的绿色通道值、用户图像中各像素点的红色通道值和蓝色通道值以及非光晕抑制区内各像素点的绿色通道值,生成光晕抑制图像。

    45、本说明书第二方面提供了一种图像处理装置,包括:

    46、第一获取模块,用于获取目标对象的多张待处理图像,所述多张待处理图像对应所述目标对象的多个视角;

    47、模型构建模块,用于对所述多张待处理图像进行处理,并基于处理结果对所述目标对象进行三维重建,得到所述目标对象的三维模型;

    48、第二获取模块,用于将所述三维模型向目标用户展示,并获取目标用户的用户图像以及所述目标用户对所述三维模型的显示参数的调整操作;

    49、背景生成模块,用于基于所述调整操作对所述三维模型的显示参数进行调整,得到目标背景图像;

    50、图像融合模块,用于对目标背景图像和用户图像进行融合,生成所述目标用户对应的目标图像。

    51、本说明书第三方面提供了一种电子设备,包括:存储器和处理器,所述处理器和所述存储器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而实现上述方法的步骤。

    52、本说明书第四方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序指令,所述计算机程序指令被处理器执行时实现上述方法的步骤。

    53、本说明书实施例提供的图像处理方法,获取目标对象的多张待处理图像,多张待处理图像对应目标对象的多个视角;对多张待处理图像进行处理,并基于处理结果对目标对象进行三维重建,得到目标对象的三维模型;将三维模型向目标用户展示,并获取目标用户的用户图像以及目标用户对三维模型的显示参数的调整操作;基于调整操作对三维模型的显示参数进行调整,得到目标背景图像;对目标背景图像和用户图像进行融合,生成目标用户对应的目标图像。通过上述方法,用户无需到实景中,也无需考虑时间、天气、人员密集度等拍摄条件限制,可以真实模拟拍摄环境;并且,用户可以基于需求对目标对象的三维模型的显示参数进行调整,选择合适的拍摄点进行拍摄,实现用户的影像与场景的虚拟结合,使得用户可以通过虚拟环境参与实景拍摄过程中,无需考虑拍摄条件的限制,可以提高用户体验。


    技术特征:

    1.一种图像处理方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,对所述多张待处理图像进行处理,并基于处理结果对所述目标对象进行三维重建,得到所述目标对象的三维模型,包括:

    3.根据权利要求2所述的方法,其特征在于,对预处理后的多张待处理图像进行图像分割,提取预处理后的多张待处理图像中目标对象图像,包括:

    4.根据权利要求3所述的方法,其特征在于,所述检测模型通过以下方式训练得到:

    5.根据权利要求2所述的方法,其特征在于,基于多张目标对象图像以及各目标对象图像对应的空间位置参数,对所述目标对象进行三维重建,得到所述三维模型,包括:

    6.根据权利要求1所述的方法,其特征在于,对目标背景图像和用户图像进行融合,生成所述目标用户对应的目标图像,包括:

    7.根据权利要求6所述的方法,其特征在于,基于所述第三遮罩图对所述用户图像进行光晕抑制,得到光晕抑制图像,包括:

    8.一种图像处理装置,其特征在于,包括:

    9.一种电子设备,其特征在于,包括:

    10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序指令,所述计算机程序指令被处理器执行时实现权利要求1至7任一项所述方法的步骤。


    技术总结
    本申请提供了一种图像处理方法、装置以及设备,包括获取目标对象的多张待处理图像,多张待处理图像对应目标对象的多个视角;对多张待处理图像进行处理,并基于处理结果对目标对象进行三维重建,得到目标对象的三维模型;将三维模型像目标用户展示,并获取目标用户的用户图像以及目标用户对三维模型的显示参数的调整操作;基于调整操作对三维模型的显示参数进行调整,得到目标背景图像;对目标背景图像和用户图像进行融合,生成目标用户对应的目标图像。通过上述方法,可以实现用户的影像与场景的虚拟结合,使得用户可以通过虚拟环境参与实景拍摄过程中,无需考虑拍摄条件的限制,可以提高用户体验。

    技术研发人员:鲁永泉,穆凯辉,王祁
    受保护的技术使用者:苏州创意云网络科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-29409.html

    最新回复(0)