本申请涉及图像处理,特别是涉及一种去反光模型训练方法、去反光方法及装置。
背景技术:
1、生活中拍摄的包含眼镜的图片,常常会出现眼镜反光的现象,影响图片美观。对于这种眼镜图片的反光现象,一个常用的处理方法是通过ps(photoshop)等图像处理工具对图片中有反光的局部区域进行手动涂抹。然而,人工手动涂抹的方法在实际操作时很不便捷,还可能导致图片出现更多的瑕疵。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种去反光模型训练方法、去反光方法及装置,能够去除图片中的眼镜反光。
2、第一方面,本申请提供了一种去反光模型训练方法,方法包括:
3、基于不反光眼镜图像和模拟镜片反光图像,获得模拟反光配对数据;
4、基于真实反光眼镜图像和真实去反光眼镜图像,获得真实反光配对数据;
5、将模拟反光配对数据和真实反光配对数据随机输入待训练模型,并采用预设损失函数进行弱监督训练,基于预设损失函数的输出值对待训练模型的参数进行调整,得到去反光模型。
6、在其中一个实施例中,基于不反光眼镜图像和模拟镜片反光图像,获得模拟反光配对数据,包括:
7、以眼镜区域为目标对不反光眼镜图像进行区域分割,得到镜片蒙版;
8、基于模拟反光区域蒙版,融合反射图像与不反光眼镜图像,得到模拟镜片反光图像;模拟反光区域蒙版为对镜片蒙版进行随机分割处理得到;反射图像包括多个颜色不同的纯色图像;
9、根据不反光眼镜图像、模拟镜片反光图像以及模拟反光区域蒙版,获得模拟反光配对数据。
10、在其中一个实施例中,将模拟反光配对数据和真实反光配对数据随机输入待训练模型,并采用预设损失函数进行弱监督训练,基于预设损失函数的输出值对待训练模型的参数进行调整,包括:
11、基于输入的模拟反光配对数据和真实反光配对数据,获得待训练模型输出的预测反光区域蒙版和预测去反光图像;
12、利用预设损失函数基于预测反光区域蒙版和预测去反光图像计算预设损失函数的输出值,基于预设损失函数的输出值对待训练模型的参数进行调整。
13、在其中一个实施例中,预设损失函数包括第一预设损失函数和第二预设损失函数,利用预设损失函数基于预测反光区域蒙版和预测去反光图像计算预设损失函数的输出值,包括:
14、响应于向待训练模型输入模拟反光配对数据,利用第一预设损失函数,基于预测反光区域蒙版、预测去反光图像以及模拟反光配对数据,计算第一预设损失函数的输出值;
15、响应于向待训练模型输入真实反光配对数据,利用第二预设损失函数,基于预测反光区域蒙版和预测去反光图像以及真实反光配对数据,计算第二预设损失函数的输出值。
16、在其中一个实施例中,第一预设损失函数如下:
17、
18、其中,loss1为第一预设损失函数的输出值,为均方差损失,l1为平均绝对误差损失,为预测反光区域蒙版,为预测去反光图像;为对应于模拟镜片反光图像的模拟反光区域蒙版;为不反光眼镜图像,为第一预设损失函数中的均方差损失的权重,y为第一预设损失函数中的平均绝对误差损失的权重。
19、在其中一个实施例中,利用第二预设损失函数,基于预测反光区域蒙版和预测去反光图像以及真实反光配对数据,计算第二预设损失函数的输出值,包括:
20、对真实反光眼镜图像与真实去反光眼镜图像进行差值处理,获得差值图像;
21、阈值化处理差值图像,得到近似反光区域蒙版;
22、基于真实反光配对数据、近似反光区域蒙版、预测反光区域蒙版和预测去反光图像,利用第二预设损失函数计算预设损失函数的输出值;第二预设损失函数如下:
23、
24、其中,loss2为第二预设损失函数输出值,为均方差损失,l1为平均绝对误差损失,为预测反光区域蒙版,为预测去反光图像;为对应于真实反光眼镜图像的近似反光区域蒙版;为真实去反光眼镜图像,为第二预设损失函数中均方差损失的权重,y为第二预设损失函数中平均绝对误差损失的权重。
25、第二方面,本申请提供了一种去反光方法,方法包括:
26、获取待处理图像;
27、将待处理的反光眼镜图像输入第一方面任一的去反光模型以进行去反光处理,获得去反光图像。
28、第三方面,本申请提供了一种去反光模型训练装置,装置包括:
29、模拟反光配对数据获取模块,用于基于不反光眼镜图像和模拟镜片反光图像,获得模拟反光配对数据;
30、真实反光配对数据获取模块,用于基于真实反光眼镜图像和真实去反光眼镜图像,获得真实反光配对数据;
31、训练模块,用于将所述模拟反光配对数据和所述真实反光配对数据随机输入待训练模型,并采用预设损失函数进行弱监督训练,基于所述预设损失函数的输出值对所述待训练模型的参数进行调整,得到去反光模型。
32、第四方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面以及第二方面任一项的方法的步骤。
33、第五方面,本申请提供了一种电子设备,包括:
34、存储器,用于存储有电子设备的一个或多个处理器执行的指令;
35、以及处理器,是电子设备的处理器之一,用于执行存储其中存储的指令以实现第一方面以及第二方面任一所述的方法。
36、上述去反光模型训练方法、去反光方法、去反光模型训练装置、可读存储介质、计算机程序产品以及电子设备,将模拟反光配对数据以及真实反光配对数据输入待训练模型,利用预设损失函数进行弱监督训练,并基于所述预设损失函数的输出值对所述待训练模型的参数进行调整,从而获得去反光模型。通过上述方式,提供了一种有效的去反光模型训练框架,所获得的去反光模型能够对输入的待处理图像进行自动去反光处理,从而提高了去反光处理的便捷性与准确度。
1.一种去反光模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述方法,其特征在于,所述基于不反光眼镜图像和模拟镜片反光图像,获得模拟反光配对数据,包括:
3.根据权利要求2所述方法,其特征在于,所述将所述模拟反光配对数据和所述真实反光配对数据随机输入待训练模型,并采用预设损失函数进行弱监督训练,基于所述预设损失函数的输出值对所述待训练模型的参数进行调整,包括:
4.根据权利要求3所述方法,其特征在于,所述预设损失函数包括第一预设损失函数和第二预设损失函数,所述利用所述预设损失函数基于所述预测反光区域蒙版和所述预测去反光图像计算所述预设损失函数的输出值,包括:
5.根据权利要求4所述方法,其特征在于,所述第一预设损失函数如下:
6.根据权利要求4所述方法,其特征在于,所述利用所述第二预设损失函数,基于所述预测反光区域蒙版和所述预测去反光图像以及所述真实反光配对数据,计算所述第二预设损失函数的输出值,包括:
7.一种去反光方法,其特征在于,所述方法包括:
8.一种去反光模型训练装置,其特征在于,所述装置包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种电子设备,其特征在于,包括: