本公开涉及图像处理,尤其涉及一种图像处理方法、装置、摄像设备及存储介质。
背景技术:
1、电子设备在不同光照环境下拍摄某个对象时,拍摄出的图像呈现的该对象的颜色不同。因此,需要对拍摄的图像进行白平衡矫正,以解决拍摄对象色彩失真的问题。白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。
2、相关技术中,在对图像中的人像进行白平衡处理时,通常是通过预设的阈值和像素点的rgb(red green blue,红绿蓝)参数或者hsv(hue saturation value,色调饱和度明度)参数,判断像素点是否是肤色像素点,然后根据确定的肤色像素点确定进行白平衡处理时所采用的参数。但是,这种依据预设的阈值进行判断的方式,容易受到光照或者人像本身肤色的影响,导致确定的肤色像素点的准确性较差,从而导致白平衡效果较差。
技术实现思路
1、为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、电子设备及存储介质。
2、根据本公开实施例的第一方面,提供一种图像处理方法,
3、对第一图像进行对象分割,得到第二图像,所述第二图像包括多个第一像素点和多个第二像素点,所述对象为具有颜色恒常的对象;
4、根据所述多个第一像素点对应的像素值,确定白平衡矫正系数;
5、基于所述白平衡矫正系数,对所述第一图像进行白平衡矫正,得到第三图像。
6、在一些实施例中,所述对第一图像进行对象分割,得到第二图像,包括:
7、调用语义分割模型,对所述第一图像进行对象分割,得到所述第二图像,所述语义分割模型用于对图像进行对象分割。
8、在一些实施例中,所述语义分割模型包括编码器和解码器,所述调用语义分割模型,对所述第一图像进行人像肤色分割,得到所述第二图像,包括:
9、调用所述编码器,对所述第一图像进行特征提取,得到图像特征;
10、调用所述解码器,对所述第一图像特征进行解码,得到所述第二图像。
11、在一些实施例中,所述编码器包括依次连接的多个下采样网络,所述调用所述编码器,对所述第一图像进行特征提取,得到图像特征,包括:
12、调用第一个所述下采样网络,对所述第一图像进行下采样,得到第一个下采用特征;
13、对于除第一个下采样网络之外的所述下采样网络,调用所述下采样网络,对上一个所述下采样网络输出的下采样特征进行下采样,得到下一个下采样特征,直至得到所述多个下采样网络中的最后一个下采样网络输出的最后一个下采样特征,将所述最后一个下采样特征作为所述图像特征。
14、在一些实施例中,所述下采样网络包括第一卷积层和池化层;所述第一卷积层用于对输入的第一图像或下采样特征进行卷积处理,得到卷积特征;所述池化层用于对所述卷积特征进行处理,得到所述下采样特征。
15、在一些实施例中,所述解码器包括依次连接的多个上采样网络和第二卷积层,所述调用所述解码器,对所述第一图像特征进行解码,得到所述第二图像,包括:
16、调用第一个所述上采样网络,对所述图像特征和最后一个所述下采样网络中输出的卷积特征进行上采样,得到第一个上采样特征;
17、对于除第一个上采样网络之外的所述上采样网络,调用所述上采样网络,对上一个所述上采样网络输出的上采样特征和对应的所述下采样网络输出的卷积特征进行上采样,得到下一个上采样特征,直至得到所述多个上采样网络中的最后一个上采样网络输出的最后一个上采样特征;其中,所述上采样网络对应的下采样网络输出的卷积特征和上一个所述上采样网络输出的上采样特征中的图像通道数相同;
18、调用所述第二卷积层,对所述最后一个上采样特征进行卷积处理,得到所述第二图像。
19、在一些实施例中,所述上采样网络包括反卷积层、拼接层和第三卷积层;所述反卷积层用于对输入的所述图像特征或者上采样特征进行反卷积处理,得到反卷积特征;所述拼接层用于将所述反卷积特征与对应的所述下采样网络输出的卷积特征进行拼接,得到拼接特征;所述第三卷积层用于对所述拼接特征进行卷积处理,得到所述上采样特征。
20、在一些实施例中,所述对象为人像肤色,所述第一像素点为肤色像素点,所述第二像素点为非肤色像素点。
21、在一些实施例中,所述肤色像素点对应的像素值包括第一通道的第一参数、第二通道的第二参数和第三通道的第三参数,所述根据所述多个第一像素点对应的像素值,确定白平衡矫正系数,包括:
22、根据所述多个肤色像素点对应的像素值,确定多个所述第一参数的第一平均值、多个所述第二参数的第二平均值和多个所述第三参数的第三平均值;
23、确定所述第一平均值与所述第二平均值之间的第一比值,以及所述第三平均值与所述第二平均值之间的第二比值;
24、基于所述第一比值,确定第一矫正系数,基于所述第二比值,确定第二矫正系数。
25、在一些实施例中,所述基于所述白平衡矫正系数,对所述第一图像进行白平衡矫正,得到第三图像,包括:
26、基于所述第一矫正系数,对所述第一图像中的第一通道进行白平衡矫正,基于所述第二矫正系数,对所述第一图像中的第三通道进行白平衡矫正,得到所述第三图像。
27、在一些实施例中,所述基于所述第一比值,确定第一矫正系数,基于所述第二比值,确定第二矫正系数,包括:
28、基于所述第一图像中的人像所属的类别,获取所述类别对应的第一色温曲线,所述第一色温曲线位于坐标系中,所述坐标系的横坐标为第一参数与第三参数之间的比值,纵坐标为第二参数与第三参数之间的比值,所述第一色温曲线中包括不同光源对应的第一坐标点;
29、获取第二色温曲线,所述第二色温曲线位于所述坐标系中,所述第二色温曲线中包括不同光源下对应的第二坐标点;
30、基于所述坐标系中的第一位置点、所述第一色温曲线中的两个第一坐标点和所述第二色温曲线中的两个第二坐标点,采用三角映射法,确定所述第一位置点对应的第二位置点,所述第一位置点为所述第一比值和所述第二比值构成的点,所述两个第一坐标点与所述第一位置点之间的距离大于其他第一坐标点与所述第一位置点之间的距离,且所述两个第一坐标点和所述两个第二坐标点对应的光源相同;
31、基于所述第二位置点的横坐标,确定所述第一矫正系数,基于所述第二位置点的纵坐标,确定所述第二矫正系数。
32、在一些实施例中,所述基于所述第二位置点的横坐标,确定所述第一矫正系数,基于所述第二位置点的纵坐标,确定所述第二矫正系数,包括:
33、将所述第二位置点的横坐标的倒数,确定为所述第一矫正系数;
34、将所述第二位置点的纵坐标的倒数,确定为所述第二矫正系数。
35、根据本公开实施例的第二方面,提供一种图像处理装置,所述装置包括:
36、分割模块,被配置为对第一图像进行对象分割,得到第二图像,所述第二图像包括多个第一像素点和多个第二像素点,所述对象为具有颜色恒常的对象;
37、矫正系数确定模块,被配置为根据所述多个第一像素点对应的像素值,确定白平衡矫正系数;
38、白平衡矫正模块,被配置为基于所述白平衡矫正系数,对所述第一图像进行白平衡矫正,得到第三图像。
39、在一些实施例中,所述分割模块,被配置为:
40、调用语义分割模型,对所述第一图像进行对象分割,得到所述第二图像,所述语义分割模型用于对图像进行对象分割。
41、在一些实施例中,所述语义分割模型包括编码器和解码器,所述分割模块,被配置为:
42、调用所述编码器,对所述第一图像进行特征提取,得到图像特征;
43、调用所述解码器,对所述第一图像特征进行解码,得到所述第二图像。
44、在一些实施例中,所述编码器包括依次连接的多个下采样网络,所述分割模块,被配置为:
45、调用第一个所述下采样网络,对所述第一图像进行下采样,得到第一个下采用特征;
46、对于除第一个下采样网络之外的所述下采样网络,调用所述下采样网络,对上一个所述下采样网络输出的下采样特征进行下采样,得到下一个下采样特征,直至得到所述多个下采样网络中的最后一个下采样网络输出的最后一个下采样特征,将所述最后一个下采样特征作为所述图像特征。
47、在一些实施例中,所述下采样网络包括第一卷积层和池化层;所述第一卷积层用于对输入的第一图像或下采样特征进行卷积处理,得到卷积特征;所述池化层用于对所述卷积特征进行处理,得到所述下采样特征。
48、在一些实施例中,所述解码器包括依次连接的多个上采样网络和第二卷积层,所述分割模块,被配置为:
49、调用第一个所述上采样网络,对所述图像特征和最后一个所述下采样网络中输出的卷积特征进行上采样,得到第一个上采样特征;
50、对于除第一个上采样网络之外的所述上采样网络,调用所述上采样网络,对上一个所述上采样网络输出的上采样特征和对应的所述下采样网络输出的卷积特征进行上采样,得到下一个上采样特征,直至得到所述多个上采样网络中的最后一个上采样网络输出的最后一个上采样特征;其中,所述上采样网络对应的下采样网络输出的卷积特征和上一个所述上采样网络输出的上采样特征中的图像通道数相同;
51、调用所述第二卷积层,对所述最后一个上采样特征进行卷积处理,得到所述第二图像。
52、在一些实施例中,所述上采样网络包括反卷积层、拼接层和第三卷积层;所述反卷积层用于对输入的所述图像特征或者上采样特征进行反卷积处理,得到反卷积特征;所述拼接层用于将所述反卷积特征与对应的所述下采样网络输出的卷积特征进行拼接,得到拼接特征;所述第三卷积层用于对所述拼接特征进行卷积处理,得到所述上采样特征。
53、在一些实施例中,所述对象为人像肤色,所述第一像素点为肤色像素点,所述第二像素点为非肤色像素点。
54、在一些实施例中,所述肤色像素点对应的像素值包括第一通道的第一参数、第二通道的第二参数和第三通道的第三参数,所述矫正系数确定模块,被配置为:
55、根据所述多个肤色像素点对应的像素值,确定多个所述第一参数的第一平均值、多个所述第二参数的第二平均值和多个所述第三参数的第三平均值;
56、确定所述第一平均值与所述第二平均值之间的第一比值,以及所述第三平均值与所述第二平均值之间的第二比值;
57、基于所述第一比值,确定第一矫正系数,基于所述第二比值,确定第二矫正系数。
58、在一些实施例中,所述白平衡矫正模块,被配置为:
59、基于所述第一矫正系数,对所述第一图像中的第一通道进行白平衡矫正,基于所述第二矫正系数,对所述第一图像中的第三通道进行白平衡矫正,得到所述第三图像。
60、在一些实施例中,所述矫正系数确定模块,被配置为:
61、基于所述第一图像中的人像所属的类别,获取所述类别对应的第一色温曲线,所述第一色温曲线位于坐标系中,所述坐标系的横坐标为第一参数与第三参数之间的比值,纵坐标为第二参数与第三参数之间的比值,所述第一色温曲线中包括不同光源对应的第一坐标点;
62、获取第二色温曲线,所述第二色温曲线位于所述坐标系中,所述第二色温曲线中包括不同光源下对应的第二坐标点;
63、基于所述坐标系中的第一位置点、所述第一色温曲线中的两个第一坐标点和所述第二色温曲线中的两个第二坐标点,采用三角映射法,确定所述第一位置点对应的第二位置点,所述第一位置点为所述第一比值和所述第二比值构成的点,所述两个第一坐标点与所述第一位置点之间的距离大于其他第一坐标点与所述第一位置点之间的距离,且所述两个第一坐标点和所述两个第二坐标点对应的光源相同;
64、基于所述第二位置点的横坐标,确定所述第一矫正系数,基于所述第二位置点的纵坐标,确定所述第二矫正系数。
65、在一些实施例中,所述矫正系数确定模块,被配置为:
66、将所述第二位置点的横坐标的倒数,确定为所述第一矫正系数;
67、将所述第二位置点的纵坐标的倒数,确定为所述第二矫正系数。
68、根据本公开实施例的第三方面,提供一种电子设备,包括:
69、处理器;
70、用于存储处理器可执行指令的存储器;
71、其中,所述处理器被配置为执行如本公开实施例的第一方面中所述的图像处理方法。
72、根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如本公开实施例的第一方面中所述的图像处理方法。
73、采用本公开的上述方法,具有以下有益效果:
74、本公开实施例提供的方法,对第一图像进行对象分割,得到第二图像,该第二图像包括多个第一像素点和多个第二像素点,其中对象为具有颜色恒常的对象,相比于相关技术中基于预设的阈值判断像素点是否是第一像素点的方式,采用对象分割确定的第一像素点更加准确,从而,根据第一像素点对应的像素值,确定的白平衡矫正系数更准确,进而基于白平衡矫正系数对第一图像进行白平衡矫正,得到第三图像,该第三图像的白平衡效果更好。
75、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
1.一种图像处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的图像处理方法,其特征在于,所述对第一图像进行对象分割,得到第二图像,包括:
3.根据权利要求2所述的图像处理方法,其特征在于,所述语义分割模型包括编码器和解码器,所述调用语义分割模型,对所述第一图像进行对象分割,得到所述第二图像,包括:
4.根据权利要求3所述的图像处理方法,其特征在于,所述编码器包括依次连接的多个下采样网络,所述调用所述编码器,对所述第一图像进行特征提取,得到图像特征,包括:
5.根据权利要求4所述的图像处理方法,其特征在于,所述下采样网络包括第一卷积层和池化层;所述第一卷积层用于对输入的第一图像或下采样特征进行卷积处理,得到卷积特征;所述池化层用于对所述卷积特征进行处理,得到所述下采样特征。
6.根据权利要求5所述的图像处理方法,其特征在于,所述解码器包括依次连接的多个上采样网络和第二卷积层,所述调用所述解码器,对所述第一图像特征进行解码,得到所述第二图像,包括:
7.根据权利要求6所述的图像处理方法,其特征在于,所述上采样网络包括反卷积层、拼接层和第三卷积层;所述反卷积层用于对输入的所述图像特征或者上采样特征进行反卷积处理,得到反卷积特征;所述拼接层用于将所述反卷积特征与对应的所述下采样网络输出的卷积特征进行拼接,得到拼接特征;所述第三卷积层用于对所述拼接特征进行卷积处理,得到所述上采样特征。
8.根据权利要求1所述的图像处理方法,其特征在于,所述对象为人像肤色,所述第一像素点为肤色像素点,所述第二像素点为非肤色像素点。
9.根据权利要求8所述的图像处理方法,其特征在于,所述肤色像素点对应的像素值包括第一通道的第一参数、第二通道的第二参数和第三通道的第三参数,所述根据所述多个第一像素点对应的像素值,确定白平衡矫正系数,包括:
10.根据权利要求9所述的图像处理方法,其特征在于,所述基于所述白平衡矫正系数,对所述第一图像进行白平衡矫正,得到第三图像,包括:
11.根据权利要求9所述的图像处理方法,其特征在于,所述基于所述第一比值,确定第一矫正系数,基于所述第二比值,确定第二矫正系数,包括:
12.根据权利要求11所述的图像处理方法,其特征在于,所述基于所述第二位置点的横坐标,确定所述第一矫正系数,基于所述第二位置点的纵坐标,确定所述第二矫正系数,包括:
13.一种图像处理装置,其特征在于,所述装置包括:
14.一种电子设备,其特征在于,包括:
15.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1-12中任一项所述的图像处理方法。
