图像处理方法、装置以及存储介质与流程

1.本公开涉及显示技术领域，尤其涉及一种图像处理方法、装置以及存储介质。


背景技术：

2.在分享一组照片时，经常会将这组照片制成拼图图像或照片电影等的形式来进行展示，这样在一个展示单元就可以展示出多张照片。但目前对照片的编辑处理中，都是根据用户选择的布局方案，直接选取照片中的部分区域来制作拼图或照片电影，很容易导致照片中的对象变得不突出和不完整，且照片区域质量较差。而为了达到更好的呈现效果，需要用户手动调整，可能最终也无法调整至满意状态。


技术实现要素：

3.本公开提供一种图像处理方法、装置以及存储介质。
4.根据本公开实施例的第一方面，提供一种图像处理方法，包括：
5.检测原始图像的第一显著区域；其中，所述第一显著区域为满足显著性条件的图像区域；
6.对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；
7.对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；
8.根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。
9.可选地，所述满足显著性条件的图像区域，包括以下之一：
10.原始图像所包含的对象中目标对象的成像所在图像区域；
11.原始图像所包含的图像特征最多的图像区域；
12.原始图像所包含的图像特征清晰度最高的图像区域。
13.可选地，所述检测原始图像的第一显著区域，包括：
14.根据预设的满足显著性条件的掩膜对所述原始图像进行检测，检测得到所述原始图像的第一显著区域。
15.可选地，不同的第二显著区域中第一显著区域的位置不同；
16.和/或；
17.不同的第二显著区域中第一显著区域的形状参数不变。
18.可选地，所述对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域，包括：
19.根据接收的图像处理指令，确定目标形状参数；
20.根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域。
21.可选地，所述根据所述目标形状参数对所述第一显著区域进行调整，得到满足目
标形状参数且包含有所述第一显著区域的第二显著区域，包括：
22.根据所述目标形状参数，将所述原始图像的第一显著区域向四周扩大，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域。
23.可选地，所述图像处理指令包括：制作拼图图像的第一指令；
24.所述根据接收的图像处理指令，确定目标形状参数，包括：
25.根据所述第一指令，确定待制作的拼图图像的布局信息和所述布局信息中各个位置的图像的形状参数；
26.根据所述各个位置的图像的形状参数，确定所述原始图像对应的目标形状参数。
27.可选地，所述图像处理指令包括：制作照片电影的第二指令；
28.所述根据接收的图像处理指令，确定目标形状参数，包括：
29.根据所述第二指令，确定待制作的照片电影中各个画面的出现次序和各个出现次序对应的图像的形状参数；
30.根据各个出现次序对应的图像的形状参数，确定所述原始图像对应的目标形状参数。
31.可选地，所述对不同的第二显著区域进行美学评分，包括：
32.基于预设的美学评价模型，对不同的第二显著区域进行处理，得到不同的第二显著区域对应的美学评分；其中，所述美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到。
33.根据本公开实施例的第二方面，提供一种图像处理装置，包括：
34.检测模块，用于检测原始图像的第一显著区域；其中，所述第一显著区域为满足显著性条件的图像区域；
35.调整模块，用于对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；
36.评分模块，用于对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；
37.生成模块，用于根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。
38.可选地，所述满足显著性条件的图像区域，包括以下之一：
39.原始图像所包含的对象中目标对象的成像所在图像区域；
40.原始图像所包含的图像特征最多的图像区域；
41.原始图像所包含的图像特征清晰度最高的图像区域。
42.可选地，所述检测模块，包括：
43.根据预设的满足显著性条件的掩膜对所述原始图像进行检测，检测得到所述原始图像的第一显著区域。
44.可选地，不同的第二显著区域中第一显著区域的位置不同；
45.和/或；
46.不同的第二显著区域中第一显著区域的形状参数不变。
47.可选地，所述调整模块，包括：
48.确定模块，用于根据接收的图像处理指令，确定目标形状参数；
49.调整子模块，用于根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域。
50.可选地，所述调整子模块，包括：
51.扩大处理模块，用于根据所述目标形状参数，将所述原始图像的第一显著区域向四周扩大，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域。
52.可选地，所述图像处理指令包括：制作拼图图像的第一指令；
53.所述确定模块，还用于：
54.根据所述第一指令，确定待制作的拼图图像的布局信息和布局信息中各个位置的图像的形状参数；
55.根据所述各个位置的图像的形状参数，确定所述原始图像对应的目标形状参数。
56.可选地，所述图像处理指令包括：制作照片电影的第二指令；
57.所述确定模块，还用于：
58.根据所述第二指令，确定待制作的照片电影中各个画面的出现次序和各个出现次序对应的图像的形状参数；
59.根据各个出现次序对应的图像的形状参数，确定所述原始图像对应的目标形状参数。
60.可选地，所述评分模块，包括：
61.评分子模块，用于基于预设的美学评价模型，对不同的第二显著区域进行处理，得到不同的第二显著区域对应的美学评分；其中，所述美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到。
62.根据本公开实施例的第三方面，提供一种图像处理装置，包括：
63.处理器；
64.用于存储处理器可执行指令的存储器；
65.其中，所述处理器被配置为：执行所述存储器中存储的可执行指令时，实现上述第一方面的任一项所述的方法。
66.根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面任一项提供的方法中的步骤。
67.本公开的实施例提供的技术方案可以包括以下有益效果：
68.本公开实施例提供的图像处理方法，在检测出原始图像的第一显著区域后，通过对第一显著区域进行调整来获取符合条件的第二显著区域，并选取出美学评分最高的第二显著区域来对原始图像进行截图生成目标图像。这样，由于先检测出了原始图像中满足显著性条件的显著区域，使得对原始图像的处理保留了原始图像所包含的重要部分，可以有效改善对当前的图片处理中，都是选取图片的中间区域所导致的图片不完整情况。并且，由于对第一显著区域进行调整得到第二显著区域的方式有多种，那么对不同的第二显著区域进行美学评分，通过美学评分最高的第二显著区域来截图，就可以使得截取出的目标图像的显示效果更好。除此之外，由于是自动检测图像的显著区域，无需用户进行手动调整，用户体验更佳。
69.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不
能限制本公开。
附图说明
70.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
71.图1是根据一示例性实施例示出的一种图像处理方法的流程图一。
72.图2为第一显著区域和第二显著区域的示意图。
73.图3是3幅不同的扩大方式得到的第二显著区域的示意图。
74.图4是根据一示例性实施例示出的一种图像处理方法的流程图二。
75.图5是根据一示例性实施例示出的一种图像处理方法的流程图三。
76.图6是根据一示例性实施例示出的一种图像处理装置的结构示意图。
77.图7是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
78.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
79.本公开实施例提供一种图像处理方法，图1是根据一示例性实施例示出的一种图像处理方法的流程图一，如图1所示，该图像处理方法包括以下步骤：
80.步骤101，检测原始图像的第一显著区域；其中，第一显著区域为满足显著性条件的图像区域；
81.步骤102，对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；
82.步骤103，对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；
83.步骤104，根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。
84.需要说明的是，该图像处理方法可以应用于任意的电子设备；例如，智能手机，平板电脑，台式电脑或数码相机等。
85.本公开实施例中，该第一显著区域是指原始图像中的满足显著性条件的图像区域。而满足显著性条件的图像区域是能够体现出原始图像特点的区域。
86.例如，假设原始图像为小猫照片，则原始图像的第一显著区域就是指原始图像中小猫的成像所在的图像区域。再例如，原始图像为包含大树的风景照片，如果大树的图像特征最多，则原始图像的第一显著区域就是指大树所在的图像区域。还例如，原始图像中如果是风景图像，处于远方的景物的清晰度较低，此时可以将图像特征清晰度最高的图像区域，确定为第一显著区域。
87.所述第一显著区域可为所述原始图像中连通的一个图像区域，也可以是所述原始图像中不连通的多个子区域构成，此时，单个子区域的各部分是连通的。
88.为了检测出原始图像的第一显著区域，在一个实施例中，可以通过预设的神经网络模型对原始图像进行处理来确定第一显著区域。
89.在一些实施例中，该预设的神经网络模型可以是卷积神经网络(convolutional neural network，cnn)，或，残差神经网络(residual neural network，resnet)等。
90.以预设的神经网络模型为cnn为例，该检测原始图像的第一显著区域，可以是：确定出待提取的感兴趣区域对应的掩膜；通过该掩膜对应的二维矩阵数组与原始图像的图像矩阵相乘，确定感兴趣区域。具体实现方式在后续进行说明。本公开对检测出第一显著区域的方式不作限定。
91.在确定出第一显著区域后，由于第一显著区域是原始图像中能够代表图像特点的区域，那么通过该第一显著区域来对原始图像进行截图，生成目标图像后，就可以使得生成的目标图像保留有图像所包含的重要部分，如此可以有效改善对当前的图片分享处理中，都是选取图片的中间区域所导致的图片不完整情况，可以基于检测出的显著区域使得截取出的目标图像的显示效果更好。
92.这里，第一显著区域的区域形状可以是矩形、圆形或椭圆形等规则形状。还可以是目标对象的轮廓形状；例如，小猫照片中小猫的轮廓形状。或者还可以是根据目标图像的生成需求，截取出的形状。
93.本公开实施例中，为了使得生成的目标图像具备更好的显示效果，且满足实际的处理需要，可以在检测出原始图像的第一显著区域后，对第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域。
94.该目标形状参数是指目标应用场景下原始图像上待截取的区域的形状参数。
95.该形状参数用于指示区域的形状。
96.在一些实施例中，目标形状参数可包括目标长宽比、目标直径或目标长短轴长度等参数。例如，假设第一显著区域为矩形，那么第一显著区域的形状参数可以通过矩形的长宽比来表征。还例如，假设第一显著区域为圆形，那么第一显著区域的形状参数可以通过圆形的半径或直径参数来表征。
97.这里的目标应用场景至少包括：制作拼图图像的场景或制作照片电影的场景。
98.在基于该原始图像来制作拼图图像或制作照片电的场景中，由于原始图像中检测出的第一显著区域的形状参数，可能与用户选择的布局信息中该原始图像对应的位置的形状参数不同，那么在利用原始图像制作拼图图像或照片电影时，需要对原始图像的第一显著区域进行调整，以使最终显示在拼图图像或照片电影上的目标图像能满足布局信息中的形状要求。
99.例如，以a、b和c这3幅原始图像制作拼图图像为例，假设选择的w布局方式，w布局方式中a位于拼图图像的左上角，对应的显示形状为长方形，长宽比为4:3，b和c位于拼图图像的下半边图像区域，其中，b和c对应的显示形状也长方形，b的长宽比为1:1，c的长宽比为1:3。假设原始图像a中检测出的第一显著区域为长方形，且长宽比为1:1，而由于待制作的拼图图像中a对应的长宽比为4:3。为了让原始图像制作出的拼图图像的效果更好，需要调整第一显著区域(将第一显著区域由1:1调整至目标长宽比4:3)，使调整后可以得到长宽比为4:3且包含有完整的第一显著区域的第二显著区域。
100.这样，由于第一显著区域是原始图像中满足显著性条件的图像区域，可以体现出
原始图像的特点，那么，对原始图像的第一显著区域进行调整，让调整后的第二显著区域既满足目标形状参数，又包含有第一显著区域，就可以实现对原始图像的处理保留了重要部分，且显示效果符合目标形状参数的要求。
101.进一步地，本公开实施例中，由于对第一显著区域进行调整的方式有很多种，这多种调整方式都可以得到满足目标形状参数且包含有第一显著区域的第二显著区域，即不同的扩大方式圈出的第二显著区域的画面就可能会存在不同。而无论是何种第二显著区域，都包含有第一显著区域。例如，假设原始图像为小猫图像，如果将第一显著区域向左扩大得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内小猫就位于右边。如果将第一显著区域向上扩大得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内小猫就位于下边。那么，小猫处在不同的第二显著区域内，由于位置的不同会呈现出不同的视觉效果。
102.为了选取最好的视觉效果的区域来生成目标图像，本公开实施例在得到不同的第二显示区域后，对这些第二显示区域美学评分，确定出美学评分最高的第二显示区域，将美学评分最高的第二显示区域对原始图像进行截图，生成目标图像。
103.这样，可以根据美学评分最高的第二显著区域得到目标图像，使得显示效果更好。
104.这里，根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像可以是：在原始图像中确定出第二显著区域的边缘位置，在所述边缘位置处进行裁剪，得到目标图像。
105.这里，得到的目标图像的形状可以是矩形或圆形等规则形状。还可以是目标对象的轮廓形状；例如，小猫照片中小猫的轮廓形状。或者还可以是根据目标图像的生成需求，截取出的形状。例如，在基于原始图像制作照片电影时，由于电影中的图像帧为矩形，则目标图像也对应为矩形。而基于原始图像制作拼图图像时，待生成的拼图图像中各位置的形状可能存在区别，且各位置的形状可能是任何的形状，则目标图像设置也设置为对应的形状。
106.在一些实施例中，所述满足显著性条件的图像区域，包括以下之一：
107.原始图像所包含的对象中目标对象的成像所在图像区域；
108.原始图像所包含的图像特征最多的图像区域；
109.原始图像所包含的图像特征清晰度最高的图像区域。
110.这里，原始图像如果是对目标对象进行采集所生成的图像，则原始图像的第一显著区域就是目标对象的成像所在图像区域。例如，原始图像为小猫照片，则原始图像的第一显著区域就是指原始图像中小猫的成像所在的图像区域。
111.原始图像中如果包含很多的对象，可以将很多的对象中图像特征最多的对象所在的区域确定为图像区域。例如，原始图像为包含大树的风景照片，如果大树的图像特征最多，则原始图像的第一显著区域就是指大树所在的图像区域。
112.原始图像中如果是风景图像，处于远方的景物的清晰度较低，此时可以将图像特征清晰度最高的图像区域，确定为第一显著区域。
113.由于第一显著区域是原始图像中的能够代表图像特点的区域，通过第一显示区域对所述原始图像进行截图，可以保留原始图像中的能够体现原始图像特点的区域，使得原始图像的第一显著区域能够完整地应用在后续的处理中。
114.在一些实施例中，所述检测原始图像的第一显著区域，包括：
115.根据预设的满足显著性条件的掩膜对所述原始图像进行检测，检测得到所述原始图像的第一显著区域。
116.本公开实施例中，该预设的满足显著性条件的掩膜包括：感兴趣区域的图像特征对应的掩膜。例如，上述小猫图像中小猫就是感兴趣区域，小猫的图像特征就可以作为预设的掩膜。
117.在一些实施例中，该掩模至少可以是以二维矩阵数组来表征。
118.基于该二维矩阵数组，所述根据预设的满足显著性条件的掩膜对原始图像进行检测，检测得到所述原始图像的第一显著区域，包括：
119.通过预设的掩膜对应的二维矩阵数组与原始图像的图像矩阵进行乘法运算；
120.根据所述乘法运算得到的矩阵数组中的数值，确定原始图像的第一显著区域。
121.这里，所述乘法运算得到的矩阵数组中，数值为1的区域为第一显著区域，而数值为0的区域为非显著区域。如此，可以基于矩阵数组中的数值确定出第一显著区域。
122.在一些实施例中，不同的第二显著区域中第一显著区域的位置不同；
123.和/或；
124.不同的第二显著区域中第一显著区域的形状参数不变。
125.由于不同的调整方式，可以得到不同第二显著区域，那么根据调整方式的不同，不同的第二显著区域中第一显著区域的位置就会不同。
126.并且，例如，如果原始图像为小猫照片，小猫成像所对应的第一显著区域的长宽比为1:1，假设目标形状参数由目标长宽比表征，且目标长宽比为4:3，如果为了让1:1变为4:3，通过压缩长度的方式，就会使第一显著区域的对象失真。
127.为了可以完整的保留住第一显著区域，不会发生为了调整至目标形状参数，而使得第一显著区域的显示形状变化较大从而失真的情况，就需要保持调整后得到的第二显著区域中第一显著区域的形状参数不变，如此，就可以避免调整中的形态失真的情况出现，保障显示效果。
128.在一些实施例中，该所述对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域，包括：
129.根据接收的图像处理指令，确定目标形状参数；
130.根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域。
131.这里，本公开实施例中根据接收的图像处理指令，确定对应的应用场景下原始图像上待截取的区域的形状参数。
132.这里的应用场景至少包括：制作拼图图像的场景或制作照片电影的场景。
133.在基于该原始图像来制作拼图图像或制作照片电影的场景中，基于用户选择的布局信息会触发对应的图像处理指令，根据该图像处理指令可以获知待制作的拼图图像或照片电影中，原始图像对应的位置的目标形状参数。
134.在一些实施例中，所述图像处理指令包括：制作拼图图像的第一指令；
135.所述根据接收的图像处理指令，确定目标形状参数，包括：
136.根据所述第一指令，确定待制作的拼图图像的布局信息和所述布局信息中各个位
置的图像的形状参数；
137.根据所述各个位置的图像的形状参数，确定所述原始图像对应的目标形状参数。
138.在另一些实施例中，所述图像处理指令包括：制作照片电影的第二指令；
139.所述根据接收的图像处理指令，确定目标形状参数，包括：
140.根据所述第二指令，确定待制作的照片电影中各个画面的出现次序和各个出现次序对应的图像的形状参数；
141.根据各个出现次序对应的图像的形状参数，确定所述原始图像对应的目标形状参数。
142.这里，该第一指令或第二指令中携带有基于检测布局选择操作所获取布局信息。而所述目标形状参数是该布局信息中示出的各个位置的图像的形状参数。
143.拼图图像的布局方式包括：多幅幅图像的位置关系和各个位置对应的形状参数。
144.照片电影的布局方式包括：多幅图像的出场次序和各个次序对应的形状参数。
145.这里，拼图图像是将多幅图像按照预设的布局方式，放置在同一画面上所呈现出的图像；照片电影是将多幅图像按照预设的次序进行播放形成的电影。其中，位于拼图图像或照片电影中的多幅图像，在不同的布局中是具备有不同的呈现形状，所处的位置也不同。
146.例如，在制作拼图图像的场景中，接收制作拼图图像的第一指令，根据该第一指令来对多幅原始图像执行拼图处理。在制作拼照片电影的场景中，接收制作照片电影的第二指令，根据该第二指令来对多幅原始图像执行制作照片电影的处理。
147.如此，可以根据接收的图像处理指令的不同，在确定对应位置的图像的形状参数后，基于对应的位置，确定所述原始图像对应的目标形状参数。
148.在一些实施例中，所述根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域，包括：
149.根据所述目标形状参数，将所述原始图像的第一显著区域向四周扩大，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域。
150.由于对原始图像的第一显著区域的调整需要保留住第一显著区域，且第二显著区域包含第一显著区域，那么第二显著区域的显示面积大于第一显著区域的显示面积。那么可以将所述原始图像的第一显著区域向四周扩大，得到满足所述图像比例且包含有所述第一显著区域的第二显著区域。
151.例如，假设第一显著区域为长方形，该长方形的第一显著区域的长宽比为1:1，应用场景为制作拼图图像，且该拼图图像中，该原始图像对应的位置也为长方形，则目标形状参数通过目标长宽比来表征，假设目标长宽比为4:3，可以将原始图像的第一显著区域向四周扩大，将周围区域圈进来，使长宽比由1:1变为4:3。
152.作为一个具体示例，假设原始图像为小猫照片，即包含有小猫的图像；假设检测出小猫成像所对应的第一显著区域的长宽比为1:1，而根据接收的制作拼图图像的图像处理指令，确定待制作的拼图图像中该小猫照片对应的位置上的显示长宽比为4:3。为了满足更好的显示效果以及让原始图像调整后不失真，就对第一显著区域进行调整，得到长宽比为为4:3且包含有完整的第一显著区域的第二显著区域。将小猫照片中小猫成像区域通过包围框进行包围作为第一显著区域后，就可以继续将小猫成像区域周围的区域也纳入包围框中，此时的包围框就是包含有小猫成像区域和小猫旁的背景区域。
153.如图2所示，图2为第一显著区域和第二显著区域的示意图。
154.图2中的左边为包含有笑脸的第一显著区域，图2中的右边为包含有笑脸和笑脸旁的背景区域的第二显著区域。
155.这样，经过扩大处理就可以既满足保留原始图像特点，又满足显示布局要求。
156.这里，由于需要将原始图像的第一显著区域向四周扩大，得到满足目标形状参数且包含有第一显著区域的第二显著区域。但该扩大可以是向不同的方向进行扩大，而不同的扩大方式，得到的第二显著区域不同。
157.如图3所述，图3是3幅不同的扩大方式得到的第二显著区域的示意图，其中，第一幅图展示的是在第一显著区域的基础上向上扩大，实现1:1变为4:3。第二幅图展示的是在第一显著区域的基础上向左扩大，实现1:1变为4:3。第三幅图展示的是在第一显著区域的基础上向右扩大，实现1:1变为4:3。
158.而原始图像中，不同的扩大方式圈出的第二显著区域得到的画面就可能会存在不同。
159.例如，原始图像为小猫照片，小猫成像所对应的第一显著区域长方形，且长宽比为1:1，将第一显著区域扩大得到包含有第一显著区域的第二显著区域，第二显著区域的长宽比为4:3。由于第一显著区域是刚好包围住小猫成像的区域，如果将第一显著区域向右扩大，得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内小猫就位于左边。
160.再例如，如果将第一显著区域向左扩大，得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内小猫就位于右边。
161.还例如，如果将第一显著区域向上扩大，得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内小猫就位于下边。
162.这里，该不同内容包括：布局不同或图像特征不同。
163.例如，假设原始图像为小猫照片，小猫图片中的背景是天空，小猫是处于草地上，那么当将第一显著区域向上扩大得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内可能存在有天空。当将第一显著区域向下扩大得到包含有第一显著区域的第二显著区域，那么此时第二显著区域内可能存在有草地。
164.如此，根据不同的扩大方式可以得到包含不同内容的第二显著区域。
165.在一些实施例中，所述对不同的第二显示区域进行美学评分，包括：
166.基于预设的美学评价模型，对不同的第二显著区域进行处理，得到不同的第二显著区域进行美学评分；其中，所述美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到。
167.本公开实施例中，该电子设备内预先存储有美学评价模型。得到不同的第二显著区域后，通过美学评价模型对该第二显著区域进行处理，输出对应的美学评分。
168.该预先存储有美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到，如此，可以方便快捷地确定出不同的第二显著区域对应的美学评分。
169.该美学评价模可以是卷积神经网络模型等。
170.在一些实施例中，该美学评价模型可以有多个，不同的美学评价模型具有不同的美学评判标准。可以基于检测的用户输入，选择对应的美学评价模型来对第二显著区域进
行美学评分。
171.美学评判标准可包括：基于构图布局的评判标准或基于色彩搭配的评判标准。
172.不同的美学评价模型，针对不同的图像风格。该图像风格包括：自然景色风格、动漫风格或写真风格。
173.为了选择更适合的美学评价模型来第二显著区域进行美学评分，得到更合理的美学评分。本公开实施例在基于美学评价模型来第二显著区域进行美学评分之前，所述图像处理方法还包括：
174.识别原始图像的图像风格；
175.根据所述图像风格，确定出与所述图像风格相对应的美学评价模型。
176.如此，基于更为适合的美学评价模型来第二显著区域进行美学评分，得到的美学评分更为符合实际图像特点，也更为智能。
177.图4是根据一示例性实施例示出的一种图像处理方法的流程图二，如图4所示，该方法包括：
178.步骤201，检测原始图像的第一显著区域；
179.步骤202，根据接收的图像处理指令，确定目标形状参数；
180.步骤203，对所述原始图像的第一显著区域进行调整，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域；
181.步骤204，对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；
182.步骤205，根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。
183.这里，第一显著区域是原始图像中满足显著性条件的图像区域，例如，小猫照片小猫成像区域，如果将小猫照片中小猫成像区域通过长方形的包围框进行包围，则该包围框的长宽比就是小猫成像区域的长宽比，也是第一显著区域的长宽比，如长宽比为1:1。
184.第二显著区域是对原始图像上的第一显著区域进行调整后的区域。由于第二显著区域包含第一显著区域，那么第二显著区域的显示面积大于第一显著区域的显示面积。并且第二显著区域的长宽比是用户选择的布局信息中目标位置的目标长宽比。
185.这样，基于美学评分最高的第二显著区域对所述原始图像进行截图，从而生成的目标图像就可以既满足保留原始图像特点，又满足显示布局要求。
186.如此，本公开解决了在制作拼图图像或照片电影等的相关应用中，选取的照片区域主体不突出和不完整，且质量较差，需要用户手动调整的问题。本公开可以自动地检测原始图像中的显著区域，在保证显著区域完整和突出的条件下，自动定位到美学评分最高的区域用于制作拼图图像或照片电影。这样，提高了拼图图像或照片电影等的生成质量，去掉了用户的手动调整过程，提升了用户体验。
187.本公开还提供以下实施例：
188.在分享一组照片时，经常会将这组照片制作成拼图图像或照片电影。假设在拍摄小猫，通常会刻意去找角度，拍摄小猫最可爱的状态，而在制作拼图图像或照片电影时，也希望拼图图像或照片电影应用可以自动地完整地保留照片中的小猫部分，并要求图像中的小猫美观且生动。而拼图图像或照片电影应用要根据用户选择的布局方案，选取照片中的
部分区域。这种直接选取照片的中间区域，很容易导致拍摄的小猫不突出和不完整，且照片区域质量较差。为了达到更好的呈现效果，需要用户手动调整，甚至最终也无法调整至满意状态。
189.基于此提供一种像处理方法，图5是根据一示例性实施例示出的一种图像处理方法的流程图三，如图5所示，该方法包括：
190.步骤501，检测原始图像中的第一显著区域。
191.该第一显著区域可以通过目标检测算法实现，目标检测算法通过预设的神经网络模型对原始图像进行处理来确定第一显著区域。
192.具体地，输入一张原始图像，输出二维掩膜图像(mask)，该mask中数值为1的区域是该原始图像的显著区域，为0的区域为非显著区域。
193.步骤502，通过包围框框出第一显著区域，并基于目标形状参数对第一显著区域进行调整，得到第二显著区域。
194.得到照片第一显著区域后，可以获得相应的包围第一显著区域的第一包围框。
195.当用户选择某种布局方案制作拼图图像或照片电影时，此时的第一包围框，可能并不符合该布局要求的比例，因此需要适当调整包围框的形状参数，得到第二包围框。此时第二包围框包围的区域即为第二显著区域。
196.为了找到最佳照片区域，在保证显著区域完整和突出的条件下，通过第二包围框的缩放或滑动，生成多个大小和位置不同的第二包围框，即得到不同的第二显著区域。
197.步骤503，对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域。
198.基于美学评价模型实现，输入一张图像，输出该图像的美学质量评分，得到每个区域的评分后，保留评分最高的照片区域。
199.步骤504，基于该第二显著区域确定的目标图像制作拼图图像或照片电影。
200.这里，基于该第二显著区域对所述原始图像进行截图，得到截图区，进而生成目标图像。此时得到的目标图像就是评分最高的照片区域，可以将该照片区域应用到拼图和照片电影中，得到显示效果较佳的拼图图像或照片电影。
201.如此，本公开实施例提供的图像处理方法，在检测出原始图像的第一显著区域后，通过对第一显著区域进行调整来获取符合条件的第二显著区域，并选取出美学评分最高的第二显著区域来对原始图像进行截图生成目标图像。这样，由于先检测出了原始图像中满足显著性条件的显著区域，使得对原始图像的处理保留了原始图像所包含的重要部分，可以有效改善对当前的图片处理中，都是选取图片的中间区域所导致的图片不完整情况。并且，由于对第一显著区域进行调整得到第二显著区域的方式有多种，那么对不同的第二显著区域进行美学评分，通过美学评分最高的第二显著区域来截图，就可以使得截取出的目标图像的显示效果更好。除此之外，由于是自动检测图像的显著区域，无需用户进行手动调整，用户体验更佳。
202.本公开还提供一种图像处理装置，图6是根据一示例性实施例示出的一种图像处理装置的结构示意图，如图6所示，所述图像处理装置600，包括：
203.检测模块601，用于检测原始图像的第一显著区域；其中，所述第一显著区域为满足显著性条件的图像区域；
204.调整模块602，用于对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；
205.评分模块603，用于对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；
206.生成模块604，用于根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。
207.在一些实施例中，所述满足显著性条件的图像区域，包括以下之一：
208.原始图像所包含的对象中目标对象的成像所在图像区域；
209.原始图像所包含的图像特征最多的图像区域；
210.原始图像所包含的图像特征清晰度最高的图像区域。
211.在一些实施例中，所述检测模块，包括：
212.根据预设的满足显著性条件的掩膜对所述原始图像进行检测，检测得到所述原始图像的第一显著区域。
213.在一些实施例中，不同的第二显著区域中第一显著区域的位置不同；
214.和/或；
215.不同的第二显著区域中第一显著区域的形状参数不变。
216.在一些实施例中，所述调整模块，包括：
217.确定模块，用于根据接收的图像处理指令，确定目标形状参数；
218.调整子模块，用于根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域。
219.在一些实施例中，所述调整子模块，包括：
220.扩大处理模块，用于根据所述目标形状参数，将所述原始图像的第一显著区域向四周扩大，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域。
221.在一些实施例中，述图像处理指令包括：制作拼图图像的第一指令；
222.所述确定模块，还用于：
223.根据所述第一指令，确定待制作的拼图图像的布局信息和布局信息中各个位置的图像的形状参数；
224.根据所述各个位置的图像的形状参数，确定所述原始图像对应的目标形状参数。
225.在一些实施例中，所述图像处理指令包括：制作照片电影的第二指令；
226.所述确定模块，还用于：
227.根据所述第二指令，确定待制作的照片电影中各个画面的出现次序和各个出现次序对应的图像的形状参数；
228.根据各个出现次序对应的图像的形状参数，确定所述原始图像对应的目标形状参数。
229.在一些实施例中，所述评分模块，包括：
230.评分子模块，用于基于预设的美学评价模型，对不同的第二显著区域进行处理，得到不同的第二显著区域对应的美学评分；其中，所述美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到。
231.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
232.图7是根据一示例性实施例示出的一种图像处理装置1800的框图。例如，装置1800可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
233.参照图7，装置1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电力组件1806，多媒体组件1808，音频组件1810，输入/输出(i/o)接口1812，传感器组件1814，以及通信组件1816。
234.处理组件1802通常控制装置1800的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1802还可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。
235.存储器1804被配置为存储各种类型的数据以支持在装置1800的操作。这些数据的示例包括用于在装置1800上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图像、视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘或光盘。
236.电力组件1806为装置1800各种组件提供电力。电力组件1806可以包括：电源管理系统，一个或多个电源，及其他与为装置1800生成、管理和分配电力相关联的组件。
237.多媒体组件1808包括在所述装置1800和用户之间提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当装置1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和/或后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
238.音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(mic)，当装置1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1816发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。
239.i/o接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
240.传感器组件1814包括一个或多个传感器，用于为装置1800提供各个方面的状态评估。例如，传感器组件1814可以检测到装置1800的打开/关闭状态、组件的相对定位，例如所述组件为装置1800的显示器和小键盘，传感器组件1814还可以检测装置1800或装置1800一个组件的位置改变，用户与装置1800接触的存在或不存在，装置1800方位或加速/减速和装
置1800的温度变化。传感器组件1814可以包括接近传感器，被配置为在没有任何的物理接触时检测附近物体的存在。传感器组件1814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1814还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
241.通信组件1816被配置为便于装置1800和其他设备之间有线或无线方式的通信。装置1800可以接入基于通信标准的无线网络，如wifi、2g或3g，或它们的组合。在一个示例性实施例中，通信组件1816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术、超宽带(uwb)技术、蓝牙(bt)技术或其他技术来实现。
242.在示例性实施例中，装置1800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
243.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1804，上述指令可由装置1800的处理器1820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
244.一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得能够执行上述方法。
245.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
246.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种图像处理方法，其特征在于，包括：检测原始图像的第一显著区域；其中，所述第一显著区域为满足显著性条件的图像区域；对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。2.根据权利要求1所述的方法，其特征在于，所述满足显著性条件的图像区域，包括以下之一：原始图像所包含的对象中目标对象的成像所在图像区域；原始图像所包含的图像特征最多的图像区域；原始图像所包含的图像特征清晰度最高的图像区域。3.根据权利要求1所述的方法，其特征在于，所述检测原始图像的第一显著区域，包括：根据预设的满足显著性条件的掩膜对所述原始图像进行检测，检测得到所述原始图像的第一显著区域。4.根据权利要求1所述的方法，其特征在于，不同的第二显著区域中第一显著区域的位置不同；和/或；不同的第二显著区域中第一显著区域的形状参数不变。5.根据权利要求1所述的方法，其特征在于，所述对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域，包括：根据接收的图像处理指令，确定目标形状参数；根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域，包括：根据所述目标形状参数，将所述原始图像的第一显著区域向四周扩大，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域。7.根据权利要求5所述的方法，其特征在于，所述图像处理指令包括：制作拼图图像的第一指令；所述根据接收的图像处理指令，确定目标形状参数，包括：根据所述第一指令，确定待制作的拼图图像的布局信息和所述布局信息中各个位置的图像的形状参数；根据所述各个位置的图像的形状参数，确定所述原始图像对应的目标形状参数。8.根据权利要求5所述的方法，其特征在于，所述图像处理指令包括：制作照片电影的第二指令；所述根据接收的图像处理指令，确定目标形状参数，包括：根据所述第二指令，确定待制作的照片电影中各个画面的出现次序和各个出现次序对
应的图像的形状参数；根据各个出现次序对应的图像的形状参数，确定所述原始图像对应的目标形状参数。9.根据权利要求1所述的方法，其特征在于，所述对不同的第二显著区域进行美学评分，包括：基于预设的美学评价模型，对不同的第二显著区域进行处理，得到不同的第二显著区域对应的美学评分；其中，所述美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到。10.一种图像处理装置，其特征在于，包括：检测模块，用于检测原始图像的第一显著区域；其中，所述第一显著区域为满足显著性条件的图像区域；调整模块，用于对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；评分模块，用于对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；生成模块，用于根据所述美学评分最高的第二显著区域对所述原始图像进行截图，生成目标图像。11.根据权利要求10所述的装置，其特征在于，所述满足显著性条件的图像区域，包括以下之一：原始图像所包含的对象中目标对象的成像所在图像区域；原始图像所包含的图像特征最多的图像区域；原始图像所包含的图像特征清晰度最高的图像区域。12.根据权利要求10所述的装置，其特征在于，所述检测模块，包括：根据预设的满足显著性条件的掩膜对所述原始图像进行检测，检测得到所述原始图像的第一显著区域。13.根据权利要求10所述的装置，其特征在于，不同的第二显著区域中第一显著区域的位置不同；和/或；不同的第二显著区域中第一显著区域的形状参数不变。14.根据权利要求10所述的装置，其特征在于，所述调整模块，包括：确定模块，用于根据接收的图像处理指令，确定目标形状参数；调整子模块，用于根据所述目标形状参数对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的第二显著区域。15.根据权利要求14所述的装置，其特征在于，所述调整子模块，包括：扩大处理模块，用于根据所述目标形状参数，将所述原始图像的第一显著区域向四周扩大，得到满足所述目标形状参数且包含有所述第一显著区域的第二显著区域。16.根据权利要求14所述的装置，其特征在于，所述图像处理指令包括：制作拼图图像的第一指令；所述确定模块，还用于：根据所述第一指令，确定待制作的拼图图像的布局信息和布局信息中各个位置的图像
的形状参数；根据所述各个位置的图像的形状参数，确定所述原始图像对应的目标形状参数。17.根据权利要求14所述的装置，其特征在于，所述图像处理指令包括：制作照片电影的第二指令；所述确定模块，还用于：根据所述第二指令，确定待制作的照片电影中各个画面的出现次序和各个出现次序对应的图像的形状参数；根据各个出现次序对应的图像的形状参数，确定所述原始图像对应的目标形状参数。18.根据权利要求10所述的装置，其特征在于，所述评分模块，包括：评分子模块，用于基于预设的美学评价模型，对不同的第二显著区域进行处理，得到不同的第二显著区域对应的美学评分；其中，所述美学评价模型是基于构图布局与对应的美学评分作为样本数据，对目标神经网络模型进行训练得到。19.一种图像处理装置，其特征在于，包括：处理器和用于存储能够在所述处理器上运行的可执行指令的存储器，其中：处理器用于运行所述可执行指令时，所述可执行指令执行上述权利要求1至9任一项提供的方法中的步骤。20.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述权利要求1至9任一项提供的方法中的步骤。

技术总结
本公开是关于一种图像处理方法、装置以及存储介质；其中，所述图像处理方法，包括：检测原始图像的第一显著区域；其中，所述第一显著区域为满足显著性条件的图像区域；对所述第一显著区域进行调整，得到满足目标形状参数且包含有所述第一显著区域的不同的第二显著区域；对不同的第二显著区域进行美学评分，并确定出美学评分最高的第二显著区域；根据所述美学评分最高的第二显著区域，对所述原始图像进行截图，生成目标图像。这样，对原始图像的处理保留了图像的显著区域，且选择了美学评分最高的区域，使得显示出的图像的显示效果更好。使得显示出的图像的显示效果更好。使得显示出的图像的显示效果更好。


技术研发人员：张萌 王晓涛 李雅楠 雷磊
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：2020.11.09
技术公布日：2022/5/25