1.本技术涉及计算机技术,具体涉及一种图像生成方法、装置、设备和存储介质。
背景技术:
2.真实世界中,服装的形状千奇百怪,通过图像采集的方法得到的人物图像中的服装形状覆盖面比较小。
技术实现要素:
3.有鉴于此,本技术至少公开一种图像生成方法。所述方法可以包括:获取用于指示不同服装形状的形状参数的多个参数值;利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型;基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。
4.在一些实施例中,所述获取用于指示不同服装形状的形状参数的多个参数值,包括:获取与所述形状参数对应的第一取值范围;其中,在所述第一取值范围内确定的形状参数用于指示不同的服装形状;按照第一预设数值间隔,在所述第一取值范围内采样,得到所述形状参数的多个参数值。
5.在一些实施例中,所述获取与所述形状参数对应的第一取值范围,包括:获取预设的第二取值范围;其中,在所述第二取值范围内确定的形状参数用于指示多种类型服装对应的不同的服装形状;利用所述参数化人物网络以及从所述第二取值范围内采样得到的多个候选采样值,生成多个第三虚拟人物模型,其中,每一第三虚拟人物模型的服装形状不同;在多个所述第三虚拟人物模型中,确定符合预设服装形状的多个目标人物模型;根据所述多个候选采样值中,生成多个所述目标人物模型分别利用的目标采样值,确定所述第一取值范围。
6.在一些实施例中,所述形状参数包括用于描述服装类型的类型参数和/或用于描述所述服装尺寸的尺寸参数,所述服装形状随着所述类型参数的参数值和/或尺寸参数的参数值的改变而改变。
7.在一些实施例中,所述方法还包括:获取用于指示动作姿态的姿态参数的参数值;所述利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型,包括:将所述形状参数的参数值以及所述姿态参数的参数值输入至所述参数化人物网络,生成与所述服装参数指示的服装形状对应并且具备所述动作姿态的第一虚拟人物模型;根据所述第一虚拟人物模型,生成表征预设动作姿态的动作姿态图。
8.在一些实施例中,所述根据所述第一虚拟人物模型,生成获取表征动作姿态的动作姿态图,包括:获取生成所述第一虚拟人物模型所利用的所述姿态参数的参数值;将所述姿态参数的参数值调整为与所述预设动作姿态对应的预设参数值;利用所述参数化人物网络及所述预设参数值,生成第二虚拟人物模型;所述第一虚拟人物模型与所述第二虚拟人物模型的服装相同,具备不同的动作姿态,且所述第二虚拟人物具备所述预设动作姿态;根
据所述第二虚拟人物模型包括的预设人体关键点,生成指示所述预设动作姿态的动作姿态图。
9.在一些实施例中,所述方法还包括:将所述动作姿态图与多个所述第一人物图像分别进行组合得到多个输入样本,所述多个输入样本用于作为动作迁移网络的训练样本。
10.在一些实施例中,所述训练样本还包括与所述输入样本对应的标注真值;在生成第二虚拟人物模型之后,所述方法还包括:将所述第二虚拟人物模型渲染为第二人物图;针对所述第二人物图像内每一像素点,响应于所述像素点的像素值到达预设阈值,确定所述像素点属于人物区域,以及响应于所述像素点的像素值未到达预设阈值,确定所述像素点属于非人物区域;将所述非人物区域包含的第一像素点的像素值置为第一像素值,将所述人物区域包含的第二像素点的像素值置为第二像素值,得到人物掩码图,其中所述标注真值包括所述人物掩码图。
11.在一些实施例中,所述训练样本还用于训练得到人物掩码图生成网络;所述人物掩码图生成网络的输入包括人物图像和动作姿态图,输出为人物掩码图。
12.在一些实施例中,在生成多个第一人物图像之后,所述方法还包括:针对多个第一人物图像中每一第一人物图像,对所述第一人物图像进行图像分割,生成与服装区域对应的服装分割图;所述服装分割图中的像素点的像素值指示所述像素点属于服装区域或非服装区域;利用所述服装分割图,对所述第一人物图像进行区域提取,生成与所述服装区域对应的服装区域图,所述服装区域图用于对人物的特效处理。
13.本技术还提出一种图像生成装置。所述装置可以包括:第一获取模块,用于获取用于指示不同服装形状的形状参数的多个参数值;第一生成模块,用于利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型;第二生成模块,用于基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。
14.本技术还提出一种电子设备,所述设备包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的图像生成方法。
15.本技术还提出一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于使处理器执行如前述任一实施例示出的图像生成方法。
16.前述方案中,可以根据指示不同服装形状的形状参数的多个参数值以及参数化人物网络,合成与多种服装形状分别对应的第一虚拟人物模型,然后可以基于这些第一虚拟人物模型,生成与所述多种服装形状分别对应的第一人物图像,一方面,与使用图像采集方法得到的人物图像相比,服装形状覆盖面更大;另一方面可以基于所述第一人物图像得到服装形状覆盖面比较大的训练样本,利用这些训练样本训练动作迁移网络或人物掩码图生成网络,可以提升迁移网络或人物掩码图生成网络提取各种服装形状的能力,从而可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性,并且无需采集真实图像,降低了生成训练样本的工作量,降低了相关成本。
17.应当理解的是,以上所述的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
18.为了更清楚地说明本技术一个或多个实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术一个或多个实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
19.图1为本技术实施例示出的一种图像生成方法的方法流程示意图;
20.图2为本技术实施例示出的一种获取形状参数的第一取值范围的方法流程示意图;
21.图3为本技术实施例示意的一种人物掩码图示意图;
22.图4为本技术实施例示出的一种动作迁移流程示意图;
23.图5为本技术实施例示出的一种生成动作姿态图的方法流程示意图;
24.图6为本技术实施例示出的一种生成训练样本的方法流程示意图;
25.图7为本技术实施例示出的一种训练样本的生成方法的流程示意图;
26.图8为本技术实施例示出的一种生成训练样本方法的流程示意图;
27.图9a为本技术实施例示出的一种第二虚拟人物模型示意图;
28.图9b为本技术实施例示出的一种第二人物图像示意图;
29.图10为本技术实施例示出的一种图像生成装置的结构示意图;
30.图11为本技术实施例示出的一种电子设备的硬件结构示意图。
具体实施方式
31.下面将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的设备和方法的例子。
32.在本技术使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在可以包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解,本文中所使用的词语“如果”,取决于语境,可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
33.本技术涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的ar效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、slam、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。前述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
34.基于此,本技术提出一种图像生成方法。该方法可以根据指示不同服装形状的形状参数的多个参数值以及参数化人物网络,合成与多种服装形状分别对应的第一虚拟人物模型,然后可以基于这些第一虚拟人物模型,生成与所述多种服装形状分别对应的第一人物图像,与使用图像采集方法得到的人物图像相比,服装形状覆盖面更大。
35.请参见图1,图1为本技术实施例示出的一种图像生成方法的方法流程示意图。
36.图1示出的图像生成方法可以应用于电子设备中。其中,所述电子设备可以通过搭载与所述生成方法对应的软件逻辑执行所述生成方法。所述电子设备的类型可以是笔记本电脑,计算机,服务器,手机,掌上电脑(personal digital assistant,pda)等。在本技术中不特别限定所述电子设备的类型。所述电子设备也可以是客户端设备或服务端设备,在此不作特别限定。
37.如图1所示,所述方法可以包括s102-s106。除特别说明外,本技术不特别限定这些步骤的执行顺序。
38.s102,获取用于指示不同服装形状的形状参数的多个参数值。
39.所述形状参数用于生成虚拟人物模型。其中,改变所述形状参数的大小,可以得到不同服装形状对应的虚拟人物模型。
40.在一些方式中,所述形状参数为基于服装数据得到的隐参数,所述服装数据可以包括服装形状数据,服装颜色数据等等。
41.所述隐参数是指对包含服装形状数据的服装数据进行数据压缩,去除噪音数据得到的数据参数。例如可以对服装图像进行特征提取(例如卷积),去除噪音特征,得到与服装形状相关的隐参数。改变所述隐参数的数值可以得到不同服装形状对应的虚拟人物模型。
42.在一些实施例中可以先获取与所述形状参数对应的第一取值范围;其中,在所述第一取值范围内确定的形状参数用于指示不同的服装形状;然后按照第一预设数值间隔,在所述第一取值范围内采样,得到所述形状参数的多个参数值。
43.比如,所述第一取值范围为51-100;所述第一预设数值间隔为4,则所述多个参数值可以为,51,55,60,65,70等。
44.在一些实施例中,所述多个参数值用于指示不同的预设服装形状。所述预设服装形状可以根据需求进行设定。比如,所述预设服装形状可以是裙子形状、衬衫形状,裤子形状等。本例中需要先获取与所述预设服装形状对应的第一取值范围,然后再在所述第一取值范围中确定多个所述参数值。
45.在一些实施例中,可以为所述形状参数预设取值范围比较大的第二取值范围,使得在所述第二取值范围内,所述形状参数可以指示不同的服装形状,然后可以在所述第二取值范围中获取所述第一取值范围。
46.请参见图2,图2为本技术实施例示出的一种获取形状参数的第一取值范围的方法流程示意图。如图2所示,该方法包括s202至s208。除特别说明外,本技术不特别限定这些步骤的执行顺序。
47.s202,获取预设的第二取值范围。
48.所述第二取值范围可以根据需求进行设定。该第二取值范围只需满足以下条件即可:在所述第二取值范围,所述形状参数可以指示多种类型服装对应的不同的服装形状。
49.s204,利用所述参数化人物网络以及从所述第二取值范围内采样得到的多个采样
值,生成多个第三虚拟人物模型,其中,每一第三虚拟人物模型的服装形状不同。
50.所述参数化人物网络的网络输入包括所述形状参数,输出为身穿服装的虚拟人物模型。
51.所述参数化人物网络可以基于所述形状参数,在虚拟人物的人体上覆盖所述服装,所述服装具有该形状参数指示的服装形状,从而形成与所述服装形状对应的虚拟人物模型。改变所述形状参数的数值,可以得到不同服装形状对应的虚拟人物模型。
52.在一些实施例中,所述参数化人物网络包括smplicit网络。所述smplicit网络即拓扑感知穿衣人生成网络。该网络的网络输入可以包括与服装类型相关的类型参数和与服装尺寸相关的尺寸参数,通过改变这两个参数的数值,可以生成身穿不同形状的服装的虚拟人物模型。利用该smplicit网络可以通过低维、有语义的参数便能够控制服装的尺寸、类型,精确得到需要的服装形状,从而得到与需要的服装形状对应的虚拟人物模型,进而提升训练样的服装形状覆盖面。
53.本步骤中,可以在所述第二取值范围内确定形状参数用于指示多种类型服装的不同的服装形状分别对应的多个候选参数值。然后基于多个候选参数值构建多个第三输入,然后将所述多个第三输入分别输入到所述参数化人物网络,生成多个第三虚拟人物模型。
54.例如,可以基于第二预设取值间隔,在所述第二取值范围中取值,得到多个所述候选参数值,然后可以基于所述多个候选参数值构建多个第三输入,以生成多个第三虚拟人物模型。
55.这些第三虚拟人物模型的服装形状可以覆盖所述多种类型服装的多种服装形状。
56.本步骤中还可以存储候选参数值与得到的第三虚拟人物模型之间的第一对应关系。比如,候选参数值1生成了第三虚拟人物模型a,可以存储候选参数值1和第三虚拟人物模型a之间的对应关系。
57.s206,在多个所述第三虚拟人物模型中,确定符合预设服装形状的多个目标人物模型。
58.本步骤中,利用通过观察第三虚拟人物模型身穿的服装形状,确定所述目标人物模型。
59.s208,根据所述多个候选采样值中,生成多个所述目标人物模型分别利用的目标采样值,确定所述第一取值范围。
60.本步骤中,可以根据存储的第一对应关系,可以在所述多个候选采样值中,确定所述目标采样值。
61.然后可以根据所述目标采样值中的最大值和最小值,形成所述第一取值范围。
62.通过s202-s208即可在预设的比较大的第二取值范围中,确定与预设服装形状相关的第一取值范围。
63.例如,假设形状参数在1至50范围内取值可以指示多种尺寸的衬衫形状,在51至100内取值可以指示多种尺寸的裙子形状。如果所述第二取值范围为1至100,所述预设服装形状为裙子形状,那么通过s202-s208,即可得到51至100为与裙子相关的所述第一取值范围。
64.在一些实施例中,所述形状参数包括用于描述服装类型的类型参数和/或用于描述所述服装尺寸的尺寸参数,所述服装形状随着所述类型参数的参数值和/或尺寸参数的
参数值的改变而改变。由此可以单独改变服装尺寸或服装类型,便于进行形状参数的调整。
65.假设类型参数为1,代表服装类型为衬衫,类型参数为2,代表服装类型为裙子,尺寸参数为1至100可以指示不同尺寸的服装。那么,如果将类型参数置为1,尺寸参数置为50,则可以得到尺寸为50的衬衫。如果将类型参数置为2,尺寸置为30,则可以得到尺寸为30的裙子。可见,通过这两个参数可以分别修改服装尺寸或服装类型,精确得到需要的服装形状,进而提升训练样的服装形状覆盖面。
66.s104,利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型。
67.其中,关于所述参数化人物网络介绍可以参照前述实施例。在此不做详述。
68.本步骤中,可以先利用所述多个参数值,生成所述参数化人物模型对应的多个第一输入。
69.在一些实施例中,所述第一输入除了包括所述形状参数以外,还包括很多其它参数,比如动作姿态参数等。本例中在生成第一输入的时候,需要先确定与形状参数对应的形状参数位置,然后将所述形状参数位置上的数值调整为所述参数值即可得到第一输入。
70.在一些方式中,确定所述形状参数位置的方法可以包括:
71.针对所述参数化人物模型对应的网络输入中的每一参数位置,执行以下步骤:
72.在预设范围内调整所述参数位置上的数值,得到多个第四输入;
73.根据多个所述第四输入,利用所述参数化人物网络,得到多个第四虚拟人物模型;
74.响应于多个所述第四虚拟人物模型身穿的服装形状发生变化,将所述参数位置确定为所述形状参数位置。
75.通过以上步骤可以在所述网络输入中确定形状参数位置,从而便于修改所述形状参数的数值,便于得到第一输入。
76.例如,所述网络输入包括10个参数位置,通过以上步骤,可以确定改变每一所述参数位置上的取值,是否影响服装形状的变化,从而可以找到影响服装形状的形状参数位置。
77.得到所述多个第一输入之后,可以将多个第一输入分别输入所述参数化人物网络,生成与多种服装形状分别对应的第一虚拟人物模型。
78.s106,基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。
79.所述第一虚拟人物模型是三维模型,所述第一人物图像是二维图像。
80.在一些方式中可以利用渲染管线方法,由所述第一虚拟人物模型,生成多个第一人物图像。
81.例如,所述第一虚拟人物模型可以是为带有颜色的三维模型。所述第一虚拟人物模型的顶点包含三维坐标信息和像素值信息。通过渲染管线方法,第一步可以根据所述虚拟人物模型包含的顶点的三维坐标,得到二维图像上对应位置的像素点,第二步,可以根据顶点的像素值为二维图像的像素点进行着色,得到第一人物图像。关于渲染管线的具体步骤可以参照相关技术,在此不进行说明。
82.根据s102-s106,可以根据指示不同服装形状的形状参数的多个参数值以及参数化人物网络,合成与多种服装形状分别对应的第一虚拟人物模型,然后可以基于这些第一虚拟人物模型,生成与所述多种服装形状分别对应的第一人物图像,与使用图像采集方法
得到的人物图像相比,服装形状覆盖面更大。
83.在一些实施例中,前述图像生成方法可以用于动作迁移场景。
84.动作迁移,是指根据“目标动作姿态”,对源人物图像(以下简称源图像)中的人物进行动作姿态调整,得到目标人物图像(以下简称目标图像)的过程。其中,目标图像中人物穿着的服装与源图像中人物穿着的服装相同,具备所述目标动作姿态。
85.在一些方式中,可以利用动作迁移网络实现动作迁移。
86.所述动作迁移网络的输入为所述源图像和动作姿态图。所述动作姿态图是指包含人物动作姿态的图像。该动作姿态图中可以通过一些人体关键点(例如,人头、人手、人脚等关键点)体现动作姿态信息。例如,所述动作姿态图包括头部,胳膊,手部,腿部,脚部等关键点可以展现动作姿态。
87.在一些方式中,动作迁移可以包括以下两个步骤。
88.步骤一,将源图像与指示所述目标动作姿态的动作姿态图作为输入,利用人物掩码图生成网络,生成在所述目标动作姿态下的人物掩码图。
89.所述源图像中可以包含需要调整动作姿态的人物。所述人物包含服装,和未被所述服装遮挡的人体。
90.所述人物掩码图内像素点的像素值指示该像素点属于非人物区域,还是人物区域。所述人物区域与人物具备的动作姿态和人物身穿的服装形状相关。请参见图3,图3为本技术实施例示意的一种人物掩码图示意图。图3所示为身穿裙子,具备一定姿态的人物掩码图。该图中黑色区域为非人物区域,白色区域为人物区域。如图3所示,人物具备的目标动作姿态可以影响人头,人手,人脚等在图像中的位置,也即会影响人物区域。人物身穿的服装具备一定形状,这部分形状可以影响人物区域。
91.所述人物掩码图生成网络可以是基于卷积网络构建的生成网络。所述人物掩码图生成网络可以从所述动作姿态图中提取(例如卷积)目标动作姿态信息,从源图像提取(例如卷积)人物形状信息(该人物形状信息包含源图像中的人体形状信息与服装形状信息),然后可以将所述目标动作姿态信息与所述人物形状信息融合后通过上采样(例如反卷积)得到在所述目标动作下的人物掩码图。
92.步骤二,将得到的所述人物掩码图和源图像作为输入,利用图像生成网络,生成所述目标图像。
93.所述图像生成网络可以是基于卷积网络构建的生成网络。所述图像生成网络可以从源图像中提取人物纹理细节信息(如人体皮肤、服装颜色等信息),然后在所述人物掩码图中的人物区域中补全人物纹理信息,得到所述目标图像。
94.由于步骤一得到的人物掩码图中的人物区域,与目标动作姿态和人物身穿的服装相关,因此通过步骤二在所述人物区域中进行人物纹理特征填充后即可得到具备目标动作姿态,身穿所述服装的目标人物,即完成动作迁移,得到目标图像。
95.请参见图4,图4为本技术实施例示出的一种动作迁移流程示意图。如图4所示,可以将源图像与动作姿态图输入基于卷积网络生成的人物掩码图生成网络41,得到人物掩码图;然后将所述源图像与所述人物掩码图输入基于卷积网络生成的图像生成网络42,得到目标图像。
96.为了使所述人物掩码图生成网络具备生成人物掩码图的能力,为了使所述动作迁
移网络具备动作迁移的能力,可以利用训练样本对该网络进行训练。以下将所述动作迁移网络和所述人物掩码图生成网络通称为目标网络。
97.相关技术中,主要基于真实采集的源人物图像生成训练样本。其中,真实采集的人物图像中包含身穿服装的人物。所述源图像与预设的动作姿态图可以组合为输入样本,然后采用诸如人工标注的方式,标注该输入样本对应的输出(即真值),得到训练样本。
98.然而,真实世界中的服装千奇百怪,服装款式更新迭代速度也很块。尤其针对预设服装形状,很难采集到全部辅助形状对应的源图像。因此,相关技术中,很难针对该预设服装形状得到形状覆盖面比较大的源图像。基于这些源图像训练得到的目标网络,提取该预设服装形状的能力不高,不能很好的适应各种预设服装形状,从而使得动作迁移效果不佳,鲁棒性较低。并且采集源图像工作量比较大,使得利用源图像生成训练样本的成本较高。
99.在一些实施例中,可以基于前述图像生成方法可以用于生成针对目标网络的训练样本。该方法中,可以生成各种服装形状的第一人物图像,从而得到服装形状覆盖面比较大的源图像,利用这些源图像训练目标网络,可以提升目标网络提取各种服装形状的能力,使该目标网络可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性。此外,无需采集真实图像,降低了生成训练样本的工作量,降低了相关成本。
100.所述参数化人物网络还可以根据输入的动作姿态信息,调整虚拟人物模型的姿态,得到具备一定姿态的身穿服装的虚拟人物模型。所述参数化人物网络的输入还包括与动作姿态相关的姿态参数,输出为具备所述动作姿态的虚拟人物模型。
101.本例中,前述第一虚拟任务模型的生成过程如下:
102.获取用于指示动作姿态的姿态参数的参数值;
103.将所述形状参数的参数值以及所述姿态参数的参数值输入至所述参数化人物网络,生成与所述服装参数指示的服装形状对应并且具备所述动作姿态的第一虚拟人物模型。
104.得到所述第一虚拟人物模型之后,可以根据所述第一虚拟人物模型,生成表征预设动作姿态的动作姿态图。
105.请参见图5,图5为本技术实施例示出的一种生成动作姿态图的方法流程示意图。如图5所示,该方法包括s502至s508。除特别说明外,本技术不特别限定这些步骤的执行顺序。
106.s502,获取生成所述第一虚拟人物模型所利用的所述姿态参数的参数值。
107.在一些方式中,在根据姿态参数生成虚拟人物的过程中,会存储姿态参数与虚拟人物之间的第二对应关系。
108.本步骤中,可以根据存储的所述第二对应关系,获取第一虚拟人物模型对应的所述姿态参数的参数值。
109.s504,将所述姿态参数的参数值调整为与所述预设动作姿态对应的预设参数值。
110.所述预设参数值可以根据需求进行设定。将姿态参数的取值调整为所述预设参数值,相当于将人物姿态调整为所述目标动作姿态。
111.在一些方式中,可以获取生成第一虚拟人物模型使用的第一输入,然后可以将所述第一输入包括的姿态参数调整为所述预设参数值,得到第二输入。
112.s506,利用所述参数化人物网络及所述预设参数值,生成第二虚拟人物模型。
113.所述第一虚拟人物模型与所述第二虚拟人物模型的服装相同,具备不同的动作姿态,且所述第二虚拟人物具备所述预设动作姿态。
114.在一些方式中,可以将所述第二输入输入至所述参数化人物网络,生成所述第二虚拟人物模型。
115.s508,根据所述第二虚拟人物模型包括的预设人体关键点,生成指示所述预设动作姿态的动作姿态图。
116.所述预设人体关键点可以根据需求进行设定。比如可以将人头,肘关节,人手,胯部,膝关节,人脚等关键点作为所述预设人体关键点。
117.所述第二虚拟人物模型可以理解为由若干顶点构成的三维模型,从这些顶点中选取所述预设人体关键点,并按照人体框架进行连接,可以得到动作姿态图。
118.比如所述动作姿态图可以是火柴人框架图。通过将人头,肘关节,人手,胯部,膝关节,人脚等关键点按照人体框架连接,可以得到所述火柴人框架图。
119.根据s502-s508即可得到表征预设动作姿态的动作姿态图。
120.得到动作姿态图之后,即可结合所述第一人物图像,构建针对目标网络的训练样本。
121.在所述目标网络为动作迁移网络的情形下,可以将所述动作姿态图与多个所述第一人物图像分别进行组合得到多个输入样本,所述多个输入样本用于作为动作迁移网络的训练样本。
122.具体地,可以针对每一所述第一人物图像,获取与所述第一人物图像对应的第一虚拟人物模型,以及与所述第一虚拟人物模型对应的第二虚拟人物模型。本技术中将与第一虚拟人物模型的服装相同,具备不同的动作姿态的第二虚拟人物模型,称为与所述第一虚拟人物模型对应的第二虚拟人物模型。
123.然后将所述第二虚拟人物模型渲染为第二人物图;之后可以将所述动作姿态图与所述第一人物图像进行组合得到输入样本,将所述第二人物图作为所述输入样本的标注真值,从而得到动作迁移网络的训练样本。
124.由此可以生成服装覆盖面比较广的训练样本,利用这些训练样本进行动作迁移网络的训练,可以提升该网络提取服装形状的能力,使该网络可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性。此外,与相关技术相比,无需采集真实图像,降低了生成训练样本的工作量,降低了相关成本。
125.在所述目标网络为人物掩码图生成网络的情形下,可以采用以下方法生成训练人物掩码图生成网络的训练样本。
126.请参见图6,图6为本技术实施例示出的一种生成训练样本的方法流程示意图。如图6所示,该方法包括s602至s606。除特别说明外,本技术不特别限定这些步骤的执行顺序。
127.s602,将所述第二虚拟人物模型渲染为第二人物图。
128.本步骤中,在生成第二虚拟人物模型之后,可以采用前述渲染管线基于所述第二虚拟人物模型生成所述第二人物图像。在此不对渲染管线方法进行详述。
129.s604,针对所述第二人物图像内每一像素点,响应于所述像素点的像素值到达预设阈值,确定所述像素点属于人物区域,以及响应于所述像素点的像素值未到达预设阈值,确定所述像素点属于非人物区域。
130.所述预设阈值为经验阈值。像素点的像素值到达所述预设阈值,说明该像素点为人物区域内的像素点,像素点的像素值未到达所述预设阈值,说明该像素点为非人物区域内的像素点。通过s604,可以确定每一像素点属于人物区域还是非人物区域。
131.s606,将所述非人物区域包含的第一像素点的像素值置为第一像素值,将所述人物区域包含的第二像素点的像素值置为第二像素值,得到人物掩码图。
132.其中所述标注真值包括所述人物掩码图。
133.所述第一像素值与所述第二像素值可以预先进行指定,例如所述第一像素值可以是0,所述第二像素值可以是1。通过两种不同的像素值,可以将人物区域与非人物区域赋予不同的颜色,得到人物掩码图。
134.在一些方式中,得到所述人物掩码图之后,可以获取与所述第二虚拟人物模型对应的第一虚拟人物模型,将基于所述第一虚拟人物模型生成的第一人物图像以及所述动作姿态图生成输入样本,以及将所述人物掩码图确定为所述输入样本对应的标注真值,从而得到人物掩码图生成网络的训练样本。
135.由此可以生成服装覆盖面比较广的训练样本,利用这些训练样本进行人物掩码图生成网络的训练,可以提升该网络提取服装形状的能力,使该网络可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性。此外,与相关技术相比,无需采集真实图像,降低了生成训练样本的工作量,降低了相关成本。
136.在一些实施例中,利用前述训练样本训练人物掩码图生成网络的方法,包括:将所述输入样本输入所述人物掩码图生成网络,得到人物掩码预测图。根据预设的损失函数,得到所述人物掩码预测图与所述标注真值之间的损失信息。根据所述损失信息调整所述人物掩码图生成网络的网络参数。
137.所述损失函数可以根据业务需求进行设定。例如所述损失函数可以是交叉熵损失函数,均值损失函数等等。
138.在一些实施例中,可以预先设置训练轮数n,其中在每轮训练中,可以利用所述损失函数得到损失信息后计算下降梯度,然后通过反向传播调整所述网络参数。等到完成n轮训练后,即完成所述训练。
139.由此可以利用s602-s606生成的服装覆盖面比较广的训练样本,对所述人物掩码图生成网络进行训练,提升该网络提取服装形状的能力,使该网络可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性。
140.在一些实施例中,前述图像生成方法生成的第一人物图像可以用于特效处理场景。
141.请参见图7,图7为本技术实施例示出的一种训练样本的生成方法的流程示意图。
142.如图7所示,所述方法可以包括s702-s704。除特别说明外,本技术不特别限定这些步骤的执行顺序。
143.s702,针对多个第一人物图像中每一第一人物图像,对所述第一人物图像进行图像分割,生成与服装区域对应的服装分割图。
144.所述服装分割图中的像素点的像素值指示所述像素点属于服装区域或非服装区域。
145.在一些方式中,可以采用图像分割网络(神经网络)进行所述图像分割。
146.在一些方式中,可以采用标注了服装区域的样本图像对所述图像分割网络进行训练。其中,服装区域内的像素点的像素值为第一像素值(比如为1),非服装区域内的像素点的像素值为第二像素值(比如0)。利用所述样本图像对所述图像分割网络进行训练可以使该网络具备图像分割能力。
147.本步骤2中,可以每一第一人物图像分别输入完成训练后的图像分割网络,得到每一第一人物图像分别对应的服装分割图。
148.s704,利用所述服装分割图,对所述第一人物图像进行区域提取,生成与所述服装区域对应的服装区域图,所述服装区域图用于对人物的特效处理。
149.在一些方式,可以采用区域提取单元进行区域提取。比如所述区域提取单元可以是aoi pooling(感兴趣区域提取)单元。该单元可以从输入图像中,提取出与感兴趣区域对应的区域图像。
150.本步骤中,可以将所述服装分割图和所述第一人物图像,输入所述区域提取单元,得到服装区域图。
151.在一些方式中,可以维护素材库,用于存储进行特效处理的素材图。这些服装区域图可以被存储至所述素材库中。所述特效处理是指利用素材,对原有图像中的预设对象进行渲染处理。比如视频聊天场景中,可以利用所述素材库中的素材替换人物的身体部位,以展示穿着不同形状服装的特效。
152.通过s702-s704可以提升素材的服装形状覆盖面,提升特效处理趣味性。
153.以下结合对前述人物掩码图生成网络的训练场景为例进行说明。
154.本场景提升所述人物掩码图生成网络对裙子形状的提取能力,即预设服装形状为裙子形状。本场景中使用的参数化人物网络为完成训练的smplicit网络。该smplicit网络的网络输入可以包括与服装类型相关的类型参数,与服装尺寸相关的尺寸参数,以及与动作姿态相关的姿态参数,通过改变所述类型参数与所述尺寸参数的数值,可以改变服装的类型和长短(即服装形状),生成身穿不同形状的服装,具备所述动作姿态的虚拟人物模型。
155.请参见图8,图8为本技术实施例示出的一种生成训练样本方法的流程示意图。如图8所示,该方法包括s801至s807。除特别说明外,本技术不特别限定这些步骤的执行顺序。
156.s801,确定所述smplicit网络的网络输入中,与所述类型参数相关的类型参数位置,与所述尺寸参数相关的尺寸参数位置,以及与所述姿态参数相关的姿态参数位置;
157.本步骤中,可以针对所述网络输入中的每一参数位置,调整该参数位置上的取值,利用所述smplicit网络生成对应的第四虚拟人物模型,然后通过生成的所述第四虚拟人物模型,找到对服装类型有影响的类型参数位置,对服装尺寸有影响的尺寸参数位置,对动作姿态有影响的姿态参数位置。
158.s802,根据为所述类型参数预设的第三取值范围,和为所述尺寸参数预设的第四取值范围,确定所述类型参数对应的第五取值范围,和所述尺寸参数对应的第六取值范围。在所述第五取值范围内,所述类型参数指示裙子。在所述第六取值范围内,所述尺寸参数指示裙子尺寸。
159.本步骤中,可以参考s202-s208示意的确定第一取值范围的步骤,在所述第三取值范围内,改变所述类型参数的取值,在所述第四取值范围内,改变所述尺寸参数的取值,利用所述smplicit网络生成对应的第三虚拟人物模型,然后通过生成的所述第三虚拟人物模
型,找到与裙子对应的类型参数的第五取值范围,以及与裙子尺寸对应的尺寸参数的第六取值范围。
160.s803,可以在所述第五取值范围内为所述类型参数取值,在所述第六取值范围内为所述尺寸参数取值,得到与多种裙子形状分别对应的第一输入。
161.本步骤中,可以在所述第五取值范围内,均匀采样得到多个第一采样值,在所述第六取值范围内,均匀采样得到多个第二采样值,然后将多个所述第一采样值中的每一第一采样值,分别与多个第二采样值中的每一第二采样值进行组合,得到多个采样值组合,并依据每一采样值组合,调整所述类型参数位置和所述尺寸参数位置上的数值,得到与多种裙子形状分别对应的第一输入。
162.s804,针对每一所述第一输入,将所述第一输入中姿态参数位置上的数值调整为与目标动作姿态对应的预设参数值,得到与所述第一输入对应的第二输入。
163.本步骤中,可以得到与多个所述第一输入分别对应的第二输入。
164.s805,针对具有对应关系的每一组所述第一输入与所述第二输入,可以利用smplicit网络生成与所述第一输入对应的第一虚拟人物模型,和与所述第二输入对应的第二虚拟人物模型。
165.所述第一虚拟人物模型与所述第二虚拟人物模型身穿相同的服装,具备不同的动作姿态。所述第二虚拟人物模型当前的动作姿态为所述目标动作姿态。
166.本步骤中,可以得到与多种裙子形状对应的多组第一虚拟人物模型与第二虚拟人物模型。
167.请参见图9a,图9a为本技术实施例示出的一种第二虚拟人物模型示意图。如图9a所示为身穿裙子,具备一定姿态的三维虚拟人物模型。可以理解的是所述第一虚拟人物模型与图9a示意的第二虚拟人物模型身穿相同的服装,只是动作姿态有所不同。
168.s806,针对每一组第一虚拟人物模型与第二虚拟人物模型,对所述第一虚拟人物模型和所述第二虚拟人物模型分别进行渲染得到第一人物图像与第二人物图像,以及根据所述第二虚拟人物模型包括的预设人体关键点,得到指示所述目标动作姿态的动作姿态图。
169.本步骤中,可以采用渲染管线技术将三维人物模型渲染为二维人物图像,得到与多种裙子形状对应的多组第一人物图像与第二人物图像。本步骤中还可以从第二虚拟人物模型包含的顶点中,选取人头,肘关节,人手,胯部,膝关节,人脚等关键点,并按照人体框架连接,可以得到指示所述目标动作姿态的火柴人框架图(动作姿态图)。
170.请参见图9b,图9b为本技术实施例示出的一种第二人物图像示意图。如图9b所示为身穿裙子,具备一定姿态的二维人物图像。可以理解的是所述第一人物图像与图9b示意的第二人物图像身穿相同的服装,只是动作姿态有所不同。
171.s807,针对每一组第一人物图像与第二人物图像,将所述第一人物图像与所述动作姿态图作为输入样本,将所述第二人物图像转换为人物掩码图,并将所述人物掩码图作为所述输入样本对应的标注真值。
172.本步骤中,可以将所述第二人物图像的非人物区域包含的第一像素点的像素值置为第一像素值,人物区域包含的第二像素点的像素值置为第二像素值,得到人物掩码图。
173.请继续参见图3,图3所示为身穿裙子,具备一定姿态的人物掩码图。该图中黑色区
域为非人物区域,白色区域为人物区域。
174.本步骤中,可以得到与多种裙子形状对应的多组输入样本与标注真值,即得到与多种裙子形状对应的多个训练样本。
175.基于多个所述训练样本,即可对前述人物掩码图生成网络进行训练,提升该网络提取服装形状的能力,使该网络可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性,并且还无需采集真实图像,降低了生成训练样本的成本。
176.与所述任一实施例相对应的,本技术还提出一种图像生成装置。
177.请参见图10,图10为本技术实施例示出的一种图像生成装置的结构示意图。如图10所示,所示图像生成装置1000可以包括:
178.第一获取模块1010,用于获取用于指示不同服装形状的形状参数的多个参数值;
179.第一生成模块1020,用于利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型;
180.第二生成模块1030,用于基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。
181.在一些实施例中,所述第一获取模块1010,具体用于:
182.获取与所述形状参数对应的第一取值范围;其中,在所述第一取值范围内确定的形状参数用于指示不同的服装形状;
183.按照第一预设数值间隔,在所述第一取值范围内采样,得到所述形状参数的多个参数值。
184.在一些实施例中,所述第一获取模块1010,具体用于:
185.获取预设的第二取值范围;其中,在所述第二取值范围内确定的形状参数用于指示多种类型服装对应的不同的服装形状;
186.利用所述参数化人物网络以及从所述第二取值范围内采样得到的多个候选采样值,生成多个第三虚拟人物模型,其中,每一第三虚拟人物模型的服装形状不同;
187.在多个所述第三虚拟人物模型中,确定符合预设服装形状的多个目标人物模型;
188.根据所述多个候选采样值中,生成多个所述目标人物模型分别利用的目标采样值,确定所述第一取值范围。
189.在一些实施例中,所述形状参数包括用于描述服装类型的类型参数和/或用于描述所述服装尺寸的尺寸参数,所述服装形状随着所述类型参数的参数值和/或尺寸参数的参数值的改变而改变。
190.在一些实施例中,所述装置1000还包括:
191.第二获取模块,用于获取用于指示动作姿态的姿态参数的参数值;
192.所述第一生成模块1020,具体用于:
193.将所述形状参数的参数值以及所述姿态参数的参数值输入至所述参数化人物网络,生成与所述服装参数指示的服装形状对应并且具备所述动作姿态的第一虚拟人物模型;
194.第三生成模块,用于根据所述第一虚拟人物模型,生成表征预设动作姿态的动作姿态图。
195.在一些实施例中,所述第三生成模块,具体用于:
196.获取生成所述第一虚拟人物模型所利用的所述姿态参数的参数值;
197.将所述姿态参数的参数值调整为与所述预设动作姿态对应的预设参数值;
198.利用所述参数化人物网络及所述预设参数值,生成第二虚拟人物模型;所述第一虚拟人物模型与所述第二虚拟人物模型的服装相同,具备不同的动作姿态,且所述第二虚拟人物具备所述预设动作姿态;
199.根据所述第二虚拟人物模型包括的预设人体关键点,生成指示所述预设动作姿态的动作姿态图。
200.在一些实施例中,所述装置1000还包括:
201.组合模块,用于将所述动作姿态图与多个所述第一人物图像分别进行组合得到多个输入样本,所述多个输入样本用于作为动作迁移网络的训练样本。
202.在一些实施例中,所述训练样本还包括与所述输入样本对应的标注真值;所述装置1000还包括:
203.第四生成模块,用于在生成第二虚拟人物模型之后,将所述第二虚拟人物模型渲染为第二人物图;
204.针对所述第二人物图像内每一像素点,响应于所述像素点的像素值到达预设阈值,确定所述像素点属于人物区域,以及响应于所述像素点的像素值未到达预设阈值,确定所述像素点属于非人物区域;
205.将所述非人物区域包含的第一像素点的像素值置为第一像素值,将所述人物区域包含的第二像素点的像素值置为第二像素值,得到人物掩码图,其中所述标注真值包括所述人物掩码图。
206.在一些实施例中,所述训练样本还用于训练得到人物掩码图生成网络;所述人物掩码图生成网络的输入包括人物图像和动作姿态图,输出为人物掩码图。
207.在一些实施例中,所述装置1000还包括:
208.分割模块,用于在生成多个第一人物图像之后,针对多个第一人物图像中每一第一人物图像,对所述第一人物图像进行图像分割,生成与服装区域对应的服装分割图;所述服装分割图中的像素点的像素值指示所述像素点属于服装区域或非服装区域;
209.第五生成模块,用于利用所述服装分割图,对所述第一人物图像进行区域提取,生成与所述服装区域对应的服装区域图,所述服装区域图用于对人物的特效处理。
210.前述方案中,可以根据指示不同服装形状的形状参数的多个参数值以及参数化人物网络,合成与多种服装形状分别对应的第一虚拟人物模型,然后可以基于这些第一虚拟人物模型,生成与所述多种服装形状分别对应的第一人物图像,一方面,与使用图像采集方法得到的人物图像相比,服装形状覆盖面更大;另一方面可以基于所述第一人物图像得到服装形状覆盖面比较大的训练样本,利用这些训练样本训练动作迁移网络或人物掩码图生成网络,可以提升迁移网络或人物掩码图生成网络提取各种服装形状的能力,从而可以很好的适应各种服装形状,进而提升动作迁移效果和鲁棒性,并且无需采集真实图像,降低了生成训练样本的工作量,降低了相关成本。
211.本技术示出的图像生成装置的实施例可以应用于电子设备上。相应地,本技术公开了一种电子设备,该设备可以包括:处理器。
212.用于存储处理器可执行指令的存储器。
213.其中,所述处理器被配置为调用所述存储器中存储的可执行指令,实现前述任一实施例示出的图像生成方法。
214.请参见图11,图11为本技术实施例示出的一种电子设备的硬件结构示意图。
215.如图11所示,该电子设备可以包括用于执行指令的处理器,用于进行网络连接的网络接口,用于为处理器存储运行数据的内存,以及用于存储图像生成装置对应指令的非易失性存储器。
216.其中,所述装置的实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,除了图11所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
217.可以理解的是,为了提升处理速度,所述图像生成装置对应指令也可以直接存储于内存中,在此不作限定。
218.本技术提出一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序可以用于使处理器执行前述任一实施例示出的图像生成方法。
219.本领域技术人员应明白,本技术一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本技术一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
220.本技术中的“和/或”表示至少具有两者中的其中一个,例如,“a和/或b”可以包括三种方案:a、b、以及“a和b”。
221.本技术中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于数据处理设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
222.以上对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
223.本技术中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、可以包括本技术中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本技术中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组
合。
224.本技术中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如fpga(现场可编程门阵列)或asic(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
225.适合用于执行计算机程序的计算机可以包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件可以包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将可以包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏操纵台、全球定位系统(gps)接收机、或例如通用串行总线(usb)闪存驱动器的便携式存储设备,仅举几例。
226.适合于存储计算机程序指令和数据的计算机可读介质可以包括所有形式的非易失性存储器、媒介和存储器设备,例如可以包括半导体存储器设备(例如eprom、eeprom和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及cd rom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
227.虽然本技术包含许多具体实施细节,但是这些不应被解释为限制任何公开的范围或所要求保护的范围,而是主要用于描述特定公开的具体实施例的特征。本技术内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
228.类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
229.由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
230.以上仅为本技术一个或多个实施例的较佳实施例而已,并不用以限制本技术一个或多个实施例,凡在本技术一个或多个实施例的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本技术一个或多个实施例保护的范围之内。
技术特征:
1.一种图像生成方法,其特征在于,包括:获取用于指示不同服装形状的形状参数的多个参数值;利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型;基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。2.根据权利要求1所述的方法,其特征在于,所述获取用于指示不同服装形状的形状参数的多个参数值,包括:获取与所述形状参数对应的第一取值范围;其中,在所述第一取值范围内确定的形状参数用于指示不同的服装形状;按照第一预设数值间隔,在所述第一取值范围内采样,得到所述形状参数的多个参数值。3.根据权利要求1或2所述的方法,其特征在于,所述获取与所述形状参数对应的第一取值范围,包括:获取预设的第二取值范围;其中,在所述第二取值范围内确定的形状参数用于指示多种类型服装对应的不同的服装形状;利用所述参数化人物网络以及从所述第二取值范围内采样得到的多个候选采样值,生成多个第三虚拟人物模型,其中,每一第三虚拟人物模型的服装形状不同;在多个所述第三虚拟人物模型中,确定符合预设服装形状的多个目标人物模型;根据所述多个候选采样值中,生成多个所述目标人物模型分别利用的目标采样值,确定所述第一取值范围。4.根据权利要求1-3任一所述的方法,其特征在于,所述形状参数包括用于描述服装类型的类型参数和/或用于描述所述服装尺寸的尺寸参数,所述服装形状随着所述类型参数的参数值和/或尺寸参数的参数值的改变而改变。5.根据权利要求1-4任一所述的方法,其特征在于,所述方法还包括:获取用于指示动作姿态的姿态参数的参数值;所述利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型,包括:将所述形状参数的参数值以及所述姿态参数的参数值输入至所述参数化人物网络,生成与所述服装参数指示的服装形状对应并且具备所述动作姿态的第一虚拟人物模型;根据所述第一虚拟人物模型,生成表征预设动作姿态的动作姿态图。6.根据权利要求5所述的方法,其特征在于,所述根据所述第一虚拟人物模型,生成获取表征动作姿态的动作姿态图,包括:获取生成所述第一虚拟人物模型所利用的所述姿态参数的参数值;将所述姿态参数的参数值调整为与所述预设动作姿态对应的预设参数值;利用所述参数化人物网络及所述预设参数值,生成第二虚拟人物模型;所述第一虚拟人物模型与所述第二虚拟人物模型的服装相同,具备不同的动作姿态,且所述第二虚拟人物具备所述预设动作姿态;根据所述第二虚拟人物模型包括的预设人体关键点,生成指示所述预设动作姿态的动
作姿态图。7.根据权利要求6所述的方法,其特征在于,所述方法还包括:将所述动作姿态图与多个所述第一人物图像分别进行组合得到多个输入样本,所述多个输入样本用于作为动作迁移网络的训练样本。8.根据权利要求7所述的方法,其特征在于,所述训练样本还包括与所述输入样本对应的标注真值;在生成第二虚拟人物模型之后,所述方法还包括:将所述第二虚拟人物模型渲染为第二人物图;针对所述第二人物图像内每一像素点,响应于所述像素点的像素值到达预设阈值,确定所述像素点属于人物区域,以及响应于所述像素点的像素值未到达预设阈值,确定所述像素点属于非人物区域;将所述非人物区域包含的第一像素点的像素值置为第一像素值,将所述人物区域包含的第二像素点的像素值置为第二像素值,得到人物掩码图,其中所述标注真值包括所述人物掩码图。9.根据权利要求8所述的方法,其特征在于,所述训练样本还用于训练得到人物掩码图生成网络;所述人物掩码图生成网络的输入包括人物图像和动作姿态图,输出为人物掩码图。10.根据权利要求1-9任一所述的方法,其特征在于,在生成多个第一人物图像之后,所述方法还包括:针对多个第一人物图像中每一第一人物图像,对所述第一人物图像进行图像分割,生成与服装区域对应的服装分割图;所述服装分割图中的像素点的像素值指示所述像素点属于服装区域或非服装区域;利用所述服装分割图,对所述第一人物图像进行区域提取,生成与所述服装区域对应的服装区域图,所述服装区域图用于对人物的特效处理。11.一种图像生成装置,其特征在于,包括:第一获取模块,用于获取用于指示不同服装形状的形状参数的多个参数值;第一生成模块,用于利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型;第二生成模块,用于基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。12.一种电子设备,其特征在于,所述设备包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器通过运行所述可执行指令以实现如权利要求1-10任一所述的图像生成方法。13.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于使处理器执行如权利要求1-10任一所述的图像生成方法。
技术总结
本申请提出一种图像生成方法、装置、设备和存储介质。其中,所述方法可以包括:获取用于指示不同服装形状的形状参数的多个参数值。利用参数化人物网络及所述多个参数值,生成与多种服装形状分别对应的第一虚拟人物模型。基于所述第一虚拟人物模型,生成多个第一人物图像,每个第一人物图像的服装形状为所述多种服装形状中的其中一种。由此可以提升第一人物图像的服装形状覆盖面。像的服装形状覆盖面。像的服装形状覆盖面。
技术研发人员:徐速 刘兆洋 吴文岩 钱晨
受保护的技术使用者:北京大甜绵白糖科技有限公司
技术研发日:2022.02.17
技术公布日:2022/5/25
转载请注明原文地址:https://tc.8miu.com/read-11126.html