一种基于优化热度图监督机制的服饰关键点检测方法

1.本发明涉及一种基于优化热度图监督机制的服饰关键点检测方法。


背景技术：

2.服饰关键点检测的目的是预测定义在衣服上的关键点的位置，功能关键点如领口、下摆和袖口的角落。检测关键点的位置作为服饰信息识别技术中底层一环，对服饰位置标定、属性预测等任务都起重要作用。
3.关键点检测任务起源于人体姿态估计与人脸关键点定位，传统的关键点检测任务基于回归坐标的方式，由输入图像提取特征，至输出层回归出关键点坐标。然而回归方法在预测上存在关键点耦合等问题，预测性能较差。而目前提出的框架主要为：由三个阶段的卷积神经网络组成的deep fashion alignment(dfa)以及采用选择性膨胀卷积和递归空间变换相结合的深度关键点检测网络deep landmark network(dlan)，这两种框架均基于直接回归关键点坐标的方法进行预测。此外还包括，通过一种全局-局部嵌入模块以实现更准确的地标预测性能以及通过建立大型基准数据集deepfashion2来构建一个基于mask r-cnn的健壮的模型match r-cnn，同样实现了不错的检测效果。
4.最新的先进的研究为以层次的方式利用结构图推理方法来加强关键点之间的结构布局关系。这种将关键点的不同部位定义视作图的节点并以图神经网络的思想进行特征聚类的方式，由于采用了复杂的信息传递方式和推理模块虽然增加模型能力，但也带来了增加的计算量。
5.综上，服饰关键点检测任务中，先进方法大多基于经典的热度图监督方法从而对特征提取过程进行充分设计。鲜有方法针对在预测环节的热度图监督方法进行深入研究。


技术实现要素：

6.为解决上述问题，提供一种基于优化热度图监督机制的服饰关键点检测方法，本发明采用了如下技术方案：
7.本发明提供了一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于，包括：步骤s1-1，将输入图像通过预先训练的服饰关键点检测网络针对每一个关键点的位置均计算得到不同分辨率的输出热度图；步骤s1-2，输出热度图通过差值上采样以及算数平均处理得到最终输出热度图；步骤s1-3，输出最终输出热度图，其中，服饰关键点检测网络的训练过程具体为：步骤s2-1，针对预先准备的包括原图像、服饰边界框以及关键点的原数据集进行图像预处理并将得到的图像特征通过数据增强从而得到包括已处理图像的服饰关键点检测训练集；步骤s2-2，针对服饰关键点检测训练集通过待训练服饰关键点检测网络中的多重分辨率热度图监督模块得到三种尺度的预测热度图；步骤s2-3，针对服饰关键点检测训练集通过逐步聚焦热度监督模块计算得到真实热度图；步骤s2-4，通过对比预测热度图以及真实热度图计算水平损失函数以及均方误差；步骤s2-5，通过根据水平损失函数以及均方误差计算得到的总损失函数；步骤s2-6，通过均方误差以及总损失函数以
预定的梯度回转方法进行反向传播，从而对服饰关键点检测网络进行训练从而得到服饰关键点检测网络。
8.本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，水平损失函数计算过程如下：式中，hl即指水平损失函数，y和分别是真实热度图和预测热度图上的像素值，是模型预测热度图中的最大置信度值。均方误差的计算过程如下：预测热度图中的最大置信度值。均方误差的计算过程如下：式中，mse为均方误差，y和分别为真实热度图和预测热度图上的像素值。
9.本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，总损失函数由均方误差和水平损失函数共同计算得到，计算过程具体如下：l
total
＝mse+α
×
hl式中，l
total
为总损失函数，mse为均方误差，hl为水平损失函数，α为超参数。
10.本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，多重分辨率热度图监督模块包括上采样部、三路特征卷积部以及多尺寸监督部，上采样部为将已处理图像通过两次反卷积上采样得到三种不同分辨率下的尺度特征图，三路特征卷积部为将三种不同分辨率下的尺度特征图通过1
×
1的卷积核进行两次卷积，并通过调整通道数来匹配预测关键点的数量的方式，得到三种不同尺度下的输出热度图，多尺寸监督模块为针对单通道热度图在三个尺度对三个尺度下输出热度图进行监督。
11.本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，逐步聚焦热度监督模块通过对原图像中关键点的位置上进行高斯模糊从而生成真实热图，逐步聚焦热度监督模块中包括高斯核，高斯核具有随着训练时间的推进逐渐减少的标准偏差，标准偏差以减至前一个标准偏差的一半的方式减小至偏小值。
12.本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，预定的梯度回转方法为在训练的前五个周期内仅使用均方误差对待训练服饰关键点检测网络进行梯度回传，通过总损失函数对待训练服饰关键点检测网络进行梯度回传并更新网络模型的参数，在训练初期使用较大标准偏差以保证模型收敛速度，随着训练周期的逐步进行再将标准偏差逐步减小至偏小值。
13.本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，数据增强将图像特征通过随机翻转、随机旋转、随机剪裁的方式对图像特征进行处理从而得到服饰关键点检测数据集，随机翻转为将训练数据图像以预先设定的概率进行在垂直方向的顺逆时针翻转，随机旋转为将训练数据图像随机从[-30
°
,+30
°
]之间选取一个角度进行旋转，随机剪裁为针对训练数据图像中服饰边界框之外区域进行随机剪裁。
[0014]
本发明提供的一种基于优化热度图监督机制的服饰关键点检测方法，还可以具有这样的技术特征，其中，图像预处理包括以下步骤：步骤s2-1-1，根据关键点通过计算得到单通道热度图；步骤s2-1-2，缩放原图像的分辨率大小；步骤s2-1-3，将单通道热度图与缩
放后的输入图像通过归一化处理得到图像特征。
[0015]
发明作用与效果
[0016]
根据本发明的一种基于优化热度图监督机制的服饰关键点检测方法，将服饰关键点检测训练集通过多重分辨率热度图计算得到三种尺度的预测热度图，由于所采用的骨干网络为hrnet因此能够在信息传输过程中保持高分辨率，然后通过在逐渐聚焦热图监督机制中添加标准偏差逐渐降低的高斯核的方法能够在增大空间分辨率的同时带来冗余的空间信息，最后通过计算水平损失函数、均方误差，并通过以反向传播的方式对服饰关键点检测网络进行训练从而得到服饰关键点检测网络。通过水平损失函数对服饰关键点检测网络进行训练能够在不过多损害计算性能的前提下，训练出了更佳的检测模型，提升了服饰关键点检测的精度。通过在逐渐聚焦热图监督机制添加标准偏差逐渐降低的高斯核从而能够在增大空间分辨率的同时带来冗余的空间信息。
附图说明
[0017]
图1是本发明实施例中的服饰关键点检测网络的流程图；
[0018]
图2是本发明实施例中的服饰关键点检测网络的示意图；
[0019]
图3是本发明实施例中的服饰关键点检测网络训练过程的流程图；
[0020]
图4是本发明实施例中的骨干网络的示意图；
[0021]
图5是本发明实施例中的多重分辨率监督模块的示意图；
[0022]
图6是本发明实施例中的逐渐聚焦热度图监督机制的标准偏差变化取值情况；
[0023]
图7是本发明实施例中水平损失函数的示意图；以及
[0024]
图8是本发明实施例中服饰关键点检测结果的效果图。
具体实施方式
[0025]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种基于优化热度图监督机制的服饰关键点检测方法作具体阐述。
[0026]
《实施例》
[0027]
在本实施例中将输入图像以及关键点通过服饰关键点检测网络从而得到能够精准定位关键点的最终输出热度图。
[0028]
图1是本发明实施例中的服饰关键点检测网络的流程图。
[0029]
图2是本发明实施例中的服饰关键点检测网络的示意图。
[0030]
如图1以及图2所示，服饰关键点检测网络的过程包括步骤s1-1至步骤s1-3。
[0031]
步骤s1-1，输入图像通过预先训练的服饰关键点检测网络针对每一个关键点的位置均计算得到不同分辨率的输出热度图。
[0032]
步骤s1-2，输出热度图通过差值上采样以及算数平均处理得到最终输出热度图。
[0033]
在本实施例中，输出热度图为三个不同分辨率，三个不同分辨率的输出热度图分别为128*128*8像素、256*256*8像素以及512*512*8像素，其中分辨率为128*128*8像素、256*256*8像素的输出热度图通过上采样从而使得分辨率大小为512*512*8像素并结合分辨率为512*512*8像素的输出热度图通过算数平均处理从而得到512*512*8像素的最终输
出热度图。
[0034]
步骤s1-3，输出最终输出热度图(模型最终检测结果)。
[0035]
在热度图中置信度值最大的位置坐标对应于关键点的位置坐标。其中的关键点为服饰图像中的领口、袖口、腰际、下摆这几个关键位置的坐标，而这些关键点不仅指明了服装的功能区域，还含蓄地捕捉了服装的边界框，从而更好地区分服装的设计、图案、品类。
[0036]
图3是本发明实施例中的服饰关键点检测网络训练过程的流程图。
[0037]
如图3所示，服饰关键点检测网络的训练过程，具体包括以下步骤s2-1至步骤s2-6。
[0038]
步骤s2-1，针对预先准备的包括原图像、服饰边界框以及关键点的原数据集进行图像预处理并将得到的图像特征通过数据增强从而得到包括已处理图像的服饰关键点检测训练集。
[0039]
在本实施例中，原数据集为deepfashion-c数据集。deepfashion-c数据集内一共包含289222张服饰图像，每张图像都对应有服饰边界框的位置以及关键点的位置。
[0040]
关键点的坐标是来源于deepfashion-c数据集的标注。
[0041]
图像预处理包括以下步骤s2-1-1至步骤s2-1-3。
[0042]
步骤s2-1-1，根据关键点通过计算得到单通道热度图。
[0043]
步骤s2-1-2，缩放输入图像的分辨率大小。
[0044]
在本实施例中，输入图像的分辨率大小缩放至为512
×
512像素。
[0045]
步骤s2-1-3，将单通道热度图与缩放后的输入图像通过归一化处理得到图像特征。
[0046]
在本实施例中，图像预处理以hrnet网络作为骨干网络，包含4个由高分辨率逐步增加到低分辨率的并行子网，针对3
×
512
×
512分辨率大小的输入数据进行检测。
[0047]
图4是本发明实施例中的骨干网络的示意图。
[0048]
如图4所示，骨干网络包含的并行子网将特征图块通过卷积单元进行上采样以及下采样。其中，特征图为网络运算过程中各个阶段的特征信息，卷积单元为在不改变特征图块尺度的情况下，仅增加特征图块深度的卷积计算，下采样为减小特征图块尺度的卷积计算，上采样为增大特征图块尺度的插值计算。
[0049]
4个并行子网分别为一阶段并行子网、二阶段并行子网、三阶段并行子网以及四阶段并行子网。
[0050]
一阶段并行子网仅存在单一的128
×
128分辨率特征图的单一支路；二阶段并行子网存在两种分别为128
×
128分辨率特征图以及64
×
64分辨率特征图的双支路；三阶段并行子网存在三种分别为128
×
128分辨率特征图、64
×
64分辨率特征图以及32
×
32分辨率特征图的三支路；四阶段并行子网存在四种分别为128
×
128分辨率特征图、64
×
64分辨率特征图、32
×
32分辨率特征图以及16
×
16分辨率特征图的四支路。在每一阶段中都存在大量的支路间信息连接、传递与计算。最终将128
×
128分辨率特征图、64
×
64分辨率特征图、32
×
32分辨率特征图以及16
×
16分辨率特征图通过上采样至同一分辨率128
×
128并通过连结操作成为整块最终特征图。由于在保持了高分辨率的同时也进行了低分辨率的充分提取，最终特征图具有出色的低层空间信息和高层语义信息，能为后续预测提供扎实的特征基础。
[0051]
hrnet中的网络构件主要由多层卷积(convolutional)层、批量规范(batch normalization,bn)层、线性整流函数(rectified linear unit,relu)、block操作以及tran操作组成。
[0052]
卷积层以滑动的方式通过卷积核对图像进行局部的特征提取，其参数随着模型的训练迭代地进行调整，以实现对特征的自动提取。
[0053]
批量规范层对模型中间层的输出进行规范化，从而在保持分布的一致性的同时加快网络模型的收敛，输出层的计算公式如下：
[0054][0055]
式中，x为批量规范层的输入，y为批量规范层的输出，e[x]为x的均值，var[x]为x的方差，γ和β为预先设定的可学习的参数。
[0056]
relu层为通过非线性激活的方式增加模型的拟合能力，relu层输出的计算公式如下：
[0057]
f(x)＝max(0,x)
[0058]
式中，f(x)为relu层的输出，x为批量规范层的输入。
[0059]
block操作为stride为1且padding为1的3
×
3卷积操作；tran操作连接两个不同阶段的并行子网。同分辨率特征间通过1
×
1卷积改变通道数；不同分辨率特征间通过stride为2的3
×
3卷积操作并紧随bn层和relu层，同时改变通道数和分辨率大小；fuse操作融合不同分辨率的特征块，通过stride为2的3
×
3卷积降低分辨率、通过插值上采样增大分辨率，进行concat融合后再通过1
×
1卷积改变通道数，同时在每个卷积后都紧随bn层和relu层。
[0060]
将通过图像预处理得到的图像特征进行数据增强。
[0061]
数据增强将预处理图像通过随机翻转、随机旋转、随机剪裁的方式进行处理从而得到图像特征。
[0062]
随机翻转为将训练数据图像以预先设定的概率进行在垂直方向的顺逆时针翻转。
[0063]
随机旋转为将训练数据图像随机从[-30
°
,+30
°
]之间选取一个角度进行旋转。
[0064]
随机剪裁为针对训练数据图像中服饰边界框之外区域进行随机剪裁。
[0065]
步骤s2-2，针对服饰关键点检测训练集通过待训练服饰关键点检测网络中的多重分辨率热度图监督模块得到三种尺度的预测热度图。
[0066]
图5是本发明实施例中的多重分辨率监督模块的示意图。
[0067]
如图5所示，多重分辨率热度图监督模块包括上采样部、三路特征卷积部以及多尺寸监督部。
[0068]
上采样部为将已处理图像通过两次反卷积上采样得到三种不同分辨率下的尺度特征图(分别为图中的1部分、2部分以及3部分)。
[0069]
三路特征卷积部，将三种尺度特征图通过1
×
1的卷积核进行两次卷积，并通过调整通道数来匹配预测关键点的数量的方式，得到三种不同尺度下的预测热度图(分别为图中的4部分、5部分以及6部分)。
[0070]
多尺寸监督部，针对单通道热度图(分别为图中的7部分、8部分以及9部分)在小尺寸、中尺寸以及大尺寸三个尺度对三个尺度下输出特征图进行监督。
[0071]
步骤s2-3，针对服饰关键点检测训练集通过逐步聚焦热度监督模块计算得到真实热度图。
[0072]
其中，逐步聚焦热度监督模块通过对原图像中关键点的位置上进行高斯模糊从而生成真实热图。
[0073]
逐步聚焦热度监督模块中包括高斯核。
[0074]
其中，高斯核具有随着训练时间的推进逐渐减少的标准偏差，标准偏差通过减至前一个标准偏差的一半的方式减小至偏小值。
[0075]
图6是本发明实施例中的逐渐聚焦热度图监督机制的标准偏差变化取值情况。
[0076]
如图6所示，在训练的前五个周期中的高斯核使用较大的标准偏差，而当后期高斯核的标准偏差逐步减小。
[0077]
在训练的前五个周期中通过使用均方误差对待训练服饰关键点检测网络进行梯度回传，以此来保证模型收敛速度；而后期使用总损失函数对待训练服饰关键点检测网络进行梯度回传并更新网络模型的参数。
[0078]
步骤s2-4，通过对比预测热度图以及真实热度图计算水平损失函数以及均方误差。
[0079]
图7是本发明实施例中水平损失函数的示意图。
[0080]
如图7所示，通过计算高度差距以及水平差距从而计算得到预测热度图中的最大置信度值。
[0081]
其中，水平损失函数计算过程如下：
[0082][0083]
式中，hl即指水平损失函数，y和分别是真实热度图和预测热度图上的像素值。是预测热度图中的最大置信度值。
[0084]
均方误差的计算过程如下：
[0085][0086]
式中，mse为均方误差，y和分别为真实热度图和预测热度图上的像素值。
[0087]
步骤s2-5，通过将水平损失函数以及均方误差计算得到总损失函数。
[0088]
其中，总损失函数由均方误差和水平损失函数共同构计算得到，计算过程具体如下：
[0089]
l
total
＝mse+α
×
hl
[0090]
式中，l
total
代表总损失函数，mse代表均方误差，hl代表水平损失函数，α为超参数。
[0091]
在本实施例中，总损失函数中的超参数α＝0.5。
[0092]
步骤s2-6，通过均方误差以及总损失函数以预定的梯度回转方法进行反向传播，从而对服饰关键点检测网络进行训练从而得到服饰关键点检测网络。
[0093]
其中，预定的梯度回转方法为：在训练的前五个周期内仅使用均方误差对待训练服饰关键点检测网络进行梯度回传，在通过总损失函数对待训练服饰关键点检测网络进行梯度回传并更新网络模型的参数。
[0094]
在训练初期使用较大标准偏差以保证模型收敛速度，随着训练周期的逐步进行再
将标准偏差逐步减小至偏小值。
[0095]
在本实施例中，训练通过adam优化器对待训练骨干网络进行训练，其中学习率设置为0.00011，学习率衰减系数为0.9，批大小为16，训练周期为30个。
[0096]
图8是本发明实施例中服饰关键点检测结果的效果图。
[0097]
如图8所示，图7中针对每一个输出图像能够准确地识别并标注出每个输入图像中的每个关键点，可见本实施例的服饰关键点检测模型在针对公开数据集deepfashion-c的关键点检测任务时，能够在不过多损害计算性能的前提下，提升了服饰关键点检测的精度从而使平均检测归一误差从0.0441降至0.0334，从而达到学术界一线检测方法的精度。
[0098]
实施例作用与效果
[0099]
根据本实施例提供的一种基于优化热度图监督机制的服饰关键点检测方法，通过将输入图像通过预先训练的服饰关键点检测网络针对每一个关键点的位置均计算得到不同分辨率的输出热度图，关键点的位置作为重要的底层空间信息提供源，具有广泛的应用场所；并将通过差值上采样以及算数平均处理得到最终输出热度图输出，从而实现了针对服饰关键点的有效检测。其中的服饰关键点检测网络训练过程为：将服饰关键点检测训练集通过多重分辨率热度图计算得到三种尺度的预测热度图，由于所采用的骨干网络为具有更好泛化性的hrnet因此能够在信息传输过程中保持高分辨率；然后通过在逐渐聚焦热图监督机制中添加标准偏差逐渐降低的高斯核的方法能够在增大空间分辨率的同时带来冗余的空间信息；最后通过计算水平损失函数、均方误差，并以反向传播的方式对服饰关键点检测网络进行训练从而得到服饰关键点检测网络。因此通过本发明的服饰关键点检测网络能够在不过多损害计算性能的前提下，具有更佳的检测效果，从而提升了服饰关键点检测的精度。
[0100]
实施例中，把1+2y用作指数，使得y取较大值的位置也可以获得较大的梯度以进行反向传播，从而使得计算骨干网络的梯度与预测值和真实值之间的距离有关，并在反向传播的梯度能在真实热图的置信度峰值(即关键点坐标位置)获得最大值。
[0101]
实施例中，在进行数据增强的时候由于考虑到服饰边界框，避免了随机剪裁使得服饰被切断从而导致的检测结果不准确的现象。
[0102]
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。

技术特征：
1.一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于，包括：步骤s1-1，将输入图像通过预先训练的服饰关键点检测网络针对每一个所述关键点的位置均计算得到不同分辨率的输出热度图；步骤s1-2，所述输出热度图通过差值上采样以及算数平均处理得到最终输出热度图；步骤s1-3，输出所述最终输出热度图，其中，所述服饰关键点检测网络的训练过程具体为：步骤s2-1，针对预先准备的包括原图像、服饰边界框以及所述关键点的原数据集进行图像预处理并将得到的图像特征通过数据增强从而得到包括已处理图像的服饰关键点检测训练集；步骤s2-2，针对所述服饰关键点检测训练集通过所述待训练服饰关键点检测网络中的多重分辨率热度图监督模块得到三种尺度的预测热度图；步骤s2-3，针对所述服饰关键点检测训练集通过逐步聚焦热度监督模块计算得到真实热度图；步骤s2-4，通过对比所述预测热度图以及所述真实热度图计算水平损失函数以及均方误差；步骤s2-5，通过根据所述水平损失函数以及所述均方误差计算得到的总损失函数；步骤s2-6，通过所述均方误差以及所述总损失函数以预定的所述梯度回转方法进行反向传播，从而对所述服饰关键点检测网络进行训练从而得到所述服饰关键点检测网络。2.根据权利要求1所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：其中，所述水平损失函数计算过程如下：式中，hl为所述水平损失函数，y和分别为所述真实热度图和所述预测热度图上的像素值，是所述预测热度图中的最大置信度值，所述均方误差的计算过程如下：式中，mse为所述均方误差，y和分别为所述真实热度图和所述预测热度图上的像素值。3.根据权利要求2所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：其中，所述总损失函数由所述均方误差和所述水平损失函数共同计算得到，计算过程具体如下：l
total
＝mse+α
×
hl式中，l
total
为所述总损失函数，mse为所述均方误差，hl为所述水平损失函数，α为超参数。4.根据权利要求1所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：
其中，所述多重分辨率热度图监督模块包括上采样部、三路特征卷积部以及多尺寸监督部，所述上采样部为将所述已处理图像通过两次反卷积上采样得到三种不同分辨率下的尺度特征图，所述三路特征卷积部为将三种不同分辨率下的所述尺度特征图通过1
×
1的卷积核进行两次卷积，并通过调整通道数来匹配预测关键点的数量的方式，得到三种不同尺度下的输出热度图，所述多尺寸监督模块为针对所述单通道热度图在三个尺度对三个尺度下的所述输出热度图进行监督。5.根据权利要求1所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：其中，所述逐步聚焦热度监督模块通过对所述原图像中所述关键点的位置上进行高斯模糊从而生成真实热图，所述逐步聚焦热度监督模块中包括高斯核，所述高斯核具有随着训练时间的推进逐渐减少的标准偏差，所述标准偏差以减至前一个所述标准偏差的一半的方式减小至偏小值。6.根据权利要求1所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：其中，预定的所述梯度回转方法为在训练的前五个周期内仅使用均方误差对待训练服饰关键点检测网络进行梯度回传，通过所述总损失函数对待训练服饰关键点检测网络进行梯度回传并更新网络模型的参数，在训练初期使用较大标准偏差以保证模型收敛速度，随着训练周期的逐步进行再将标准偏差逐步减小至偏小值。7.根据权利要求1所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：其中，所述数据增强将所述图像特征通过随机翻转、随机旋转、随机剪裁的方式对所述图像特征进行处理从而得到所述服饰关键点检测数据集，所述随机翻转为将所述训练数据图像以预先设定的概率进行在垂直方向的顺逆时针翻转，所述随机旋转为将所述训练数据图像随机从[-30
°
,+30
°
]之间选取一个角度进行旋转，所述随机剪裁为针对训练数据图像中所述服饰边界框之外区域进行随机剪裁。8.根据权利要求1所述的一种基于优化热度图监督机制的服饰关键点检测方法，其特征在于：其中，所述图像预处理包括以下步骤：步骤s2-1-1，根据所述关键点通过计算得到单通道热度图；步骤s2-1-2，缩放所述原图像的分辨率大小；步骤s2-1-3，将所述单通道热度图与缩放后的所述输入图像通过归一化处理得到所述图像特征。

技术总结
根据本实施例提供的一种基于优化热度图监督机制的服饰关键点检测方法，将服饰关键点检测训练集通过多重分辨率热度图计算得到三种尺度的预测热度图，由于所采用的骨干网络为HRNet因此能够在信息传输过程中保持高分辨率，然后通过在逐渐聚焦热图监督机制中添加标准偏差逐渐降低的高斯核的方法能够在增大空间分辨率的同时带来冗余的空间信息，最后通过计算水平损失函数、均方误差，并通过所述以反向传播的方式对服饰关键点检测网络进行训练从而得到服饰关键点检测网络。通过水平损失函数对服饰关键点检测网络进行训练能够在不过多损害计算性能的前提下，训练出了更佳的检测模型，提升了服饰关键点检测的精度。提升了服饰关键点检测的精度。提升了服饰关键点检测的精度。


技术研发人员：张文强 邓苇 张睿 齐立哲
受保护的技术使用者：复旦大学
技术研发日：2020.11.04
技术公布日：2022/5/25