一种三维人脸标志点智能确定方法

1.本发明涉及三维人脸标志；具体涉及一种三维人脸标志点智能确定方法。


背景技术：

2.三维人脸标志是重要的颜面部解剖特征，也是进行颜面形态分析的重要依据，在口腔正颌外科、口腔正畸、口腔修复等学科有着广泛的应用，在人脸识别、人脸跟踪、表情分析、人脸建模等领域标志点也具有非常重要的作用。随着三维扫描设备的广泛应用和标志点自动确定临床需求迫切，高效、自动确定颜面标志点成为研究热点。
3.三维颜面解剖标准点的准确确定是进行三维颜面分析基础和前提，直接影响口腔正畸、颌面外科和口腔修复的手术设计和治疗评价。既往研究多采用人工手动标志点的方式，工作量大、经验依赖性强。因此，如何实现三维颜面解剖标志点的自动、准确和高效确定，是自动化算法和智能化算法都有待解决的关键问题。
4.1堆叠沙漏网络模型
5.堆叠沙漏网络模型最初是用于人体姿态估计，网络捕获并整合图像的所有尺度信息，基于下采样和上采样结合的方式来实现像素级别的特征提取。该网络与沙漏形状相似且呈对称装。如图1所示，每个方框表示该阶段各个关键点的feature map(特征图像)。在沙漏网络的前半部分每层网络通过三个残差模块及下采样(max pooling)操作得出分辨率逐渐降低的feature map(特征图像)，向后续传递到中心得出最低分变率，后半部分每层网络通过上采样(nearest neighbor interpolation)和一个残差模块逐步恢复高分辨率的feature map(特征图像)。通过沙漏网络跳跃层经过逐步提取向沙漏网络的后半部分传递关节特征。最后，将跳跃层保留的各尺度特征与后半部分低分辨率特征进行融合。沙漏网络以其自下而上，自上而下的独特结构将网络低层次和高层次的feature map(特征图像)联合起来，捕捉关键点的空间位置信息。
6.同时，该网络考虑到关键点之间是可以相互参考预测的，既然热力图代表了输入对象的所有关键点，那么热力图就包含了所有关键点的相互关系。因此，堆叠的结构便是将第一个沙漏网络给出的热力图作为下一个沙漏网络的输入，就意味着第二个沙漏网络可以使用关节点件的相互关系，从而提升了关节点的预测精度。2020年2月26日，在百度搜索的论文：人工智能hourglassnet堆叠沙漏网络(论文地址:https://arxiv.org/abs/1603.06937)，就是这种堆叠沙漏网络模型。但这种堆叠沙漏网络模型仅仅用于人体姿态估计，没有用于口腔临床医学的三维人脸标志点的多视图堆叠沙漏神经网络技术方案。
7.2国内外研究发展动态及现状
8.既往文献中自动确定颜面标志点主要分为几何信息分析类算法和机器学习算法。几何信息分析类算法根据颜面几何形态变化自动确定，2016年katina等基于三维颜面数据表面的曲率分类，自动确定17个标志点，但该方法在面部几何特征不明显区域的标志点定位效果欠佳；2017年，梁艳等利用hk曲率分析结合对颜面部几何形状的先验知识，提出了一种在三维颜面数据上自动确定8个解剖标志点的方法。
mid-facial plane for cranio-maxillofacial surgery planning[j].int j oral max surg,2006,35(7):636-642.
[0023]
[11]benz m,laboureux x,maier t,et al.the symmetry of faces[c].proceedings of the vision，modeling，and cisualization conference(vmv),2002:43-50.
[0024]
[12]田凯月.下颌前突偏斜畸形数字化矫治方案设计[d].北京大学医学部,2015.
[0025]
[13]xiong y,zhao y,yang h,et al.comparison between interactive closest point and procrustes analysis for determining the median sagittal plane of three-dimensional facial data[j].j craniofac surg,2016,27(2):441-444.
[0026]
[14]zelditch,leah m.geometric morphometrics for biologists:a primer.[m].new york and london:elsevier academic press,2004:293-319.
[0027]
[15]xiong y,zhao y,yang h,et al.comparison between interactive closest point and procrustes analysis for determining the median sagittal plane of three-dimensional facial data[j].j craniofac surg,2016,27(2):441-444.
[0028]
[16]li m,cole jb,manyama m,et al.rapid automated landmarking for morphometric analysis of three-dimensional facial scans[j].j anat,2017,230(4):607-618.
[0029]
[17]agbolade o,nazri a,yaakob r,et al.homologous multi-points warping:an algorithm for automatic 3d facial landmark[c].2019 ieee international conference on automatic control and intelligent systems(i2cacis),2019:79-84.
[0030]
[18]creusot c,pears n,austin j.a machine-learning approach to keypoint detection and landmarking on 3d meshes[j].int j comput vision,2013,102(1-3):146-179.
[0031]
[19]su h,maji s,kalogerakis e,et al.multi-view convolutional neural networks for 3d shape recognition[c].2015 ieee international conference on computer vision(iccv),2015:945-953.
[0032]
[20]paulsen rr,juhl ka,haspang tm,et al.multi-view consensus cnn for 3d facial landmark placement[c].2018computer vision-accv,2018:706-719.


技术实现要素：

[0033]
(一)要解决的技术问题
[0034]
本发明的目的是提供一种三维人脸标志点智能确定方法，提出了基于三维人脸的多视图渲染实现三维模型与二维深度图像的变换；采用堆叠沙漏神经网络及层级注意监督模块信号实现三维颜面解剖标志点的自动确定；采用人工智能领域的深度学习算法，建立可自动确定三维颜面解剖标志点的多视图堆叠沙漏神经网络模型，实现了符合专家诊断策略的标志点智能确定效果。
[0035]
(二)技术方案
[0036]
本发明的一种三维人脸标志点智能确定方法，包括以下步骤：
[0037]
(1)三维颜面数据渲染多视图：
[0038]
设置虚拟相机焦点位于三维颜面数据几何中心焦点，由虚拟相机拍摄三维人脸不同角度的数十个随机位置图像，每个视图需包含该角度下的完整面部二维图像，并对上述数十个二维视图渲染得到其深度图像，视图渲染过程基于python开源工具包vtk实现；
[0039]
(2)多视图堆叠沙漏神经网络模型构建二维热图：
[0040]
应用算法训练的多视图堆叠沙漏神经网络模型，分别计算上述步骤(1)构建的数十个二维视图的二维热图。
[0041]
(3)三维颜面标志点自动确定：
[0042]
通过虚拟相机矩阵的映射实现将标志点二维热图坐标投影到的三维颜面数据相应位置的结果，即实现自动确定三维颜面数据的标志点。
[0043]
其中，所述步骤(1)的算法虚拟相机的焦点是人脸模型的几何中心，坐标系的原点。
[0044]
其中，所述多视图堆叠沙漏神经网络模型还包括多层级注意力机制的监督模块，以进一步提高表征空间的能力。
[0045]
其中，所述多视图沙漏神经网络模型由pytorch框架进行编写，使用0.001的初始学习率，100个迭代次数，设置8个批量大小。
[0046]
(三)有益效果
[0047]
本发明的优点在于：
[0048]
1、能在三维颜面数字模型上快速、准确、自动、批量确定解剖标志点，采用人工智能领域的深度学习算法，建立可自动确定三维颜面解剖标志点的多视图堆叠沙漏神经网络模型，实现了符合专家诊断策略的标志点智能确定效果。
[0049]
2、本发明能在训练样本为小样本的前提下，通过多视图堆叠沙漏神经网络模型增强数据学习更多标志点信息，并采用层级注意及监督模块信号的形式达到更高的准确性，可满足口腔临床大量数据的诊断分析需求。
附图说明
[0050]
图1是现有技术堆叠沙漏网络模型的结构图；
[0051]
图1中：c1-c7、c1a-c4a、c1b-c4b:表示各个关键点的feature map(特征图像)；
[0052]
图2是本发明多视图沙漏神经网络模型的结构示意图；
[0053]
图2中：1、多视图；2、多视图沙漏神经网络模型；3、确定面部三维标志4、沙漏神经网络模块；5、注意力块；6、堆叠。
具体实施方式
[0054]
以下实施例用于说明本发明，但不用来限制本发明的范围。
[0055]
本发明的一种三维人脸标志点智能确定方法，包括以下步骤：
[0056]
(1)三维颜面数据渲染多视图：
[0057]
人工调整三维颜面数据几何中心至算法虚拟相机的焦点，设置虚拟相机位于三维
人脸不同角度的数十个随机位置拍摄图像，每个视图需包含该角度下的完整面部二维图像，并对上述数十个二维视图渲染得到其深度图像，视图渲染过程基于python开源工具包vtk实现；
[0058]
(2)搭建多视图堆叠沙漏神经网络模型：
[0059]
搭建的多视图堆叠沙漏神经网络模型是加载80例训练集三维颜面数据的多视图深度图像进行堆叠沙漏神经网络模型算法训练，以二维热图的形式呈现堆叠沙漏神经网络模型计算的标志点，再通过虚拟相机矩阵的映射实现将二维标志点投影到的三维颜面数据的相应位置；
[0060]
(3)三维颜面标志点自动确定：
[0061]
通过虚拟相机矩阵的映射实现将标志点二维热图坐标投影到的三维颜面数据相应位置的结果，基于步骤(2)搭建的多视图堆叠沙漏神经网络模型，输入训练集以外20例受试者三维颜面数据，即能自动确定三维颜面数据的标志点。
[0062]
所述步骤(1)的算法虚拟相机的焦点是人脸模型的几何中心，坐标系的原点；在面扫数据存在不同的坐标系情况下，为了适配多视图堆叠沙漏神经网络模型算法输入，需要调整到了同一个坐标系下的原点，才能保证渲染过程不会出错，使得渲染的多视图具有内容，不会出现空白。
[0063]
所述多视图堆叠沙漏神经网络模型还包括多层级注意力机制的监督模块，以进一步提高表征空间的能力，所述监督模块，由每个沙漏神经网络生成的中间表示模块被连接起来形成一个多级表示模块，这种表示模块能看作是从沙漏神经网络的不同层次、不同尺度上提取的集体知识模块，将这种集体知识模块作为监督信号来校准最终表示模块，能得到更好的表示模块；为了能够包含这个集体知识模块，将所有的中间表示模块堆叠起来，这个堆叠表示模块的方法被输入到注意力机制的监督模块，所述注意力机制的监督模块即为注意力块，这个堆叠表示的方法被输入到注意力块来计算出各个关键点对应的权重信息，该注意力块由卷积组成并且最后使用sigmoid激活函数来形成单一通道的注意机制；我们将获得的注意机制(权重参数)信息与最终的表征相乘，以重新校准表征空间，并教会多视图沙漏神经网络模型更加注意人脸的具体位置。
[0064]
所述多视图沙漏神经网络模型由pytorch框架进行编写，使用0.001的初始学习率，100个迭代次数，设置8个批量大小。
[0065]
本发明临床收集了20例面部无明显畸形受试者应用本发明方法进行三维颜面标志点自动确定，面部各区域标志点的误差均在临床可接受范围内，在鼻区误差最小，口唇区次之，眶区最大，初步评价可以满足口腔临床的应用需求。本发明构建多视图堆叠沙漏神经网络模型，可自动确定三维颜面解剖标志点，能在训练样本为小样本的前提下，通过多视图增强数据学习更多标志点信息，并采用层级注意及监督信号的形式达到更高的准确性，可满足口腔临床大量数据的诊断分析需求。
[0066]
如上所述，便可较为充分的实现本发明。以上所述仅为本发明的较为合理的实施实例，本发明的保护范围包括但并不局限于此，本领域的技术人员任何基于本发明技术方案上非实质性变性变更均包括在本发明包括范围之内。