本发明涉及人脸特征提取，具体为基于图像数据的人脸特征提取方法。
背景技术：
1、人脸特征提取是从人脸图像中提取出具有代表性和区分性的信息，在计算机视觉和模式识别领域通常用于人脸识别、表情分析、姿势估计等应用中，人脸特征可以分为两类：局部特征和全局特征，局部特征包括点特征、边缘特征和纹理特征，分别描述了人脸图像中局部区域的关键信息，全局特征则包括形状特征和颜色特征，用于描述整体的人脸形状和颜色信息，人脸特征提取的方法有很多种，包括但不限于主成分分析、独立成分分析、非负矩阵分解和深度学习方法。
2、例如中国专利公开了一种基于集群式iot的人脸特征提取方法，cn116682167b，特征值的提取由不同的iot设备分别完成；服务端生成与iot设备对应的全量人脸特征文件，所述全量人脸特征文件中包含与iot设备对应的人脸照片的标识信息、该部分人脸照片在文件存储服务中的链接以及该部分人脸照片已有的特征值；iot设备依据全量人脸特征文件从文件存储服务中拉取缺少特征值的人脸照片；iot设备完成特征值的提取后，将人脸照片的标识信息及对应的特征值发送至服务端。本发明避免了同一张照片重复提取的问题，减少了每一台iot设备所要提取的数量，显著缩短了提取时间，同时也减少了网络流量的消耗，降低了编译、运维的成本和对资源的要求。
3、虽然上述方案具有如上的优势，然而传统的基于图像数据的人脸特征提取方法仅仅依赖于简单的特征表示方式，如haar特征、hog特征，此类特征无法捕捉到人脸图像的高级语义信息，导致特征的判别性和表达能力受限，同时在处理复杂场景下的人脸识别问题时常常表现不佳，例如遮挡严重或光照条件恶劣等条件下，无法提取出准确的人脸特征，因此亟需一种基于图像数据的人脸特征提取方法来解决此类问题。
技术实现思路
1、针对现有技术的不足，本发明提供了基于图像数据的人脸特征提取方法，解决现有技术中存在的无法捕捉到人脸图像的高级语义信息，导致特征的判别性和表达能力受限，同时在处理复杂场景下的人脸识别问题时常常表现不佳，例如遮挡严重或光照条件恶劣等条件下，无法提取出准确的人脸特征的问题。
2、为实现以上目的，本发明通过以下技术方案予以实现：
3、本发明提供了基于图像数据的人脸特征提取方法，包括：
4、步骤1.收集包含不同光照、表情、姿态和遮挡情况的人脸图像数据集，对数据进行预处理，包括裁剪、大小调整、灰度化、标准化处理；
5、步骤2.采用张量主成分分析tpca为特征提取模型并进行特征提取，特征提取步骤包括：利用tpca算法，从预处理后的图像数据中提取人脸特征，在特征提取过程中，加入光照、表情、姿态和遮挡因素对特征的影响；
6、步骤3.使用多重任务优化比值型模型，在特征选择和加权过程中动态调整特征的选择和权重，采用面积投影模型优化投影距离，并进行重构误差的多重任务优化；
7、步骤4.基于张量主成分分析tpca算法的特征表示，选用加权平均、特征级融合、决策级融合，在不同光照、表情、姿态和遮挡下进行特征提取和特征表示；
8、步骤5.使用区块pca算法进行特征表示学习，在大规模数据集上训练模型，同时配合加入光照、表情、姿态和遮挡因素影响。
9、本发明进一步地设置为：基于互联网数据进行数据收集，收集包含不同光照、表情、姿态和遮挡情况的人脸图像数据集；
10、对获取的人脸图像进行裁剪，将人脸部分从原始图像中提取出来，选用haar级联检测器和基于深度学习的检测器进行人脸检测和裁剪，将调整裁剪后的人脸图像的大小为统一尺寸；
11、然后将彩色图像转换为灰度图像，同时针对光照、表情、姿态和遮挡因素，进行标准化处理，包括直方图均衡化、姿态校正、表情平滑；
12、本发明进一步地设置为：特征提取步骤具体为：
13、将预处理后的图像数据构建为张量形式，将每张人脸图像视为二维灰度图像矩阵，将二维灰度图像矩阵堆叠起来形成三维张量；
14、利用张量主成分分析tpca算法对构建的张量数据进行特征提取；
15、在tpca算法中引入正则化项，同时调整张量数据的构建方式和输入参数来加入光照、表情、姿态和遮挡因素的影响；
16、对于每个人脸图像，tpca算法将提取出的特征向量表示图像在特征空间中的位置；
17、本发明进一步地设置为：正则化项引入方式具体为：
18、此处正则化项权重根据数据的光照、表情、姿态和遮挡特性进行动态调整，调整方式为argminw(tr(wtxxtw)-tr(wtxhty)+λ·reg(w))，其中，w为参数向量，x是张量数据，w是投影矩阵，h是张量数据混合矩阵，y是标签矩阵，λ是正则化参数，reg(w)是正则化项，tr(wtxxtw)表示将张量数据x投影到由投影矩阵w定义的低维空间中后，再进行重构的误差，tr(wtxhty)表示将张量数据x投影到由投影矩阵w定义的低维空间中后，与标签数据y的投影之间的距离，而reg(w)表示的投影矩阵w的正则化项；
19、正则化项的计算方式为：此处m是特征数量，n是特征维度，i表示样本行索引，j,k均表示特征列的索引以及通道索引；
20、本发明进一步地设置为：张量数据构建方式调整方法为：
21、构建张量数据时，引入不同的卷积核进行特征提取，并根据特征的重要性进行加权，张量数据的构建方式为：其中，xijk是张量数据的第i行、第j列、第k通道的元素，ii,j是原始图像的i行、j列的像素值，fl是第l个卷积核的特征提取函数，αl是对应的权重，l为卷积核个数；
22、根据数据的光照、表情、姿态和遮挡特性，动态调整方差阈值和特征数目，控制特征的提取数量和质量：argminw(tr(wtxxtw)-tr(wtxhty)+λ·reg(w))；
23、本发明进一步地设置为：选用多任务学习和多目标优化方法框架对特征区分度进行最大化处理，对特征选择误差进行最小化处理；
24、在模型中设置超参数动态调整特征的选择和权重，参数根据任务和数据特性进行调整；
25、使用反向传播算法在训练过程中自动更新特征选择和权重；
26、采用面积投影模型优化投影距离，具体的：
27、定义面积投影模型的损失函数，包括投影距离的优化目标和重构误差的多重任务优化目标；
28、在面积投影模型中，将重构误差视为另一个优化目标，并将其与投影距离的优化目标作为关联目标；
29、使用训练数据对多重任务优化比值型模型进行训练；
30、本发明进一步地设置为：步骤3中，多重任务优化比值型模型动态调整特征的选择和权重，并采用面积投影模型优化投影距离，具体的：
31、定义损失函数表示为：l＝λ1·diste+λ2·recon，其中，λ1和λ2分别是用于平衡优化目标的权重参数，diste表示投影距离的优化目标，recon表示重构误差的优化目标；
32、训练过程使用梯度下降法针对定义的损失函数进行优化；
33、同时在每次迭代中更新模型的参数使损失函数达到最小值；
34、本发明进一步地设置为：特征表示学习方法包括：
35、给定一个包含m个样本的数据集为x＝{x1,x2,...xm}，其中每个样本xi是一个高维向量，表示一个人脸图像的特征；
36、将数据集x分成n个块，每个块包含k个样本，表示为x＝{x1,x2,...xn}，其中xi表示第i个块；
37、对于每个块xi，计算均值向量
38、计算中心化后的数据矩阵
39、对每个中心化后的块计算协方差矩阵σi：对协方差矩阵σi进行特征值分解，得到特征值λi和对应的特征向量vi；
40、选择前r个最大的特征值和对应的特征向量，构成新的特征空间
41、将每个块的特征空间vi进行水平连接，得到整个数据集的特征空间矩阵
42、本发明进一步地设置为：多任务优化和分块重组预处理方法包括：
43、使用带有多任务正则化的加权的均方误差，以及分块重组的预处理方法将大规模数据集分成更小的块，并行处理；
44、即将数据分成p个更小的块，每个块包含q个样本，然后将每个块独立地输入到基于块的pca算法中进行特征表示学习；
45、本发明进一步地设置为：多任务优化目标函数为：其中，xi是第i个块的数据矩阵，wi是第i个块的投影矩阵，zi是第i个块的低维表示，λ为正则化参数，||·||f表示矩阵的范数。
46、与现有技术相比，本发明具有以下有益效果：
47、本发明，从人脸图像数据中提取鲁棒性高、对光照、表情、姿态和遮挡具有较强鲁棒性的特征，首先利用互联网数据收集包含各种复杂情况的人脸图像数据集，经过裁剪、大小调整、灰度化和标准化等预处理步骤，确保数据质量和一致性，然后采用张量主成分分析tpca算法进行特征提取，其中引入正则化项来动态调整张量数据的构建方式和输入参数，考虑光照、表情、姿态和遮挡因素的影响，接着通过多重任务优化比值型模型，在特征选择和加权过程中动态调整特征的选择和权重，同时采用面积投影模型优化投影距离，并进行重构误差的多重任务优化，以提高特征提取的效果和性能，特征表示方面采用融合策略综合考虑不同光照、表情、姿态和遮挡下提取的特征，并使用改进的区块pca算法进行特征表示学习，获得更高效的特征表示方法，最后通过多任务优化和分块重组的预处理技术，进一步提高特征的鲁棒性和泛化能力。
48、本技术与上述方案具有显著区别，本技术采用张量主成分分析tpca算法进行特征提取，相比较多个svm训练的方法直接使用svm分类器的输出作为特征，tpca算法可以更全面地捕获人脸图像中的特征信息，包括光照、表情、姿态和遮挡因素，提取的特征更加丰富和鲁棒，同时tpca算法能够对高维张量数据进行降维，并保留数据中最具代表性的信息，提取的特征表示能力更强，多个svm训练特征表示能力相对较弱；
49、此外tpca算法能够更加高效地处理高维数据，并且在特征提取过程中可以并行计算，提高算法的效率，同时本技术在特征提取阶段调整张量数据的构建方式和输入参数，引入正则化项，具有更好的泛化能力，对于不同场景和条件下的人脸识别任务更为适用。
50、本发明，通过采用多重任务优化和动态调整特征选择权重的方式，更好地适应不同光照、表情、姿态和遮挡等复杂场景下的人脸图像数据，提高模型的鲁棒性和泛化能力，引入张量主成分分析tpca和改进的区块pca算法更有效地提取和表示人脸图像中的高级语义信息，提高特征的判别性和表达能力，通过引入正则化项和面积投影模型有效处理复杂场景下的人脸识别问题，提高对遮挡、光照等因素的容忍度，使得模型在复杂场景下表现更加优异，最后通过多重任务优化和分块重组的预处理技术根据不同场景和数据动态调整特征的选择和权重，从而提高模型的适应性和泛化能力。
1.基于图像数据的人脸特征提取方法，其特征在于，包括：
2.根据权利要求1所述的基于图像数据的人脸特征提取方法，其特征在于，基于互联网数据进行数据收集，收集包含不同光照、表情、姿态和遮挡情况的人脸图像数据集；
3.根据权利要求2所述的基于图像数据的人脸特征提取方法，其特征在于，特征提取步骤具体为：
4.根据权利要求3所述的基于图像数据的人脸特征提取方法，其特征在于，正则化项引入方式具体为：
5.根据权利要求4所述的基于图像数据的人脸特征提取方法，其特征在于，张量数据构建方式调整方法为：
6.根据权利要求5所述的基于图像数据的人脸特征提取方法，其特征在于，选用多任务学习和多目标优化方法框架对特征区分度进行最大化处理，对特征选择误差进行最小化处理；
7.根据权利要求6所述的基于图像数据的人脸特征提取方法，其特征在于，步骤3中，多重任务优化比值型模型动态调整特征的选择和权重，并采用面积投影模型优化投影距离，具体的：
8.根据权利要求7所述的基于图像数据的人脸特征提取方法，其特征在于，特征表示学习方法包括：
9.根据权利要求8所述的基于图像数据的人脸特征提取方法，其特征在于，多任务优化和分块重组预处理方法包括：
10.根据权利要求9所述的基于图像数据的人脸特征提取方法，其特征在于，多任务优化目标函数为：其中，xi是第i个块的数据矩阵，wi是第i个块的投影矩阵，zi是第i个块的低维表示，λ为正则化参数，||·||f表示矩阵的范数。
