本发明涉及掌纹掌静脉识别、二维码和生物信息识别领域，尤其涉及一种非接触式的多模态融合的生物识别系统、方法和装置。
背景技术：
1、二维码识别是一种常见的识别方式，已经广泛地应用于日常生活中，可以用于移动支付、个人身份信息认证等多个方面。然而，在实际使用过程中，二维码识别易受光照、角度、模糊等因素的影响，导致识别准确率下降。
2、随着信息技术的迅猛发展，人们对安全性、便利性有着更为迫切的需求，而生物识别技术逐步走进人们的生产生活当中，应用于金融支付、智能安防、信息安全等重要领域。掌纹识别和掌静脉识别都是生物识别技术。掌纹识别是利用人体手掌表面独特的皱纹、线条、突起等纹理特征，通过摄像头采集手掌图像，然后使用专门的算法提取和分析掌纹特征。将采集的掌纹特征与已有的掌纹模板进行比对，从而识别出个人身份。然而，掌纹属手掌表皮特征，不法分子容易非法获取并可伪造。
3、掌静脉识别是一种利用手掌静脉的独特性进行身份识别的生物识别技术，主要原理是利用静脉血管中脱氧血红蛋白对近红外光的吸收特性与其他生理组织（皮肤，脂肪）对近红外光的吸收的差异性，使得近红外光照射的手掌会在皮下静脉处呈现较暗的纹路，从而获取静脉血管信息。掌静脉识别需要在近红外光源的照射下，通过摄像头才能采集到手掌静脉图像。而后对掌静脉图像进行预处理，通过掌静脉特征提取算法提取静脉特征，将采集到的静脉特征与数据库中的掌静脉进行对比，从而识别出个人身份。掌静脉识别技术具有极强的抗干扰性，可以在夜间、暴雨、强光、严寒、炎热等复杂环境下都可实现用户身份的精准识别，不仅解决了传统认证方式需以卡、钥匙、手机蓝牙等媒介带来的不安全性、不便利性，同时解决了人脸识别、指纹识别技术在复杂环境下识别效果差的问题。掌静脉识别是天然的活体识别技术，不易仿造、无法盗取，避免了假脸攻击、指纹套、假手等带来的安全性问题，且掌静脉识别无需与设备接触，更加卫生，用户接受度好。
4、范丹丹等人在中国发明专利申请“一种融合掌纹掌静脉的多模态生物特征识别方法”（申请号为cn202311099662.4）中根据掌纹和掌静脉各自匹配得分的自适应结果进行加权融合，也就是匹配分数级别的融合。陈建昌在中国发明专利申请“一种单幅近红外手掌图像的掌静脉掌纹特征融合识别方法”（申请号为cn202311503122.8）中通过采用不同的图像增强算法得到掌静脉和掌纹图像，再采用双特征提取网络分别提取特征后再进一步提取融合特征，但采用的图像增强方法均为传统的图像处理方法，如低通、钝化、边缘算子检测等。陈骏安等人在中国发明专利申请“一种非接触式掌纹掌静脉的同步自动化采集设备和方法”（申请号为cn202310268956.9）中提出一种新的非接触式掌纹掌静脉的同步自动化采集设备，解决了非接触式掌纹掌静脉采集设备不能自动化同步采集清晰的掌纹掌静脉的问题，但该方案侧重于硬件设计，不涉及算法创新。
5、现有的技术方案中还存在以下缺陷：
6、1、现有的识别设备往往只能实现单一的二维码识别或者掌纹掌静脉识别，不具备同时实现二维码、掌纹掌静脉一体的多模态生物识别设备。
7、2、现有的二维码识别技术主要存在的问题是受到环境光线（如强光照、太阳光照、识别设备自带的光源）的影响，二维码图像的采集质量可能会受到影响，从而影响识别的准确性。传统的二维码定位方法通常采用图像处理的相关操作, 标记找到二维码的三个特征区域以定位出二维码, 再以相关的二维码扫描算法加以检测，对二维码分辨率、角度的要求较高。
8、3、现有的掌纹掌静脉识别技术，通常设备设计与算法设计分离，而且掌纹和掌静脉的图像可能来自于不同数据库、不同采集设备，从而影响掌纹掌静脉的识别精度。
9、因此，本领域的技术人员致力于开发一种新的生物识别方法、设备和装置，将二维码识别、掌纹和掌静脉识别进行深度融合，解决现有技术方案中存在的上述缺陷，从而提高识别的准确性和安全性。
技术实现思路
1、有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何避免环境光线对图像采集质量的影响、实现多模态生物识别，以及在掌纹掌静脉识别技术中将设备设计与算法设计进行整合。
2、为实现上述目的，本发明提供了一种非接触式的多模态融合的生物识别系统，包括感应模块、光学成像模块、计算与通信模块、交互模块；
3、所述感应模块能实时感应和探测物体距离，当所述物体距离在设定范围内时，会自动启动光源开始采集图像；
4、所述光学成像模块连接所述感应模块，采用双目摄像头和cmos技术，负责将光线引导到感光元件上，并可以调节光线的入射角度和焦距，以确保所述图像的清晰度和质量；
5、所述计算与通信模块连接所述光学成像模块，包括前端检测模块、近红外光模块、光学补偿模块、二维码识别模块、掌纹掌静脉多模态识别模块，负责对接收的所述图像进行分类检测和质量评估，保证图像质量达标，并识别所述图像，产生识别结果；
6、所述交互模块连接所述计算与通信模块，接收所述识别结果并实现与用户的交互。
7、进一步地，所述前端检测模块包括轻量级神经网络分类网络和图像质量评估模块；
8、用所述轻量级神经网络分类网络检测所述图像是二维码还是手掌；如果检测结果为二维码，则用所述图像质量评估模块进行图像质量评估，并对所述光学成像模块进行不断地反馈调节，直到图像质量达标，得到二维码图像；如果检测结果为手掌，则拍摄两次图像，一次在可见光下拍摄掌纹图像，另一次在红外光下拍摄掌静脉图像，并用所述图像质量评估模块进行图像质量评估，并对所述光学成像模块进行不断地反馈调节，直到图像质量达标，得到掌纹图像和掌静脉图像。
9、进一步地，所述轻量级神经网络分类网络选择的损失函数是一个二分类交叉熵损失函数，计算公式为：
10、
11、其中，
12、表示样本的真实标签，可以取值为0或1，0表示二维码，1表示手掌；
13、表示所述轻量级神经网络分类网络预测样本为正例的概率，取值在[0, 1]之间；
14、当时，样本为正例，所述损失函数为，即希望所述轻量级神经网络分类网络预测为正例的概率越大越好；当时，样本为负例，所述损失函数为，即希望所述轻量级神经网络分类网络预测为负例的概率越大越好；
15、所述轻量级神经网络分类网络的输出层使用激活函数，将输出转换为各个类别的概率分布，并使得输出值的总和为1，直接取概率最大的类别就是最终的预测结果。
16、进一步地，所述图像质量评估模块检测所述图像的光照均匀性、对比度，根据光照均匀性和对比度，评估所述图像的亮度分布、清晰度和亮度，并根据预先设定的阈值调整所述光学补偿模块或者所述近红外光模块的光照强度。
17、进一步地，所述二维码识别模块连接所述前端检测模块，获得所述二维码图像，并通过二维码识别网络对所述二维码图像进行识别并得到所述识别结果；
18、其中，所述二维码识别网络的主干网络为特征金字塔网络，所述特征金字塔网络包括若干卷积层，对输入的所述二维码图像进行不同尺度的特征提取，也包括以下组件：多尺度特征提取、下采样和上采样、特征融合、全连接层；
19、在所述二维码图像和所述特征金字塔网络之间引入空间变换网络，所述空间变换网络能够自适应地将所述二维码图像进行空间变换和对齐，包括：本地网络、网格生成器和采样器；
20、在所述特征金字塔网络内设置有cbam，帮助所述特征金字塔网络在高层特征图和低层特征图之间动态学习特征的相关性和重要性，并根据重要性对特征进行加权，从而实现跨尺度的特征融合。
21、进一步地，所述掌纹掌静脉多模态识别模块连接所述前端检测模块，获得所述掌纹图像和所述掌静脉图像，并通过掌纹掌静脉多模态识别网络对所述掌纹图像和所述掌静脉图像进行识别并得到所述识别结果；
22、其中，所述掌纹掌静脉多模态识别网络包括基于目标检测的roi提取模块、多尺度特征编码器、多尺度特征融合模块、特征融合和后端分类器；
23、所述基于目标检测的roi提取模块获取掌纹掌静脉感兴趣区域，确定掌纹和掌静脉的位置和形状；
24、所述多尺度特征编码器连接所述基于目标检测的roi提取模块，是基于深度可分离卷积和逆残差结构构建的特征提取模块，包括多尺度特征编码器1和多尺度特征编码器2，将所述掌静脉图像输入所述多尺度特征编码器1，提取不同尺度、层次的掌静脉特征，将所述掌纹图像输入所述多尺度特征编码器2，提取不同尺度、层次的掌纹特征；
25、所述多尺度特征融合模块连接所述多尺度特征编码器，将所述多尺度特征编码器1提取的不同尺度、层次的掌静脉特征进行融合，也将所述多尺度特征编码器2提取的不同尺度、层次的掌纹特征进行融合；
26、所述特征融合连接所述多尺度特征融合模块，将所述掌静脉特征和所述掌纹特征进行融合；
27、所述后端分类器连接所述特征融合，包含卷积层、归一化层、池化层、全连接层，使用残差连接或者inception模块生成所述识别结果。
28、本发明还提供了一种非接触式的多模态融合的生物识别方法，通过实时感应和探测物体距离自动启动光源进行采集图像，采用双目摄像头和cmos技术，负责将光线引导到感光元件上，并可以调节光线的入射角度和焦距，以确保所述图像的清晰度和质量，所述方法包括以下步骤：
29、步骤1、对所述图像进行分类检测，检测所述图像是二维码还是手掌；如果检测结果为二维码，则进行图像质量评估，并进行不断地反馈调节，直到图像质量达标，得到二维码图像；如果检测结果为手掌，则拍摄两次图像，一次在可见光下拍摄掌纹图像，另一次在红外光下拍摄掌静脉图像，也进行图像质量评估，并进行不断地反馈调节，直到图像质量达标，得到掌纹图像和掌静脉图像；
30、步骤2、通过二维码识别网络对所述二维码图像进行识别并得到所述识别结果；
31、步骤3、通过掌纹掌静脉多模态识别网络对所述掌纹图像和所述掌静脉图像进行识别并得到所述识别结果；
32、步骤4、接收所述步骤2和所述步骤3产生的所述识别结果，并实现与用户的交互。
33、进一步地，在所述步骤2中，所述二维码识别网络的主干网络为特征金字塔网络，所述特征金字塔网络包括若干卷积层，对输入的所述二维码图像进行不同尺度的特征提取，也包括以下组件：多尺度特征提取、下采样和上采样、特征融合、全连接层；
34、在所述二维码图像和所述特征金字塔网络之间引入空间变换网络，所述空间变换网络能够自适应地将所述二维码图像进行空间变换和对齐，包括：本地网络、网格生成器和采样器；
35、在所述特征金字塔网络内设置有cbam，帮助所述特征金字塔网络在高层特征图和低层特征图之间动态学习特征的相关性和重要性，并根据重要性对特征进行加权，从而实现跨尺度的特征融合。
36、进一步地，在所述步骤3中，所述掌纹掌静脉多模态识别网络包括基于目标检测的roi提取模块、多尺度特征编码器、多尺度特征融合模块、特征融合和后端分类器；
37、所述基于目标检测的roi提取模块获取掌纹掌静脉感兴趣区域，确定掌纹和掌静脉的位置和形状；
38、所述多尺度特征编码器连接所述基于目标检测的roi提取模块，是基于深度可分离卷积和逆残差结构构建的特征提取模块，包括多尺度特征编码器1和多尺度特征编码器2，将所述掌静脉图像输入所述多尺度特征编码器1，提取不同尺度、层次的掌静脉特征，将所述掌纹图像输入所述多尺度特征编码器2，提取不同尺度、层次的掌纹特征；
39、所述多尺度特征融合模块连接所述多尺度特征编码器，将所述多尺度特征编码器1提取的不同尺度、层次的掌静脉特征进行融合，也将所述多尺度特征编码器2提取的不同尺度、层次的掌纹特征进行融合；
40、所述特征融合连接所述多尺度特征融合模块，将所述掌静脉特征和所述掌纹特征进行融合；
41、所述后端分类器连接所述特征融合，包含卷积层、归一化层、池化层、全连接层，使用残差连接或者inception模块生成所述识别结果。
42、本发明还提供了一种非接触式的多模态融合的生物识别装置，包括如前所述的非接触式的多模态融合的生物识别系统，或者如前所述的非接触式的多模态融合的生物识别方法。
43、本发明提供的一种非接触式的多模态融合的生物识别系统、方法和装置至少具有以下技术效果：
44、1、本发明所提供的技术方案采用反馈式的自动调节光照和优化识别算法，以提高图像质量和抗光照干扰能力；
45、2、本发明所提供的技术方案实现二维码、掌纹和掌静脉多模态一体的生物识别认证装置，具有低功耗、高安全性和非接触的特性。相关芯片、元件均为国产化芯片，不受国际大环境的影响，降低外部环境带来的技术风险；
46、3、本发明所提供的技术方案结合空间变换网络（stn）和特征金字塔网络（fpn）实现二维码识别，提高识别准确性和适应性；
47、4、本发明所提供的技术方案提出了多模态识别网络，包括多尺度特征编码器、特征融合和后端分类器，以实现准确的掌纹和掌静脉识别。识别率、速度和稳定性具有明显优势，误识率降低至在千万分之一。
48、以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
1.一种非接触式的多模态融合的生物识别系统，其特征在于，所述系统包括感应模块、光学成像模块、计算与通信模块、交互模块；
2.如权利要求1所述的非接触式的多模态融合的生物识别系统，其特征在于，所述前端检测模块包括轻量级神经网络分类网络和图像质量评估模块；
3.如权利要求2所述的非接触式的多模态融合的生物识别系统，其特征在于，所述轻量级神经网络分类网络选择的损失函数是一个二分类交叉熵损失函数，计算公式为：
4.如权利要求2所述的非接触式的多模态融合的生物识别系统，其特征在于，所述图像质量评估模块检测所述图像的光照均匀性、对比度，根据光照均匀性和对比度，评估所述图像的亮度分布、清晰度和亮度，并根据预先设定的阈值调整所述光学补偿模块或者所述近红外光模块的光照强度。
5.如权利要求1所述的非接触式的多模态融合的生物识别系统，其特征在于，所述二维码识别模块连接所述前端检测模块，获得所述二维码图像，并通过二维码识别网络对所述二维码图像进行识别并得到所述识别结果；
6.如权利要求1所述的非接触式的多模态融合的生物识别系统，其特征在于，所述掌纹掌静脉多模态识别模块连接所述前端检测模块，获得所述掌纹图像和所述掌静脉图像，并通过掌纹掌静脉多模态识别网络对所述掌纹图像和所述掌静脉图像进行识别并得到所述识别结果；
7.一种非接触式的多模态融合的生物识别方法，通过实时感应和探测物体距离自动启动光源进行采集图像，采用双目摄像头和cmos技术，负责将光线引导到感光元件上，并可以调节光线的入射角度和焦距，以确保所述图像的清晰度和质量，其特征在于，所述方法包括以下步骤：
8.如权利要求7所述的非接触式的多模态融合的生物识别方法，其特征在于，在所述步骤2中，所述二维码识别网络的主干网络为特征金字塔网络，所述特征金字塔网络包括若干卷积层，对输入的所述二维码图像进行不同尺度的特征提取，也包括以下组件：多尺度特征提取、下采样和上采样、特征融合、全连接层；
9.如权利要求7所述的非接触式的多模态融合的生物识别方法，其特征在于，在所述步骤3中，所述掌纹掌静脉多模态识别网络包括基于目标检测的roi提取模块、多尺度特征编码器、多尺度特征融合模块、特征融合和后端分类器；
10.一种非接触式的多模态融合的生物识别装置，其特征在于，包括权利要求1~6中任一一项所述的非接触式的多模态融合的生物识别系统，或者权利要求7~9中任一一项所述的非接触式的多模态融合的生物识别方法。
