本发明属于中医舌诊和图像处理的交叉领域，特别涉及舌体分割及舌苔润燥识别分析，用于预测舌苔的润燥类别。
背景技术：
1、中医舌诊是一种通过观察舌形、舌色、舌苔、舌质等变化来诊断疾病的方法。在舌诊中，舌的润燥程度是判断人体内津液亏盈的重要指标之一，对于诊断寒热证候具有重要意义。然而传统舌诊主要依赖医生的主观观察和经验，因此诊断结果容易受到外界光照条件、患者舌部伸展姿势等因素的干扰，限制了其临床应用的可靠性和普及率。信息技术的进步为中医舌诊的标准化和自动化提供了新的契机。为了提高诊断的准确性和效率，有必要构建一套集完整性、准确性和自动化于一体的舌苔润燥识别系统，以实现客观化舌诊，推动舌诊的广泛应用。
2、目前，大多数舌苔润燥识别方法主要依赖舌体的彩色图像进行分析，且多数算法采用基于图像的反射模型来识别舌苔水分亮斑区域。然而，这类方法往往导致预测结果不理想。鉴于偏振信息能直观地反映舌表面水分亮斑信息，本发明基于多模态信息融合的思路，结合舌的偏振图像和彩色图像，以实现多模态图像融合的舌体分割及舌苔润燥识别。
技术实现思路
1、舌的偏振度图能直观地反映舌苔水分亮斑区域，区分白苔区域，而偏振角图可以直观地反映舌体边缘信息。基于此，本发明创新性地结合舌的彩色与偏振图像，发明了一种舌苔润燥识别方法。首先，为了在舌体分割中保留更多边缘细节信息，本发明基于双流transformer提出了基于层内融合和跨层增强的两阶段融合网络，通过设计跨模态多尺度特征融合块和逐级联合增强模块，充分挖掘以及融合舌的可见光-偏振角(rgb-a)图像同级特征以及多级特征间的互补信息，实现了更为精准的舌体分割。为了预测舌苔润燥类别，本发明将舌体分割阶段得到的舌体rgb图像特征输入到多层神经网络中提取深层特征。同时将作为辅助模态的舌体偏振度图送入门控卷积，以生成舌苔水分亮斑区域注意力图，并将其逐级整合到rgb舌体图像特征提取过程中。最后，采用全连接层实现舌苔润燥类别预测。相较现有算法，本发明避免了人工提取水分亮斑区域和计算润燥系数的过程，显著提升了润燥识别的准确率。
2、本发明提供了一种基于多模态图像融合的舌体分割与舌苔润燥识别算法，包括以下步骤:
3、1.获取可见光-偏振多模态舌图像
4、为了后续高效地融合多模态舌图像，本发明需要获取对齐的可见光-偏振多模态图像对。根据现有实验条件(偏振传感器和彩色传感器未能集成化)，本发明通过计算机控制舵机将反光镜快速转动90度，确保舌体画面首先呈现在彩色传感器上，随后呈现在偏振传感器上，从而依次获取舌头的彩色和偏振图像。若实验条件已满足偏振传感器和彩色传感器集成化，则可以直接采集对齐的可见光-偏振多模态图像对。随后，通过斯托克斯矢量计算偏振角图像和偏振度图像。
5、2.构建舌体分割网络
6、本发明在双支路transformer并行提取舌的rgb和偏振角图像特征基础上，提出了两阶段多模态特征融合方法。该方法由多模态多尺度融合阶段和逐级增强阶段组成。与当前基于同级单尺度特征交互的多模态分割网络不同，本发明在多模态多尺度融合阶段通过多尺度条状卷积操作，将多模态每级特征进行多尺度化处理，以揭示多模态特征在不同尺度下的差异。此外，在特征交互以及融合中，本发明并未采用常规的注意力机制，而是提出了跨模态多尺度交互机制，通过互补性通道拼接操作实现多模态每级多尺度特征间的交互。随后通过特征压缩操作，实现多模态特征融合。在逐级增强阶段，本发明结合细节特征增强块和语义特征增强块，通过双路滤波器和门控机制实现了融合后多级特征的双向增强；最后，解码器通过两个全连接层对舌体区域进行精确的预测。
7、3.多模态图像融合的舌体分割
8、训练过程：模型训练采用预训练的方式，编码器使用imagenet数据集进行预训练，使其具备良好的特征提取能力。随后输入训练集中的可见光-偏振角舌图像对模型进行调整，使其进一步提升从舌图像提取特征的能力。在调整过程中，将实际舌体区域作为真值，并将其与预测得到的舌体分割图输入到损失函数以产生误差，通过不断反向传播误差梯度，进行网络的优化。
9、测试过程：将测试集中的可见光-偏振角舌图像输入到训练好的舌体分割网络中，得到预测的舌体区域。计算舌体分割图和真值的交并比(iou)，iou越高，表明舌体的分割精度越高。
10、4.构建舌苔润燥识别网络
11、在舌体分割网络实现舌体精准分割后，本发明构建舌苔润燥识别网络，采取了一种高效的特征提取策略。具体而言，本发明没有重新提取rgb舌体图像特征，而是将舌体分割网络提取的可见光图像的底层特征直接输入到多层神经网络中，进一步提取舌体特征。此外，本发明结合门控卷积，即由多个卷积层和激活函数组合而成，有效捕捉舌体偏振度图中水分亮斑区域特征。通过将偏振度图特征与rgb图特征逐级逐元素相乘，使网络更加关注可见光图中舌体水分亮斑区域的特征。最后，本发明通过三个全连接层以及softmax函数对舌苔润燥类别进行预测，以识别舌苔是润苔、滑苔还是燥苔。
12、其中门控卷积中前两个卷积层负责提取局部特征以及下采样，第三个卷积层则专注于减少通道数，并通过激活函数生成最终的门控信号。
13、5.多模态图像融合的舌苔润燥识别
14、训练过程：将训练集中的可见光-偏振角图像输入舌体分割网络获得舌体分割图。然后将舌体分割网络底层参数冻结，并将可见光图舌体特征和偏振度舌体图像同时送入舌苔润燥识别网络中，以实现特征编码，最后输出舌苔润燥的类别。将真值与网络预测的结果输入到损失函数产生误差，通过不断反向传播误差梯度，进行网络的优化。
15、测试过程：将测试集中的可见光-偏振角图输入到舌体分割网络中，获得舌体区域。随后将rgb舌体特征图和偏振度舌体图逐对送入训练好的舌苔润燥识别网络，预测舌苔润燥类别。最后通过f1和micro-f1分数评估舌苔润燥识别的准确性。
16、有益效果
17、1.本发明提出了一种基于多模态图像融合的舌体分割与舌苔润燥识别方法
18、据所知，本发明第一次将多模态图像融合运用到舌体分割以及舌苔润燥识别的整个过程中。通过共享底层特征，构造了多模态舌体分割网络和舌苔润燥识别网络，其有效地利用了舌的彩色图像和偏振图像信息，显著提高了舌苔润燥识别的准确性。
19、2.本发明提出了多模态图像舌体分割网络
20、本发明结合双流transformer提出了递进式的两阶段多模态特征融合策略，考虑到舌的可见光图和偏振角图像同级特征以及多层级特征间的差异，本发明通过多模态多尺度融合模块进行层内融合，利用逐级联合增强模块进行层间特征增强，充分挖掘以及融合可见光-偏振角图同级特征以及多级特征间的互补信息。
21、当前研究中，多模态图像分割网络采用的特征融合方法多局限于单一尺度，且多依赖于通用注意力机制，多模态间潜在的互补关系有待深入挖掘。因此，本发明结合多尺度化操作来促进特征交互，通过多模态间多通道组的拼接操作，实现了同级多模态特征的深入交互，同时保留了更多通道和空间信息。此外，为了实现多层级间的信息交互，本发明提出了细节特征增强模块和语义特征增强模块，前者通过双支路滤波器逐级保留较浅层特征重要信息，以丰富当前层级的边缘轮廓等细节信息；后者通过门控机制逐级筛选较深层特征信息，进而优化当前层级的空间信息。
22、3.本发明结合偏振信息实现了舌苔润燥识别
23、目前，舌苔润燥识别技术主要依赖于传统的二分光反射模型或机器学习。这些方法往往不能自适应地捕捉舌体水分亮斑区域及其邻近区域的特征，从而影响了润燥识别的准确性。本发明创新性地融合偏振度图像，通过门控卷积提取其舌苔水分亮斑区域，并通过逐级点乘的方式，使网络在提取舌体可见光图特征的过程中自适应地关注水分亮斑区域。相比人工计算润燥系数，显著提高了舌苔润燥识别的准确率。
1.一种基于多模态图像融合的舌体分割与舌苔润燥识别方法，其特征在于包括以下步骤：
