本发明涉及遥感图像处理及土壤湿度反演领域，具体涉及基于多模态特征融合的gnss-r土壤湿度反演方法及系统。
背景技术：
1、现有星载gnss-r土壤湿度反演方法主要分为两类：传统统计回归方法和基于机器学习的土壤湿度反演方法。传统统计回归方法原理简单、易于实现，但该类方法所考虑因素较少，反演模型简单，反演精度相对较低；基于机器学习的土壤湿度反演方法，采用观测数据与标签进行端到端的学习方式，学习能力强且鲁棒性较好。但目前机器学习反演算法输入数据通常为ddm图像及辅助特征，忽略了gnss-r的另一种重要观测数据：时延波形。时延波形是散射功率随时间延迟的函数，也是ddm图像的一维表示形式，时延波形对于分析地面目标的散射特性具有重要意义。通过观察时延波形，可以得到前沿斜率、后沿斜率、反射信号时延和功率的分布情况等显性特征，但人为提取有遗漏部分信息的缺点，利用深度学习可以充分挖掘时延波形的深层次隐藏特征。
2、对于ddm图像，目前大多学者仍然采用cnn模型来提取其特征，cnn在对ddm图像进行卷积运算时，对局部特征有较强的依赖，无法捕获图像的全局信息，其次，cnn的计算复杂度随着网络深度增加显著提高。近几年，随着transformer在自然语言处理（nlp）和计算机视觉（cv）领域的迅速崛起，transformer在处理长距离依赖、实现并行计算、通用性、模型表现和架构灵活性方面展现出显著优势，并在许多任务上取得了超过cnn的性能。与cnn相比，transformer模型能够通过自注意力机制将ddm中的不同延迟和多普勒下的信息建立联系，从而提取更加精细的全局特征信息。
3、此外，研究表明反射率与土壤湿度之间有较强联系，在以往的研究中，常用校正后的地表反射率建立统计回归模型，或者通过在深度学习模型中加入地表辅助参数，视为消除其对反射率的影响，综上两种做法都忽略了校正后的地表反射率在机器学习模型中的作用。
技术实现思路
1、针对以上问题，本发明提出了基于多模态跨分支融合网络（multimodal cross-branch fusion network，mcfn）的gnss-r土壤湿度反演方法。该方法使用ddm图像、时延波形、校正后的反射率等辅助信息作为输入特征，充分融合了图像、波形、辅助信息三类特征，较为全面的描述了地表散射情况。mcfn由三个并行分支模块和两个多模态特征融合模块构成，每个分支模块用于处理不同类型数据，1d-cnn模块擅长处理一维序列数据，用来提取时延波形中的潜在信息；transformer模块通过自注意力机制对ddms的全局特征进行感知，以用来更好的提取ddms中的抽象特征信息；bp模块则被用来挖掘辅助数据以实现对ddms、时延波形特征信息的有效补充。需要说明的是，mcfn中嵌入了多模态特征融合模块，用于提取和融合各分支特征，从而增强模块之间的信息交流并减少信息丢失。该多模态跨分支融合网络模型能够同时实现对ddm图像、时延波形和辅助信息的特征挖掘，并基于多模态特征融合模块，实现利用多类特征进行土壤湿度反演，获得更高精度的土壤湿度反演结果。
2、为实现上述目的，本发明的提供了基于多模态特征融合的gnss-r土壤湿度反演方法，步骤包括：
3、采集待反演的原始数据并进行预处理，得到处理后数据，所述原始数据包括cygnss数据集和smap数据集；所述预处理包括对反射率进行修正；具体的，首先进行标准质量控制筛除了若干观测结果，不考虑入射角大于65°的cygnss观测数据，剔除接收机天线增益小于0db的观测数据，去除snr小于0的异常值，最后选择ddm峰值在第7-10个时延框内的观测数据，作为所述处理后数据；
4、基于所述处理后数据，得到模型输入特征，步骤包括：从所述处理后数据中提取出与土壤湿度相关联的特征集合作为模型的输入，所述模型输入特征由ddm图像、时延波形和辅助特征三部分组成；
5、构建多模态跨分支融合网络模型；所述多模态跨分支融合网络模型包括：一个1d-cnn模块、一个transformer模块、一个bp模块及两个多模态特征融合模块；
6、训练所述多模态跨分支融合网络模型，得到最终模型；训练步骤包括：将所述模型输入特征输入至所述多模态跨分支融合网络模型，并以smap提供的土壤湿度结果作为参考值进行训练；
7、利用所述最终模型，完成对土壤湿度的反演。
8、优选的，对反射率进行修正的方法包括：利用参数化水云模型校正地表反射率：
9、，
10、，
11、，
12、式中，表示地表反射率；表示由植被引起的散射部分；表示土壤层的散射贡献部分；表示双向植被透过率；表示由smap提取的植被含水量数据；表示卫星入射角；a和b表示与植被相关的参数。这里采用所有土地都适用的取值，其中a=0.0012，b=0.091，最终校正的地表反射率为其平方：
13、，
14、式中，表示经过水云模型修正后的地表反射率。
15、优选的，利用smap数据中的地表粗糙度系数针对反射率进行进一步的修正：
16、，
17、式中，表示经过粗糙度系数修正后的地表反射率；指数项表示由粗糙度引起的信号衰减；为smap数据中的地表粗糙度系数；为卫星入射角；表示经过水云模型修正后的地表反射率；表示经过粗糙度系数修正后的地表反射率。
18、优选的，ddm图像包括：原始计数ddm图像、模拟功率ddm图像、双基雷达散射截面ddm图像以及有效散射面积ddm图像；
19、辅助特征包括三类，第一类是与ddm相关的特征，包括修正后的地表反射率、入射角、ddm均值、ddm峰值与信噪比；第二类是与时延波形相关的特征，包括前沿斜率、后延斜率、积分面积、极大值点个数、极小值点个数、偏度、峰度、平均斜率；第三类是与地表相关的特征，包括经度、纬度、植被光学厚度、地表粗糙度、地表温度、植被含水量。
20、优选的，所述1d-cnn模块由卷积层、池化层、归一化层三部分组成；所述1d-cnn模块用于处理一维数据，提取时延波形中的潜在信息，具体工作流程包括：将三种时延波形首尾连接输入到1d-cnn中；然后，对输入数据进行归一化处理并传递到卷积层；卷积层对输入数据执行卷积运算生成特征图像，并对得到的特征图执行大小为2×1、步长为2的最大池化操作以实现下采样；在这个过程中，第一个卷积层使用16个大小为3×1的卷积核；第二个卷积层采用32个大小为3×1的卷积核。
21、优选的，在所述transformer模块中，首先进行分块操作，即设置patch的大小，将patch设置为1×1大小，并逐像素进行编码，用于捕捉和处理每个像素的特征信息；之后将每个patch展平后进行组合，形成一个序列。
22、优选的，所述bp模块包括：输入层和全连接层；
23、其中，输入层负责接收单一特征，经过归一化处理传递到全连接层，全连接层负责对特征进行线性组合和特征提取，通过调整权重和偏置来学习特征之间的复杂关系。
24、优选的，所述多模态特征融合模块包括交叉融合模块和叠加融合模块；
25、所述交叉融合模块用于提取每个分支的中间层特征，并通过线性映射统一各分支的特征维度，确保这些特征能够在同一空间内有效融合；
26、所述叠加融合模块用于将不同来源或类型的特征直接首尾结合起来，形成一个维度更大的特征向量，提升特征的表达能力。
27、本发明还提供了基于多模态特征融合的gnss-r土壤湿度反演系统，所述系统用于实现上述方法，包括：采集模块、提取模块、构建模块、训练模块和反演模块；
28、所述采集模块用于采集待反演的原始数据并进行预处理，得到处理后数据，所述原始数据包括cygnss数据集和smap数据集；所述预处理包括对反射率进行修正；具体的，首先进行标准质量控制筛除了若干观测结果，不考虑入射角大于65°的cygnss观测数据，剔除接收机天线增益小于0db的观测数据，去除snr小于0的异常值，最后选择ddm峰值在第7-10个时延框内的观测数据，作为所述处理后数据；
29、所述提取模块用于基于所述处理后数据，得到模型输入特征，步骤包括：从所述处理后数据中提取出与土壤湿度相关联的特征集合作为模型的输入，所述模型输入特征由ddm图像、时延波形和辅助特征三部分组成；
30、所述构建模块用于构建多模态跨分支融合网络模型；所述多模态跨分支融合网络模型包括：一个1d-cnn模块、一个transformer模块、一个bp模块及两个多模态特征融合模块；
31、所述训练模块用于训练所述多模态跨分支融合网络模型，得到最终模型；训练步骤包括：将所述模型输入特征输入至所述多模态跨分支融合网络模型，并以smap提供的土壤湿度结果作为参考值进行训练；
32、所述反演模块用于利用所述最终模型，完成对土壤湿度的反演。
33、与现有技术相比，本发明的有益效果如下：
34、本发明提出了一种用于星载gnss-r土壤湿度反演的多模态跨分支融合网络。该网络主要包含三个分支模块，分别用来处理不同模态的输入数据，其中，1d-cnn模块可以有效提取序列数据中的特征，在处理一维数据方面表现出色，特别适用于时延波形一维数据的特征提取；transformer模块具有捕捉全局特征的优势，能够有效提取ddm图像中的深层次特征；bp模块基于反向传播算法，擅长多变量非线性处理，该模块能够综合多个单一特征对土壤湿度反演的贡献。需要说明的是，在三个分支模块中设计了多模态特征融合模块，包括交叉融合模块和叠加融合模块，通过设计的融合损失函数，能确保不同模态特征在融合过程中的一致性与有效性。该网络模型能够同时实现对ddm图像、时延波形和辅助信息的特征挖掘，并基于多模态特征融合模块，有效整合多模态信息，提升分支之间的协同作用，通过多分支架构实现多模态数据的深度特征提取与融合，为土壤湿度反演提供了更全面和高效的解决方案。
35、此外，本发明特别考虑了时延波形在土壤湿度反演中的重要作用。一方面，利用1d-cnn模块可以深入挖掘时延波形中的深层次潜在特征，以更准确地反映地表目标的散射特性。值得说明的是，在时延波形中首次提取了形态统计特征，以更好的表征时延波形的形态特点，形态统计特征包括：积分面积、极大值点个数、极小值点个数、偏度、峰度和平均斜率。它们能够有效反映相关功率随时间延迟的变化。同时，结合其它地表特征（如植被含水量、地表粗糙度等），从而提升模型的鲁棒性和泛化能力。
1.基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，对反射率进行修正的方法包括：利用参数化水云模型校正地表反射率：
3.根据权利要求2所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，利用smap数据中的地表粗糙度系数针对反射率进行进一步的修正：
4.根据权利要求1所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，ddm图像包括：原始计数ddm图像、模拟功率ddm图像、双基雷达散射截面ddm图像以及有效散射面积ddm图像；
5.根据权利要求1所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，所述1d-cnn模块由卷积层、池化层、归一化层三部分组成；所述1d-cnn模块用于处理一维数据，提取时延波形中的潜在信息，具体工作流程包括：将三种时延波形首尾连接输入到1d-cnn中，然后，对输入数据进行归一化处理并传递到卷积层；卷积层对输入数据执行卷积运算生成特征图像，并对得到的特征图执行大小为2×1、步长为2的最大池化操作以实现下采样；在这个过程中，第一个卷积层使用16个大小为3×1的卷积核；第二个卷积层采用32个大小为3×1的卷积核。
6.根据权利要求1所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，在所述transformer模块中，首先进行分块操作，即设置patch的大小，将patch设置为1×1大小，并逐像素进行编码，用于捕捉和处理每个像素的特征信息；之后将每个patch展平后进行组合，形成一个序列。
7.根据权利要求1所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，所述bp模块包括：输入层和全连接层；
8.根据权利要求1所述的基于多模态特征融合的gnss-r土壤湿度反演方法，其特征在于，所述多模态特征融合模块包括交叉融合模块和叠加融合模块；
9.基于多模态特征融合的gnss-r土壤湿度反演系统，所述系统用于实现权利要求1-8任一项所述的方法，其特征在于，包括：采集模块、提取模块、构建模块、训练模块和反演模块；
