本发明涉及图像数据处理，尤其涉及一种低空无人机高光谱遥感基础大模型的构建方法。
背景技术：
1、高光谱图像因其跨越多个波段的丰富光谱信息而独特，每个波段可以捕获不同的物理和化学特性。这是因为不同物质会在特定波段吸收或反射光线，这种特性可以识别和区分地表物质或其他物体的成分，比如植被和水体在不同的波段反射和吸收光的特性不同，通过这些特性可以准确地识别它们。
2、高光谱成像技术通过低空无人机在遥感领域的应用日益成熟，特别是在地球观测和环境监测方面表现突出。尽管传统的高光谱成像方法能够捕获大量环境数据，但在处理大规模数据集时仍面临多样化数据处理和信息提取的效率挑战。这是因为，目前的高光谱图像处理方法只处理空间信息而忽略波段信息，特别是在处理高光谱图像时，可能会产生一些图像重构的缺陷，会造成下游任务处理的不准确，尤其是在需要精确处理波段特性的任务，如物质成分分析、植被和生态监测、水质分析、矿物和地质映射以及城市规划与管理等。
3、mae（masked autoencoder）中文为掩码自编码器，是一种用于计算机视觉的预训练方法，其操作可简单概括为：按一定比例随机遮挡图像中的一些图像块，然后重建这些遮挡部分的像素值。mae模型基于vit架构，处理图像流程为，先图像分块，再对图像块进行线性投影、分类标记、位置编码后，送入transformer 编码器编码、再送入解码器解码。mae模型主要特点有两个：1、采用非对称的编码器-解码器结构，其中编码器仅处理未被遮挡的图像部分，解码器负责重建被遮挡的部分。2、使用较高的遮挡率，所述遮挡率也被称为掩码率、或mask比例。
4、但mae模型在处理图像过程中，都是只针对空间信息进行处理，如图像分块是将图像在宽度、高度上进行分块，位置编码则只是对高度和宽度的空间信息进行位置编码，所以只处理空间信息而忽略波段信息，导致无法利用波段信息、信息提取不够精准，从而产生一些图像重构的缺陷。另外，在训练mae模型时，每个训练轮次中遮挡率不变，会限制学习能力。
技术实现思路
1、本发明的目的就在于提供一种解决上述波段信息利用不足，固定遮挡率限制学习，信息提取不够精准等问题的，低空无人机高光谱遥感基础大模型的构建方法。
2、为了实现上述目的，本发明采用的技术方案是这样的：一种低空无人机高光谱遥感基础大模型的构建方法，包括以下步骤；
3、s1，构造数据集x；
4、获取不同区域的尺寸为h×w的高光谱图像，每张高光谱图像至少包含d个波段，对每张高光谱图像，选取d个波段，构成维度h×w×d的高光谱样本，所有高光谱样本构成数据集x；
5、s2，构造三维扩展mae模型，包括图像分块层、3d位置编码层、动态掩码层、mae模型、hed模型；
6、所述图像分块层用于将输入的高光谱样本分成nh×nw×nd个维度为p×q×r的三维块，其中，p、q、r分别为三维块的长度、宽度和波段数，nh、nw和nd分别为高光谱样本在长度、宽度和波段数上的分段数；
7、所述3d位置编码层用于对每个三维块进行按下式用pe向量进行3d位置编码；
8、，
9、，
10、其中，为pe向量的偶数值，为pe向量的奇数值，pos为当前三维块位置，0≤pos≤nh×nw×nd-1，dpos为mae模型隐藏层维度数，c为d个波段中的波段c，λc为波段c的中心波长，f为隐藏层维度索引，0≤f≤(nh×nw×nd-1)/2-1；
11、所述动态掩码层用于根据动态遮挡率m(t)对三维块进行遮挡，构成mae模型的输入xinput，其中被遮挡的三维块数据置零，仅保留3d位置编码，m(t)根据下式得到；
12、，
13、式中，mmin、mmax分别为预设的遮挡率下限、遮挡率上限、e为自然指数、t为预设的总训练轮次，t为第t个训练轮次，1≤t≤t；
14、所述mae模型用于输入xinput，对xinput中的遮挡块进行重建，得到预测高光谱图像；
15、所述hed模型用于输入高光谱样本，对其进行边缘检测生成边缘掩码概率图；
16、s3，构造总损失函数l，l=lhed+lmae，其中，lmae、lhed分别为mae模型、hed模型贡献的损失；
17、，
18、，
19、式中，对坐标(x,y)的像素点pxy，yc(x,y)为高光谱样本中pxy在波段c的值，pc(x,y)为预测高光谱图像中pxy在波段c的值，m(x,y)为边缘掩码概率图中pxy的值，hed(x,y)为hed模型将pxy预测为边缘的概率，threhed为预设边缘概率阈值，为指示函数，α为权重调整参数；
20、s4，按总训练轮次t，用数据集x训练三维扩展mae模型，并以梯度下降法训练优化l，得到光谱大模型。
21、作为优选：动态掩码层按步骤sa1~sa4构成mae模型的输入；
22、sa1，预设输入mae模型的三维块总数nkeep，nkeep＜nh×nw×nd，定义动态遮挡率m(t)，m(t)=mmin+(mmax-mmin)；
23、sa2，对每个位置为(i,j,k)的三维块bijk，从均匀分布u(0,1)中采样一随机变量rijk，根据下式计算bijk的掩码mijk；
24、，
25、sa3，若mijk=1，将bijk标记为未遮挡块，若mijk=0，将bijk标记为遮挡块，并将bijk内数据置零，仅保留3d位置编码；
26、sa4，统计未遮挡块数量nactual，若nactual＜nkeep，从遮挡块中随机选取nkeep-nactual块遮挡块作为填充块，将未遮挡块和填充块一起构成mae模型的输入。
27、作为优选：nkeep=0.75×nh×nw×nd。
28、作为优选：、、，为向上取整，mmin=25%、mmax=75%。
29、作为优选：高光谱样本在输入图像分块层之前，还进行图像预处理，用于对高光谱样本进行图像增强及去噪处理。
30、本发明在图像分块层进行分块操作时，将高光谱样本在长度、宽度和波段数上进行分块，生成维度为p×q×r的三维块，将现有技术中二维的图像块，改进为三维图像块，每个图像块不仅包含高度和宽度上的空间信息，还包含r个波段信息。这种方法能够帮助模型在处理高光谱图像时，更加准确地结合和利用空间和光谱信息，尤其是在需要精确处理波段特性的应用中，如物质成分分析、环境监测等。
31、本发明提出了一种新的位置编码方法，将传统二维位置编码改为三个维度的3d位置编码，编码时，考虑到空间信息和波段信息对图像的影响，本发明对图像块分别在空间方向和光谱波段方向进行编码。又考虑到在光谱波段维度上，传统位置编码方法含有空间等间距信息，考虑到不同波段之间存在关系，等间距信息不适用于波长维度，光谱波段的波长范围可能非常广，直接使用波长可能会导致编码的值域过大，不易于模型处理，故本发明利使用对数尺度来处理。如中的、中的，则属于光谱波段方向、对数尺度的编码。
32、本发明提出了一种动态遮挡率的方案，在输入mae模型的编码器前，对图像块按动态遮挡率m(t)进行动态遮挡。结合m(t)的公式，t=0时，趋近于0，m(t)≈mmin。当t=t/2时，趋近于0.5，。基于动态遮挡率m(t)，本发明能将整个模型训练分为三个阶段，在训练初期m(t)接近mmin，用低遮挡率暴露更多的输入数据，允许mae模型快速捕捉数据中的基本特征和细节信息，如边缘、纹理和颜色变化，这些都是理解图像内容的关键要素。训练中期当t接近t/2时，m(t)逐渐接近，使mae模型开始从简单的视觉特征转向对数据中更抽象、更复杂结构的学习，如光谱特征的综合和多波段信息的融合，训练后期，随着t趋近于t，m(t)接近mmax，这个阶段，高遮挡率迫使模型必须从非常有限的可见数据中重构丢失的信息，强化了模型对数据内在结构和潜在模式的学习，这对于模型增强其在未知数据上的泛化能力非常重要。
33、本发明根据变化的m(t)值，设计了一种增加填充块与未遮挡块一起送入mae模型的方法。由于每一轮次训练时，m(t)的值都不同，故为了保证输入mae模型中的三维块数量相同，则需要按步骤sa1所述，先预设输入mae模型的三维块总数nkeep，遮挡后，再按步骤sa4所述，统计未遮挡块数量nactual，若nactual＜nkeep，从遮挡块中随机选取nkeep-nactual块遮挡块作为填充块，将未遮挡块和填充块一起构成mae模型的输入。
34、本发明提出了将hed模型相关损失与mae模型相关损失进行融合的方法，通过hed模型执行边缘提取，然后给予边缘区域像素更高的权重。
35、与现有技术相比，本发明的优点在于：本发明用于对低空无人机搭载的高光谱成像系统处理地球观测和环境监测场景中的高光谱图像进行重构，重构得到预测高光谱图，具有细致的光谱特征表达和优化的边缘处理特点。具体体现在以下几点：
36、（1）基于图像分块层、3d位置编码层，使输入mae模型中编码器的数据从二维扩展到三维。这一改进使得mae模型能够更有效地处理和分析高光谱数据，特别是那些来自低空无人机的复杂空间-光谱信息。通过这种三维输入，mae模型不仅能够捕捉图像的宽度和高度信息，还能深入到光谱维度，从而实现对环境特征的更全面理解和识别。这种三维化的处理显著提升了数据的表征能力，使得模型在进行环境监控、资源管理和灾害响应等任务时，具有更高的准确性和效率。
37、（2）本发明动态遮挡率m(t)的值随训练轮次增加而非线性增长，使mae模型在初期接触到更广泛的数据，快速捕捉到全局和基本特征。随着遮挡率的提升，模型在有限的信息中进一步学习，有效地重建关键细节，这种策略显著减少了对噪声数据特征的依赖，增强特征的稳定性和可靠性，以及对复杂数据特征的解读能力，从而有效地避免了过拟合，且能提高学习效率。
38、（3）引入hed模型进行边缘提取，给予边缘区域像素更高的权重，这是因为边缘区域对整体图像的视觉感知和内容理解至关重要。提高边缘区域像素的权重，能提高对图像边缘的敏感性和预测准确性。该方法比起传统图像处理算子边缘提取通常更准确。且该方法仅在模型训练阶段改变损失函数，增加对边缘的关注，而在推理阶段不需要额外的计算步骤，因此不会增加推理时间或资源消耗。
39、综上，本发明能够在保持高光谱数据中丰富信息的同时，通过对边缘细节的加强处理，提供更准确的物理边界和过渡区域的可视化。模型的动态遮挡率策略和3d位置编码使得重构的图像能更好地表达不同物体和表面的光谱特性，适合于精确的物质识别和分类，特别适用于复杂的环境监测和资源评估任务中。这种能力对于应对现实世界中的各种情况，如变化的环境条件或不同类型的地表材料，提供了必要的灵活性和精度。故本发明能用于精准农业、环境保护、以及灾害管理等多种应用领域。
1.一种低空无人机高光谱遥感基础大模型的构建方法，其特征在于：包括以下步骤；
2.根据权利要求1所述的低空无人机高光谱遥感基础大模型的构建方法，其特征在于：动态掩码层按步骤sa1~sa4构成mae模型的输入；
3.根据权利要求2所述的低空无人机高光谱遥感基础大模型的构建方法，其特征在于：nkeep=0.75×nh×nw×nd。
4.根据权利要求1所述的低空无人机高光谱遥感基础大模型的构建方法，其特征在于：、、，为向上取整，mmin=25%、mmax=75%。
5.根据权利要求1所述的低空无人机高光谱遥感基础大模型的构建方法，其特征在于：高光谱样本在输入图像分块层之前，还进行图像预处理，用于对高光谱样本进行图像增强及去噪处理。
