本发明涉及高光谱图像处理,具体涉及一种基于空谱联合特征的线性高光谱图像解混方法及系统。
背景技术:
1、高光谱图像通常包含数百个连续光谱波段,具有高光谱分辨率的优势,但往往以牺牲空间分辨率为代价,从而导致高光谱图像的空间分辨率比较低。而有限的空间分辨率导致单个图像像元可能包含场景中存在的多种物质,高光谱图像中的混合像元即为多种不同物质的光谱响应曲线叠加而成的像元,其只使用了一条光谱曲线来记录多种物质光谱的共同作用。由于高光谱图像的空间分辨率较低,而自然界中物质分布复杂且种类繁多,多数像元以混合像元的形式存在于图像中。高光谱图像的解混,即混合像元分解技术,旨在得到每个像元在亚像元尺度上所包含的各类纯物质的光谱特征,即端元;以及它们在对应像元中的分布比例,即丰度。因而高光谱图像解混能够实现亚像元级别的物质精细识别,对使用高光谱图像进行定量研究具有十分重要的意义。然而,目前的线性光谱解混方法存在以下不足:
2、(1)在解混过程中常常忽视由环境因素(光照、大气以及地形等)及物质本身所引起的端元光谱变异性;
3、(2)在像元分解的过程中,常常忽视图像空间信息的利用。
4、因此,本发明考虑到现有算法的局限性,提出了一种联合使用高光谱图像的空间光谱特征并考虑端元光谱变异性的高光谱图像解混算法,来提高整体的像元解混精度。
技术实现思路
1、本发明的主要目的是提供一种基于空谱联合特征的线性高光谱图像解混方法,旨在解决现有线性光谱解混方法对环境因素(光照、大气以及地形等)及物质本身所引起的端元光谱变异性和图像空间信息的利用不足,像元解混精度低的问题。
2、为实现上述目的,本发明提出的基于空谱联合特征的线性高光谱图像解混方法,包括如下步骤:
3、对原始的高光谱图像使用空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素;
4、将所述超像素作为解混网络的训练样本和测试样本,通过所述训练样本训练所述解混网络的编码器和解码器,建模光谱变异性;
5、所述编码器将输入的所述超像素编码为丰度分布和端元的隐藏层表达,端元的隐藏层表达通过所述解码器生成估计端元,通过所述估计端元和所述丰度分布重建所述超像素;
6、使用所述测试样本来测试所述解混网络的解混性能;
7、采用解混性能到达预设值的所述解混网络对待解混的所述高光谱图像进行处理,得到待解混的所述高光谱图像解混结果。
8、优选地,对原始的高光谱图像使用空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素的步骤,包括:
9、初始化图像分割块:首先在图像上生成k个均匀分布的种子点;对每个像素,在所述像素周围内搜索最近的种子点,并把所述像素与所述种子点划分为一类,直到归类完所有所述像素,最终获得k个超像素;
10、更新种子点:计算k个超像素中所有像素点的平均向量值,获取新的k个所述聚类中心,然后在k个所述聚类中心周围搜索最相似的一些像素,直到将所有像素重新归类为k个超像素,并更新聚类中心;
11、重复迭代直到收敛或达到预设最大迭代次数。
12、优选地,对原始的高光谱图像使用空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素的步骤中使用的聚类特征,包括:
13、 ;
14、其中,表表示第和第两个像素间的欧式距离平方,和分别表示第和个像元的光谱,表示slic算法搜索的范围,表示一个用于平衡像素空间距离和光谱相似度影像的超参数。
15、优选地,所述编码器将输入的所述超像素编码为丰度分布和端元的隐藏层表达的步骤,包括:
16、使用自注意力机制来计算超像素序列的光谱注意力图和空间注意力图;
17、通过所述光谱注意力图、所述空间注意力图和双流注意力机制生成空间光谱的联合特征;
18、通过前馈神经网络和空间光谱的联合特征生成丰度分布和端元的隐藏层表达。
19、优选地,所述所述编码器将输入的所述超像素编码为丰度分布和端元的隐藏层表达,端元的隐藏层表达通过所述解码器生成估计端元,通过所述估计端元和所述丰度分布重建所述超像素的步骤,包括:
20、所述编码器将输入的所述超像素编码为丰度分布和端元的隐藏层表达,表示为下式:
21、
22、其中,表示编码器的所有可训练参数,表示估计的当前位置的超像素块的丰度图;表示端元的隐藏层表达,的维度为;
23、隐藏层变量通过解码器生成估计端元,表示为下式:
24、
25、其中,表示解码器的所有可训练参数,为估计的当前位置的端元矩阵;
26、最后,超像素可以通过上述估计端元矩阵和丰度分布进行重建,表示为下式:
27、。
28、基于空谱联合特征的线性高光谱图像解混系统,包括:超像素分割单元、编码器、解码器和重建单元,所述超像素分割单元用于根据空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素,所述编码器包括端元隐藏子单元和丰度估计子单元,所述端元隐藏子单元用于将输入的所述超像素编码为端元的隐藏层表达,所述丰度估计子单元用于将输入的所述超像素编码为丰度分布,所述解码器用于通过端元的隐藏层表达生成估计端元,所述重建单元用于通过所述估计端元和所述丰度分布重建超像素。
29、优选地,所述端元隐藏子单元包括依次连接的空间光谱双流transformer、平均池化层、第一全连接层和relu层,以及均与所述relu层连接的标准差连接层和均值连接层,所述空间光谱双流transformer用于同时进行全局空间光谱特征联合提取。
30、优选地,所述丰度估计子单元包括依次连接的三个空间光谱双流transformer、第二全连接层和作为输出层的层,所述空间光谱双流transformer用于同时进行全局空间光谱特征联合提取。
31、优选地,空间光谱双流transformer包括依次连接的第一层归一化模块、双流注意力模块、第二层归一化模块和前馈神经网络模块;
32、所述双流注意力模块包括对空间的维度的远程特征依赖性进行建模的多头空间自注意力子模块,和对光谱的维度的远程特征依赖性进行建模的多头光谱自注意力子模块。
33、优选地,所述前馈神经网络模块包括依次连接的第一线性层、relu激活函数和第二线性层。
34、本发明的技术方案中,对高光谱图像进行聚类分割,充分利用空间和光谱特征,从而超像素分割可以提供方便的计算基元来计算图像特征,并大大降低后续图像处理任务的复杂性;解混网络的基本框架为变分自动编码器,能够无监督地同时进行端元提取和丰度估计,并建模光谱变异性,提高解混精度。
1.一种基于空谱联合特征的线性高光谱图像解混方法,其特征在于,包括如下步骤:
2.如权利要求1所述的基于空谱联合特征的线性高光谱图像解混方法,其特征在于,所述对原始的高光谱图像使用空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素的步骤,包括:
3.如权利要求1所述的基于空谱联合特征的线性高光谱图像解混方法,其特征在于,所述对原始的高光谱图像使用空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素的步骤中使用的聚类特征,包括:
4.如权利要求1所述的基于空谱联合特征的线性高光谱图像解混方法,其特征在于,所述编码器将输入的所述超像素编码为丰度分布和端元的隐藏层表达的步骤,包括:
5.如权利要求1-4中任一所述的基于空谱联合特征的线性高光谱图像解混方法,其特征在于,所述所述编码器将输入的所述超像素编码为丰度分布和端元的隐藏层表达,端元的隐藏层表达通过所述解码器生成估计端元,通过所述估计端元和所述丰度分布重建所述超像素的步骤,包括:
6.一种基于空谱联合特征的线性高光谱图像解混系统,其特征在于,包括:超像素分割单元、编码器、解码器和重建单元,所述超像素分割单元用于根据空间欧几里德距离和光谱相似性对像素进行联合聚类获得分割后的超像素,所述编码器包括端元隐藏子单元和丰度估计子单元,所述端元隐藏子单元用于将输入的所述超像素编码为端元的隐藏层表达,所述丰度估计子单元用于将输入的所述超像素编码为丰度分布,所述解码器用于通过端元的隐藏层表达生成估计端元,所述重建单元用于通过所述估计端元和所述丰度分布重建超像素。
7.如权利要求6所述的基于空谱联合特征的线性高光谱图像解混系统,其特征在于,所述端元隐藏子单元包括依次连接的空间光谱双流transformer、平均池化层、第一全连接层和relu层,以及均与所述relu层连接的标准差连接层和均值连接层,所述空间光谱双流transformer用于同时进行全局空间光谱特征联合提取。
8.如权利要求6所述的基于空谱联合特征的线性高光谱图像解混系统,其特征在于,所述丰度估计子单元包括依次连接的三个空间光谱双流transformer、第二全连接层和作为输出层的层,所述空间光谱双流transformer用于同时进行全局空间光谱特征联合提取。
9.如权利要求6-8中任一所述的基于空谱联合特征的线性高光谱图像解混系统,其特征在于,包括:
10.如权利要求9所述的基于空谱联合特征的线性高光谱图像解混系统,其特征在于,所述前馈神经网络模块包括依次连接的第一线性层、relu激活函数和第二线性层。
