一种面向大场景遥感图像分类的可分离多模联合表示方法

1.本发明涉及多模遥感图像联合表示方法。


背景技术：

2.大场景遥感图像的精细分类在光学遥感应用中越来越重要。作为两种典型的光学遥感数据，多光谱图像和高光谱图像具有互补的特征：多光谱图像幅宽大，重访周期短，但波段数少，导致光谱可分性较弱。高光谱图像幅宽窄，重访周期长，但其具有数百个波段，因此具备精细分类的能力。为了有效利用多模遥感图像(高光谱图像和多光谱图像)的优势，近年来有学者对多模态遥感图像的联合表示进行了研究，多模态遥感图像的联合表示就是通过学习覆盖范围相同的高光谱图像和多光谱图像之间的关系，来重建大场景多光谱图像所对应的模拟高光谱图像，从而将高光谱图像的精细分类能力迁移到大场景多光谱图像上，实现分类性能的提升。
3.当前，多模态联合表示方法主要有两类，一种是基于深度学习的方法，一种是基于稀疏表示的方法。基于深度学习的方法通常难以重构多光谱图像光谱覆盖范围之外的波段；基于稀疏表示的方法虽然没有上述缺点，但是当前方法仅以高光谱图像的重构为目标，并没有考虑后续应用中对分类效果的提升；而且这些方法大多数是无监督的，没有考虑对标签信息的利用。


技术实现要素：

4.本发明的目的是为了提高现有大场景遥感图像的分类精度，提出了一种面向大场景遥感图像分类的可分离多模联合表示方法。
5.一种面向大场景遥感图像分类的可分离多模联合表示方法具体过程为：
6.步骤一、输入覆盖地理区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的可分离多模联合表示模型；
7.所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；
8.所述可分离是指类别特异性和共性可分离；
9.步骤二、采用乘数交替方向法求解步骤一构造的多模遥感图像的可分离多模联合表示模型，得到可分离的多模字典；
10.所述多模字典包括高光谱字典和多光谱字典；
11.所述可分离的多模字典由类别特异性多模字典和共性多模字典两部分组成；
12.所述类别特异性多模字典包括高光谱类别特异性字典和多光谱类别特异性字典；
13.所述类别特异性字典为高光谱类别特异性字典或多光谱类别特异性字典；
14.所述类别特异性字典由各个类别子字典组成；
15.步骤三、输入大场景多光谱遥感图像，利用步骤二得到的可分离的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到可分离的一致稀疏表示系数矩阵；
16.所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的
覆盖区域；
17.所述可分离的一致稀疏表示系数矩阵由类别特异性一致稀疏表示系数矩阵和共性一致稀疏表示系数矩阵组成；
18.步骤四、利用步骤二得到的类别特异性高光谱字典和步骤三得到的类别特异性一致稀疏表示系数矩阵，重构得到大场景的高光谱图像。
19.本发明的有益效果为：
20.本发明可以从构造有监督约束入手解决上述问题(当前，多模态联合表示方法主要有两类，一种是基于深度学习的方法，一种是基于稀疏表示的方法。基于深度学习的方法通常难以重构多光谱图像光谱覆盖范围之外的波段；基于稀疏表示的方法虽然没有上述缺点，但是当前方法仅以高光谱图像的重构为目标，并没有考虑后续应用中对分类效果的提升，而且这些方法大多数是无监督的，没有考虑对标签信息的利用。)；考虑到遥感图像中各地物类别的特征不仅具有有利于分类的类别特异性，而且具有不利于分类的共性。本发明的设计思路为在多模联合表示过程中，同时学习出能够表征地物类别特异性和共性的类别特异性字典和共性字典，在重构过程中仅利用类别特异性字典，剔除共性特征，从而提高重构得到的大场景高光谱的类别可分性。具体来说，在多模联合表示的过程中引入了标签信息，构造了各个类别样本重构误差作为目标函数，并构造了类别子字典不相干约束和子字典不相干约束，从而使学习到的各个类别子字典与共性字典之间均互不相干，并且使学习到的可分离多模遥感字典具有较好的表示性，类别特异性多模字典又具有高度判别性；即构造可分离的多模遥感图像联合表示模型能够从理论上显著提升重构高光谱图像的类别可分性；因此，重构得到的大场景高光谱图像具备更好的判别性，从而显著提升大场景分类精度。
21.本发明方法通过增加类别子字典不相干约束和子字典不相干约束的方式，学习得到类别特异性和共性可分离的多模字典(高光谱字典和多光谱字典)，并剔除数据中影响分类精度的共性部分，重构出大场景的高判别性高光谱图像，最终实现大场景遥感图像高精度分类。
22.为了验证本发明的性能，在一组真实高光谱-多光谱图像对上进行了验证，实验结果表明，相比当前的代表性方法，本方法重构得到的高光谱图像分类精度更高。实验结果验证了本发明提出的面向大场景遥感图像精细分类的可分离多模联合表示方法的有效性。
附图说明
23.图1是本发明的实现流程示意图；
24.图2a是高光谱图像的假彩色合成图；
25.图2b是多光谱图像的假彩色合成图，其中方框表示其与高光谱数据的重叠区域；
26.图3a重叠区域的地物标签图，用于构建可分离多模遥感图像联合表示模型；
27.图3b是非重叠区域的地物标签图，用于评价分类效果；
28.图4是不同方法的分类效果对比图。
具体实施方式
29.具体实施方式一：结合图1说明本实施方式，本实施方式一种面向大场景遥感图像
分类的可分离多模联合表示方法具体过程为：
30.步骤一、输入覆盖地理区域相同的多模遥感图像，以及相应的地物标签图，构造多模遥感图像的可分离多模联合表示模型；
31.所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；
32.所述可分离是指类别特异性和共性可分离；
33.步骤二、采用乘数交替方向法求解步骤一构造的多模遥感图像的可分离多模联合表示模型，得到可分离的多模字典；
34.所述多模字典包括高光谱字典和多光谱字典；
35.所述可分离的多模字典由类别特异性多模字典((和)，)和共性多模字典(和)两部分组成；
36.所述类别特异性多模字典包括高光谱类别特异性字典和多光谱类别特异性字典；
37.所述类别特异性字典为高光谱类别特异性字典或多光谱类别特异性字典；
38.所述类别特异性字典由各个类别子字典组成；
39.步骤三、输入大场景多光谱遥感图像，利用步骤二得到的可分离的多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到可分离的一致稀疏表示系数矩阵；
40.所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；
41.所述可分离的一致稀疏表示系数矩阵由类别特异性一致稀疏表示系数矩阵和共性一致稀疏表示系数矩阵组成；
42.步骤四、利用步骤二得到的类别特异性高光谱字典和步骤三得到的类别特异性一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像。
43.具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中构造多模遥感图像的可分离多模联合表示模型；具体过程为：
44.令和分别表示输入的覆盖地理区域相同的高光谱和多光谱遥感图像中有标签样本的集合，这些样本为可分离多模联合表示的样本，其中，c表示地物类别总数，dh表示高光谱遥感图像中样本的光谱维度，dm表示多光谱遥感图像中样本的光谱维度，表示有标签样本的个数，pc表示第c类有标签样本的个数；和分别表示高光谱和多光谱遥感图像中属于第c类的样本；
45.令和分别表示可分离高光谱字典和可分离多光谱字典，其中，表示字典中原子的个数，n
c 1
表示高光谱字典和多光谱字典中的共性字典中原子的个数，nc表示高光谱字典和多光谱字典中第c类的类别子字典中原子的个数，和分别表示高光谱字典和多光谱字典中对应第c类的类别子字典，和分别表
示高光谱字典和多光谱字典中的共性字典；
46.令表示跨模稀疏表示系数矩阵，其中表示跨模稀疏表示系数矩阵，其中表示对应第c类的跨模稀疏表示系数子矩阵；表示第c类中第pc个样本的稀疏表示系数向量；
47.令表示建立可分离字典(dh或dm)与第k个子字典(或就是或中列出的每一个矩阵)之间关系的索引矩阵，k＝1,...,c 1，其中sk的第i列表示为：
[0048][0049]
其中，nj表示高光谱字典和多光谱字典中第j类字典中原子的个数；
[0050]
因此，可分离字典与子字典之间的关系间可建立：
[0051][0052]
令为所有索引矩阵的集合，令s
/c
＝[s1,...,s
c-1
,s
c 1
,...,sc,s
c 1
]，]，s
/c
[0053]
、为中间变量；
[0054]
多模遥感图像的可分离多模联合表示模型的目标函数可表示为：
[0055][0056]
其中，表示frobenius范数的平方；||
·
||
1,1
表示矩阵每列的l1范数；c表示类别总数；α、β、γ、δ为平衡各约束项重要性的惩罚系数；α、β、γ、δ系数后面乘的项是约束项，是通过设置这些约束项的惩罚系数大小来体现的各个项的重要性；
[0057]
所述多模遥感图像包括多光谱遥感图像和高光谱遥感图像；
[0058]
所述可分离是指类别特异性和共性可分离。
[0059]
其它步骤与具体实施方式一相同。
[0060]
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述多模遥感图像的可分离多模联合表示模型的目标函数中第一项和第三项
为重构误差，用于确保重构的每类高光谱或多光谱数据与真实数据或尽可能接近，其中重构的每类高光谱或多光谱数据由可分离字典dh或dm与跨模稀疏表示系数子矩阵xc得到；
[0061]
第二项和第四项为重构误差，用于确保重构的每类高光谱或多光谱数据与真实数据(或)尽可能接近，其中重构的每类高光谱或多光谱数据由类别子字典(或)及共性字典(或)与跨模稀疏表示系数子矩阵xc中的对应部分得到；
[0062]
第五项为跨模稀疏表示系数的稀疏性约束；
[0063]
第六项是类别子字典不相干约束，作用是使稀疏表示系数子矩阵xc中，除了共性部分和对应第c类的特异性部分，余下的部分接近于0；
[0064]
第七项和第八项为子字典不相干约束。
[0065]
其它步骤与具体实施方式一或二相同。
[0066]
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤二中采用乘数交替方向法求解步骤一构造的多模遥感图像的可分离多模联合表示模型，得到可分离的多模字典；具体过程为：
[0067]
为采用乘数交替方向法，需要引入参数rc＝xc，将多模遥感图像可分离多模联合表示模型的目标函数改写成如下形式：
[0068][0069]
其中，为参数；
[0070]
多模遥感图像可分离多模联合表示模型的拉格朗日增广函数为：
[0071][0072]
其中是拉尔朗日乘子，θ是惩罚系数，t为转置；
[0073]
基于约束模型一阶导数零点为极值点的思想，迭代优化过程如下：
[0074]
1)、优化
[0075][0076]
其中，δ1、δ2为中间变量，in×n表示大小为n
×
n的单位矩阵，
←
表示在迭代优化过程中对当前优化的参数赋值；
[0077]
2)、优化和
[0078]
令令令可得到如下西尔威斯特等式：
[0079][0080][0081]
上述关于和的西尔威斯特等式可直接由matlab中的sylvester函数求解，得到和
[0082]
其中，为第c类样本的跨模稀疏表示系数子矩阵xc中对应第k个子字典的那部分系数，x
(k)
为跨模稀疏表示系数矩阵x中对应第k个子字典的那部分系数，为跨模稀疏表示系数矩阵x中对应第k个子字典的那部分系数，和为矩阵运算引入的中间变量，和分别为和的集合，为高光谱字典中去除
第c类子字典后的剩余部分，为多光谱字典中去除第c类子字典后的剩余部分，为第c类样本的跨模稀疏表示系数子矩阵xc中对应共性字典的那部分系数；
[0083]
3)、优化和
[0084]
令令令令可得到如下西尔威斯特等式：
[0085][0086][0087]
上述关于和的西尔威斯特等式可直接由matlab中的sylvester函数求解，得到和
[0088]
其中，x
(c 1)
为跨模稀疏表示系数矩阵x中对应共性字典的那部分系数，为跨模稀疏表示系数矩阵x中对应共性字典的那部分系数，和为矩阵运算引入的中间变量，和分别为和的集合，为第c类样本的跨模稀疏表示系数子矩阵xc中对应第i个子字典的那部分系数，为可分离高光谱字典去除共性字典后的剩余部分，即高光谱类别特异性字典。为可分离多光谱字典去除共性字典后的剩余部分，即多光谱类别特异性字典；
[0089]
4)、优化
[0090][0091]
其中，
⊙
为矩阵的hadamard积；
[0092]
5)、优化
[0093]
γc←
γc θ(γ
c-xc)
[0094]
6)、当时，重复执行1)-5)，直至
[0095]
当时，停止迭代，此时的dh和dm即为学习得到的可分离多模字典；
[0096]
其中，ε为预先设定的残差阈值
[0097]
所述多模字典包括高光谱字典和多光谱字典；
[0098]
所述可分离的多模字典由类别特异性多模字典((和)，)和共性多模字典(和)两部分组成；
[0099]
所述类别特异性多模字典包括高光谱类别特异性字典和多光谱类别特异性字典；
[0100]
所述类别特异性字典为高光谱类别特异性字典或多光谱类别特异性字典；
[0101]
所述类别特异性字典由各个类别子字典组成。
[0102]
其它步骤及参数与具体实施方式一至三之一相同。
[0103]
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤三中输入大场景多光谱遥感图像，利用步骤二得到的可分离多光谱字典对输入的大场景多光谱遥感图像进行稀疏表示，学习得到一致稀疏表示系数矩阵；具体过程为：
[0104]
令为大场景多光谱遥感图像，zm的稀疏表示系数矩阵为
[0105]
利用步骤二得到的可分离多光谱字典dm对大场景多光谱遥感图像zm进行稀疏表示的目标函数为：
[0106][0107]
其中，η为平衡各约束项重要性的惩罚系数，q为大场景多光谱遥感图像中样本个数；
[0108]
为了采用乘数交替方向法，需要引入参数m＝w，类似于步骤二，得到拉格朗日增广函数：
[0109][0110]
其中，λ是拉格朗日乘子，κ是惩罚系数，m为参数；
[0111]
基于约束模型一阶导数零点为极值点的思想，优化过程如下：
[0112]
a)、优化w：
[0113]w←
[(dm)
tdm
κin×n]-1
[(dm)
t
zm λ κm].
[0114]
b)、优化m：
[0115][0116]
c)、优化λ：
[0117]
λ
←
λ κ(m-w)
[0118]
当||m-w||2＞ε时，重复执行a)-c)，直至||m-w||2≤ε；
[0119]
当||m-w||2≤ε时，停止迭代，此时的w即为学习得到的一致稀疏表示系数矩阵；
[0120]
所述输入的大场景多光谱遥感图像的覆盖区域包含步骤一中多光谱遥感图像的覆盖区域；
[0121]
所述可分离的一致稀疏表示系数矩阵由类别特异性一致稀疏表示系数矩阵和共性一致稀疏表示系数矩阵组成。
[0122]
其它步骤及参数与具体实施方式一至四之一相同。
[0123]
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤四中利用步骤二得到的类别特异性高光谱字典和步骤三得到的类别特异性一致稀疏表示系数矩阵，重构得到大场景的高判别性高光谱图像；具体过程为:
[0124]
令表示与第k个子字典相对应的一致稀疏表示系数子矩阵，k＝1,...,c 1；
[0125]
一致稀疏表示系数矩阵可表示为w＝[w
(1)
；...；w
(c)
；...；w
(c)
；w
(c 1)
]，其中类别特异性一致稀疏表示系数矩阵可表示为w
(/c 1)
＝[w
(1)
；...；w
(c)
；...；w
(c)
]；
[0126]
令表示类别特异性高光谱字典；
[0127]
重构的高判别性高光谱图像zh由下式得到：
[0128][0129]
其它步骤及参数与具体实施方式一至五之一相同。
[0130]
采用以下实施例验证本发明的有益效果：
[0131]
实施例一：
[0132]
一种面向大场景遥感图像分类的可分离多模联合表示方法，具体是按照以下步骤制备的：
[0133]
实验中所用到的多模数据集包含一幅高光谱图像和一幅多光谱图像，数据已经经过了大气、几何校正等预处理。采集地点为黄河三角洲国家级自然保护区。多光谱图像由高分一号宽幅相机于2018年10月31号采集，其包含4个波段，分别是蓝、绿、红和近红外。空间分辨率为16米，共有1066
×
1108个像素。高光谱图像由高分五号卫星于2018年11月1日采集，它包含330个波段，光谱覆盖范围是400～2500nm。去除了水汽吸收和噪声波段后剩余295波段。它的空间分辨率是30米，实验前首先通过最近邻插值法将其上采样至与多光谱图像相同的分辨率。高光谱图像与多光谱图像的重叠区域大小为404
×
448。高光谱图像和多光谱图像的假彩色合成图如图2a和图2b所示，重叠区域的地物标签和非重叠区域的地物标签如图3a和3b所示。实验将原始大场景多光谱图像的分类效果作为基线，对比了三种代表性的方法，图4给出了每类分类精度、平均分类精度(aa)、总体分类精度(oa)和kappa系数四种指标的对比结果。可以看出，本方法(scdl)在5种类别上取得了最高的分类精度，且aa，oa和kappa系数均高于其他对比方法。此外，本方法是唯一一个分类精度高于原始大场景多光谱图像分类效果的方法实验结果验证了本发明提出的面向大场景遥感图像精细分类的可分离多模联合表示方法的有效性。
[0134]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。