基于双阶段对比学习框架的小样本SAR目标识别方法

基于双阶段对比学习框架的小样本sar目标识别方法
技术领域
1.本发明属于图像识别领域，涉及小样本数据条件下的sar目标识别技术，尤其是引入了解耦学习和对比学习方法。


背景技术：

2.合成孔径雷达(sar)基于孔径原理，是一种高分辨率的雷达装置。相较于光学遥感，可以克服恶劣的气候因素以及昼夜因素的影响，搭载于卫星，无人机等飞行平台。sar的独特性使其能够在军事、测绘、农业等领域发挥很高的应用价值(a.moreira,p.prats-iraola,m.younis,g.krieger,i.ha-jnsek,and k.p.papathanassiou,“a tutorial on syntheticaperture radar,”ieee geoscience and remote sensingmagazine,vol.1,no.1,pp.6
–
43,2013)。近年来，随着卷积神经网络的发展，出现很多应用于sar目标识别的深度学习算法，然而这些算法大多是基于均衡的数据集提出的。在真实的场景中，sar数据通常是不平衡的，因为某些目标较少出现或者较难收集，从而产生尾部类小样本数据。在小样本数据条件下，模型很容易过拟合于头部类，给传统深度学习算法带来严峻的挑战。此外，要收集均衡的数据集，需要花费大量的人力物力，是不切实际的；因此，充分利用小样本sar数据，训练出一个泛化性能良好的深度学习模型具有重要的现实意义。
3.重平衡策略(例如，重加权和重抽样)是解决不平衡训练数据问题的突出而有效的方法，但传统方案大都是分类网络学习，期望增加对尾部类的权重，从而降低模型对头部类的偏置。虽然重平衡策略能够显著地促进深层网络的分类学习，但同时也会在一定程度上意外地损害所学深层特征的表征能力(boyan zhou,quan cui,xiu-shen wei,and zhao-minchen,“bbn:bilateral-branch network with cumulativelearning for long-tailed visual recognition,”inproceed-ings of the ieee/cvf conference on computer visionand pattern recognition,2020,pp.9719
–
9728)。


技术实现要素：

4.本发明的目的在于针对现有技术中存在的sar数据集获取困难，标注数据耗时耗力，数据不均衡导致模型对小样本sar目标泛化能力差等问题，提供可改善利用深度学习模型进行小样本sar目标识别时的泛化性能，提高小样本的目标识别精度，满足实际应用需求，提高模型整体性能的一种基于双阶段对比学习框架的小样本sar目标识别方法。
5.本发明将训练过程解耦为表征学习阶段和分类学习阶段，具体包括以下步骤：
6.1)表征学习阶段，采用监督对比学习在原始sar数据集上训练网络的表示模块；
7.2)分类学习阶段，对编码模块进行固定并采用重平衡策略训练网络的分类模块。
8.在步骤1)中，所述采用监督对比学习在原始sar数据集上训练网络的表示模块首先采用对比学习算法supervised contrastive learning作为表示模块的训练策略，并针对sar目标的特点设计数据增强策略，进一步优化对比学习的训练效果，使得表示模块能够提取泛化性更高的特征，用于后续的分类任务中；所述表征学习阶段的具体步骤如下：
9.(1)sar图像是在合成孔径雷达在飞行平台上以鸟瞰视角成像得到，其目标在图像中的角度是不确定的，为使缺失部分图像信息也识别出sar目标，设计如下的数据增强策略：随机裁剪以及缩放、随机翻转以及随机旋转；将每张sar图像分别应用数据增强策略两次，得到2n张sar图像。
10.(2)将2n张sar图像分别送入到网络中的编码模块，得到每张sar图像所对应的特征向量fi，然后将特征向量fi送入到投影模块，映射到另外一个表示空间，得到非线性化的表示zi＝proj(xi)＝w
(2)
σ(w
(1)fi
)，其中，σ是relu激活函数，w是一个单层的线性层；采用的投影模块由带有一个隐层的两层感知机实现；
11.(3)使用范数标准化zi，然后利用标准化的zi计算监督对比学习的损失，以此训练网络直到收敛，监督对比学习的损失计算如下：
[0012][0013]
其中，p(i)表示一个和zi同类别的所有样本下标集合，|p(i)|是这个集合的大小，τ是一个温度超参数。
[0014]
在步骤2)中，所述重平衡策略用于提高小样本sar目标的识别精度，所述重平衡策略包括类平衡采样策略、成本代价敏感交叉熵损失策略，采用其中的一种训练网络的分类模块；
[0015]
所述类平衡采样策略的具体步骤如下：
[0016]
(1)对训练集进行类平衡采样，随机挑选n张sar图像送入编码模块生成特征向量fi，同时对编码模块采用梯度中断策略，避免后续训练分类模块所产生的不良影响。对于类平衡采样，第i个样本被挑选的概率如下：
[0017][0018]
其中，yi是第i个样本的类别，为yi类的样本数量；
[0019]
(2)基于生成的特征向量fi，本发明采用一层线性层作为分类模块，通过分类模块得到特征向量fi所对应的每一类的预测概率，然后采用交叉熵作为损失训练网络直到收敛。
[0020]
所述成本代价敏感交叉熵损失策略的具体步骤如下：
[0021]
(1)与类平衡采样策略的步骤(1)类似，区别在于使用随机采样替换类平衡采样，即不对原始的训练数据修改；
[0022]
(2)与类平衡采样策略的步骤(2)类似，区别在于使用代价敏感交叉熵作为训练的损失，即对普通的交叉熵损失加权，代价敏感交叉熵损失的定义如下：
[0023][0024]
其中，n
min
为所有的类别数量的最小值，l
ce
为交叉熵损失函数。
[0025]
与现有技术相比，本发明的优点和技术效果在于：
[0026]
(1)针对sar图像的背景知识，本发明提出一种面向sar图像的数据增扩策略，包括随机裁剪以及缩放，随机翻转以及随机旋转，基于这种简单有效的策略来进行sar图像的对
比学习，提高对比学习的潜能，获得较好的sar图像表征能力。
[0027]
(2)不同于传统的小样本训练策略，本发明建立在机器学习中的对比学习的基础上，并结合了解耦学习的思想，采用双阶段训练策略，结合对比学习以及重平衡策略两种优势，在sar图像数据集上表现优异。这些方法改善小样本sar目标识别时的泛化性能，提高本发明对数据量小的目标识别准确度。
[0028]
(3)本发明应对实际问题中数据不均衡导致模型对小样本sar目标泛化能力差的难点，网络能够从不平衡数据中学习到泛化性较强的表征能力，在保持住网络的表征能力的同时，通过传统的重平衡策略训练网络的分类能力，微调网络的决策边界，从而进一步提高网络对于小样本sar目标的识别性能，实用性强，稳定性好，可改善利用深度学习模型进行小样本sar目标识别时的泛化性能，提高小样本的目标识别精度，满足类别不均衡、小样本数据等情况下sar目标识别精度高标准的需求。
附图说明
[0029]
图1为基于双阶段对比学习框架示意图。
[0030]
图2为小样本sar数据分布示意图。
[0031]
图3为tsne示意图。
[0032]
图4为分类模块消融实验效果对比图。
具体实施方式
[0033]
为使本发明的目的、技术方案和优点更加清楚，以下实施例将结合附图对本发明作进一步的说明。
[0034]
本发明提出一种基于双阶段对比学习框架的小样本sar目标识别方法，该方法将训练过程解耦为表征学习和分类学习，使得模型兼顾表征学习的同时，关注分类学习。通过双阶段训练策略，能够使得模型保持头部类的准确率，同时改善尾部类小样本的识别精度，从而提高模型的整体性能。
[0035]
本发明实施例包括以下步骤：
[0036]
a、表征学习阶段；
[0037]
b、分类学习阶段；
[0038]
为应对实际问题中数据不均衡导致模型对小样本sar目标泛化能力差的难点，本发明希望网络能够从不平衡数据中学习到泛化性较强的表征能力，在保持住网络的表征能力的同时，通过传统的重平衡策略训练网络的分类能力，微调网络的决策边界，从而进一步提高网络对于小样本sar目标的识别性能。训练过程如图1，在表征学习阶段，本发明采用监督对比学习在原始sar数据集上训练网络的表示模块；在分类学习阶段，本发明固定编码模块，并且采用类平衡采样策略或代价敏感交叉熵损失策略来训练网络的分类模块。为了更加清晰地描述后续内容，本发明定义类别总数为c类，每一轮训练的sar图像数量为n张。
[0039]
步骤a的具体步骤为下：
[0040]
虽然实际的sar数据集是不平衡的，但是它包括了数据中真实的关联信息，有利于网络学习一个较好的表征能力。本发明希望表示模块在原始sar数据中训练学习，通过真实准确的数据分布信息来得到一个泛化性更强的表征能力，避免表示模块学习到错误的分布
信息。在该步骤中，本发明首先采用最为流行的对比学习算法supervised contrastive learning(prannay khosla,piotr teterwak,chen wang,aaronsarna,yonglong tian,phillip isola,aaron maschinot,ce liu,and dilip krishnan,“supervised contrastivelearning,”arxiv preprint arxiv:2004.11362,2020)作为表示模块的训练策略，并针对sar目标的特点设计数据增强策略，进一步优化对比学习的训练效果，使得表示模块能够提取泛化性更高的特征，用于后续的分类任务中。该方法的具体步骤如下：
[0041]
第一步：sar图像是在合成孔径雷达在飞行平台上以鸟瞰视角成像得到，其目标在图像中的角度是不确定的。此外，缺失部分图像信息也应该识别出sar目标。因此，本发明针对以上情况，设计如下的数据增强策略：随机裁剪以及缩放，随机翻转以及随机旋转。将每张sar图像分别应用数据增强策略两次，得到2n张sar图像。
[0042]
第二步：将2n张sar图像分别送入到网络中的编码模块(例如alexnet、vgg、resnet，efficientnet)，得到每张sar图像所对应的特征向量fi。然后将特征向量fi送入到投影模块，映射到另外一个表示空间，得到非线性化的表示zi＝proj(xi)＝w
(2)
σ(w
(1)fi
)，其中，σ是relu激活函数，w是一个单层的线性层。因此，本发明采用的投影模块由带有一个隐层的两层感知机实现。
[0043]
第三步：为了后续能够通过点乘表示两个向量之间的相似性，本发明使用范数来标准化zi。然后利用标准化的zi计算监督对比学习的损失，以此训练网络直到收敛。监督对比学习的损失计算如下所示：
[0044][0045]
其中，p(i)表示一个和zi同类别的所有样本下标集合，|p(i)|是这个集合的大小，τ是一个温度超参数。
[0046]
步骤b的具体步骤为下：
[0047]
重平衡策略可以有效提高小样本sar目标的识别精度，但其可能会扭曲数据的原始分布信息，破坏模型表征能力的学习。为了更好地利用重平衡策略的优势，避免其对表征能力的影响，本发明对编码模块进行固定，并通过重平衡策略的其中一种来训练分类模块。本发明所采用的重平衡策略包括：类平衡采样策略和成本代码敏感交叉熵损失策略。
[0048]
类平衡采样策略的具体步骤如下：
[0049]
第一步：对训练集进行类平衡采样，接着随机挑选n张sar图像送入编码模块生成特征向量fi，同时对编码模块采用梯度中断策略，避免后续训练分类模块所产生的不良影响。对于类平衡采样，第i个样本被挑选的概率如下：
[0050][0051]
其中，yi是第i个样本的类别，为yi类的样本数量。
[0052]
第二步：基于生成的特征向量fi，本发明采用一层线性层作为分类模块，通过分类模块得到特征向量fi所对应的每一类的预测概率，然后采用交叉熵作为损失训练网络直到收敛。
[0053]
成本代价敏感交叉熵损失策略的具体步骤如下：
[0054]
第一步：和类平衡采样的第一步相似，不同之处在于使用随机采样替换类平衡采样，即不对原始的训练数据修改。
[0055]
第二步：和类平衡采样的第二步相似，不同之处在于使用代价敏感交叉熵作为训练的损失，即对普通的交叉熵损失加权。代价敏感交叉熵损失的定义如下：
[0056][0057]
其中，n
min
为所有的类别数量的最小值，l
ce
为交叉熵损失函数。
[0058]
以下给出具体实施例。
[0059]
1.在表征学习阶段，具体实验设置如下：采用sgd作为优化器，其中momentum为0.9，weight decay为1
×
10-4
，批大小batch size为64去训练特征网络1000回合。此外，本发明初始化学习率为0.05，采用余弦衰减策略调整学习率。另外温度系数τ设置为0.1，用于监督对比学习损失函数优化。
[0060]
2.在分类器学习阶段，具体实验细节如下：固定编码模块的权重参数，采用批大小batch size为128，学习率为0.01去训练分类器100回合。训练过程中的学习率调整为余弦衰减策略，优化器同样使用sgd，其参数momentum为0.9和weight decay为5
×
10-5
。
[0061]
为了验证本发明对于小样本sar数据具有较好的泛化性能，采用exp分布和step分布去模拟小样本数据分布，具体分布如图2所示，并比较了其他用于解决类不平衡问题的传统方法。表1给出了小样本sar数据下的一些现有工作的实验比较。从表中可以看出，相比较于其他方法，本发明整体上表现最优。具体而言，双阶段对比学习框架能够保持头部类准确率，同时可以有效提高尾部类小样本的识别精度以及整体性能。
[0062]
表1
[0063][0064]
为了探究重平衡策略对于本发明中编码模块的影响，设计不同策略用于训练编码模块，并且固定类平衡策略用于分类模块的训练。表2给出exp分布下不同策略训练下的模型识别精度。如该表所示，基线方法(不采用任何策略直接训练编码模块)在尾部类小样本和整体性能要比加入重平衡策略的方法好的多。这表明，好的特征产生好的分类，具体特征表示如图3所示。具体来说，由原始数据直接训练的编码模块可以获取好的特征表示，从而提高模型的识别性能。
[0065]
表2
[0066]
[0067]
为了探讨重平衡策略对于本发明中分类模块的影响，设计多种策略对分类模块进行实验。图4给出exp分布下分类模块采用不同策略下的分类效果。如图所示，当分类模块采用重加权或重采样方法时，模型能够实现更好的性能。这表明，重平衡策略有助于改变分类模块的决策边界，进而提高模型的识别性能。
[0068]
本发明提高对比学习的潜能，获得较好的sar图像表征能力。采用双阶段训练策略，结合对比学习以及重平衡策略两种优势，在sar图像数据集上表现优异。改善小样本sar目标识别时的泛化性能，提高本发明对数据量小的目标识别准确度。
[0069]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.基于双阶段对比学习框架的小样本sar目标识别方法，其特征在于包括以下步骤：1)表征学习阶段，采用监督对比学习在原始sar数据集上训练网络的表示模块；2)分类学习阶段，对编码模块进行固定并采用重平衡策略训练网络的分类模块。2.如权利要求1所述基于双阶段对比学习框架的小样本sar目标识别方法，其特征在于在步骤1)中，所述采用监督对比学习在原始sar数据集上训练网络的表示模块首先采用对比学习算法supervised contrastive learning作为表示模块的训练策略，并针对sar目标的特点设计数据增强策略，进一步优化对比学习的训练效果，使表示模块能够提取泛化性更高的特征，用于后续的分类任务中。3.如权利要求1所述基于双阶段对比学习框架的小样本sar目标识别方法，其特征在于在步骤1)中，所述表征学习阶段的具体步骤如下：(1)sar图像是在合成孔径雷达在飞行平台上以鸟瞰视角成像得到，其目标在图像中的角度是不确定的，为使缺失部分图像信息也识别出sar目标，设计如下的数据增强策略：随机裁剪以及缩放、随机翻转以及随机旋转；将每张sar图像分别应用数据增强策略两次，得到2n张sar图像；(2)将2n张sar图像分别送入到网络中的编码模块，得到每张sar图像所对应的特征向量f
i
，然后将特征向量f
i
送入到投影模块，映射到另外一个表示空间，得到非线性化的表示z
i
＝proj(x
i
)＝w(2)σ(w
(1)
f
i
)，其中，σ是relu激活函数，w是一个单层的线性层；采用的投影模块由带有一个隐层的两层感知机实现；(3)使用l2范数标准化z
i
，然后利用标准化的z
i
计算监督对比学习的损失，以此训练网络直到收敛，监督对比学习的损失计算如下：其中，p(i)表示一个和z
i
同类别的所有样本下标集合，|p(i)|是这个集合的大小，τ是一个温度超参数。4.如权利要求1所述基于双阶段对比学习框架的小样本sar目标识别方法，其特征在于在步骤2)中，所述重平衡策略用于提高小样本sar目标的识别精度，重平衡策略包括类平衡采样策略、成本代价敏感交叉熵损失策略，采用其中的一种训练网络的分类模块。5.如权利要求4所述基于双阶段对比学习框架的小样本sar目标识别方法，其特征在于所述类平衡采样策略的具体步骤如下：(1)对训练集进行类平衡采样，随机挑选n张sar图像送入编码模块生成特征向量f
i
，同时对编码模块采用梯度中断策略，避免后续训练分类模块所产生的不良影响；对于类平衡采样，第i个样本被挑选的概率如下：其中，y
i
是第i个样本的类别，为y
i
类的样本数量；(2)基于生成的特征向量f
i
，本发明采用一层线性层作为分类模块，通过分类模块得到特征向量f
i
所对应的每一类的预测概率，然后采用交叉熵作为损失训练网络直到收敛。6.如权利要求4或5所述基于双阶段对比学习框架的小样本sar目标识别方法，其特征
在于所述成本代价敏感交叉熵损失策略的具体步骤如下：(1)与类平衡采样策略的步骤(1)类似，区别在于使用随机采样替换类平衡采样，即不对原始的训练数据修改；(2)与类平衡采样策略的步骤(2)类似，区别在于使用代价敏感交叉熵作为训练的损失，即对普通的交叉熵损失加权，代价敏感交叉熵损失的定义如下：其中，n
min
为所有的类别数量的最小值，l
ce
为交叉熵损失函数。

技术总结
基于双阶段对比学习框架的小样本SAR目标识别方法，涉及图像识别。针对SAR数据集获取困难，标注数据耗时耗力的实际问题，提出了基于双阶段训练策略的对比学习框架，用来解决小样本数据条件下的SAR目标识别。将训练过程解耦为表征学习阶段和分类学习阶段，包括：1)表征学习阶段，采用监督对比学习在原始SAR数据集上训练网络的表示模块；2)分类学习阶段，对编码模块进行固定并采用重平衡策略训练网络的分类模块。建立在机器学习中的对比学习的基础上，并结合解耦学习的思想，实用性强，稳定性好，能够满足类别不均衡、小样本数据等情况下SAR目标识别精度高标准的需求。SAR目标识别精度高标准的需求。SAR目标识别精度高标准的需求。


技术研发人员：丁兴号 黄悦 黄乐兴 蔡森林
受保护的技术使用者：厦门大学
技术研发日：2022.02.18
技术公布日：2022/5/25