本发明涉及目标检测技术,特别是一种基于时域剖面特征的红外小目标检测方法。
背景技术:
1、红外小目标(irst)检测旨在识别来自各种红外背景的小目标,广泛应用于无人机监视等领域。红外小目标尺寸小、无形状纹理信息且动态变化,甚至有时会被淹没在复杂的背景杂波中。在基于深度学习的方法中,主要利用的信息是空域显著性特征和时域显著性特征。最近,一些研究人员发现这些特征维度不足以进行红外弱小目标(irsdt)检测。在实际应用中,irsdt 检测对于尽可能早和远地捕获目标至关重要。由于irsdt的强度不仅在空域上不显著,而且在时域上也不显著,因此实现对irsdt的鲁棒性检测具有挑战性。
2、随着学界对多帧irsdt(mirsdt)检测关注度的提高,时域显著性特征和运动特征被用于提高具有空域显著性特征的弱小目标的检测性能。这些特征维度在检测显著且连续运动目标方面表现良好,然而当目标微弱甚至闪烁时,这些特征也将不显著,从而导致检测性能严重下降。在现实世界中,irdst可能被淹没在随机噪声和动态杂波中,而对目标和杂波的准确预测依赖于长时间的观测信息。现有的特征维度很少关注这些信息,因此,迫切需要一个新的特征维度来探索长时间信息,以在irsdt检测中取得突破。
技术实现思路
1、本发明所要解决的技术问题是,针对现有技术不足,提供一种基于时域剖面特征的红外小目标检测方法,提高弱小目标检测的准确性,减少计算参数。
2、为解决上述技术问题,本发明所采用的技术方案是:一种基于时域剖面特征的红外小目标检测方法,包括以下步骤:
3、s1、获取图像序列数据;
4、s2、按时间帧顺序提取所述图像序列数据的帧间差异特征;
5、s3、将提取的所述帧间差异特征作为n个时空差分模块的输入,提取时空特征;
6、s4、对所述时空特征进行时域探针匹配,得到一系列匹配特征;
7、s5、融合所有匹配特征,得到所有输入帧图像的最终置信图。
8、本发明设计了不同维度的三维差分卷积替代通用卷积突出小目标,通过时域和空域差分卷积提取时空特征并定位显著区域;本发明设计了时域探针和时域探针机制,通过时域探针机制和tp-net来学习并提取目标在时域剖面的特性,以实现有效的irst检测。本发明的tp-net可以一次处理数百帧图像。
9、所述时域差分卷积层的卷积运算表达式如下:
10、;
11、其中,是滑动窗口中第帧图像的像素矩阵,是时域差分卷积层的卷积核的第个权重矩阵,s为图像序列数据,k代表滑动窗口的大小,l为帧间差异特征的时域长度。
12、所述时空差分模块包括依次连接的时域差分卷积层、空域差分卷积层。
13、所述时域差分卷积层的时域膨胀率为2,所述空域差分卷积层的空域膨胀率为2。
14、所述时域差分卷积层、空域差分卷积层均包括依次连接的卷积层、批归一化层和relu激活函数。
15、所述空域差分卷积层的卷积运算表达式如下:
16、;
17、其中,c为空间中心的索引,是空域差分卷积层的输入特征,是滑动窗口中第个像素向量,表示滑动窗口中图像的中心像素向量,表示中与中心像素相对应的权重向量,是空域差分卷积层的卷积核中的第个权重向量,用于在卷积过程中与图像的对应向量进行点积运算,代表卷积核在不同位置的权重。
18、步骤s4的具体实现过程包括:
19、将时空特征置换为;,, c代表通道数,t代表时间维度,h和w分别代表特征图的高度和宽度;
20、利用下式获取匹配特征:;其中,表示矩阵的置换运算,为相关性矩阵。
21、步骤s5中,融合所有匹配特征的具体实现过程包括:
22、对所述一系列匹配特征进行批归一化操作;
23、将批归一化操作后的匹配特征输入激活函数;
24、对所述激活函数的输出进行卷积运算,得到所有输入帧图像的最终置信图。
25、所述激活函数为relu激活函数。
26、与现有技术相比,本发明所具有的有益效果为:本发明提出了一种时域探针机制(tpm)来感知不同的变化,在时域剖面维度上匹配和区分目标与杂波。tpm使用多个可学习的相关性矩阵作为时域探针,逐像素匹配目标的时域剖面特征。基于tpm,我们提出了一种简单的时域探针网络(tp-net),从输入的多帧图像中提取粗糙的时空特征并定位显著区域后,使用tpm处理特征获得时域剖面特征,经特征融合(feature fusion)和分割头(segmentation head)后生成最终置信图,从而无需提取精细的时空特征。在nudt-mirsdt数据集和irdst数据集上的对比实验结果表明tp-net在弱小目标(snr≤3)检测方面取得了明显的性能突破,并且在显著减少计算参数(分别为最轻量级多帧/单帧方法的 29.2%/38.2%)和推理时间(分别为最快多帧/单帧方法的 4.5%/46.6%)的情况下实现了最先进的性能。
1.一种基于时域剖面特征的红外小目标检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于时域剖面特征的红外小目标检测方法,其特征在于,步骤s2中,利用时域差分卷积层获取所述图像序列数据的帧间差异特征。
3.根据权利要求2所述的基于时域剖面特征的红外小目标检测方法,其特征在于,所述时域差分卷积层的卷积运算表达式如下:
4.根据权利要求1所述的基于时域剖面特征的红外小目标检测方法,其特征在于,所述时空差分模块包括依次连接的时域差分卷积层、空域差分卷积层。
5.根据权利要求4所述的基于时域剖面特征的红外小目标检测方法,其特征在于,所述时域差分卷积层的时域膨胀率为2,所述空域差分卷积层的空域膨胀率为2。
6.根据权利要求4或5所述的基于时域剖面特征的红外小目标检测方法,其特征在于,所述时域差分卷积层、空域差分卷积层均包括依次连接的卷积层、批归一化层和relu激活函数。
7.根据权利要求4或5所述的基于时域剖面特征的红外小目标检测方法,其特征在于,所述空域差分卷积层的卷积运算表达式如下:
8.根据权利要求1所述的基于时域剖面特征的红外小目标检测方法,其特征在于,步骤s4的具体实现过程包括:
9.根据权利要求1所述的基于时域剖面特征的红外小目标检测方法,其特征在于,步骤s5中,融合所有匹配特征的具体实现过程包括:
10.根据权利要求9所述的基于时域剖面特征的红外小目标检测方法,其特征在于,所述激活函数为relu激活函数。