本发明属于图像处理领域，具体涉及一种基于全局和局部特征的红外图像非均匀性校正方法。
背景技术：
1、近年来，随着深度学习的不断发展，基于深度学习的红外图像非均匀性校正方法可有效克服红外探测器响应不一致、温度特性随时间变化等问题，表现出优异的鲁棒性和非均匀性校正能力，已逐渐成为专家学者的重点研究领域。
2、然而，虽然基于深度学习的非均匀性校正方法具有强泛化能力和非均匀性校正性能，但往往存在计算复杂度高的问题。大型模型非均匀性校正后图像质量高，但存在模型规模大、计算复杂的缺点，往往难以实现工程应用，且单帧处理速度无法达到工程化快速处理要求。小模型虽然易部署且可满足工程化要求，但非均匀性校正能力差，易存在图像细节模糊，甚至变形的问题。因此研究如何平衡模型的复杂度与非均匀性校正性能，设计兼具复杂度低、处理速度快且非均匀性校正性能强的深度学习模型是该领域有待解决的重要问题。
3、该方法分别通过由行、列灰度残差以及全局灰度特征提取块构成的特征提取层剥离条纹噪声，实现低成本、高质量的纹理提取，以逐点叠加的线性方式融合多尺度特征，输出校正后图像，在强化模型细节保留能力的同时，极大的降低了模型复杂度，实现了高时效、高质量非均匀性校正。
技术实现思路
1、(一)发明目的
2、本发明的目的是提供一种基于全局和局部特征的红外图像非均匀性校正方法，解决小型模型图像细节保留能力差、存在形变，而复杂模型规模大、计算复杂，难以工程化应用的难题。
3、(二)技术方案
4、为达到上述目的，解决上述技术问题，本发明的技术方案如下：
5、一种基于全局和局部特征的红外图像非均匀性校正方法，包括以下步骤：
6、步骤1：将尺寸为h×w×1的图像i通过3×3卷积初步提取图像特征，得到尺寸为h×w×4的特征图i0；
7、步骤2：将特征图i0输入至特征提取层中得到h×w×4的特征图i0′；
8、步骤3：将特征图i0′通过卷积下采样输出尺寸为h/2×w/2×8的特征图i1；
9、步骤4：将特征图i1输入至特征提取层中得到h/2×w/2×8的特征图i1′；
10、步骤5：将特征图i1′通过卷积下采样输出尺寸为h/4×w/4×16的特征图i2；
11、步骤6：将特征图i2输入至特征提取层中得到h/4×w/4×16的特征图i2′；
12、步骤7：将特征图i2′通过卷积下采样输出尺寸为h/8×w/8×32的特征图i3；
13、步骤8：将特征图i3输入至特征提取层中得到h/8×w/8×32的特征图i3′；
14、步骤9：将特征图i3′通过上采样输出尺寸为h/4×w/4×16的特征图i4；
15、步骤10：将特征图i4与i3′融合输出尺寸为h/4×w/4×16的特征图i4′；
16、步骤11：将特征图i4′输入至特征提取层中得到h/4×w/4×16的特征图i4″；
17、步骤12：将特征图i4″通过上采样输出尺寸为h/2×w/2×8的特征图i5；
18、步骤13：将特征图i5与i2′融合输出尺寸为h/2×w/2×8的特征图i5′；
19、步骤14：将特征图i5′输入至特征提取层中得到h/2×w/2×8的特征图i5″；
20、步骤15：将特征图i5″通过上采样输出尺寸为h×w×4的特征图i6；
21、步骤16：将特征图i6与i1′融合输出尺寸为h×w×4的特征图i6′；
22、步骤17：将特征图i6′输入至特征提取层中得到h×w×4的特征图i6″；
23、步骤18：将i6″通过3×3卷积输出尺寸为h×w×1的校正图像iout。
24、其中，步骤2、4、6、8、11、14、17中，所述特征提取层包括行、列灰度、全局灰度残差特征特征提取块构成。特征提取层分为两个支路，一路为全局灰度残差，另一路由行、列灰度残差特征提取模块串联构成。特征提取层通过逐点叠加方式融合两支路特征图。
25、列灰度残差特征提取模块分为两个支路。一路为残差块，沿着特征图高方向求和特征矩阵再求均值，进而以复制方式升维度获得与输入尺寸一致的特征图。另一路由3×3卷积、relu激活函数和3×3卷积级联构成。最后通过逐点叠加方式融合两支路特征图。
26、行灰度残差特征提取模块分为两个支路。一路为残差块，沿着特征图宽方向求和特征矩阵再求均值，进而以复制方式升维度获得与输入尺寸一致的特征图。另一路由3×3卷积、relu激活函数和3×3卷积级联构成。最后通过逐点叠加方式融合两支路特征图。
27、全局灰度残差特征提取模块沿着特征图通道方向求和特征矩阵再求均值，进而以复制方式升维度获得与输入尺寸一致的特征图。
28、其中，步骤3、5、7中，所述下采样方式采用2×2大小步长为2的卷积方法将特征图下采样为原始尺寸的一半，并将通道数增加一倍。
29、其中，步骤9、12、15中，所述上采样方式将特征图的每四个通道划分为一组，将不同通道的特征值交错拼接，组成尺度增加1倍、通道数缩小4倍的特征图。
30、其中，步骤10、13、16中，所述特征统合方式将深层特征图着特征图通道方向求和特征矩阵再求均值，进而以复制方式升维度获得与浅层特征图尺寸一致的特征图，以逐点叠加方式融合特征图。
31、(三)有效收益
32、与现有技术相比，本发明的有益效果在于：
33、1、本发明中使用逐点叠加方式取代卷积方式融合特征，使用插值方式取代反卷积方式上采样，可有效降低模型复杂度，提高非均匀性校正效率。同时，可统一各级特征提取层的投影空间，避免特征图相互冗余表征，变相增加模型通道数，进而有效提高网络细节保留能力，避免非均匀性校正后图像丢失细节信息；
34、2、本发明中的特征提取层基于残差结构可分离条纹噪声，使模型从相对平滑的图像提取纹理细节，避免条纹噪声干扰界定真实边缘，使非均匀性校正后图像与实际图像具有更高的结构相似性。
1.一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述步骤2、4、6、8、11、14、17中，特征提取层包括行灰度、列灰度、全局灰度残差特征特征提取块构成；特征提取层分为两个支路，一路为全局灰度残差，另一路由行灰度残差特征提取模块、列灰度残差特征提取模块串联构成；特征提取层通过逐点叠加方式融合两支路特征图。
3.根据权利要求2所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述列灰度残差特征提取模块分为两个支路；
4.根据权利要求2所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述行灰度残差特征提取模块分为两个支路；
5.根据权利要求2所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述全局灰度残差特征提取模块沿着特征图通道方向求和特征矩阵再求均值，进而以复制方式升维度获得与输入尺寸一致的特征图。
6.根据权利要求1所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述步骤3、5、7中，下采样方式采用2×2大小步长为2的卷积方法将特征图下采样为原始尺寸的一半，并将通道数增加一倍。
7.根据权利要求1所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述步骤9、12、15中，上采样方式将特征图的每四个通道划分为一组，将不同通道的特征值交错拼接，组成尺度增加1倍、通道数缩小4倍的特征图。
8.根据权利要求1所述的一种基于全局和局部特征的红外图像非均匀性校正方法，其特征在于，所述，步骤10、13、16中，所述特征统合方式将深层特征图着特征图通道方向求和特征矩阵再求均值，进而以复制方式升维度获得与浅层特征图尺寸一致的特征图，以逐点叠加方式融合特征图。
