一种多源图像融合方法、系统

1.本发明涉及红外可见光融合的技术领域，具体地，涉及一种多源图像融合方法、系统。


背景技术：

2.在图像处理领域中，单一传感器获取的图像通常只具备某一方面的信息，已无法满足市场需求，因此图像融合技术应运而生，图像融合将多种传感器对同一场景取得的图像信息进行融合，使融合后的图像同时包含多种传感器图像的信息。
3.目前常见的是红外与可见光的融合，可见光图像具有较高的空间分辨率，能够清晰观察到现场的信息，但不能检测到使用防护和伪装手段的目标，且图像受光照条件的影响较大。红外传感器借助于目标自身发射的红外辐射来成像，不受恶劣天气和光照的影响，即使在低照度下也能清晰观测到隐藏的热目标，但红外图像对比度较低，空间相关性强，目标细节的反映能力也比较差，成像效果不符合人眼视觉习惯。所以现阶段使用的红外与可见光的融合，既能弥补红外和可见光传感器单一成像的不足，又能同时发挥可见光与红外的优势，使得融合后的图像兼具红外与可见光的特征。但是，这种图像融合在烟雾、夜间等条件下的成像效果差。


技术实现要素：

4.本发明的目的是提供一种多源图像融合方法、系统，该一种多源图像融合方法、系统综合了红外，微光与可见光图像的特征信息，使其呈现更全面的夜视图像，增强场景理解、突出目标，且更符合人眼特性，明显改善人眼的识别性能。
5.为了实现上述目的，本发明提供了一种多源图像融合方法，所述多源图像融合方法包括：
6.根据深度特征提取算法与低通滤波融合算法将红外图像fr(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)；
7.根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像fv(x,y)进行融合以获得夜视图像g
rlv
(x,y)。
8.优选地，所述根据深度特征提取算法与低通滤波融合算法将红外图像fr(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)包括：
9.将所述红外图像fr(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分ia和细节信息部分ib；
10.针对所述基础轮廓部分ia，通过平均加权融合策略获得图像轮廓信息fa(x,y)；
11.针对所述细节信息部分ib，提取所述细节信息部分ib中的深度特征，通过多层融合策略获得权重图；
12.根据所述图像轮廓信息fa(x,y)和权重图重构以获得融合图像f
rl
(x,y)。
13.优选地，所述将所述红外图像fr(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通
过低通滤波算法分解为基础轮廓部分ia和细节信息部分ib包括：
14.通过下述公式计算获得所述基础轮廓部分ia和细节信息部分ib：
[0015][0016]
ib＝i-ia；
[0017]
其中，g
x
＝[-1 1]表示水平梯度算子，gy＝[-1 1]
t
表示垂直梯度算子，λ为常参数。
[0018]
优选地，所述针对所述基础轮廓部分ia，通过平均加权融合策略获得图像轮廓信息fa(x,y)包括：
[0019]
通过下述公式计算获得图像轮廓信息fa(x,y)：
[0020][0021]
其中，a1为长波图像的权重值、a2为中波图像的权重值。
[0022]
优选地，所述根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像fv(x,y)进行融合以获得夜视图像g
rlv
(x,y)包括：
[0023]
利用无监督卷积神经网络模型中的浅层特征提取网络和残差稠密块从融合图像f
rl
(x,y)和可见光图像fv(x,y)中提取热辐射特征信息和细节纹理特征信息；
[0024]
将提取到的热辐射特征信息和细节纹理特征信息通过稠密特征融合块进行整体以及局部的图像特征融合；以及
[0025]
将整体以及局部的图像特征融合后的图像特征信息传输到重构块卷积网络进行特征重建获得夜视图像g
rlv
(x,y)。
[0026]
另外，本发明还提供一种多源图像融合系统，所述多源图像融合系统包括：
[0027]
第一融合单元，用于根据深度特征提取算法与低通滤波融合算法将红外图像fr(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)；
[0028]
第二融合单元，用于根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像fv(x,y)进行融合以获得夜视图像g
rlv
(x,y)。
[0029]
优选地，所述第一融合单元包括：
[0030]
分解模块，用于将所述红外图像fr(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分ia和细节信息部分ib；
[0031]
图像轮廓信息获得模块，用于针对所述基础轮廓部分ia，通过平均加权融合策略获得图像轮廓信息fa(x,y)；
[0032]
权重图获得模块，用于针对所述细节信息部分ib，提取所述细节信息部分ib中的深度特征，通过多层融合策略获得权重图；
[0033]
融合图像重构模块，用于根据所述图像轮廓信息fa(x,y)和权重图重构以获得融合图像f
rl
(x,y)。
[0034]
优选地，所述分解模块通过下述公式计算获得所述基础轮廓部分ia和细节信息部分ib：
[0035][0036]
ib＝i-ia；
[0037]
其中，g
x
＝[-1 1]表示水平梯度算子，gy＝[-1 1]
t
表示垂直梯度算子，λ为常参数。
[0038]
另外，本发明还提供一种存储介质，其上存储有程序，该程序被处理器执行时实现上述的多源图像融合方法。
[0039]
另外，本发明还提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的多源图像融合方法。
[0040]
根据上述技术方案，本发明不受恶劣天气和光照的影响，即使在低照度下也能清晰观测到隐藏的热目标，同时在光线充足或者光线昏暗甚至夜晚的条件下，能呈现出丰富的目标纹理和场景细节，增加图像的抗干扰性，提高图像的显示效果。红外图像主要依靠物体自身的热辐射进行成像，突出背景中隐藏的热目标，其不受光照条件、天气的影响，但对比度较低，纹理细节不丰富。微光相比红外成像，不需要红外灯发射红外线、不需要被观测物体必须有热量，但图像的显示效果易受周边环境影响，如怕强光，具有晕光现象，在遇到强光的时候夜视仪无法进行观测，观测者会感到眩晕。可见光图像通过反射可见光进行成像，纹理细节和对比度更适合人类的视觉感知，但可见光图像在烟雾、夜间等条件下的成像效果差。本发明设计对微光图像与红外图像进行对比与分析，从而对目标信息进行提取，完成提出融合后再与可见光图像进行融合，最后生成具有红外、微光与可见光图像的优点，增加了图像的抗干扰性，提高了图像的显示效果。
[0041]
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0042]
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
[0043]
图1是本发明红外图像与微光图像融合的流程图；
[0044]
图2是本发明基于resnet+senet的细节信息融合效果图；
[0045]
图3是本发明图像融合模型rdnfuse的融合流程图；以及
[0046]
图4是本发明基于resnet、senet、rdnfuse的图像融合算法流程图。
具体实施方式
[0047]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0048]
本发明提供一种多源图像融合方法，所述多源图像融合方法包括：
[0049]
s101，根据深度特征提取算法与低通滤波融合算法将红外图像fr(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)；其中，将红外fr(x,y)与微光图像f
l
(x,y)进行融合，提取目标信息，获得图像f
rl
(x,y)，使图像在低照度下也能清晰观测到隐藏的热目标，光图像具有较高的空间分辨率，能够清晰观察到现场的信息，呈现出丰富的目标纹理和场景细节。
[0050]
s102，根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像fv(x,y)进行融合以获得夜视图像g
rlv
(x,y)。其中，将f
rl
(x,y)与可见光图像fv(x,y)进行基于深度学习算法处理进行融合获得最终图像g
rlv
(x,y)，综合微光与红外图像的特征信息，使其融合成更全面的夜视图像，能增强场景理解、突出目标，同时更符合人眼观察特性。
[0051]
其中，本发明的一种红外、微光与可见光的多源图像融合技术，利用基于resnet+
senet+rdnfuse图像融合算法，使用端到端的模型网络框架，使特征重构更加客观，融合图像特征重构。实现在红外、微光与可见光多源图像融合，综合红外，微光与可见光图像的特征信息，使其呈现更全面的夜视图像，增强场景理解、突出目标，且更符合人眼特性，明显改善人眼的识别性能。
[0052]
优选地，如图1所示，s101，根据深度特征提取算法与低通滤波融合算法将红外图像fr(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)包括：
[0053]
将所述红外图像fr(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分ia和细节信息部分ib；
[0054]
针对所述基础轮廓部分ia，通过平均加权融合策略获得图像轮廓信息fa(x,y)；
[0055]
针对所述细节信息部分ib，提取所述细节信息部分ib中的深度特征，通过多层融合策略获得权重图；
[0056]
根据所述图像轮廓信息fa(x,y)和权重图重构以获得融合图像f
rl
(x,y)。
[0057]
优选地，在上述步骤中，所述将所述红外图像fr(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分ia和细节信息部分ib包括：
[0058]
通过下述公式计算获得所述基础轮廓部分ia和细节信息部分ib：
[0059][0060]
ib＝i-ia；
[0061]
其中，g
x
＝[-1 1]表示水平梯度算子，gy＝[-1 1]
t
表示垂直梯度算子，λ为常参数。根据resnet+senet特征提取与低通滤波融合算法将红外与微光图像进行融合，然后将每一帧源图像i分解为基础轮廓部分ia与细节信息部分ib,基础轮廓部分ia根据水平梯度算子，垂直梯度算子和参数λ共同得出，g
x
＝[-1 1]表示水平梯度算子，gy＝[-1 1]
t
表示垂直梯度算子，λ设置为5。
[0062]
优选地，所述针对所述基础轮廓部分ia，通过平均加权融合策略获得图像轮廓信息fa(x,y)包括：
[0063]
通过下述公式计算获得图像轮廓信息fa(x,y)：
[0064][0065]
其中，a1为长波图像的权重值、a2为中波图像的权重值。(x,y)表示双波段图像的相应位置。
[0066]
优选地，所述根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像fv(x,y)进行融合以获得夜视图像g
rlv
(x,y)包括：
[0067]
利用无监督卷积神经网络模型中的浅层特征提取网络和残差稠密块从融合图像f
rl
(x,y)和可见光图像fv(x,y)中提取热辐射特征信息和细节纹理特征信息；
[0068]
将提取到的热辐射特征信息和细节纹理特征信息通过稠密特征融合块进行整体以及局部的图像特征融合；以及
[0069]
将整体以及局部的图像特征融合后的图像特征信息传输到重构块卷积网络进行特征重建获得夜视图像g
rlv
(x,y)。
[0070]
使用rdnfuse网络框架中的浅层特征提取网络和残差稠密块从红外图像和可见光图像中提取深度以及多层次的热辐射特征信息和细节纹理特征信息，随后将提取到的丰富
图像特征信息通过稠密特征融合块(dff)进行整体以及局部的图像特征融合，提升图像融合框架的特征信息流通，最后将融合后的图像特征信息传输到重构块卷积网络进行特征重建，输出最终的融合图像。
[0071]
另外，本发明还提供一种多源图像融合系统，所述多源图像融合系统包括：
[0072]
第一融合单元，用于根据深度特征提取算法与低通滤波融合算法将红外图像fr(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)；
[0073]
第二融合单元，用于根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像fv(x,y)进行融合以获得夜视图像g
rlv
(x,y)。
[0074]
优选地，所述第一融合单元包括：
[0075]
分解模块，用于将所述红外图像fr(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分ia和细节信息部分ib；
[0076]
图像轮廓信息获得模块，用于针对所述基础轮廓部分ia，通过平均加权融合策略获得图像轮廓信息fa(x,y)；
[0077]
权重图获得模块，用于针对所述细节信息部分ib，提取所述细节信息部分ib中的深度特征，通过多层融合策略获得权重图；
[0078]
融合图像重构模块，用于根据所述图像轮廓信息fa(x,y)和权重图重构以获得融合图像f
rl
(x,y)。
[0079]
优选地，所述分解模块通过下述公式计算获得所述基础轮廓部分ia和细节信息部分ib：
[0080][0081]
ib＝i-ia；
[0082]
其中，g
x
＝[-1 1]表示水平梯度算子，gy＝[-1 1]
t
表示垂直梯度算子，λ为常参数。
[0083]
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述多源图像融合方法。
[0084]
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述多源图像融合方法。
[0085]
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：s101、s102。
[0086]
本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：s101、s102。
[0087]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0088]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0089]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0090]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0091]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0092]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0093]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0094]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0095]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0096]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种多源图像融合方法，其特征在于，所述多源图像融合方法包括：根据深度特征提取算法与低通滤波融合算法将红外图像f
r
(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)；根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像f
v
(x,y)进行融合以获得夜视图像g
rlv
(x,y)。2.根据权利要求1所述的多源图像融合方法，其特征在于，所述根据深度特征提取算法与低通滤波融合算法将红外图像f
r
(x,y)与微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)包括：将所述红外图像f
r
(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分i
a
和细节信息部分i
b
；针对所述基础轮廓部分i
a
，通过平均加权融合策略获得图像轮廓信息f
a
(x,y)；针对所述细节信息部分i
b
，提取所述细节信息部分i
b
中的深度特征，通过多层融合策略获得权重图；根据所述图像轮廓信息f
a
(x,y)和权重图重构以获得融合图像f
rl
(x,y)。3.根据权利要求2所述的多源图像融合方法，其特征在于，所述将所述红外图像f
r
(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分i
a
和细节信息部分i
b
包括：通过下述公式计算获得所述基础轮廓部分i
a
和细节信息部分i
b
：i
b
＝i-i
a
；其中，g
x
＝[-1 1]表示水平梯度算子，g
y
＝[-1 1]
t
表示垂直梯度算子，λ为常参数。4.根据权利要求2所述的多源图像融合方法，其特征在于，所述针对所述基础轮廓部分i
a
，通过平均加权融合策略获得图像轮廓信息f
a
(x,y)包括：通过下述公式计算获得图像轮廓信息f
a
(x,y)：其中，a1为长波图像的权重值、a2为中波图像的权重值。5.根据权利要求2所述的多源图像融合方法，其特征在于，所述根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像f
v
(x,y)进行融合以获得夜视图像g
rlv
(x,y)包括：利用无监督卷积神经网络模型中的浅层特征提取网络和残差稠密块从融合图像f
rl
(x,y)和可见光图像f
v
(x,y)中提取热辐射特征信息和细节纹理特征信息；将提取到的热辐射特征信息和细节纹理特征信息通过稠密特征融合块进行整体以及局部的图像特征融合；以及将整体以及局部的图像特征融合后的图像特征信息传输到重构块卷积网络进行特征重建获得夜视图像g
rlv
(x,y)。6.一种多源图像融合系统，其特征在于，所述多源图像融合系统包括：第一融合单元，用于根据深度特征提取算法与低通滤波融合算法将红外图像f
r
(x,y)与
微光图像f
l
(x,y)进行融合以获得融合图像f
rl
(x,y)；第二融合单元，用于根据无监督卷积神经网络模型将所述融合图像f
rl
(x,y)与可见光图像f
v
(x,y)进行融合以获得夜视图像g
rlv
(x,y)。7.根据权利要求6所述的多源图像融合系统，其特征在于，所述第一融合单元包括：分解模块，用于将所述红外图像f
r
(x,y)与微光图像f
l
(x,y)各自的每一帧源图像通过低通滤波算法分解为基础轮廓部分i
a
和细节信息部分i
b
；图像轮廓信息获得模块，用于针对所述基础轮廓部分i
a
，通过平均加权融合策略获得图像轮廓信息f
a
(x,y)；权重图获得模块，用于针对所述细节信息部分i
b
，提取所述细节信息部分i
b
中的深度特征，通过多层融合策略获得权重图；融合图像重构模块，用于根据所述图像轮廓信息f
a
(x,y)和权重图重构以获得融合图像f
rl
(x,y)。8.根据权利要求7所述的多源图像融合系统，其特征在于，所述分解模块通过下述公式计算获得所述基础轮廓部分i
a
和细节信息部分i
b
：i
b
＝i-i
a
；其中，g
x
＝[-1 1]表示水平梯度算子，g
y
＝[-1 1]
t
表示垂直梯度算子，λ为常参数。9.一种存储介质，其上存储有程序，该程序被处理器执行时实现所述权利要求1-5中任意一项所述的多源图像融合方法。10.一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-5中任意一项所述的多源图像融合方法。

技术总结
本发明公开了一种多源图像融合方法、系统，所述多源图像融合方法包括：根据深度特征提取算法与低通滤波融合算法将红外图像f


技术研发人员：李津津 刘正男 潘玥 王羲献 李胜
受保护的技术使用者：安徽信息工程学院
技术研发日：2022.02.14
技术公布日：2022/5/25