一种图像融合时图像配准错位的自适应配准方法与流程

1.本发明属于图像融合的配准技术应用领域，具体涉及解决图像融合因观察不同距离进行镜头调焦导致图像错位的自适应配准方法。


背景技术：

2.多传感器数据通常提供某区域的互补信息。图像融合的目的是由这些数据得到新的图像以提供更多的复杂和详细的场景表示。其在模式识别、遥感、医学成像和现代军事等场景分析中有着重要的应用。可见光传感器主要捕获反射光使得可见光图像具有丰富的背景信息，更有利于建立判别模型。相比之下，红外传感器主要捕捉物体发出的热辐射，受光照变化或伪装的影响较小，因此，它可以克服一些障碍发现目标并且昼夜工作。因此，将红外图像中的热物体信息和可见光的背景信息融合到一张图像中不仅可以使其更符合人的视觉感知，并且有利于后续应用比如目标识别等。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。
3.当前的红外与可见光图像融合方法层次主要是像素级与特征级相结合，由于红外与可见光图像展示的是同一场景下的图像信息，对于平行光轴的红外可见光双摄像头配置进行图像配准，主要的限制是图像配准只是对特定的目标距离(dtarget)有效。配准误差σx(以像素单位)的数学表达式为：
[0004][0005]
其中f为焦距，l
pix
为像素大小，d
x
为基线长度。d
optimal
是目标距离，即图像对齐误差为0。如果光轴平行，即d
optimal
＝无穷远，只有目标物体在相对观察者很远的位置将会精确对齐，对于距离较近(d
target
《无穷远)将会出现配准误差。由于红外和可见光的焦距不一样，导致空间物体在两种图像上成像大小不一样，同时，使用的红外/可见光硬件系统光心在y方向上存在偏差，即使根据焦距大小对图像进行缩放也并不能使得同一物体在不同图像上的成像大小相同。因此对于通过调焦镜头看不同距离的目标时，调焦后图像配准就存在偏差，本发明通过一种方法来修正这种配准误差来提升融合图像效果。


技术实现要素：

[0006]
针对上述问题，本发明提出一种图像融合时图像配准错位的自适应配准方法，目的是为了不影响图像处理的实时性，当通过目镜观察时，待调焦(需要观察的目标距离有变化时，需要调焦来调整图像清晰度)完成后，通过实时计算单应性矩阵来调整图像配准，本发明的图像融合方法如下：
[0007]
一种图像融合时图像配准错位的自适应配准方法，采取重新计算单应性矩阵模型来实时修正图像配准，计算单应性矩阵模型如下：
[0008]
第一步：特征点检测；
[0009]
特征点检测使用sift算法，利用此法确定特征点；
[0010]
第二步：特征点匹配；
[0011]
sift描述子可以用向量来表示，两个描述子之间的相似程度可以用他们之间的距离来表示，通常距离越小，说明两个描述子越相似，则更有可能是同一个特征点；特征点之间的匹配就是找到描述子集合之间差异最小的点对的集合；
[0012]
特征点匹配时可能会产生错误匹配，此时采取一些检测算法来对匹配的结果进行过滤；交叉验证是一种用来过滤错误匹配点对的方法，其思想是再进行一次反向的匹配过程，将第一次匹配的结果中，被匹配的点作为需要匹配的点，反向在第一幅图中寻找最佳匹配点，如果和第一次匹配的结果一致的话，就认为该点对是一次正确的匹配，否则将其过滤；
[0013]
第三步：计算单应性矩阵；
[0014]
根据匹配得到的特征点，计算单应性矩阵h，然后通过射影变换，把一个
[0015][0016]
射影平面上的点映射到另一个射影平面上；单应性矩阵有8个参数：
[0017]
其中m2和m5表示水平和垂直方向的位移，m0、m1、m3、m4代表相邻图片旋转和放缩变换，m6和m7代表水平和垂直方向的形变量。
[0018]
单应性矩阵的计算公式为：
[0019]
p1＝h
×
p2[0020][0021]
其中表示匹配的特征点；
[0022]
第四步：图像融合；
[0023]
在取得两个图像之间的单应矩阵后，则映射关系可以表示为：
[0024][0025]
其中，(u1，v1，1)
t
表示图像1中的像点，(u2，v2，1)
t
是图像2中的像点，也就是可以通过单应矩阵h将图像2变换到图像1，使他们处于同一视角，输入图像经过单应矩阵映射后，通过如下公式进行图像融合：
[0026]
i(x，y)＝w1*i1(x，y) w2*i2(x，y)
[0027]
其中i(x，y)表示融合后的像素值，i1(x，y)、i2(x，y)分别表示红外图像和可见光图像经过单应性矩阵映射后的像素值，本发明取w1＝0.7、w2＝0.3。
[0028]
有益效果：本发明采用上述技术方案，能够解决图像融合因观察不同距离进行镜头聚焦导致图像错位的问题，提升融合图像效果。
附图说明
[0029]
图1：本发明的方法流程图；
[0030]
图2：本发明的远距离融合图像效果图；
[0031]
图3：本发明的近距离融合图像效果图；
[0032]
图4：本发明实施例中的尺度空间构造过程示意图；
[0033]
图5：本发明实施例中的极值点的寻找过程示意图；
[0034]
图6：本发明实施例中的特征点方向计算示意图；
[0035]
图7：本发明实施例中的特征点沿主方向旋转示意图；
[0036]
图8：本发明实施例中的特征描述子的生成示意图。
具体实施方式
[0037]
本发明硬件系统构成要求：可见光成像分辨率为：1920
×
1080，红外探测器分辨率为：640
×
512，像元尺寸均为12um，当前镜头均采用焦距为：12mm，f数为1.0的镜头。
[0038]
为了提升图像处理的实时性，当通过目镜观察时，待聚焦(需要观察的目标距离有变化时，需要聚焦来调整图像清晰度)完成后，通过实时计算单应性矩阵来来调整图像配准，图像融合方法如下：
[0039]
第一步：特征点检测
[0040]
特征点检测使用sift算法；sift全称是scale invariant frature transform，是尺度不变特征变换。sift特征对旋转、尺度缩放、亮度变化等都具有良好的不变性，是一种稳定的局部特征。
[0041]
(1)构建dog尺度空间。
[0042]
尺度空间的思想就是对图像构建一系列不同分辨率的图像金字塔，分辨率连续变化，图像的尺寸随分辨率变化，模拟物体由近到远变化在视觉上的效果。公式如式(2)所示
[0043]
l(x，y，σ)＝g(x，y，σ)*i(x，y)......(2)
[0044]
其中，i(x，y)表示输入的原始图像，g(x，y，σ)表示高斯核函数，是尺度空间变换的唯一线性核函数，定义如式(3)所示
[0045][0046]
其中，σ是高斯正态分布的标准差，表示尺度空间因子，该值的大小与图像的模糊程度有关，值越大，图像越模糊，尺度也越大。l(x，y，σ)表示高斯尺度空间，为了减少计算量，使用dog，即差分高斯的方式来进行近似计算，计算公式如式(4)所示
[0047]
d(x，y，σ)＝[g(x，y，kσ)-g(x，y，σ)]*i(x，y)＝l(x，y，kσ)-l(x，y，σ)......(4)
[0048]
其中，k表示相邻尺度空间的比例因子。由式(3)可知，两个相邻高斯空间的图像相减可以得到dog的图像。先建立图像的高斯金字塔，高斯金字塔有多组，每组有多层，同一组中的多个层之间的尺度也是不一样的，相邻层的尺度相差k。假设有s层，则可得到
[0049]
k＝2-s
[0050]
最终高斯金字塔的组数可由式(5)表示：
[0051]
o＝[log2min(m，n)]-a......(5)
[0052]
其中m，n分别是图像的行数和列数(本发明采用的硬件系统中微光图像的m＝
1920，n＝1080，红外图像的m＝640，n＝512)，a是一个常量，和塔顶图像大小有关，尺度空间的构造过程参看图4所示。
[0053]
(2)寻找极值点。
[0054]
将每个像素点与其所在的那幅图像邻域的8个像素，它所在的向量尺度空间上下2幅图对应位置邻域各9个点，总共26个点进行像素值比较，如果该点是最大或者最小点，则该点就暂时列为特征点。
[0055]
参看图5，要判断橙色区域所标记的像素点是否为极值点，分别与其3
×
3邻域和上下两层同一位置邻域内的所有像素点进行比较，大于或小于其它所有像素点，则该点为极值点。
[0056]
由于是在离散空间得到的点，不一定完全准确，需要进行筛选，过滤掉以下两种点：
[0057]
a)低对比度的点；
[0058]
b)不稳定的边缘响应点；
[0059]
对于情况a)，令δx为某个特征点的偏移量，则对比度为|d(x)|，d(x)的泰勒展开式为：
[0060][0061]
已知x是d(x)的极值点，对上式求导并求极值点，有
[0062][0063]
代入后可得：
[0064][0065]
筛掉|d(x)|≤t的点，即可过滤掉低对比度的点。
[0066]
对于情况b)，为了剔除第二种情况的特征点，选择一个2*2的hessian矩阵，用h表示：
[0067][0068]
其中d
xx
、d
yx
、d
xy
、d
yy
均是候选点领域对应位置通过差分求得。dog函数d(x)的主曲率与h的特征值成正比。为简化计算，假设α为h的最大特征值，β为h的最小特征值，那么有：
[0069]
tr(h)＝d
xx
d
yy
＝α β
[0070][0071]
当特征值相等时，tr(h)和det(h)的比值最小。若此时这个值很大，说明该点既存在一个梯度值很大的方向，也存在一个梯度值很小的方向，则有很大的可能处在边缘，应该被过滤。
[0072]
以特征点为中心，计算半径大小为3
×
1.5σ区域的角度和幅值，特征点的方向参数m(x,y)可由下式计算得到：
[0073][0074]
方向θ的计算方式为：
[0075][0076]
参看图6，用直方图统计极值点邻域内每个像素的梯度方向、幅值。选择其中累计数量最多的像素点对应的角度作为该特征点最终的主方向。
[0077]
(3)构造特征点描述算子
[0078]
在经过以上步骤后，可以用(x,y,σ,θ)来表示一个特征点，包含了位置信息、尺度、方向。其中有一到多个辅助方向的特征点会被复制多份，每个方向有独立的θ值。下面，要用一组向量来表示这些特征点，即生成特征描述子，这些特征描述子应当具有较高的独立性。
[0079]
首先，以特征点为中心，将坐标轴旋转θ度，参看图7，
[0080]
图像中的像素旋转后的坐标为：
[0081][0082]
参看图8，选择特征点为中心大小16
×
16的窗口，图中的每个方格代表一个像素，方格内箭头的长度和方向分别表示像素的梯度幅值和方向。把这16
×
16个方格划分成4
×
4个4
×
4的小方块，在每个小方块内，以45度为一个区间，将360度分成8个同样大小的区间，统计每个区间内的方向和幅值，并用高斯函数进行加权运算。每个小方块内得到信息称为种子点。
[0083]
最终，对每个特征点，可以得到16个种子点，每个种子点又存在8个不同方向的向量信息，共生成128维向量。通过分块和统计得到的向量信息，不仅具有独立性，也具有一定的抗噪声能力。将这128向量的长度归一化处理，去除光照带来的影响。最终得到的这128维向量，就是所需要的特征描述子，即特征点。
[0084]
第二步：特征点匹配
[0085]
sift描述子可以用向量来表示，两个描述子之间的相似程度可以用他们之间的距离来表示，通常距离越小，说明两个描述子越相似，则更有可能是同一个特征点。特征点之间的匹配就是找到描述子集合之间差异最小的点对的集合。
[0086]
特征点匹配时可能会产生错误匹配，此时采取一些检测算法来对匹配的结果进行过滤。交叉验证是一种用来过滤错误匹配点对的方法，其思想是再进行一次反向的匹配过程，将第一次匹配的结果中，被匹配的点作为需要匹配的点，反向在第一幅图中寻找最佳匹配点，如果和第一次匹配的结果一致的话，就认为该点对是一次正确的匹配，否则将其过滤。
[0087]
第三步：计算单应性矩阵
[0088]
根据匹配得到的特征点，计算单应性矩阵h，然后通过射影变换，把一个
[0089]
[0090]
射影平面上的点映射到另一个射影平面上。单应性矩阵有8个参数：
[0091]
其中m2和m5表示水平和垂直方向的位移，m0、m1、m3、m4代表相邻图片旋转和放缩变换，m6和m7代表水平和垂直方向的形变量。
[0092]
单应性矩阵的计算公式为：
[0093]
p1＝h
×
p2[0094][0095]
其中表示匹配的特征点。
[0096]
第四步：图像融合
[0097]
在取得两个图像之间的单应矩阵后，则映射关系可以表示为：
[0098][0099]
其中，(u1，v1，1)
t
表示图像1中的像点，(u2，v2，1)
t
是图像2中的像点，也就是可以通过单应矩阵h将图像2变换到图像1，使他们处于同一视角，输入图像经过单应矩阵映射后，通过如下公式进行图像融合：
[0100]
i(x，y)＝w1*i1(x，y) w2*i2(x，y)
[0101]
其中i(x，y)表示融合后的像素值，i1(x，y)、i2(x，y)分别表示红外图像和可见光图像经过单应性矩阵映射后的像素值，w1、w2表示权重，w1 w2＝1。