一种高动态范围图像合成方法及系统与流程

1.本发明涉及图像处理技术领域，具体涉及一种高动态范围图像合成方法及系统。


背景技术：

2.高动态范围图像（high-dynamic range），简称hdr，与普通的ldr（low-dynamic range）图像相比，hdr图像具有更宽的动态范围。目前获取hdr图像通常的做法是通过图像传感器得到多帧ldr图像，再通过一定的图像合成算法，将多帧ldr图像合成为一帧hdr图像。例如在支持hdr图像拍摄的摄像系统中，hdr图像合成是由图像信号处理单元（image signal processor）来完成。在拍摄高动态范围的图像或视频时，需要在图像传感器和图像信号处理单元之间传输多帧ldr图像，并且图像信号处理单元需要对这多帧的ldr图像进行处理，因此图像信号单元在合成一帧hdr图像时，其需要处理的数据量是处理一帧ldr图像时的数倍。当数据总线带宽不变时，传输完合成一帧hdr图像所需的时间是传输一帧ldr图像的数倍。若想保持拍摄帧率不变，相应的就需要增加数据总线带宽。
3.为解决上述问题，提出一种新的hdr图像合成方法，该方法易于实现，并且在保持拍摄帧率不变的情况下，能降低拍摄高动态范围图像和视频对数据总线带宽、图像信号处理单元的性能需求。


技术实现要素：

4.本发明所要解决的技术问题是：通过多帧ldr图像合成高动态范围图像，解决现有合成方法复杂，对数据总线带宽、图像信号处理单元的性能要求较高的问题。本发明的目的在于，提供一种高动态范围图像合成方法，该方法简便且易实现，对数据总线带宽需求较小。
5.本发明通过下述技术方案实现：本发明的第一方面在于，提供一种高动态范围图像合成方法，包括步骤：s1、在不同拍摄参数（曝光时间t、感光度i）条件下，拍摄形成多帧ldr图像，作为待合成图像；s2、获取步骤s1的图像数据，包括每帧图像的像素点的像素值、曝光时间、感光度；s3、计算合成系数，包括合成系数理论值a
tn
和合成系数实际值a
sn
；s4、计算合成图像数据，并输出目标图像。
6.本发明的工作原理是：在图像传感器内部或者在图像传感器将数据通过数据总线传输给图像信号处理单元之前，对图像进行合成处理，将多帧ldr图像合成为一帧hdr图像，再通过数据总线传输给图像信号处理单元。合成后的一帧hdr图像相比于合成前的多帧ldr图像，其数据量更少，相应的对数据总线的带宽需求和图像信号处理单元的性能需求就更少。
7.进一步地，步骤s3包括以下步骤：t1、选取基准图像，筛选条件是将每帧图像所对应的曝光时间与感光度的数值相
乘，二者乘积最大值所对应的图像为基准图像；t2、计算每帧待合成图像的合成系数理论值a
tn
和合成系数实际值a
sn
；合成系数理论值（公式a）其中，t0为该次合成基准图像曝光时间，i0为该次合成基准图像感光度，tn为该次合成第n帧待合成图像曝光时间，in为该次合成第n帧图像感光度；合成系数实际值（公式b）其中，d0为基准图像中满足一定条件的像素点的像素值之和（这些像素点满足d
min
《d
(x,y)
《d
max
，d
(x,y)
为坐标为(x,y)的像素点的像素值），dn为第n帧待合成图像中与计算d0时所用像素点的像素值之和。
8.具体地，d
min
和d
max
由图像传感器的相应曲线来确定。在不同的光生电荷数下，测试图像传感器输出的像素值，绘制图像传感器相应曲线，如图2所示，横坐标为光生电荷数，纵坐标为图像传感器输出的像素值。d
min
~d
max
范围内的数据满足以下公式：（公式c）0≤d
min
＜d
max
, 0＜d
max
＜基准图像的最大像素值；其中，d
x
可以由本领域技术人员根据色彩偏离度（即人眼不能分辨的色差）来设置；优选地，d
x
的数值范围是0～0.01。
9.进一步地，考虑到各帧待合成图像的拍摄参数不同会导致各帧图像的噪声水平也可能不同，因此需要对步骤t2计算出的异常合成系数进行处理。
10.步骤s3合成系数计算还包括：t3、合成系数实际值的异常处理；当出现a
sn
＜a
tn
×
（1-m1）或者a
sn
＞a
tn
×
（1+m2）的情况时，判断为合成系数异常，此时将该合成系数实际值替换成前一帧的合成系数实际值；其中，m1为相对于合成系数最小值的偏差率；m2为相对于合成系数最大值的偏差率；本领域技术人员可以根据实际需求设置偏差率。
11.优选地，所述偏差率m1和m2的范围是0-1之间的任意小数。
12.例如，假设a
tn
=10，m1、m2均为0.5%时，当计算出的合成系数实际值a
tn
＜9.95或a
sn
＞10.05时，需要对该合成系数实际值进行异常处理。
13.进一步地，步骤s4合成图像的数据计算包括步骤：a1、设置滤波范围；计算各帧待合成图像的滤波阈值f
nmin
和f
nmax
，f
nmin
=d
max
×asnfnmax
=该帧待合成图像的最大像素值
×asn
；a2、合成图像的数据计算；当第n帧待合成图像的像素点的像素值d
n(x,y)
满足f
nmin
＜d
n(x,y)
＜f
nmax
时，合成的数
据为，其中，j为待合成图像的总帧数，cn为常数（可根据需要设置），且满足条件=1，0≤≤1，d
n(x,y)
为第n帧待合成图像坐标为(x,y)像素点的像素值；当第n帧待合成图像的像素点的像素值d
n(x,y)
不满足f
nmin
＜d
n(x,y)
＜f
nmax
时，合成的数据为，其中，b
(x,y)
为该次合成hdr图像时，n帧待合成图像中，同一坐标位置，出现过曝的像素点（即失真像素点）的个数。
14.进一步地，考虑到n帧待合成图像中，可能存在坐标（x,y）像素点全为失真像素点的情况，此时合成图像的数据为d
n(x,y)asn
的最大值。
15.本发明的第二方面在于，提供适用于本发明高动态范围图像合成方法的图像合成系统，包括：图像数据获取单元、合成系数计算单元、合成系数异常处理单元、目标合成数据计算和输出单元；图像数据获取单元用于获取待合成图像的数据，包括像素点的像素值、曝光时间、感光度；合成系数计算单元用于根据合成函数计算合成系数理论值和合成系数实际值；合成系数异常处理单元用于滤除合成系数实际值不在期待范围内的数据；目标合成数据计算和输出单元基于合成系数和滤波范围，计算出合成数据，并输出目标图像。
16.本发明与现有技术相比，具有如下的优点和有益效果：1、本发明图像合成算法更简化，计算复杂度降低，对数据总线带宽、图像信号处理单元性能的需求更低，从而降低成本；2、本发明图像高动态范围图像合成系统可集成于图像传感器内部；3、通过采用合成系数异常处理，且针对不同滤波范围采用与之对应的合成算法，其结果是合成图像画质更好。
附图说明
17.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：图1为本发明高动态范围图像合成方法流程示意图；图2为通过测试获得的图像传感器相应曲线图；图3为本发明失真像素点个数统计方法示意图；图4为本发明高动态范围图像合成系统示意图；图5为采用本发明合成方法合成高动态范围图像的效果图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本
发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
19.实施例1目前现有的高动态范围图像的合成方法，其对数据总线带宽、图像信号处理单元的性能要求较高，本实施例提供一种计算更简便，可集成于图像传感器内部，且对数据总线带宽、图像信号处理单元性能的要求更低的合成方法。如图1所示，本实施例提供一种高动态范围图像合成方法，包括步骤：s1、在不同拍摄参数（曝光时间t、感光度i）条件下，拍摄形成多帧ldr图像，作为待合成图像；s2、获取步骤s1的图像数据，包括每帧图像的像素点的像素值、曝光时间、感光度；s3、计算合成系数，包括合成系数理论值a
tn
和合成系数实际值a
sn
；s4、计算合成图像数据，并输出目标图像。
20.步骤s3的具体步骤包括：t1、选取基准图像，筛选条件是将每帧图像所对应的曝光时间与感光度的数值相乘，二者乘积最大值所对应的图像为基准图像；t2、计算每帧待合成图像的合成系数理论值a
tn
和合成系数实际值a
sn
；合成系数理论值，其中，t0为该次合成基准图像曝光时间，i0为该次合成基准图像感光度，tn为该次合成第n帧待合成图像曝光时间，in为该次合成第n帧图像感光度；合成系数实际值，其中，d0为基准图像中满足一定条件的像素点的像素值之和（这些像素点满足d
min
《d
(x,y)
《d
max
，d
(x,y)
为坐标为(x,y)的像素点的像素值），dn为第n帧待合成图像中与计算d0时所用像素点的像素值之和。
21.具体地，d
min
和d
max
由图像传感器的响应曲线来确定。在不同的光生电荷数下，测试图像传感器输出的像素值，绘制图像传感器响应曲线，如图2所示，横坐标为光生电荷数，纵坐标为图像传感器输出的像素值。d
min
~d
max
范围内的数据满足以下公式：；0≤d
min
＜d
max
, 0＜d
max
＜基准图像的最大像素值；其中，d
x
可以由本领域技术人员根据色彩偏离度（即人眼不能分辨的色差）来设置；优选地，d
x
的数值范围是0～0.01。
22.实施例2本实施例与上一实施例的区别在于，步骤s3合成系数计算还包括步骤：t3、合成系数实际值的异常处理；考虑到各帧待合成图像的拍摄参数不同会导致各帧图像的噪声水平也可能不同，因此需要对步骤t2计算出的异常合成系数进行处理。
23.当出现a
sn
＜a
tn
×
（1-m1）或者a
sn
＞a
tn
×
（1+m2）的情况时，判断为合成系数异常，此
时将该合成系数实际值替换成前一帧的合成系数实际值；其中，m1为相对于合成系数最小值的偏差率；m2为相对于合成系数最大值的偏差率；本领域技术人员可以根据实际需求设置偏差率。
24.优选地，所述偏差率m1和m2的范围是0-1之间的任意小数。
25.例如，假设a
tn
=10，m1、m2均为0.5%时，当计算出的合成系数实际值a
tn
＜9.95或a
sn
＞10.05时，需要对该合成系数实际值进行异常处理。
26.实施例3本实施例与实施例1、实施例2的区别在于，步骤s4合成图像的数据计算包括步骤：a1、设置滤波范围；计算各帧待合成图像的滤波阈值f
nmin
和f
nmax
，f
nmin
=d
max
×asnfnmax
=该帧待合成图像的最大像素值
×asn
；a2、合成图像的数据计算；当第n帧待合成图像的像素点的像素值d
n(x,y)
满足f
nmin
＜d
n(x,y)
＜f
nmax
时，合成的数据为，其中，j为待合成图像的总帧数，cn为常数（可根据需要设置），且满足条件=1，0≤≤1，d
n(x,y)
为第n帧待合成图像坐标为(x,y)像素点的像素值；当第n帧待合成图像的像素点的像素值d
n(x,y)
不满足f
nmin
＜d
n(x,y)
＜f
nmax
时，合成的数据为，其中，b
(x,y)
为该次合成hdr图像时，n帧待合成图像中，同一坐标位置，出现过曝的像素点（即失真像素点）的个数。
27.图3示出失真像素点个数统计方法，当坐标为（x1，y1）的像素点的像素值不在滤波范围时，其失真像素点个数为n帧待合成图像中，该坐标位置出现过度曝光的次数。
28.实施例4本实施例与实施例3的区别在于，考虑到n帧待合成图像中，可能存在坐标（x,y）像素点全为失真像素点的情况，此时合成图像的数据为d
n(x,y)asn
的最大值。
29.实施例5本实施例提供一种高动态范围图像合成系统，包括：图像数据获取单元、合成系数计算单元、合成系数异常处理单元、目标合成数据计算和输出单元；图像数据获取单元用于获取待合成图像的数据，包括像素点的像素值、曝光时间、感光度；合成系数计算单元用于根据合成函数计算合成系数理论值和合成系数实际值；合成系数异常处理单元用于滤除合成系数实际值不在期待范围内的数据；目标合成数据计算和输出单元基于合成系数和滤波范围，计算出合成数据，并输出目标图像。
30.在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意
在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语（包括技术术语和科学术语）具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语（诸如在一般使用的词典中限定的术语）将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
31.以上所述实施例的各个技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
32.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种高动态范围图像合成方法，其特征在于，包括以下步骤：s1、在不同拍摄参数条件下，拍摄形成多帧ldr图像，作为待合成图像；s2、获取步骤s1的图像数据，包括每帧图像的像素点的像素值、曝光时间、感光度；s3、计算合成系数；s4、计算合成图像数据，并输出目标图像；所述拍摄参数包括曝光时间t、感光度i；所述合成系数包括合成系数理论值a
tn
和合成系数实际值a
sn
。2.根据权利要求1所述的高动态范围图像合成方法，其特征在于，所述步骤s3包括：t1、选取基准图像，筛选条件是将每帧图像所对应的曝光时间与感光度的数值相乘，二者乘积最大值所对应的图像为基准图像；t2、计算每帧待合成图像的合成系数理论值a
tn
和合成系数实际值a
sn
；合成系数理论值其中，t0为该次合成基准图像曝光时间，i0为该次合成基准图像感光度，t
n
为该次合成第n帧待合成图像曝光时间，i
n
为该次合成第n帧图像感光度；合成系数实际值其中，d0为基准图像中像素值在一定范围内的像素点的像素值之和，d
n
为第n帧待合成图像中与计算d0时所用像素点的像素值之和。3.根据权利要求2所述的高动态范围图像合成方法，其特征在于，d0选取的像素点的像素值满足d
min
<d
(x,y)
<d
max
，d
min
和d
max
由图像传感器的响应曲线来确定，其满足：0≤d
min
＜d
max
,0＜d
max
＜基准图像的最大像素值；d
x
根据色彩偏离度来设定。4.根据权利要求3所述的高动态范围图像合成方法，其特征在于，所述d
x
的数值范围是0～0.01。5.根据权利要求2所述的高动态范围图像合成方法，其特征在于，所述步骤s3合成系数计算还包括：t3、合成系数实际值的异常处理；当出现a
sn
＜a
tn
×
(1-m1)或者a
sn
＞a
tn
×
(1+m2)的情况时，判断为合成系数异常，此时将该合成系数实际值替换成前一帧的合成系数实际值；其中，m1为相对于合成系数最小值的偏差率；m2为相对于合成系数最大值的偏差率。6.根据权利要求4所述的高动态范围图像合成方法，其特征在于，所述偏差率m1和m2的范围是0～1之间的任意小数。7.根据权利要求1所述的高动态范围图像合成方法，其特征在于，所述步骤s4合成图像的数据计算包括步骤：a1、设置滤波范围；计算各帧待合成图像的滤波阈值f
nmin
和f
nmax
，f
nmin
＝d
max
×
a
sn
f
nmax
＝该帧待合成图像的最大像素值
×
a
sn
；
a2、合成图像的数据计算；当第n帧待合成图像的像素点的像素值d
n(x,y)
满足f
nmin
＜d
n(x,y)
＜f
nmax
时，合成的输出数据为其中，j为待合成图像的总帧数，c
n
为常数，且满足d
n(x,y)
为第n帧待合成图像坐标为(x,y)像素点的像素值；当第n帧待合成图像的像素点的像素值d
n(x,y)
不满足f
nmin
＜d
n(x,y)
＜f
nmax
时，合成的输出数据为其中，b
(x,y)
为该次合成hdr图像时，n帧待合成图像中，同一坐标位置，出现失真像素点的个数。8.根据权利要求7所述的高动态范围图像合成方法，其特征在于，当n帧待合成图像中，像素点全为失真像素点时，合成图像的输出数据为d
n(x,y)
×
a
sn
的最大值。9.一种高动态范围图像合成系统，其特征在于，该系统包括：图像数据获取单元、合成系数计算单元、合成系数异常处理单元、目标合成数据计算和输出单元；图像数据获取单元用于获取待合成图像的数据，包括像素点的像素值、曝光时间、感光度；合成系数计算单元用于根据合成函数计算合成系数理论值和合成系数实际值；合成系数异常处理单元用于滤除合成系数实际值不在期待范围内的数据；目标合成数据计算和输出单元基于合成系数和滤波范围，计算出合成数据，并输出目标图像。

技术总结
本发明公开了一种高动态范围图像合成方法，包括步骤：S1、在不同拍摄参数条件下，拍摄形成多帧LDR图像，作为待合成图像；S2、获取步骤S1的图像数据，包括每帧图像的像素点的像素值、曝光时间、感光度；S3、计算合成系数；S4、计算合成图像数据，并输出目标图像。该合成方法简便易实现，降低了对数据总线的带宽和图像信号处理单元的性能需求，从而降低成本。从而降低成本。


技术研发人员：ꢀ(51)Int.Cl.H04N5/235
受保护的技术使用者：四川创安微电子有限公司
技术研发日：2022.02.16
技术公布日：2022/5/25