本发明涉及一种遥感图像数据合成方法及系统,具体涉及一种使用平滑掩码引导的高动态范围遥感图像数据合成方法及系统,属于图像信息处理。
背景技术:
1、当在强光源(日光、灯具或反光等)照射下的高亮度区域,以及阴影、逆光等相对亮度较低的区域,在图像中同时存在时,摄像机输出的图像会出现明亮区域因曝光过度成为白色,而黑暗区域因曝光不足成为黑色。即,摄像机在同一场景中对最亮区域及较暗区域的表现是存在局限的,这种局限就是“动态范围”。
2、遥感图像由于其传感器感知范围大的特点,其中可能同时存在过曝与暗光区域,严重影响图像质量。为解决传感器动态范围受限的问题,一种有效的方法是使用深度学习辅助图像恢复的高动态范围成像技术。为此,需要为基于深度学习的图像增强模型,提供高动态范围应用场景下的成对低质量-高质量遥感图像组成的数据集。与其他遥感数据不同的是,高动态范围遥感数据,是指为应用高动态范围技术而提供的模拟高动态范围成像环境下拍摄的、亟需增强的遥感图像数据,其中,包括不同程度的暗光与过曝区域。
3、基于深度学习的图像增强技术需要大量的数据以训练模型,但是,真实成对图像的采集比较困难,需要较高的时间和人力成本。另外,真实数据集存在以下两个问题:
4、1.真实数据的拍摄场景受限。对于极端照度图像,拍摄场景多样性受限于成像时需要保证极端照度图像与其对应的正常光照图之间没有位移,因此需要保证成像设备与拍摄场景相对静止;对于太阳高度角导致的包含阴影区域的图像,拍摄场景多样性除了受限于上述因素外,还受限于成像时需要选择地势变化较大的场景。由于太阳高度角和地势高低的共同影响,很难在同一场景获得包含极端照度区域的遥感图像和不含极端照度区域的对比图像。这极大增加了拍摄图像数据的成本,并限制了拍摄场景的选择。
5、2.拍摄的图像数据受成像设备特性的影响,难以很好地迁移到其它成像设备上。不同成像设备硬件本身的特性各不相同,拍摄出的数据也具有不同的噪声,这导致从一台成像设备拍摄的图像数据中学习得到的算法模型应用在另一台成像设备拍摄的图像时难以取得一致的性能和效果,即算法模型无法针对当前部署的成像设备进行自适应泛化,导致无法取得最优性能。而基于深度学习的神经网络模型又需要大量的数据进行训练以确保其性能,因此需要制作与真实成像设备拍摄得到的极端照度图像尽可能接近的拟真数据。
6、目前的拟真数据合成方法,通常只针对单一任务进行处理。例如,将原始图像整体转换为暗光图像或过曝图像。然而,对于遥感图像数据,其大小通常可达上亿像素,其图像可能同时包含暗光和过曝区域,如果只使用纯暗光-过曝图像作为训练集,则可能无法贴近真实光照条件下的遥感图像成像范围,导致模型对于高动态范围数据的处理能力不足。
7、为了生成更加贴近真实遥感成像情况的合成数据,迫切需要一种能够生成同时存在常规、暗光和过曝场景的合成数据,且过渡区域像素值平滑自然的方法。
技术实现思路
1、本发明的目的是针对现有技术存在的缺陷和不足,为了解决现有方法只针对单一极端照度情况生成合成数据的缺陷,无法贴合实际大规模遥感图像中同时存在阴影、过曝和正常区域等情况,创造性地提出了一种使用平滑掩码引导的高动态范围遥感图像数据合成方法及系统。
2、本发明为针对大规模遥感图像的图像增强任务,提供了更加贴合真实数据光照情况的高动态范围训练数据合成方案,提高了数据集的质量,使图像增强模型更加适合处理真实高动态范围遥感成像数据。
3、为达上述目的,本发明采用以下技术方案实现。
4、一种平滑掩码引导的高动态范围遥感图像数据合成方法,包括以下步骤:
5、步骤1:基本数据生成,通过输入的原始图像,生成对应的过曝图和暗光图。
6、其中,针对正常遥感图像数据,通过乘以亮度系数参数来生成过曝图像。
7、针对正常遥感图像数据,通过全元物理量噪声模型和针对传感器标定得到的参数,模拟图像信号处理的逆向过程,将rgb遥感图像逆处理为raw图像,再调低亮度并使用噪声模型加噪来合成低光带噪数据。
8、其中,传感器的参数标定可以通过拍摄平场帧与偏置帧获得。
9、此外,可以利用已经标定好的传感器参数,对正常图像数据进行加噪操作。
10、步骤2:生成随机的种子矩阵,将其上采样至预设大小,获得平滑掩码。
11、其中,预设的上采样结果大小为后续其他计算机视觉任务的输入数据大小。
12、步骤3:将生成的掩码结果重新映射到[0,1]的值域空间,并使用映射后的掩码对图像进行加权融合,生成最终的高动态范围遥感图像合成结果。
13、同时,本发明提出了一种平滑掩码引导的高动态范围遥感图像数据生成系统,包括过曝数据生成模块、暗光数据生成模块、平滑掩码生成模块和基本数据融合模块。其中,过曝数据生成模块、暗光数据生成模块和平滑掩码生成模块的输出端,均与基本数据融合模块的输入端相连。
14、有益效果
15、本发明有效解决了现有数据合成方法只针对单一光照场景生成合成遥感数据的不足,为大规模遥感图像增强任务提供了更接近真实情况的高动态范围遥感图像数据合成方案,有助于训练高动态范围真实遥感数据的图像增强模型。
1.平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,包括以下步骤:步骤1:基本数据生成,通过输入的原始图像生成对应的过曝图和暗光图;其中,针对正常遥感图像数据,通过乘以亮度系数参数来生成过曝图像;传感器的参数标定通过拍摄平场帧与偏置帧获得;针对正常遥感图像数据,通过全元物理量噪声模型和针对传感器标定得到的参数,模拟图像信号处理的逆向过程,将rgb遥感图像逆处理为raw图像,再调低亮度并使用噪声模型加噪来合成低光带噪数据;步骤2:生成随机的种子矩阵,将其上采样至预设大小,获得平滑掩码;其中,预设的上采样结果大小为后续其他计算机视觉任务的输入数据大小;步骤3:将生成的掩码结果重新映射到[0,1]的值域空间,并使用映射后的掩码对图像进行加权融合,生成最终的高动态范围遥感图像合成结果。
2.如权利要求1所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,在步骤1中,过曝图像使用随机参数指导合成;
3.如权利要求1所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,在步骤1中,对于噪声模型建立,在使用相机拍摄图像的过程中,拍摄得到的raw数据正比于入射到传感器上的光子数量,且比值受到相机模拟增益和数字增益的共同影响;设成像系统增益为,考虑到各种各样的噪声,该过程表示为:其中,代表拍摄过程中所有噪声的总和;考虑成像过程中的光子散粒噪声、读出噪声,以行噪声为主的传感器条带噪声和数模转换时产生的量化噪声;散粒噪声为光子层面的噪声,,以及被看作数字信号层面上的噪声,将噪声表示为:针对不同传感器进行噪声参数标定;对于每种传感器,拍摄两种特殊的标定帧来完成参数标定,包括平场帧和偏置帧;成像系统增益反映拍摄图像的灰度值和镜头捕获的光子数量之间的关系;为估算的数值,在固定iso的情况下,针对已知传感器拍摄不同曝光时间的平场帧;根据噪声模型假设,平场帧raw图像的方差与理论真值的方差之间成线性关系,且比例系数为;对的方差和进行线性拟合,斜率即为系统增益;在确定形状参数后,采用最大似然估计的方式来确定读出噪声的标准差参数,使概率分布模型能够拟合样本点的分布;至此,能够对于确定的iso值求出对应的系统增益以及其他的噪声参数;为确定任意iso时的各种噪声参数,要进一步估计出系统增益与噪声参数的联合分布,iso与系统增益呈准确的正比例关系,以iso=800为基准,得到iso=时对应的系统增益:对于其他噪声参数,仅考虑行噪声标准差和读出噪声标准差与系统增益的关系;对系统增益,和分别取对数,在对数标尺下进行线性最小二乘法拟合,并用一个以最小二乘的结果为均值的高斯分布来对参数和进行估计和采样。
4.如权利要求3所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,平场帧是在光照均匀地照到传感器的情况下拍摄的图片;
5.如权利要求3所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,为估计读出噪声的相关参数,使用最小的曝光时间拍摄iso为50~6400的偏置帧;为估计行噪声的相关参数,计算偏置帧每一行的均值,并用同一帧的所有行均值使用极大似然估计去拟合零均值的高斯分布,得到行噪声的标准差;在raw数据中,用每一行的像素均值来估计行噪声;在完成对行噪声标定之后,需要减去这个标定的行噪声,进而继续标定其他噪声参数。
6.如权利要求3所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,采用tukey lambda分布来对噪声的分布和大小进行拟合;tukey lambda分布为一个分布族,用于拟合一系列的常见分布,其中控制分布类别的参数为形状参数,通过改变的方式来确定分布的具体形状。
7.如权利要求3所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,为获取方差,通过在每种曝光时间下拍摄相同的两帧,并将两帧做差,减小不均匀性所带来的影响,且只截取每张平场帧的中间200x200的区域;两帧相减得到的残差图需除以,保证得到正确的方差;将两帧求均值再取像素的中位数作为真值。
8.如权利要求1所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,步骤2中,生成随机的4x4种子矩阵,将其上采样至预设大小,对生成结果归一化后获得平滑掩码;在上采样过程中,采用双三次插值方法进行插值操作,它用于在图像放大时,对4x4像素邻域内的像素进行三次样条插值。
9.如权利要求1所述的平滑掩码引导的高动态范围遥感图像数据合成方法,其特征在于,步骤3中,引入两段二次函数,将平滑掩码的值映射后作为最终的权重;具体合成方式为:在掩码强度为0.5时,合成图像的对应像素采用原图,当掩码强度大于0.5时,使用过曝图像与原图混合,掩码强度为1时,完全使用过曝图像;当掩码强度小于0.5时,使用暗光图像与原图混合,掩码强度为0时,完全使用暗光图像,为减小极端照度情况与原始图像之间的像素值差异,在混合图像时,通过二次函数映射权重适当提升极端照度图像的比例;该过程表示为:其中,为掩码的值,为映射后的权重,为未经过处理的原始遥感图像,为生成的过曝图像,为生成的暗光图像,为最终的混合结果图。
10.平滑掩码引导的高动态范围遥感图像数据合成系统,其特征在于,包括过曝数据生成模块(m10)、暗光数据生成模块(m20)、平滑掩码生成模块(m30)和基本数据融合模块(m40);其中:过曝数据生成模块(m10)用于通过输入的正常遥感图像数据生成过曝图像数据;暗光数据生成模块(m20)用于通过输入的正常遥感图像数据生成暗光图像数据;平滑掩码生成模块(m30)用于生成引导图像融合的平滑掩码;基本数据融合模块(m40)用于将平滑掩码重新映射,并引导正常、暗光和过曝图像融合为最终的高动态范围遥感图像数据;上述模块之间的连接关系为:过曝数据生成模块(m10)、暗光数据生成模块(m20)和平滑掩码生成模块(m30)的输出端均与基本数据融合模块(m40)的输入端相连。
