频闪检测及消除方法、装置、相机及存储介质与流程

1.本技术涉及图像处理领域，尤其涉及频闪检测及消除方法、装置、相机及存储介质。


背景技术：

2.频闪，也叫工频闪烁、电力线闪烁（power-line flicker），是在交流电光源环境下拍摄、录像时常见的一种物理现象。发生频闪时图像画面中会出现明暗交替且会移动的条纹，这会严重影响成像质量，带来不好的用户体验。
3.为了消除或抑制频闪，首先需要对频闪现象进行准确、可靠的检测。现有技术中，通常是通过计算差分向量的方式判断当前图像帧是否存在频闪现象的方式；或者是通过图片中平均灰度值的变化规律判断当前场景是否存在频闪现象。
4.但是现有技术的方法仅能够在一些特定场景下实现较为准确的频闪检测，在面对一些复杂场景时，尤其是光源微弱闪烁、画面晃动或出现条状运动纹理等场景中，现有技术的方法容易出现误检或漏检的现象，从而会导致在错误的时刻消除或抑制了频闪，这也会对成像质量带来极大的影响。


技术实现要素：

5.本技术提供了频闪检测及消除方法、装置、相机及存储介质，用于对频闪现象进行准确、可靠的检测。
6.本技术第一方面提供了一种频闪检测方法，包括：获取预览图像；根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像；计算所述二值化图像的积分投影；根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果；根据所述特征判断结果确定图像画面是否处于频闪状态。
7.可选的，所述根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像包括：通过目标公式对相邻两帧的所述预览图像进行差分和阈值判定，得到二值化图像。
8.可选的，所述目标公式为：；其中，ic表示当前帧图像，ip表示上一帧图像，ib表示得到的所述二值化图像，t为预设阈值。
9.可选的，所述计算所述二值化图像的积分投影包括：确定图像画面的频闪条纹方向，所述频闪条纹方向为水平方向和/或竖直方向；计算所述二值化图像中的积分投影，所述积分投影的方向与所述频闪条纹方向一致。
10.可选的，所述根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果包括：对所述积分投影进行离散信号周期分析，并根据分析结果判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果。
11.可选的，所述对所述积分投影进行离散信号周期分析，并根据分析结果判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果，包括：对所述积分投影所得的一维离散信号进行降噪处理；确定降噪处理后的所述一维离散信号中的有效波峰和有效波谷；根据所述有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果。
12.可选的，所述根据所述有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果包括：按照预设规则对所述有效波峰和有效波谷分别进行数量、高度和周期校验；根据对所述有效波峰和有效波谷的数量、高度和周期校验的校验结果来判断对应的波形是否符合频闪条纹特征，得到特征判断结果。
13.可选的，所述根据对所述有效波峰和有效波谷的数量、高度和周期校验的校验结果来判断对应的波形是否符合频闪条纹特征，得到特征判断结果包括：若所述有效波峰和有效波谷的数量、高度和周期校验全部通过，则确定所述有效波峰和有效波谷判断对应的波形符合频闪条纹特征。
14.可选的，所述根据所述特征判断结果确定图像画面是否处于频闪状态包括：若所述特征判断结果为符合所述频闪条纹特征，则确定图像画面处于频闪状态。
15.可选的，所述根据所述特征判断结果确定图像画面是否处于频闪状态包括：若所述特征判断结果为符合所述频闪条纹特征，则确定所述预览图像对应的图像帧属于频闪帧；统计预设时间段内的频闪帧占比；若所述频闪帧占比超过预设比例，则确定图像画面处于频闪状态。
16.可选的，在所述统计预设时间段内的频闪帧占比之前，所述方法还包括：对预设时间段内的所述频闪帧进行频闪条纹间距的周期验证。
17.可选的，在所述根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像之前，所述方法还包括：将所述预览图像转换为灰度图。
18.可选的，在所述根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像之前，所述方法还包括：将所述预览图像采样至预设尺寸。
19.本技术第二方面提供了一种频闪消除方法，包括：
针对预览图像分别执行如第一方面及第一方面中任一项所述的频闪检测方法来确定图像画面是否处于频闪状态；若确定所述图像画面处于频闪状态，则进行频闪消除处理。
20.本技术第三方面提供了一种相机，所述相机执行如第一方面和第一方面中任一项所述的方法。
21.本技术第四方面提供了一种频闪检测装置，包括：获取单元，用于获取预览图像；处理单元，用于根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像；计算单元，用于计算所述二值化图像的积分投影；第一判断单元，用于根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果；第二判断单元，用于根据所述特征判断结果确定图像画面是否处于频闪状态。
22.可选的，所述处理单元具体用于：通过目标公式对相邻两帧的所述预览图像进行差分和阈值判定，得到二值化图像。
23.可选的，所述所述目标公式为：；其中，ic表示当前帧图像，ip表示上一帧图像，ib表示得到的所述二值化图像，t为预设阈值。
24.可选的，所述计算单元具体用于：确定图像画面的频闪条纹方向，所述频闪条纹方向包括水平方向和竖直方向；计算所述二值化图像中的积分投影，所述积分投影的方向与所述频闪条纹方向一致。
25.可选的，所述第一判断单元具体用于：对所述积分投影进行离散信号周期分析，并根据分析结果判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果。
26.可选的，所述第一判断单元包括：处理模块，用于对所述积分投影所得的一维离散信号进行降噪处理；确定模块，用于确定降噪处理后的所述一维离散信号中的有效波峰和有效波谷；判断模块，用于根据所述有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果。
27.可选的，所述判断模块具体用于：按照预设规则对所述有效波峰和有效波谷分别进行数量、高度和周期校验；根据对所述有效波峰和有效波谷的数量、高度和周期校验的校验结果来判断对应的波形是否符合频闪条纹特征，得到特征判断结果。
28.可选的，所述判断模块具体还用于：当所述有效波峰和有效波谷的数量、高度和周期校验全部通过时，则确定所述有效波峰和有效波谷判断对应的波形符合频闪条纹特征。
29.可选的，所述第二判断单元具体用于：若所述特征判断结果为符合所述频闪条纹特征，则确定图像画面处于频闪状态。
30.可选的，所述第二判断单元具体还用于：若所述特征判断结果为符合所述频闪条纹特征，则确定所述预览图像对应的图像帧属于频闪帧；统计预设时间段内的频闪帧占比；若所述频闪帧占比超过预设比例，则确定图像画面处于频闪状态。
31.可选的，所述第二判断单元具体还用于：对预设时间段内的所述频闪帧进行频闪条纹间距的周期验证。
32.可选的，所述装置还包括：转换单元，用于将所述预览图像转换为灰度图。
33.可选的，所述装置还包括：采样单元，用于将所述预览图像采样至预设尺寸。
34.本技术第五方面提供了一种频闪检测装置，所述装置包括：处理器、存储器、输入输出单元以及总线；所述处理器与所述存储器、所述输入输出单元以及所述总线相连；所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的频闪检测方法。
35.本技术第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的频闪检测方法。
36.从以上技术方案可以看出，本技术具有以下优点：本技术通过将相邻两帧预览图像处理为二值化图像，再通过计算二值化图像的积分投影，从而获取到图像中条纹的分布曲线，对该积分投影进行分析以确定该积分投影是否符合频闪条纹的特征，最后根据分析结果来确定图像画面当前是否处于频闪状态。从而能够在确定具有摄像头的设备，比如：相机、视频会议平板、监控设备等，其图像画面处于频闪状态时进一步实现消除或抑制频闪，提高用户使用体验。
37.本技术提供的频闪检测方法准确、可靠，并且对微弱的频闪不易漏检，即使在画面晃动、条状运动纹理等一些复杂场景中也不易出现误检。另一方面，本技术提供的频闪检测方法所需计算量小、检测速度快，尤其适合在移动、嵌入式设备中应用实施。
附图说明
38.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本技术提供的频闪检测方法一个实施例流程示意图；
图2-a、图2-b和图2-c分别为本技术提供的强频闪场景中预览画面、二值化图像和积分投影的示意图；图3-a、图3-b和图3-c分别为本技术提供的弱频闪场景中预览画面、二值化图像和积分投影的示意图；图4为本技术提供的频闪检测方法另一个实施例流程示意图；图5为本技术提供的频闪检测方法中有效波峰和有效波谷的示意图；图6为本技术提供的频闪检测方法中有效波峰和有效波谷的数量、高度和周期校验示意图；图7为本技术提供的频闪检测方法中确定有效波峰和有效波谷的方法一个实施例流程示意图；图8为本技术提供的频闪检测装置一个实施例结构示意图；图9为本技术提供的频闪检测装置一个实施例实体结构示意图。
具体实施方式
40.本技术提供了频闪检测及消除方法、装置、相机及存储介质，用于对频闪现象进行准确、可靠的检测。
41.需要说明的是，本技术提供的频闪检测方法，可以应用于终端，还可以应用于服务器上，例如终端是指具有摄像头的设备，例如相机、视频会议平板、电子云台、监控设备、智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端等。为方便阐述，本技术中以终端为执行主体进行举例说明。
42.请参阅图1，图1为本技术提供的频闪检测方法的一个实施例，该方法包括：101、获取预览图像；终端获取预览图像，需要说明的是，本技术中的预览图像可以是通过摄像头所获取的的实时预览图像，也可以是从离线视频中提取预览帧图像。
43.102、根据相邻两帧预览图像的差分图像进行二值化处理，得到二值化图像；二值化图像是指含有两级灰度(一般为0,1)的数字图像，其数据量小，处理速度快，且实时性强，将预览图像转换为二值化图像能够方便后期的处理。具体的，终端先将相邻两帧的预览图像进行差分处理，得到差分图，再对差分图进行固定阈值的二值化处理，得到对应的二值化图像。
44.需要说明的是，二值化处理能够使得原本颜色的取值范围从256种变为2种，不仅能够大大提高计算速度，并且通过对相邻两帧的预览图像进行二值化处理，可以极大限度地滤除画面内容而突出频闪画面的明暗条纹，从而得到较为稳健的图像特征，为算法的鲁棒性打下基础。
45.103、计算二值化图像的积分投影；积分投影是指将图像沿着水平和/或竖直形成两个积分投影向量，在图像分析中，水平积分投影和垂直积分投影可以用来描述图像的灰度分布结构，通过水平积分投影和垂直积分投影可以了解到图像在对应方向上的分布特征。
46.终端计算步骤102中得到的二值化图像水平和/或竖直方向上的积分投影，具体的，对于分辨率为w
×
h的图像，其水平和竖直方向上积分投影的计算公式如下：
水平方向积分投影：，其中0≤i《h；竖直方向积分投影：，其中0≤i《w；需要说明的是，积分投影所得数据实际为一维数据，可以看作一维离散信号，在本技术中计算二值化图像的积分投影，可将频闪检测的问题降维，直接将二值化图像转变为一维离散信号，把二值化图像的条纹特征识别问题转换为一维离散信号周期分析问题，从而更有利于准确、高效地进行频闪检测。
47.104、根据积分投影判断二值化图像是否符合频闪条纹特征，得到特征判断结果；当存在频闪现象时，步骤102中得到的二值化图像对应表现为较为规律的明暗条纹，通过步骤103对其进行积分投影，则与频闪条纹方向对应方向上的积分投影波形会看起来近似为方波信号、正（余）弦信号，这是频闪画面区别与非频闪画面的一个显著特征，因此可以通过对积分投影进行分析，来判断二值化图像是否符合频闪条纹特征，即画面中是否存在规律的明暗条纹，从而反映出画面中是否存在频闪。
48.具体的，终端可以通过积分投影对应的一维离散信号的波峰和波谷来进行周期性的分析，从而判断出对应的二值化图像是否符合频闪条纹特征。
49.需要说明的是，积分投影所得数据实际为一维数据，可以看作一维离散信号。但在实际应用场景中，这种离散信号时常带有噪声，因此进行对积分投影的分析之前，首先需要对其进行滤波降噪（平滑）。具体地，可以采用均值滤波、中值滤波或卡尔曼滤波及其组合来进行滤波降噪。
50.105、根据特征判断结果确定图像画面是否处于频闪状态。
51.终端根据对积分投影进行分析，来判断该二值化图像是否符合频闪条纹特征，即二值化图像中是否存在规律的明暗条纹，以此来确定对应的图像画面是否处于频闪状态。
52.当步骤101中终端获取的预览图像为摄像头拍摄的实时预览图像时，终端则可以通过特征判断结果来确定当前摄像头拍摄的图像画面是否正处于频闪状态；当步骤101中终端获取的预览图像为离线视频的预览图像时，终端则可以通过特征判断结果确定该离线视频中的图像画面是否处于频闪状态。
53.在一些具体的实施例中，若积分投影的表现符合频闪条纹特征，则可初步判定当前画面为频闪画面，从而确定对应的图像画面处于频闪状态。
54.在本实施例中，通过将相邻两帧图像处理为二值化图像，再通过计算二值化图像的积分投影，从而获取到图像中条纹的分布曲线，对该积分投影进行分析以确定该积分投影是否符合频闪条纹的特征，最后根据分析结果来确定对应的图像画面当前是否处于频闪状态。从而能够在确定具有摄像头的设备，比如：相机、视频会议平板、监控设备等，其图像画面处于频闪状态时进一步实现消除或抑制频闪，提高用户使用体验。
55.下面结合实际应用场景来对本实施例提供的频闪检测方法进行详细说明，请参阅图2-a、2-b、2-c和图3-a、3-b、3-c。
56.其中图2-a、2-b、2-c为强频闪场景图片示例：
如图2-a所示，预览画面中的频闪条纹十分明显，通过对相邻两帧的预览图像进行二值化处理得到图2-b，其中存在明显的明暗条纹，再对图2-b所示的二值化图像进行积分投影，得到对应的积分投影波形如图2-c所示。
57.其中图3-a、3-b、3-c为弱频闪场景图片示例：如图3-a所示，预览画面中的频闪条纹十分微弱，在单帧图像中尤其是难以察觉，需在画面播放过程中才能依稀看到，通过对相邻两帧的预览图像进行二值化处理得到图3-b，其中存在较为不明显的明暗条纹，再对图3-b所示的二值化图像进行积分投影，得到对应的积分投影波形如图3-c所示。
58.通过对图2-c和图3-c所示的积分投影波形进行分析判断，可以确定其波形的表现均符合频闪条纹，即确定图2-b和图3-b所示的二值化图像符合频闪条纹特征，从而检测出预览画面中存在频闪现象，能够表明无论是在强、弱频闪场景下，通过本实施例提供的频闪检测方法均能够检测出频闪现象。
59.本技术提供的频闪检测方法准确、可靠，并且对微弱的频闪不易漏检，即使在画面晃动、条状运动纹理等一些复杂场景中也不易出现误检。另一方面，本技术提供的频闪检测方法所需计算量小、检测速度快，尤其适合在移动、嵌入式设备中应用实施。
60.下面对本技术提供的频闪检测方法中的检测原理及相关步骤进行详细说明，请参阅图4，图4为本技术提供的频闪检测方法的另一个实施例，该方法包括：401、获取预览图像；本实施例中，步骤401与前述实施例步骤101类似，此处不再赘述。
61.402、将预览图像转换为灰度图；在终端获取预览图像之后，还需要对预览图像进行相应的预处理，为后续检测作准备。终端将预览图像转换为灰度图，具体的，若预览图像为rgb或bgr等格式，则将图像转为灰度图；若预览图像为yuv数据，则直接使用其y分量作为灰度图。
62.403、将预览图像采样至预设尺寸；除了步骤402中将预览图像转换为灰度图的预处理之外，终端还可以将预览图像采样至某一较小尺寸，以便减少后续处理的计算量。例如，原始预览图像的分辨率为1920x1080，在步骤403中可将预览图像缩小至320x180甚至192x108。
63.需要说明的是，步骤402与步骤403之间的顺序此处不作限定，终端可以先执行步骤402再执行步骤403，也可以先执行步骤403再执行步骤402。
64.404、通过目标公式对相邻两帧的预览图像进行差分和阈值判定，得到二值化图像；具体的，对相邻两帧图像差分和阈值判定计算的目标公式为：公式（1）；其中，ic表示当前帧图像，ip表示上一帧图像，ib表示得到的二值化图像。
65.在另一些实施例中，当前帧图像和上一帧图像求差的顺序可以调换，即也可采用如下公式：
公式（2）；其中，ic表示当前帧图像，ip表示上一帧图像，ib表示得到的二值化图像。
66.公式（1）和公式（2）中的t为二值化处理的预设阈值。公式（1）和公式（2）中二值化数值取0、255为便于显示，实际取0、1亦可。
67.需要说明的是，如果预览画面存在频闪条纹，则公式（1）所得二值化图像的明、暗条纹与预览图像明、暗条纹相对应，而公式（2）则与之相反，其二值化图像明、暗条纹与预览图像暗、明条纹相对应。在实际应用中，无论选择哪个公式，都不影响最终的检测效果。
68.需要说明的是，图像处理领域中常见的基于图像差分的二值化处理一般会取绝对值，但这并不适用于当前问题。也有算法是通过当前图像与多帧图像的均值图进行差分，但这样操作容易受到运动画面干扰，对于微弱频闪也容易漏检，同样不适用于当前问题。而本实施例中通过对相邻两帧图像进行差分和阈值的二值化处理，可以极大限度地滤除画面内容而突出频闪画面的明暗条纹，从而得到较为稳健的特征，为算法的鲁棒性打下基础。
69.405、计算二值化图像的积分投影；积分投影是指将图像沿着水平和/或竖直形成两个积分投影向量，在图像分析中，水平积分投影和垂直积分投影可以用来描述图像的灰度分布结构，通过水平积分投影和垂直积分投影可以了解到图像在对应方向上的分布特征。
70.终端计算步骤102中得到的二值化图像水平和/或竖直方向上的积分投影，具体的，对于分辨率为w
×
h的图像，其水平和竖直方向上积分投影的计算公式分别如下：水平方向积分投影：，其中0≤i《h；竖直方向积分投影：，其中0≤i《w；需要说明的是，在本技术中计算二值化图像的积分投影，可将频闪检测的问题降维，直接将二值化图像转变为一维离散信号，把二值化图像的条纹特征识别问题转换为一维离散信号周期分析问题，从而更有利于准确、高效地进行频闪检测。
71.在一些具体的实施例中，由于在大多数实际应用场景中摄像头拍摄的图像画面或视频的图像画面中，频闪条纹方向为单一方向且能够预知，因此终端在计算二值化图像的积分投影之前，首先需要确定图像画面中的频闪条纹方向，然后计算该方向上的积分投影。例如对于某一类相机，其频闪条纹方向为水平方向，则终端仅计算水平方向上的积分投影即可。若实际应用场景中图像画面中的频闪条纹方向不能预知，则终端需要分别计算水平和竖直方向的积分投影，再进行判断。
72.406、对积分投影所得的一维离散信号进行降噪处理；在终端计算得到积分投影之后，则根据积分投影进行离散信号周期分析，并根据分析结果判断二值化图像是否符合频闪条纹特征，得到特征判断结果。步骤406至步骤408
为具体的分析过程，以下将分别进行说明。
73.在上述步骤405中，计算的积分投影可能是水平或竖直其中某一个方向，也可能同时包括水平和竖直2个方向。相应的，若步骤405只计算了某个单一方向积分投影，则只需对该方向的积分投影进行分析和确认；若步骤405同时计算了水平、竖直方向积分投影，则需依次对这两个方向的积分投影进行处理。为便于描述，以下仅对单个方向积分投影进行描述，另一个方向处理过程同理。
74.终端首先对积分投影所得的一维离散信号进行滤波平滑的降噪处理。
75.积分投影所得数据实际为一维数据，可以看作一维离散信号。实际应用场景中，这种离散信号时常带有噪声，为了便于后续处理，首先需要对其进行滤波降噪（平滑）。具体地，可以采用均值滤波、中值滤波或卡尔曼滤波及其组合。
76.在一些具体的实施例中，终端可采用一次中值滤波和一次均值滤波。
77.在另一些具体的实施例中，终端可采用一次中值滤波和一次卡尔曼滤波。
78.在另一些具体的实施例中，终端可采用2次均值滤波。
79.407、确定降噪处理后的一维离散信号中的有效波峰和有效波谷；一维离散信号求其波峰、波谷一个常规的方法是求极值，以极大值作为波峰，以极小值作为波谷。但当原始信号的噪声不能被完全滤除时，这样很容易得到“伪波峰”和“伪波谷”，将可能对检测结果造成影响。
80.本实施例通过波峰、波峰对一维离散信号进行周期分析，可以判断出相应图像是否有频闪条纹。进一步的，在本实施例中，为了保证周期分析的可靠性，则需得到更准确、合理的波峰、波谷，即本技术中的有效波峰和有效波谷。
81.具体的，有效波峰和有效波谷的特征在于：1）波峰、波谷不包含边界点；2）任意相邻波峰、波谷具有足够的高度差，即满足
△
h≥th，其中
△
h为任意相邻波峰、波谷高度差，th为高度差阈值，th可以为固定阈值，也可以为动态阈值。
82.在一些具体的实施例中，优选th为动态阈值，通过设定一个高度比例t
r，
并统计相应离散信号的最大值s
max
、最小值s
min
，则动态阈值为th=tr（s
max-s
min
）。
83.不满足上述特征（1）和（2）中任一项的极值点则属于本实施例中的“伪波峰”和“伪波谷”。
84.请参阅图5，图5为有效波峰和有效波谷的示意图，对于图5所示离散信号波形，常规求极值的方式得到的波峰、波谷包括点p1、p2、p3、
…
、 p12，其中p1、p12为边界点（波形在边界处被截断，通常都不是真正的波峰、波谷，也不能表征波形周期性），不满足有效特征（1），属于“伪波峰”、“伪波谷”。其次p3与p4、p8与p9高度差都过小（属于为小范围的局部极值），不满足有效特征（2），故也属于“伪波峰”、“伪波谷”。当筛出这些“伪波峰”、“伪波谷”后，剩下的p2、p5、p6、p7、p10、p11即为有效波峰和有效波谷。
85.在一些具体的实施例中，终端还可以先确定最大波峰位置（最大值位置），将波形划分为左右两半，然后以最大波峰位置为起点，以高度差阈值作为遍历条件分别向两边遍历，以确定满足条件的波峰和波谷。
86.408、根据有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果；
在实际应用场景中，频闪条纹可能很明显，也可能很微弱。另外因环境差异，频闪条纹可能并不完整。相应的，当频闪条纹较明显且完整时，其对应方向的积分投影波形看起来近似为方波信号、正（余）弦信号。而当频闪条纹微弱或不完整时，相应的积分投影波形的不同区域幅值差异可能较大，噪声也可能较严重。但经过观察分析发现，不论频闪条纹强弱程度和完整程度如何，从其对应方向的积分投影波形都可以观察到近似的周期性。这是频闪画面区别与非频闪画面的一个显著特征，也是实现检测的基本依据。因此通过对积分投影波形的周期分析来判断画面是否存在规律的明暗条纹，进而反映画面是否存在频闪。
87.具体的，终端对有效波峰和有效波谷进行数量、高度和周期校验，若所有验证项均通过，或有其中两项验证项通过，则认为当前二值化图像（预览画面）符合频闪条纹特征，下面分别进行说明。
88.1）对有效波峰和有效波谷数量进行校验，具体需满足以下条件：a.有效波峰数目在设定阈值范围内；b.有效波谷数目在设定阈值范围内；c.有效波峰和有效波谷总数不小于设定阈值；需要说明的是，对有效波峰和有效波谷的数量进行校验的依据在于，针对不同的摄像头，其图像画面中频闪条纹的个数事先是可以确认的，比如3～4条，因而有效波峰和有效波谷的数量也应在一定范围内。
89.2）对有效波峰和有效波谷高度进行校验，具体需满足以下条件：a. 最高有效波峰高度不小于设定的最高波峰高度下限；b. 最高有效波谷高度不超过设定的最高波谷高度上限；如图6所示，设定的最高波峰高度下限记为t
h_peak_floor
，设定的最高波谷上限记为t
h_trough_ceiling
。
90.进一步的，t
h_peak_floor
与t
h_trough_ceiling
可以是固定阈值，也可以是动态阈值。
91.优选地，t
h_peak_floor
与t
h_trough_ceiling
为动态阈值，动态阈值相比固定阈值适用性更广。具体的，终端分别设定最高有效波峰高度下限比例阈值t
r_peak_floor
和最高波谷上限比例阈值t
r_trough_ceiling
，则两个动态阈值由下式计算得出：t
h_peak_floor
=h*t
r_peak_floor
；t
h_trough_ceiling
=h*t
r_trough_ceiling
；其中，h为积分投影对应的图像高度。具体的，对于水平积分投影，h为实际图像宽度；而对于竖直积分投影，h为实际图像高度。
92.需要说明的是，实际频闪画面场景是多样的，当个别频闪条纹不完整时，得到的波形类似图6所示，其不同波峰高低有可能有较大差异，不同波谷也可能有较大差异，但这种差异应该在一定范围内。对有效波峰和有效波谷进行高度校验的目的是设定容差，当某一波峰和波谷的高低差异超过容差，则不认为其是符合频闪条纹特征。
93.3）对有效波峰和有效波谷进行周期校验，具体需满足以下条件：首先判断波峰数目是否大于设定值，若是则用波峰进行周期校验，若否则用波谷进行周期校验。
94.需要说明的是，周期校验是指：对波峰而言，即确认各相邻波峰间距是否近似相等；对波谷而言，即确认各相邻波谷间距是否近似相等。判断间距近似相等的方法有多种，
例如，求相应间距方差或标准差，若其值不超过设定阈值，则认为间距近似相等。
95.在一些具体的实施例中，以图6为例，波峰数目满足要求，故对波峰进行周期校验即可。求得各相邻波峰间距分别为d1、d2，然后通过方差（或标准差）来判断d1、d2是否近似相等，此处相应的阈值可根据不同设备的情况作具体设定，此处不再赘述。
96.终端对有效波峰和有效波谷进行如上的数量、高度和周期验证，如果所有验证项均通过，或有其中两项验证项通过，则确定特征判断结果为符合频闪条纹特征。
97.409、若特征判断结果为符合频闪条纹特征，则确定预览图像对应的图像帧属于频闪帧；终端基于步骤408中得到的特征判断结果初步判定当前画面是否为频闪画面。
98.需要说明的是，当实际场景中摄像头拍摄的图像画面或视频的图像画面中的频闪条纹方向为单一方向且能够预知时，则仅计算该方向的积分投影。例如预知画面中频闪条纹总是水平的，则前述相应环节计算的水平积分投影，直接基于步骤408中对水平积分投影的特征判断结果来作判断，即特征判断结果为符合频闪条纹特征，则初步判定当前画面为频闪画面。而当实际场景中图像画面中的频闪条纹方向不能预知时，则前述相应环节计算会分别计算水平和竖直方向的积分投影，此时步骤408也会同时对两个方向进行分析，相应的，若两个方向中某一方向符合频闪条纹，则初步判定当前画面存在频闪，即确定当前帧为频闪帧。
99.在一些具体的实施例中，终端也可以直接根据步骤408中得到的特征判断结果来确定摄像头拍摄的图像画面或视频的图像画面是否处于频闪状态，即当特征判断结果为符合频闪条纹特征时，则直接确定图像画面当前处于频闪状态。
100.410、统计预设时间段内的频闪帧占比；411、若频闪帧占比超过预设比例，则确定图像画面处于频闪状态。
101.在进行频闪帧的初步判定后，为了进一步提高频闪检测判断结果的稳定性，终端可以基于各帧判定结果进行多帧分析，例如在预设时间段内，连续m帧图像中有n帧被初步判定为属于频闪帧，若n/m超过设定比例，则判断图像画面处于频闪状态。
102.进一步的，在步骤408中，有对积分投影波形基于相邻波峰或相邻波谷间距进行周期校验。由于图像画面的频闪条纹不仅在单帧图像中间距一定，而且连续相邻帧间距也是一样的。故终端还可以在步骤410的基础上，进一步对连续m帧图像所有相邻波峰间距（或相邻波谷间距）进行周期验证，从而进一步的提高检测结果的准确率。
103.请参阅图7，在一些具体的实施例中，步骤407中确定有效波峰和有效波谷的步骤如下：701、采用常规求极值的方式求得初始波峰、波谷；如图5所示，初始波峰、波谷为p1、p2、p3,
ꢀ…
, p12。
104.702、剔除初始波峰、波谷中的边界点；如图5所示，初始波峰、波谷中p1、p12为边界点，将其剔除，剩余波峰、波谷p2、p3、p4,
ꢀ…
, p11。
105.703、判断剩余波峰、波谷总数是否小于2，若是，则执行步骤706，若否，则执行步骤704；对于剔除边界点后的剩余波峰、波谷，判断其总数是否小于2，若是则直接执行步
骤706将其确定为有效波峰和有效波谷，若否则执行步骤704，以进一步排除“伪波峰”和“伪波谷”。
106.704、计算剩余波峰、波谷中各相邻波峰与波谷的高度差并求其最小值；如图5所示，对剩余波峰、波谷p2、p3、p4,
ꢀ…
, p11，计算各相邻波峰与波谷的高度差，记为δh32、δh34、δh54、δh56,
ꢀ…
,δh(11)(10) ，然后求其最小值，即波峰、波谷最小高度差。当前最小值为δh34。
107.705、判断当前波峰、波谷最小高度差是否满足预设高度差，若是则执行步骤707，若否则执行步骤706；判断计算得到的当前相邻波峰与波谷的高度差中最小的高度差δh是否满足，若满足则执行步骤707，若不满足，则执行步骤706将对应的波峰和波谷剔除，并返回步骤703。
108.706、剔除当前波峰、波谷最小高度差不满足预设高度差对应的波峰、波谷；如图5所示，当前最小高度差δh34不满足要求，相应将p3、p4剔除，然后返回步骤703继续迭代，由于δh98最小，并且δh98不满足要求，则相应将p8、p9剔除，以此类推。
109.706、将剩余波峰、波谷确定为有效波峰和有效波谷。
110.最后将经过剔除后剩余的波峰、波谷确定为有效波峰和有效波谷。即图5中最后剩下的p2、p5、p6、p7、p10、p11即为有效波峰和有效波谷。
111.需要说明的是，图7仅为实现确定有效波峰和有效波谷的一种具体实现方式，除此之外还可以有其它实现方式，具体此处不做限定。
112.在本实施例中，通过将相邻两帧图像处理为二值化图像，再通过计算二值化图像的积分投影，从而获取到图像中条纹的分布曲线，对该积分投影进行分析以确定该积分投影波形中的有效波峰和有效波谷，再根据有效波峰和有效波谷来判断积分投影波形是否符合频闪条纹的特征，最后综合分析结果来摄像头拍摄的图像画面或视频的图像画面当前是否处于频闪状态。从而能够在确定图像画面处于频闪状态时进一步实现消除或抑制频闪，提高用户使用体验。
113.本技术提供的频闪检测方法准确、可靠，并且对微弱的频闪不易漏检，即使在画面晃动、条状运动纹理等一些复杂场景中也不易出现误检。另一方面，本技术提供的频闪检测方法所需计算量小、检测速度快，尤其适合在移动、嵌入式设备中应用实施。
114.请参阅图8，图8为本技术提供的频闪检测装置一个实施例，该装置包括：获取单元801，用于获取预览图像；处理单元802，用于根据相邻两帧预览图像的差分图像进行二值化处理，得到二值化图像；计算单元803，用于计算二值化图像的积分投影；第一判断单元804，用于根据积分投影判断二值化图像是否符合频闪条纹特征，得到特征判断结果；第二判断单元805，用于根据特征判断结果确定图像画面是否处于频闪状态。
115.可选的，处理单元802具体用于：通过目标公式对相邻两帧的预览图像进行差分和阈值判定，得到二值化图像。
116.可选的，目标公式为：；其中，ic表示当前帧图像，ip表示上一帧图像，ib表示得到的二值化图像，t为预设阈值。
117.可选的，计算单元803具体用于：确定图像画面的频闪条纹方向，频闪条纹方向包括水平方向和竖直方向；计算二值化图像中的积分投影，积分投影的方向与频闪条纹方向一致。
118.可选的，第一判断单元804具体用于：对积分投影进行离散信号周期分析，并根据分析结果判断二值化图像是否符合频闪条纹特征，得到特征判断结果。
119.可选的，第一判断单元804包括：处理模块8041，用于对积分投影所得的一维离散信号进行降噪处理；确定模块8042，用于确定降噪处理后的一维离散信号中的有效波峰和有效波谷；判断模块8043，用于根据有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果。
120.可选的，判断模块8043具体用于：按照预设规则对有效波峰和有效波谷分别进行数量、高度和周期校验；根据对有效波峰和有效波谷的数量、高度和周期校验的校验结果来判断对应的波形是否符合频闪条纹特征，得到特征判断结果。
121.可选的，判断模块8043具体还用于：当有效波峰和有效波谷的数量、高度和周期校验全部通过，确定有效波峰和有效波谷判断对应的波形符合频闪条纹特征。
122.可选的，第二判断单元805具体用于：若特征判断结果为符合频闪条纹特征，则确定图像画面处于频闪状态。
123.可选的，第二判断单元805具体还用于：若特征判断结果为符合频闪条纹特征，则确定预览图像对应的图像帧属于频闪帧；统计预设时间段内的频闪帧占比；若频闪帧占比超过预设比例，则确定图像画面处于频闪状态。
124.可选的，第二判断单元805具体还用于：对预设时间段内的频闪帧进行频闪条纹间距的周期验证。
125.可选的，装置还包括：转换单元806，用于将预览图像转换为灰度图。
126.可选的，装置还包括：采样单元807，用于将预览图像采样至预设尺寸。
127.本实施例装置中，各单元的功能与前述图1或图4所示方法实施例中的步骤对应，
此处不再赘述。
128.本技术还提供了一种频闪检测装置，请参阅图9，图9为本技术提供的频闪检测装置一个实施例，该装置包括：处理器901、存储器902、输入输出单元903、总线904；处理器901与存储器902、输入输出单元903以及总线904相连；存储器902保存有程序，处理器901调用程序以执行如上任一频闪检测方法。
129.本技术还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一频闪检测方法。
130.本技术还涉及一种相机，当相机运行时，执行如上任一频闪检测方法。
131.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
132.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
133.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
134.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
135.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。

技术特征：
1.一种频闪检测方法，其特征在于，所述频闪检测方法包括：获取预览图像；根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像；计算所述二值化图像的积分投影；根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果；根据所述特征判断结果确定图像画面是否处于频闪状态。2.根据权利要求1所述的频闪检测方法，其特征在于，所述根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像包括：通过目标公式对相邻两帧的所述预览图像进行差分和阈值判定，得到二值化图像。3.根据权利要求2所述的频闪检测方法，其特征在于，所述目标公式为：；其中，ic表示当前帧图像，ip表示上一帧图像，ib表示得到的所述二值化图像，t为预设阈值。4.根据权利要求1所述的频闪检测方法，其特征在于，所述计算所述二值化图像的积分投影包括：确定图像画面的频闪条纹方向，所述频闪条纹方向为水平方向和/或竖直方向；计算所述二值化图像中的积分投影，所述积分投影的方向与所述频闪条纹方向一致。5.根据权利要求1所述的频闪检测方法，其特征在于，所述根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果包括：对所述积分投影进行离散信号周期分析，并根据分析结果判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果。6.根据权利要求5所述的频闪检测方法，其特征在于，所述对所述积分投影进行离散信号周期分析，并根据分析结果判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果，包括：对所述积分投影所得的一维离散信号进行降噪处理；确定降噪处理后的所述一维离散信号中的有效波峰和有效波谷；根据所述有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果。7.根据权利要求6所述的频闪检测方法，其特征在于，所述根据所述有效波峰和有效波谷判断对应的波形是否符合频闪条纹特征，得到特征判断结果包括：按照预设规则对所述有效波峰和有效波谷分别进行数量、高度和周期校验；根据对所述有效波峰和有效波谷的数量、高度和周期校验的校验结果来判断对应的波形是否符合频闪条纹特征，得到特征判断结果。8.根据权利要求7所述的频闪检测方法，其特征在于，所述根据所述有效波峰和有效波谷的数量、高度和周期校验的校验结果来判断对应的波形是否符合频闪条纹特征，得到特征判断结果包括：
若所述有效波峰和有效波谷的数量、高度和周期校验全部通过，则确定所述有效波峰和有效波谷判断对应的波形符合频闪条纹特征。9.根据权利要求1所述的频闪检测方法，其特征在于，所述根据所述特征判断结果确定图像画面是否处于频闪状态包括：若所述特征判断结果为符合所述频闪条纹特征，则确定图像画面处于频闪状态。10.根据权利要求1所述的频闪检测方法，其特征在于，所述根据所述特征判断结果确定图像画面是否处于频闪状态包括：若所述特征判断结果为符合所述频闪条纹特征，则确定所述预览图像对应的图像帧属于频闪帧；统计预设时间段内的频闪帧占比；若所述频闪帧占比超过预设比例，则确定图像画面处于频闪状态。11.根据权利要求10所述的频闪检测方法，其特征在于，在所述统计预设时间段内的频闪帧占比之前，所述频闪检测方法还包括：对预设时间段内的所述频闪帧进行频闪条纹间距的周期验证。12.根据权利要求1至11中任一项所述的频闪检测方法，其特征在于，在所述根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像之前，所述频闪检测方法还包括：将所述预览图像转换为灰度图。13.根据权利要求1至11中任一项所述的频闪检测方法，其特征在于，在所述根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像之前，所述频闪检测方法还包括：将所述预览图像采样至预设尺寸。14.一种频闪消除方法，其特征在于，所述频闪消除方法包括：针对预览图像分别执行如权利要求1至13中任一项所述的频闪检测方法来确定图像画面是否处于频闪状态；若确定所述图像画面处于频闪状态，则进行频闪消除处理。15.一种相机，其特征在于，所述相机执行如权利要求1至13中任一项所述的频闪检测方法。16.一种频闪检测装置，其特征在于，所述频闪检测装置包括：获取单元，用于获取预览图像；处理单元，用于根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像；计算单元，用于计算所述二值化图像的积分投影；第一判断单元，用于根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果；第二判断单元，用于根据所述特征判断结果确定图像画面是否处于频闪状态。17.一种频闪检测装置，其特征在于，所述频闪检测装置包括：处理器、存储器、输入输出单元以及总线；所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述存储器保存有程序，所述处理器调用所述程序以执行如权利要求1至13中任一项所述方法。18.一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行如权利要求1至13中任一项所述方法。

技术总结
本申请公开了频闪检测及消除方法、装置、相机及存储介质，用于对频闪现象进行准确、可靠的检测。本申请方法包括：获取预览图像；根据相邻两帧所述预览图像的差分图像进行二值化处理，得到二值化图像；计算所述二值化图像的积分投影；根据所述积分投影判断所述二值化图像是否符合频闪条纹特征，得到特征判断结果；根据所述特征判断结果确定图像画面是否处于频闪状态。频闪状态。频闪状态。


技术研发人员：肖兵 肖澎臻 骆成锐
受保护的技术使用者：珠海视熙科技有限公司
技术研发日：2022.04.22
技术公布日：2022/5/25