一种基于风格迁移的车牌数据增强方法与流程

1.本发明涉及计算机视觉和深度学习技术领域，具体为一种基于风格迁移的车牌数据增强方法。


背景技术：

2.车牌视觉任务是自动驾驶、交通违章判断、智能道闸等多方面领域的技术门槛。由于车牌属于敏感数据，数据增强成为解决数据采集受限问题的数据空间解决方案。到目前为止，用于车牌视觉任务的数据增强方法类型主要有两种，包括基于图像处理的方法和基于深度学习的方法。
3.基于图像处理的方法侧重于通过仿射变换、运动模糊、光线不均匀等来增加车牌数据。然而，由于超参数设置的困难，这些方法可能会产生一些图像特征(如对比度，光照亮度，锐化等)脱离现实世界特征分布的增强数据，结果导致使用增强数据训练的车牌任务网络在应用时无法克服数据的领域差距(domain gap)。
4.基于深度学习的方法主要通过训练生成对抗网络(gan)来进行数据增强，例如在车牌识别网络进行字符预测之前使用gan产生合成车牌图像做数据增强，以增加用于训练和测试目的的数据样本。然而，这些方法是基于对抗训练的生成建模原理，其通过训练后生成的车牌增强数据有三种缺点：
5.1)、一些方法只扩展了车牌背景多样性但没有丰富车牌序列的多样性；
6.2)、一些方法可生成新的车牌序列来丰富多样性，但生成的车牌序列(如长度)很多是不符合标准布局和编码规则的；
7.3)、通过模型直接生成的车牌增强数据容易带有明显的视觉伪影(artifacts)，与真实车牌图像有较大差距。因此，这类方法生成的增强数据对车牌任务网络的效果提升有限。


技术实现要素：

8.(一)解决的技术问题
9.针对现有技术的不足，本发明提供了一种基于风格迁移的车牌数据增强方法，相较于现有的数据增强方法，并非通过训练生成模型直接产生增强车牌数据，而是通过风格迁移学习把真实车牌的变化风格迁移到大量的仿真车牌上，合成视觉质量与真实数据接近的增强车牌数据，减少大量伪影的出现，丰富增强车牌数据的风格(光照，颜色，纹理等)和内容(车牌序列)多样性，并有效提高车牌任务网络的泛化鲁棒性的优点。
10.(二)技术方案
11.为实现上述目的，本发明提供如下技术方案：一种基于风格迁移的车牌数据增强方法，所述该方法可融合仿真车牌数据的内容和真实车牌数据的风格进行迁移合成增强车牌数据，用于训练多种车牌任务网络以提升其泛化性能；
12.包括：
13.生成仿真车牌数据，图像生成器随机生成仿真车牌数据；
14.训练风格迁移网络，一定量的仿真车牌数据和真实车牌数据分别被随机选为内容图像和风格图像，采用风格迁移算法对内容图像和风格图像进行训练；
15.合成增强车牌数据，将随机生成的仿真车牌数据和实际采集的真实车牌数据分别作为内容输入和风格输入到风格迁移网络模型中，然后执行模型推理，即可得到迁移合成的增强车牌数据。
16.优选的，所述仿真车牌数据为根据车牌号码的标准排列规则随机生成符合规范的车牌序列、车牌类型和字符。
17.优选的，所述仿真车牌数据生成方法包括：
18.根据车牌号码的标准的排列规则是一张车牌由一个中文字符+一个英文字符+五/六个英文字符/数字字符组成；
19.根据车牌序列可以确定车牌类型，根据车牌类型从背景库中选取对应的背景模板；
20.根据生成的车牌序列从字体库中选择字符按照每一种车牌的字符位置，间隔等标准将每一个字符贴到选取的背景模板上，生成对应的仿真车牌图像。
21.优选的，所述风格迁移算法为自适应实例归一化前向神经网络(adain-net)和多样式生成网络(msg-net)。
22.优选的，训练过程中内容图像作为网络输出图像的内容目标y
ct
，风格图像则作为风格目标y
st
，损失函数的定义如下公式：
[0023][0024]
风格迁移网络的训练目标的数学表达如下公式：
[0025][0026]
式中表示内容重建损失，表示风格重建损失，λ1，λ2是可调的权重参数，即使用随机梯度下降进行训练以最小化损失函数并收敛得到网络模型权重w
*
，最后通过加载模型的权重文件得到用于推理的风格迁移网络模型。
[0027]
(三)有益效果
[0028]
与现有技术相比，本发明提供了一种基于风格迁移的车牌数据增强方法，具备以下有益效果：
[0029]
1)、产生的车牌增强数据视觉效果更接近真实场景中收集到的车牌数据，减少伪影的大量出现，有利于减轻甚至解决以往车牌数据增强方法的数据领域差距问题(domain gap)；
[0030]
2)、提供了一种高效鲁棒且低成本的数据增强方法，使增强车牌数据的风格和内容多样化，助于解决现实中车牌少样本案例的数据局限困难；
[0031]
3)、对车牌任务网络的增益大，方法应用简单直观，可与传统图像处理的数据增强方法叠加使用，使车牌任务获得更大的提升。
附图说明
[0032]
图1为生成仿真车牌数据和训练风格迁移网络的方法示意图；
[0033]
图2为合成增强车牌数据的方法示意图；
[0034]
图3为本发明中车牌背景库的示意图；
[0035]
图4为本发明中车牌字体库的示意图；
[0036]
图5为本发明中仿真车牌的示意图；
[0037]
图6为本发明中真实车牌的示意图；
[0038]
图7为本发明中增强车牌的示意图。
具体实施方式
[0039]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
实施例一
[0041]
一种基于风格迁移的车牌数据增强方法，该方法可融合仿真车牌数据的内容和真实车牌数据的风格进行迁移合成增强车牌数据，用于训练多种车牌任务网络以提升其泛化性能；
[0042]
参阅图1-2，描述了风格迁移的车牌数据增强方法的完整流程，该方法的实现分为三个阶段：生成仿真车牌数据、训练风格迁移网络和合成增强车牌数据；
[0043]
本实施例中，分为三个阶段：
[0044]
生成仿真车牌数据阶段：图像生成器随机生成仿真车牌数据的具体实现过程如下：
[0045]
根据车牌号码的标准排列规则随机生成符合规范的车牌序列。标准的排列规则是一张车牌由一个中文字符(代表省份)+一个英文字符+五/六个英文字符/数字字符组成；
[0046]
车牌序列可以确定车牌类型，根据车牌类型从车牌背景库(图3)中选取对应的背景模板；
[0047]
根据生成的车牌序列从字体库(图4)中选择字符按照每一种车牌的字符位置，间隔等标准将每一个字符贴到选取的背景模板上，生成对应的仿真车牌图像。
[0048]
训练风格迁移网络阶段：一定量的仿真车牌数据和真实车牌数据分别被随机选为内容图像和风格图像，采用合适的风格迁移算法(如自适应实例归一化前向神经网络(adain-net)，多样式生成网络(msg-net)等)对内容图像和风格图像进行训练，训练过程中内容图像作为网络输出图像的内容目标y
ct
，风格图像则作为风格目标y
st
，损失函数的定义如公式(1)，其中表示内容重建损失，表示风格重建损失，λ1，λ2是可调的权重参数。风格迁移网络的训练目标的数学表达如公式(2)所示，即使用随机梯度下降进行训练以最小化损失函数并收敛得到网络模型权重w
*
，最后通过加载模型的权重文件得到用于推理的风格迁移网络模型。
[0049][0050][0051]
合成增强车牌数据阶段：通过将随机生成的仿真车牌数据和实际采集的真实车牌数据分别作为内容输入和风格输入到风格迁移网络模型中，然后执行模型推理，即可得到迁移合成的增强车牌数据。如图5和图7所示，可看到通过迁移合成，增强车牌除了保留仿真车牌整体的空间和内容结构，还带有了类似真实车牌(图6)的模糊，色彩，纹理等风格特征，使车牌的增强数据更接近真实质感。
[0052]
本实施例中，参阅图5-7，图像生成器首先随机生成一个车牌序列沪a4m6ji，然后确定该车牌为蓝牌类型，从背景库中选取蓝色的背景模板，最后从字体库中根据车牌序列逐个选择字符按照该种车牌的字符位置，间隔等标准把每个字符逐一贴到蓝色的背景模板上，得到图5的仿真车牌。
[0053]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于风格迁移的车牌数据增强方法，其特征在于：所述该方法可融合仿真车牌数据的内容和真实车牌数据的风格进行迁移合成增强车牌数据，用于训练多种车牌任务网络以提升其泛化性能；包括：生成仿真车牌数据，图像生成器随机生成仿真车牌数据；训练风格迁移网络，一定量的仿真车牌数据和真实车牌数据分别被随机选为内容图像和风格图像，采用风格迁移算法对内容图像和风格图像进行训练；合成增强车牌数据，将随机生成的仿真车牌数据和实际采集的真实车牌数据分别作为内容输入和风格输入到风格迁移网络模型中，然后执行模型推理，即可得到迁移合成的增强车牌数据。2.根据权利要求1所述的一种基于风格迁移的车牌数据增强方法，其特征在于：所述仿真车牌数据为根据车牌号码的标准排列规则随机生成符合规范的车牌序列、车牌类型和字符。3.根据权利要求2所述的一种基于风格迁移的车牌数据增强方法，其特征在于：所述仿真车牌数据生成方法包括：根据车牌号码的标准的排列规则是一张车牌由一个中文字符+一个英文字符+五/六个英文字符/数字字符组成；根据车牌序列可以确定车牌类型，根据车牌类型从背景库中选取对应的背景模板；根据生成的车牌序列从字体库中选择字符按照每一种车牌的字符位置，间隔等标准将每一个字符贴到选取的背景模板上，生成对应的仿真车牌图像。4.根据权利要求1所述的一种基于风格迁移的车牌数据增强方法，其特征在于：所述风格迁移算法为自适应实例归一化前向神经网络(adain-net)和多样式生成网络(msg-net)。5.根据权利要求1所述的一种基于风格迁移的车牌数据增强方法，其特征在于：训练过程中内容图像作为网络输出图像的内容目标y
ct
，风格图像则作为风格目标y
st
，损失函数的定义如下公式：风格迁移网络的训练目标的数学表达如下公式：式中表示内容重建损失，表示风格重建损失，λ1，λ2是可调的权重参数，即使用随机梯度下降进行训练以最小化损失函数并收敛得到网络模型权重w
*
，最后通过加载模型的权重文件得到用于推理的风格迁移网络模型。

技术总结
本发明涉及计算机视觉和深度学习技术领域，且公开了一种基于风格迁移的车牌数据增强方法，包括：生成仿真车牌数据，图像生成器随机生成仿真车牌数据；训练风格迁移网络，一定量的仿真车牌数据和真实车牌数据分别被随机选为内容图像和风格图像，采用风格迁移算法对内容图像和风格图像进行训练；通过学习神经风格迁移网络，将真实车牌上的风格特征迁移到丰富的仿真车牌数据中以合成增强的车牌数据，用于提高车牌视觉任务(如检测，识别，跟踪，超分辨率等)的泛化性能。率等)的泛化性能。率等)的泛化性能。


技术研发人员：何超 高依铨 邓富城 张诗琪 罗韵 陈振杰
受保护的技术使用者：山东极视角科技有限公司
技术研发日：2022.02.07
技术公布日：2022/5/25