针对成像中直流分量变化的深度学习样本增强方法与流程

1.本发明涉及图像视觉检测技术领域，尤其是一种针对成像中直流分量变化的深度学习样本增强方法。


背景技术：

2.自动化机器视觉行业一直以来存在不同机台成像效果存在差异的问题，尤其是量产机台，每台机器可能是由不同光电人员调试并定型的，不同光电人员的经验，能力，评价标准等存在差异，使得成像效果差异更大。
3.这种差异直接导致在样机上的算法无法在新机台上直接复制使用，对于传统算法，可以通过参数设计，调整参数的方法完成快速复制；但对于使用到深度学习算法的设备，由于深度学习是一个端到端的过程，在使用阶段几乎没有中间参数可供调节，检出效果主要由网络设计以及训练样本及训练方法决定，无法像传统算法那样通过设计中间参数，在使用的时候调节中间参数，使算法能快速复用到其他机台上。
4.对于这个问题，现有的已知的解决办法都是从样本增强上着手解决，通常有以下三种方式；（1）最原始的办法是直接将图像全局各通道的灰度分别加上或者减去一个恒定值，用来模拟不同成像环境下的样本图片；（2）后来又有人研究光照变化导致灰度变化的数学模型，试图通过数学建模来进行样本增强；（3）近年来，出现了使用对抗神经网络来生成训练样本的办法，使用的是传统对抗神经网络，即将高斯随机序列信号作为输入，以样本图像作为标签，来训练对抗神经网络，最终利用训练好的网络来生成样本。
5.但是，上述三种方式分别存在以下问题：（1）全局灰度加减恒定值的方法较为简单，只考虑到了图像的全局亮暗变化，与真正的成像亮度变化效果有较大差别，所以生成的样本往往与真实的成像效果像差很大；（2）基于数学建模的方法提供了一个解决该问题的理论方向，但由于该数学模型过于复杂，很难设计出有效的数学模型，目前也没有已知的该类方法用于实际生产；（3）基于常规对抗神经网络生成样本的方法，针对性不强，缺乏可控性，且效果很不稳定，很难针对不同的成像环境生成相应环境下的样本图像。
6.并且，在基于机器视觉的检测设备量产时，由于每台设备的光电系统都是由人工调试，会造成不稳定性，从而影响算法检出效果，尤其是深度学习，可能因此需要针对每台机器的成像重新训练模型，从而带来的增加生产周期以及成本的问题。


技术实现要素：

7.本发明要解决的技术问题是：提供一种针对成像中直流分量变化的深度学习样本增强方法，解决由于成像环境的改变导致的深度学习模型需要在新生产的机台上重新训练
的问题，使得在样机上训练的模型可以直接复用到其他机台，从而缩短机台的生产周期，节约生产成本。
8.本发明解决其技术问题所采用的技术方案是：一种针对成像中直流分量变化的深度学习样本增强方法，包括以下步骤，s1、收集同一种产品在各种成像环境下的样本，作为不同的子集，分别为训练图像集与目标图像集；s2、提取训练图像集每张图像的各通道的直方图，并对直方图向量进行归一化；s3、针对每张训练图像集中的图像，生成高斯随机信号，并将这个高斯随机信号分别与该幅图像的各通道的经过归一化的直方图进行一维拼接，形成向量，作为一个训练样本，最终由获得的训练样本组成训练集；s4、提取目标图像集每张图像的各通道的直方图，并对直方图向量进行归一化，构成一个目标样本，最终由获得的目标样本组成目标集；s5、将训练集中的样本输入gan中的生成网络，生成网络由若干个全连接层构成，其中输出层为softmax层，最终输出直方图向量；将生成网络输出的直方图向量输入gan中的判别网络，其标签为0；将目标集中的样本输入gan中的判别网络，其标签为1；s6、按照以上的gan输入和标注，对gan进行训练；s7、将步骤1中得到的各个子集轮流两两组合，将每个组合中的2个子集轮流作为训练集与目标集，按照步骤s2与步骤s6来继续训练同一个gan网络，在该gan网络上不断的重复训练，直到所有组合训练完成；s8、训练完成后，将生成网络应用于样本增强，将待增强样本图像参照步骤s3的方法，构成输入向量集，将输入向量集中的每个向量集输入到生成网络，生成一个直方图向量，将该直方图结合它对应的原样本图像，进行直方图规定化，得到生成的增强样本；循环将待增强样本图像进行该操作，每次用于拼接，来生成输入信号的高斯信号均为重新随机生成，直到生成的增强样本数达到规定数量。
9.进一步的说，本发明所述的步骤s2中，提取训练图像集每张图像的各通道的直方图，设每张图像的通道数为n_channel,则每张图像获得n_channel个由256个数据组成的直方图向量，将其归一化。
10.进一步的说，本发明所述的步骤s3中，针对每张训练图像集中的图像，生成一个由64个数据组成的符合n(0,1)分布的高斯随机信号，将这个一维高斯随机信号分别与该幅图像的n_channel个通道的经过归一化的直方图进行一维拼接，形成n_channel个分别由320个数据组成的向量，作为一个训练样本，将训练图像集中的每幅图像都做此操作，每幅图像获得一个训练样本，最终由获得的训练样本组成训练集。
11.进一步的说，本发明所述的步骤s4中，提取目标图像集每张图像的各通道的直方图，每张图像获得n_channel个分别由256个数据组成的直方图向量，将其归一化，构成一个目标样本，将目标图像集中的每幅图像都做此操作，每幅图像获得一个目标样本，最终由获得的目标样本组成目标集。
12.进一步的说，本发明所述的步骤s6中，当满足以下任一条件时：训练轮数大于epoch_min,且判别网络的准确率在0.5
±
t之内时；训练轮数大于epoch_max时；
结束训练；其中：epoch_min为最小训练轮数；epoch_max为最大训练轮数；t为准确率偏差阈值。
13.本发明的有益效果是，解决了背景技术中存在的缺陷，利用在不同成像环境下得到的样本图像，进行直方图统计，利用对抗神经网络训练出不同成像环境下的直方图转换网络；然后利用网络输出的直方图对原图进行直方图规定化，从而生成模拟不同成像环境下，且效果接近真实的样本图像，实现样本增强，用于设备上深度学习网络模型的训练，从而提高模型的泛化能力，无需重新训练。
附图说明
14.图1是本发明的流程示意图。
具体实施方式
15.现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
16.如图1所示的一种针对成像中直流分量变化的深度学习样本增强方法，利用不同成像环境下的图像，轮流作为待增强样本与目标样本，利用直方图均衡化来进行样本增强的方案；直方图结合随机信号作为输入，结合对抗神经网络gan，最终输出直方图，再利用输出直方图通过直方图来进行样本增强的整体流程框架。
17.具体包括以下步骤：1、样本选取收集同一种产品在各种成像环境下的样本，作为不同的子集，选择2个子集，即2种成像环境下的样本图像，分别作为训练图像集与目标图像集；2、特征提取提取训练图像集每张图像的各通道的直方图，设每张图像的通道数为n_channel,则每张图像获得n_channel个由256个数据组成的直方图向量，将其归一化；3、训练图像集数据处理针对每张训练图像集中的图像，生成一个由64个数据组成的符合n(0,1)分布的高斯随机信号，将这个一维高斯随机信号分别与该幅图像的n_channel个通道的经过归一化的直方图进行一维拼接，形成n_channel个分别由320个数据组成的向量，作为一个训练样本，将训练图像集中的每幅图像都做此操作，每幅图像获得一个训练样本，最终由获得的训练样本组成训练集；4、目标图像集数据处理提取目标图像集每张图像的各通道的直方图，每张图像获得n_channel个分别由256个数据组成的直方图向量，将其归一化，构成一个目标样本，将目标图像集中的每幅图像都做此操作，每幅图像获得一个目标样本，最终由获得的目标样本组成目标集；5、网络设计
将训练集中的样本输入gan中的生成网络，生成网络由若干个全连接层构成，其中输出层为softmax层，最终输出为256个数据组成的直方图向量，将生成网络输出的直方图向量作为负样本输入gan中的判别网络，其标签为0，将目标集中的样本作为正样本输入gan中的判别网络，其标签为1；本实施例中，采用一个检测网络来作为判别网络，如图1中所示。
18.6、网络训练按照以上的gan输入和标注，对gan进行训练；当满足以下任一条件时：训练轮数大于epoch_min,且判别网络的准确率在0.5
±
t之内时；训练轮数大于epoch_max时；结束训练，其中：epoch_min为最小训练轮数，本实施例中取5000；epoch_max为最大训练轮数，本实施例中取50000；t为准确率偏差阈值，本实施例中取0.1；7、迭代训练将步骤1中得到的各个子集轮流两两组合，将每个组合中的2个子集轮流作为训练集与目标集，按照步骤2与步骤6来继续训练同一个gan网络，在该gan网络上不断fintue（不断的重复训练，同权重）；按照该方法两两组合训练gan，直到所有组合训练完成；8、网络使用训练完成后，将生成网络应用于样本增强，将待增强样本图像参照步骤3的方法，构成输入向量集，将输入向量集中的每个向量集输入到生成网络，生成一个直方图向量，将该直方图结合它对应的原样本图像，进行直方图规定化，得到生成的增强样本；循环将待增强样本图像进行该操作，每次用于拼接，来生成输入信号的高斯信号均为重新随机生成，直到生成的增强样本数达到规定数量。
19.本发明针对基于人工数学建模的方法过于复杂，难以推导的问题；采用对抗神经网络，利用神经网络超强的数学拟合能力来形成具有一定复杂度的成像数学模型，使用神经网络训练的方法来解决复杂的数学模型难以推导的问题。
20.本发明针对常规对抗神经网络方向性不强，缺乏可控性的问题；采用对抗神经网络，将输入由高斯随机信号改为图像的直方图结合高斯随机信号，将输出由二维图像改为一维直方图信号，将正样本由不同成像环境下的样本图像改为它们的一维直方图信号；直方图直接反应成像环境变化，从而解决了常规对抗神经网络针对性不强，缺乏可控性的问题。
21.本发明针对使用全局灰度加减恒定值的数学模型较为简单，效果失真的问题；根据输出的直方图将原图进行直方图规定化，从而生成接近真实效果的，在不同成像环境下的样本图像，从而解决了简单的全局灰度加减恒定值生成的样本效果与真实成像效果差别大的问题。
22.本发明不仅解决了以上列出的其他方法存在的问题，训练出的模型还可用于不同的被测产品，从而解决了在首次做某种产品检测项目时，产品在不同成像环境下的样本缺乏问题，增强了模型的通用性，从而缩短了项目周期，节约项目成本。
23.以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

技术特征：
1.一种针对成像中直流分量变化的深度学习样本增强方法，其特征在于：包括以下步骤，s1、收集同一种产品在各种成像环境下的样本，作为不同的子集，分别为训练图像集与目标图像集；s2、提取训练图像集每张图像的各通道的直方图，并对直方图向量进行归一化；s3、针对每张训练图像集中的图像，生成高斯随机信号，并将这个高斯随机信号分别与该幅图像的各通道的经过归一化的直方图进行一维拼接，形成向量，作为一个训练样本，最终由获得的训练样本组成训练集；s4、提取目标图像集每张图像的各通道的直方图，并对直方图向量进行归一化，构成一个目标样本，最终由获得的目标样本组成目标集；s5、将训练集中的样本输入gan中的生成网络，生成网络由若干个全连接层构成，其中输出层为softmax层，最终输出直方图向量；将生成网络输出的直方图向量输入gan中的判别网络，其标签为0；将目标集中的样本输入gan中的判别网络，其标签为1；s6、按照以上的gan输入和标注，对gan进行训练；s7、将步骤1中得到的各个子集轮流两两组合，将每个组合中的2个子集轮流作为训练集与目标集，按照步骤s2与步骤s6来继续训练同一个gan网络，在该gan网络上不断的重复训练，直到所有组合训练完成；s8、训练完成后，将生成网络应用于样本增强，将待增强样本图像参照步骤s3的方法，构成输入向量集，将输入向量集中的每个向量集输入到生成网络，生成一个直方图向量，将该直方图结合它对应的原样本图像，进行直方图规定化，得到生成的增强样本；循环将待增强样本图像进行该操作，每次用于拼接，来生成输入信号的高斯信号均为重新随机生成，直到生成的增强样本数达到规定数量。2.如权利要求1所述的针对成像中直流分量变化的深度学习样本增强方法，其特征在于：所述的步骤s2中，提取训练图像集每张图像的各通道的直方图，设每张图像的通道数为n_channel，则每张图像获得n_channel个由256个数据组成的直方图向量，将其归一化。3.如权利要求1所述的针对成像中直流分量变化的深度学习样本增强方法，其特征在于：所述的步骤s3中，针对每张训练图像集中的图像，生成一个由64个数据组成的符合n(0,1)分布的高斯随机信号，将这个一维高斯随机信号分别与该幅图像的n_channel个通道的经过归一化的直方图进行一维拼接，形成n_channel个分别由320个数据组成的向量，作为一个训练样本，将训练图像集中的每幅图像都做此操作，每幅图像获得一个训练样本，最终由获得的训练样本组成训练集。4.如权利要求1所述的针对成像中直流分量变化的深度学习样本增强方法，其特征在于：所述的步骤s4中，提取目标图像集每张图像的各通道的直方图，每张图像获得n_channel个分别由256个数据组成的直方图向量，将其归一化，构成一个目标样本，将目标图像集中的每幅图像都做此操作，每幅图像获得一个目标样本，最终由获得的目标样本组成目标集。5.如权利要求1所述的针对成像中直流分量变化的深度学习样本增强方法，其特征在于：所述的步骤s6中，当满足以下任一条件时：训练轮数大于epoch_min,且判别网络的准确率在0.5
±
t之内时；
训练轮数大于epoch_max时；结束训练；其中：epoch_min为最小训练轮数；epoch_max为最大训练轮数；t为准确率偏差阈值。

技术总结
本发明涉及一种针对成像中直流分量变化的深度学习样本增强方法，包括以下步骤，S1、样本选取；S2、特征提取；S3、训练图像集数据处理；S4、目标图像集数据处理；S5、网络设计；S6、网络训练；S7、迭代训练；S8、网络使用。本发明利用在不同成像环境下得到的样本图像，进行直方图统计，利用对抗神经网络训练出不同成像环境下的直方图转换网络；然后利用网络输出的直方图对原图进行直方图规定化，从而生成模拟不同成像环境下，且效果接近真实的样本图像，实现样本增强，用于设备上深度学习网络模型的训练，从而提高模型的泛化能力，无需重新训练。无需重新训练。无需重新训练。


技术研发人员：都卫东 王天翔
受保护的技术使用者：征图新视（江苏）科技股份有限公司
技术研发日：2022.04.25
技术公布日：2022/5/25