本技术涉及集成电路，特别涉及一种基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法。
背景技术：
1、近年来，集成电路成为了我国技术发展的核心，发展集成电路产业已上升至国家战略的高度。集成电路是把一定数量的电子元件和元件之间的连线，通过半导体工艺集成在pcb(printed circuie board，印制电路板)上的具有特定功能的电路，其中，印制电路板作为集成电路的载体，是电子产品中最基本的组成部分，如图1所示。
2、pcb的生产工艺复杂，在任何一个环节由于不同的环境干扰都有可能致使产生形态、尺寸、种类各异的瑕疵，如图2所示。pcb的质量是通信、计算机、消费电子、汽车电子、医疗、军用等诸多下游行业电子产品质量的关键影响因素，因此pcb瑕疵检测对保障各领域电子产品可靠性具有重要意义。
3、现有的pcb检测方法主要包括人工目检法、电气检测法和自动光学检测方法。由于人工目检法效率低下、误检和漏检率高，电气检测法容易对元件造成二次损伤，因此逐渐被基于视觉的无接触自动光学检测方法取代。
4、目前成熟的自动光学检测方法主要包含传统方法和深度学习算法两大类方法。传统方法通常结合图像形态学处理、连通域分析等预处理方法，通过图像差分、异或等操作实现待测图像和模板图像之间的差别检测，检测精度很大程度收到预处理方法的参数选取影响；深度学习算法中，以目标检测和图像分割等可实现瑕疵定位和分类为主的有监督算法比侧重区分正负样本的无监督算法能达到更精准的瑕疵检测效果，然而前者严重依赖于大量的瑕疵标注数据。但由于pcb瑕疵检测任务本身具有瑕疵数据难以采集、数据量小、种类不均衡等问题，实际采集得到的样本无法覆盖更多有可能出现的状况，因此，数据不足限制了现有的基于视觉图像处理方法的最终检测效果。
5、目前的样本生成方法主要包括传统方法和深度学习方法两类。传统的图像增强技术主要包括瑕疵样本增广法和瑕疵区域增广法两种，其中，瑕疵样本增广法，即对现有的瑕疵整体图像进行增强操作，通过缩放、旋转、旋转、平移、翻转、裁剪现有图像或添加随机噪声来生成更多数据；瑕疵区域增广法，即对现有的缺陷图像的瑕疵区域进行裁切，或随机选取一张缺陷源图，并抠取其中随机形状和尺寸的区域作为缺陷区域，通过泊松融合的方式，将对应区域叠加到样本图像，然后粘贴到另外的无瑕疵样本中；此外，深度学习方法通常利用vae、gan等基于神经网络的生成模型来学习采集得到的真实瑕疵样本图像的语义特征来生成新型瑕疵图像。
6、然而，在传统方法中，瑕疵样本增广法未引入未知缺陷的新分布和特征，无法从根本上提高检测模型的精度；而瑕疵区域增广法利用复制粘贴的瑕疵区域来生成新的瑕疵图像，不够逼真、样式单一，融合效果突兀不自然，与正样本区域具有显著的区别，降低了瑕疵检测的困难性，无法提高检测模型的泛化能力；此外，深度学习方法使用生成模型对现有的瑕疵样本进行特征学习，相比传统方法，能生成新型瑕疵，但延续了神经网络可解释性较差的特点，生成的样本或瑕疵区域可能与真实瑕疵有较大的差异，往往具有生成效果不可控，真实性差等问题，可能反而对后续的瑕疵检测环节形成额外的干扰。
7、综上所述，现有解决瑕疵检测中的瑕疵样本不足、样本样式单一且难以标注，导致瑕疵检测模型方法的精度、泛化性和鲁棒性较差，亟待解决。
技术实现思路
1、本技术提供一种基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法，以解决现有瑕疵检测方法中瑕疵样本量较小、样本类型不均衡且样本数据标注困难，使得瑕疵检测模型方法的精度、泛化性和鲁棒性较差等问题。
2、本技术第一方面实施例提供一种基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法，包括以下步骤：构建真实瑕疵样本的语义标注数据集，利用所述真实瑕疵样本的语义标注数据集训练预设生成对抗网络模型；采集pcb模板彩色图像，并基于所述pcb模板彩色图像构建模板语义图像数据集，利用所述模板语义图像数据集通过预设语义编辑方法生成瑕疵语义图，以及基于训练后的生成对抗网络模型和所述瑕疵语义图生成pcb瑕疵图像。
3、可选地，在本技术的一个实施例中，所述利用所述真实瑕疵样本的语义标注数据集训练预设生成对抗网络模型，包括：基于所述真实瑕疵样本的语义标注数据集训练所述生成对抗网络模型中的生成器，学习真实瑕疵图像中铜、底板及异物三种语义类别区域的特征分布；基于所述真实瑕疵样本的语义标注数据集训练所述生成对抗网络模型中的判别器，判断所述生成器的生成样本的置信度。
4、可选地，在本技术的一个实施例中，所述基于所述pcb模板彩色图像构建模板语义图像数据集，包括：利用灰度阈值分割法，基于预设阈值对所述pcb模板彩色图像进行二值化操作，得到所述pcb模板彩色图像对应的模板语义图。
5、可选地，在本技术的一个实施例中，所述利用所述模板语义图像数据集通过预设语义编辑方法生成瑕疵语义图，包括：随机生成位置、形状不同的至少一个第一瑕疵块，并通过预设图像增强方法对所述至少一个第一瑕疵块进行处理，得到满足预设条件的第二瑕疵块；将所述第二瑕疵块不进行任何逻辑操作，以得到异物瑕疵语义块；将所述第二瑕疵块和所述模板语义图像数据集中的至少一个模板语义图像的铜区域进行逻辑与运算，以生成铜材料缺失瑕疵语义块；将所述第二瑕疵块和所述模板语义图像数据集中的至少一个模板语义图像的底板区域进行逻辑与运算，以生成铜材料增加瑕疵语义块；将所述异物瑕疵语义块、铜材料缺失瑕疵语义块及铜材料增加瑕疵语义块进行逻辑加运算，生成包含铜、底板及异物三种语义类别的瑕疵语义图。
6、本技术第二方面实施例提供一种基于语义编辑和生成对抗网络的pcb瑕疵图像生成装置，包括：模型构建模块，用于构建真实瑕疵样本的语义标注数据集，利用所述真实瑕疵样本的语义标注数据集训练预设生成对抗网络模型；语义编辑模块，用于采集pcb模板彩色图像，并基于所述pcb模板彩色图像构建模板语义图像数据集，利用所述模板语义图像数据集通过预设语义编辑方法生成瑕疵语义图，以及图像生成模块，用于基于训练后的生成对抗网络模型和所述瑕疵语义图生成pcb瑕疵图像。
7、可选地，在本技术的一个实施例中，所述模型构建模块包括：第一训练单元，用于基于所述真实瑕疵样本的语义标注数据集训练所述生成对抗网络模型中的生成器，学习真实瑕疵图像中铜、底板及异物三种语义类别区域的特征分布；第二训练单元，用于基于所述真实瑕疵样本的语义标注数据集训练所述生成对抗网络模型中的判别器，判断所述生成器的生成样本的置信度。
8、可选地，在本技术的一个实施例中，所述语义编辑模块包括：第一处理单元，用于利用灰度阈值分割法，基于预设阈值对所述pcb模板彩色图像进行二值化操作，得到所述pcb模板彩色图像对应的模板语义图。
9、可选地，在本技术的一个实施例中，所述语义编辑模块还包括：第二处理单元，用于随机生成位置、形状不同的至少一个第一瑕疵块，并通过预设图像增强方法对所述至少一个第一瑕疵块进行处理，得到满足预设条件的第二瑕疵块；第一运算单元，用于将所述第二瑕疵块不进行任何逻辑操作，以得到异物瑕疵语义块；第二运算单元，用于将所述第二瑕疵块和所述模板语义图像数据集中的至少一个模板语义图像的铜区域进行逻辑与运算，以生成铜材料缺失瑕疵语义块；第三运算单元，用于将所述第二瑕疵块和所述模板语义图像数据集中的至少一个模板语义图像的底板区域进行逻辑与运算，以生成铜材料增加瑕疵语义块；第四运算单元，用于将所述异物瑕疵语义块、铜材料缺失瑕疵语义块及铜材料增加瑕疵语义块进行逻辑加运算，生成包含铜、底板及异物三种语义类别的瑕疵语义图。
10、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法。
11、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法。
12、由此，本技术的实施例具有以下有益效果：
13、本技术的实施例可通过构建真实瑕疵样本的语义标注数据集，利用真实瑕疵样本的语义标注数据集训练预设生成对抗网络模型；采集pcb模板彩色图像，并基于pcb模板彩色图像构建模板语义图像数据集，利用模板语义图像数据集通过预设语义编辑方法生成瑕疵语义图；基于训练后的生成对抗网络模型和瑕疵语义图生成pcb瑕疵图像，从而实现更真实的图片风格迁移，精确控制多种pcb瑕疵类别的形态和尺寸，具有高度的灵活性和强可解释性，且有效提升了瑕疵检测模型的精度和泛化性，实现了高质量的pcb瑕疵检测，具有较大的理论价值和实践意义。由此，解决了现有瑕疵检测方法中瑕疵样本量较小、样本类型不均衡且样本数据标注困难，使得瑕疵检测模型方法的精度、泛化性和鲁棒性较差等问题。
14、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
1.一种基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述利用所述真实瑕疵样本的语义标注数据集训练预设生成对抗网络模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述pcb模板彩色图像构建模板语义图像数据集，包括：
4.根据权利要求3所述的方法，其特征在于，所述利用所述模板语义图像数据集通过预设语义编辑方法生成瑕疵语义图，包括：
5.一种基于语义编辑和生成对抗网络的pcb瑕疵图像生成装置，其特征在于，包括：
6.根据权利要求5所述的装置，其特征在于，所述模型构建模块包括：
7.根据权利要求5所述的装置，其特征在于，所述语义编辑模块包括：
8.根据权利要求7所述的装置，其特征在于，所述语义编辑模块还包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的基于语义编辑和生成对抗网络的pcb瑕疵图像生成方法。
