线路图像与背景板图像的分割方法及系统及装置及介质与流程

1.本发明涉及图像处理领域，具体地，涉及线路图像与背景板图像的分割方法及系统及装置及介质。


背景技术：

2.pcb(印刷电路板)生产制造过工艺流程由多个段别组成，在复杂且繁琐的制造过程过程中也容易引入各种各样的产品缺陷，且缺陷类型丰富多样，在颜色、形状、深浅上表现不一。同时，不同的产品类型往往有着不同的线路构造与背板颜色，再加上不同拍照设备带来的光照、拍照清晰程度干扰，这一些列的变化因素都给缺陷检测任务带来了巨大的挑战，传统图像处理技术指的是对图像进行灰度化、二值化处理，然后根据二值化过后的结果对线路和背景板进行区分，现有技术中的方法实现依据是线路和背景板颜色和亮度差别明显，但实际情况并非总是如此，传统的图像处理技术根本无法有效对线路与背景板进行分割，无法转钱的将线路和缺陷从图像中准确分离出来。


技术实现要素：

3.本发明目的的解决pcb行业缺陷检测判定过程中的线路与背景板的分割问题，传统图像处理技术无法有效适应背景板颜色、光照、图片清晰程度等不同工况下的干扰因素带来的影响。
4.为实现上述发明目的，本发明提供了线路图像与背景板图像的分割方法，所述方法包括：
5.获得n个印刷电路板，其中，n为大于1的整数，n个印刷电路板中任意两个印刷电路板的背景板颜色不同；
6.对所述印刷电路板进行拍摄获得第一图片集；
7.从所述n个印刷电路板取出一个或多个印刷电路板，在不同的光照条件下对取出的印刷电路板进行拍摄获得第二图片集；
8.对所述第一图片集和所述第二图片集进行加工处理获得训练集，所述加工处理包括数据增强处理和标注处理；构建深度学习语义分割模型，利用所述训练集训练所述深度学习语义分割模型获得第一分割模型，所述第一分割模型的输出为输入图像中的线路图片和背景板图片；
9.获得待处理印刷电路板的原始图像，将所述原始图像经过预处理后输入所述第一分割模型，输出所述原始图像中的线路图片与背景板图片的分割结果。
10.其中，本发明在构建训练集时的印刷电路板图片包括了不同背景板颜色的图片以及不同光照条件下拍摄的图片，通过上述训练集训练出来的第一分割模型能够对不同背景板颜色以及不同光照条件下的pcb板的线路与背景板进行准确的分割，能够有效适应背景板颜色、光照、图片清晰程度等不同工况下的干扰因素带来的影响。
11.优选的，所述将所述原始图像经过预处理后输入所述第一分割模型，输出所述原
始图像中的线路图片与背景板图片的分割结果，具体包括：
12.对所述原始图像的边缘进行填充获得第一图像；
13.将所述第一图像输入所述第一分割模型，输出第一线路图片和第一背景板图片；
14.将所述第一线路图片进行裁剪获得第二线路图片，将所述第一背景板图片进行裁剪获得第二背景板图片。
15.其中，对所述原始图像的边缘进行填充获得第一图像的目的是为了保留和丰富原始图像的边缘特征，使得图像的所有特征均能够被模型识别，进而使得模型在分割时能够准确的分割出完整的线路图片。
16.优选的，所述第二线路图片与所述原始图像对应区域中的线路图片大小相同，所述第二背景板图片与所述原始图像对应区域中的背景板图片大小相同。
17.其中，这样设计能够准确的还原出原始图片中的线路图片和背景板图片。
18.优选的，所述对所述原始图像的边缘进行填充获得第一图像，具体包括：
19.将所述原始图像的边缘尺寸进行扩充获得扩充后的图像，对扩充区域对应的边缘区域进行镜像填充获得所述第一图像。
20.其中，这样设计的目的是在模型进行推理之前需要将图像的边缘进行镜像填充，这一步也改变了图像的真实尺寸大小，因为最后只需要这张图原始的那一部分，所以需要把填充的去掉；之所以要先填充再推理后裁剪，是为了让模型把原始图像边缘也分割地准确一些。
21.优选的，所述标注处理具体为进行mask标注处理。使用mask标注可以快速准确的实现标注。
22.优选的，所述深度学习语义分割模型为unet分割模型。unet分割模型具有分割快速准确的效果。
23.优选的，所述unet分割模型的卷积层中均引入1个单位的边缘填充。
24.优选的，所述数据增强处理的方式包括以下方式中的一种或几种：通过对所述第一图片集和所述第二图片集中的图片引入光学畸变进行数据增强、通过调整所述第一图片集和所述第二图片集中图片的敏感度进行数据增强、对所述第一图片集和所述第二图片集中的图片进行随机裁剪实现数据增强和将所述第一图片集和所述第二图片集中的图片进行仿射变换处理实现数据增强。
25.其中，通过上述方式可以实现数据增强，进而丰富训练集，使得模型具有更好的推理效果。
26.优选的，分别对所述n个印刷电路板进行拍摄获得所述第一图片集。
27.本发明还提供了线路图像与背景板图像的分割系统，所述系统包括：
28.训练集获得单元，用于获得n个印刷电路板，其中，n为大于1的整数，n个印刷电路板中任意两个印刷电路板的背景板颜色不同；对所述印刷电路板进行拍摄获得第一图片集；从所述n个印刷电路板取出一个或多个印刷电路板，在不同的光照条件下对取出的印刷电路板进行拍摄获得第二图片集；对所述第一图片集和所述第二图片集进行加工处理获得训练集，所述加工处理包括数据增强处理和标注处理；
29.模型构建及训练单元，用于构建深度学习语义分割模型，利用所述训练集训练所述深度学习语义分割模型获得第一分割模型，所述第一分割模型的输出为输入图像中的线
路图片和背景板图片；
30.分割单元，用于获得待处理印刷电路板的原始图像，将所述原始图像经过预处理后输入所述第一分割模型，输出所述原始图像中的线路图片与背景板图片的分割结果。
31.本发明还提供了一种线路图像与背景板图像的分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述线路图像与背景板图像的分割方法的步骤。
32.本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述线路图像与背景板图像的分割方法的步骤。
33.本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
34.本发明能够有效适应背景板颜色、光照、图片清晰程度等不同工况下的干扰因素带来的影响。
附图说明
35.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
36.图1是本发明中线路图像与背景板图像的分割方法的流程示意图；
37.图2是本发明中线路图像与背景板图像的分割系统的组成示意图；
38.图3为本发明中原始图片进行综合增强的一种实施方式示意图；
39.图4为本发明中原始图片进行综合增强的另一种实施方式示意图；
40.图5为本发明中图像填充的实施方式示意图；
41.图6为本方法对图像的处理流程示意图。
具体实施方式
42.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
43.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
44.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
45.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
46.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时
处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
47.实施例一
48.请参考图1，图1为线路图像与背景板图像的分割方法的流程示意图，本发明实施例一提供了一种线路图像与背景板图像的分割方法，所述方法包括：
49.获得n个印刷电路板，其中，n为大于1的整数，n个印刷电路板中任意两个印刷电路板的背景板颜色不同；
50.对所述印刷电路板进行拍摄获得第一图片集；
51.从所述n个印刷电路板取出一个或多个印刷电路板，在不同的光照条件下对取出的印刷电路板进行拍摄获得第二图片集；
52.对所述第一图片集和所述第二图片集进行加工处理获得训练集，所述加工处理包括数据增强处理和标注处理；构建深度学习语义分割模型，利用所述训练集训练所述深度学习语义分割模型获得第一分割模型，所述第一分割模型的输出为输入图像中的线路图片和背景板图片；
53.获得待处理印刷电路板的原始图像，将所述原始图像经过预处理后输入所述第一分割模型，输出所述原始图像中的线路图片与背景板图片的分割结果。
54.其中，在本发明实施例一中，印刷电路板的结构为首先是一层基板即背景板，然后在基板上印刷电路或安装电子元器件，然后形成印刷电路板，而基板表面的颜色不同，有绿色、蓝色、灰色等等，因此拍摄出的图片具有不同颜色的背景板图像，并且每个电路板中的电路的走向和分布都不一样，因此，需要准确的将线路图像与背景板图像进行分割。
55.其中，不同的光照条件可以是不同的光照强度，或者不同的光的颜色以及光照角度等等。
56.本发明实施例提供了一种结合深度学习语义分割技术与图像增强技术的pcb线路分割方法，包括以下步骤：
57.针对不同背景板色与光照强度的图片进行mask标注；
58.利用图像增强技术对标注图片进行增强，拓展训练集；
59.使用拓展后的训练集，训练深度学习语义分割模型；
60.先对图片边缘进行镜像填充，送入训练后的模型进行推理分割后再进行裁剪，从而得到与原始图像大小、区域对应的分割结果；因为最后只需要这张图原始的那一部分，所以需要把填充的去掉；之所以要先填充再推理后裁剪，是为了让模型把原始图像边缘也分割地好一点。
61.为了增强模型对于不同背板、光照条件的适应性，在数据增强时引入了光学畸变、敏感度调整、随机裁剪、仿射变换等方法对原始图片进行综合增强。
62.下面结合附图对本实施例中的数据增强进行详细介绍：
63.图3中的original image为原始图片，图3中的transform image为数据增强后的图片，图3中的数据增强手段为光学畸变 镜像对称，从图3可以看出图片中的特征增多，数据增强效果明显。
64.图4中的original image为原始图片，图4中的transform image为数据增强后的图片，图3中的数据增强手段为随机裁剪 敏感度调整，从图4可以看出图片中局部特征显
gate array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
80.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的数据，实现发明中线路图像与背景板图像的分割装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外，存储器可以包括高速随机存取存储器、还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
81.所述线路图像与背景板图像的分割装置如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序可存储于一计算机可读存介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码、对象代码形式、可执行文件或某些中间形式等。所述计算机可读取介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存储器、点载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
82.本发明已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
83.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。