本发明涉及目标检测领域,具体涉及基于跨尺度多重聚合的印刷电路板缺陷检测方法。
背景技术:
1、印刷电路板(pcb)是电子产品的核心部件,其质量直接影响设备性能和可靠性。生产过程中可能出现各种缺陷,如焊接不良、断路、短路和元器件错位等,这些缺陷会导致产品故障,降低用户体验。缺陷检测不仅能提高产品合格率,降低返工和废品率,还能节省生产成本,提升生产效率,满足严格的行业标准,预防潜在的安全风险,推动技术进步。
2、人工检测依赖操作人员的经验和判断,速度较慢,难以满足现代大规模生产需求。人为因素影响大,长时间工作容易疲劳,导致漏检和误检率较高。需要大量训练有素的人员进行检测,增加了人力成本。不同操作人员的判断标准可能不一致,导致检测结果的波动性。面对复杂的pcb图案和微小缺陷,人工视觉检测能力有限,难以保证高精度。
3、深度学习模型通过训练大量标注数据,能够自动提取特征并进行分类,显著提高了检测的准确性。自动化检测系统可以快速处理大量图像,显著提高检测速度,适应大规模生产需求。深度学习模型检测结果一致,不受人为因素影响,保证了检测的一致性和可靠性。虽然初期需要投入硬件和模型训练成本,但长期来看,自动化检测系统减少了人力成本,提高了生产效率。深度学习模型能够处理复杂图案和微小缺陷,适应性强,可以应用于各种pcb检测场景。模型还可以通过不断学习和更新,持续优化检测性能,适应新出现的缺陷类型。
技术实现思路
1、为了解决上述问题,本发明提出了基于跨尺度多重聚合的印刷电路板缺陷检测方法及装置。
2、具体方案如下:
3、一方面,一种基于跨尺度多重聚合的印刷电路板缺陷检测方法,包括以下步骤:
4、s101,获取印刷电路板缺陷图像,对所述印刷电路板缺陷图像进行预处理,得到预处理后的印刷电路板缺陷图像;
5、s102,使用yolov8网络构建印刷电路板缺陷检测模型;将跨阶段部分双重聚合网络cda-net作为yolov8网络的特征提取网络;通过cda-net中的cda模块提取印刷电路板缺陷图像中的特征信息,输出经过cda模块处理的特征图;
6、s103,将残差门控分离特征金字塔网络rgs-fpn作为yolov8网络的特征融合网络,将经过cda模块处理的特征图通过rgs-fpn中的rgs模块进行多尺度特征融合得到经过rgs模块处理的特征图;
7、s104, 将经过rgs模块处理的特征图输入无锚风格的yolov8检测头,使用单阶段目标检测算法对印刷电路板缺陷检测模型进行训练,得到经过训练的印刷电路板缺陷检测模型;
8、s105, 将预处理后的待检测印刷电路板图像输入到经过训练的印刷缺陷检测模型,得到缺陷检测结果。
9、进一步的,s101和s105中,所述预处理,具体包括:
10、对图像进行马赛克增强处理、混合增强处理、随机扰动处理和颜色扰动处理中的至少一种处理。
11、进一步的,s102中,所述cda-net,包括依次连接的嵌入层(embedding)模块、第一层cda模块、第二层cda模块、第三层cda模块、第四层cda模块和sppf模块;
12、所述嵌入层模块将输入的印刷电路板缺陷图像的尺寸由调整为;
13、所述第一层cda模块提取图像的特征并进行下采样,得到特征图;
14、所述第二层cda模块提取图像的特征并进行下采样,得到特征图;
15、所述第三层cda模块提取图像的特征并进行下采样,得到特征图;
16、所述第四层cda模块提取图像的特征并进行下采样,得到特征图;
17、其中,为输入的印刷电路板缺陷图像的高度,为输入图像输入的印刷电路板缺陷图像的宽度,为输入的印刷电路板缺陷图像的通道数;
18、所述sppf模块使用空间金字塔池化在第四层cda模块输出的16的通道上提取特征,捕捉目标物体在不同尺度上的细节信息。
19、进一步的,所述cda模块包括特征提取部分与下采样部分;
20、所述特征提取部分,计算过程如下:
21、;
22、;
23、;
24、;
25、;
26、;
27、其中,表示维度拼接操作;表示相加操作,表示进行pointwise卷积操作;表示进行组卷积操作;表示在将特征图在通道维度上进行划分;表示进行卷积操作、batch normal批量归一化操作和silu激活函数操作;表示输入的特征图;、、、和表示中间特征图;表示最终输出的特征图;
28、所述下采样部分,计算过程如下:
29、;
30、;
31、;
32、;
33、;
34、其中,表示batch normal批归一化操作,表示激活函数操作,表示进行深度可分离卷积操作、batch normal批量归一化操作和silu激活函数操作,表示全连接操作,表示平均池化操作,表示输入特征图,,,,,表示中间特征图,表示最终输出的特征图。
35、进一步的,s103中,所述通过rgs-fpn中的rgs模块进行多尺度特征融合的计算过程如下:
36、;
37、;
38、;
39、;
40、;
41、;
42、;
43、;
44、;
45、;
46、其中, ,,,为输入特征图,,,,为输出特征图,,,,,,为中间特征图,表示通过rgs模块进行多尺度特征融合,表示通过cda模块提取特征图的特征信息。
47、进一步的,所述rgs模块将输入特征图分割成多个区域每一个区域设置为一个令牌,每个令牌基于其最近邻的特征生成独特的门控信号,并通过残差分离来实现更高效的信号流动,公式如下:
48、;
49、;
50、;
51、;
52、;
53、其中,表示进行线性操作(线形激活),表示进行部分卷积操作,表示在将特征图在通道维度上进行划分,表示输入特征图,,,,表示中间特征图,表示最终输出的特征图。
54、进一步的,s104中,对印刷电路板缺陷检测模型进行训练的过程中,使用 adam优化器,设置学习率为0.001。
55、另一方面,基于跨尺度多重聚合的印刷电路板缺陷检测,包括:
56、图像预处理模块,用于获取印刷电路板缺陷图像,对所述印刷电路板缺陷图像进行预处理,得到预处理后的印刷电路板缺陷图像;
57、特征提取模块,用于使用yolov8网络构建印刷电路板缺陷检测模型;将跨阶段部分双重聚合网络cda-net作为yolov8网络的特征提取网络;通过cda-net中的cda模块提取印刷电路板缺陷图像中的特征信息,输出经过cda模块处理的特征图;
58、特征融合模块,用于将残差门控分离特征金字塔网络rgs-fpn作为yolov8网络的特征融合网络,将经过cda模块处理的特征图通过rgs-fpn中的rgs模块进行多尺度特征融合得到经过rgs模块处理的特征图;
59、模型训练模块,用于将经过rgs模块处理的特征图输入无锚风格的yolov8检测头,使用单阶段目标检测算法对印刷电路板缺陷检测模型进行训练,得到经过训练的印刷电路板缺陷检测模型;
60、缺陷检测模块,用于将预处理后的待检测印刷电路板图像输入到经过训练的印刷缺陷检测模型,得到缺陷检测结果。
61、本发明采用如上技术方案,并具有有益效果:
62、(1)提高了检测精度:通过引入基于yolov8网络的特征提取网络cda-net和特征融合网络rgs-fpn进行特征提取与融合,显著提升了印刷电路板缺陷图像检测的准确性;
63、(2)增强了模型的鲁棒性:通过使用跨阶段部分双重聚合网络(cda-net)和残差门控分离特征金字塔网络(rgs-fpn),模型能够更好地处理不同尺度的特征,并且提高了对复杂图案和微小缺陷的检测能力,特别是对于开路、短路、鼠标咬伤、杂散缺陷等类型的缺陷;
64、(3)提高了检测速度:通过使用单阶段目标检测网络的方式进行训练,模型能够更快地处理大量图像,适应大规模生产的需求。
1.一种基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,s101和s105中,所述预处理,具体包括:
3.根据权利要求1所述的基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,s102中,所述cda-net,包括依次连接的嵌入层模块、第一层cda模块、第二层cda模块、第三层cda模块、第四层cda模块和sppf模块;
4.根据权利要求3所述的基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,所述cda模块包括特征提取部分与下采样部分;
5.根据权利要求4所述的基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,s103中,所述通过rgs-fpn中的rgs模块进行多尺度特征融合的计算过程如下:
6.根据权利要求5所述的基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,所述rgs模块将输入特征图分割成多个区域每一个区域设置为一个令牌,每个令牌基于其最近邻的特征生成独特的门控信号,并通过残差分离来实现更高效的信号流动,公式如下:
7.根据权利要求1所述的基于跨尺度多重聚合的印刷电路板缺陷检测方法,其特征在于,s104中,对印刷电路板缺陷检测模型进行训练的过程中,使用 adam优化器,设置学习率为0.001。
8.基于跨尺度多重聚合的印刷电路板缺陷检测装置,包括如下: