缺陷检测方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种缺陷检测方法、装置、设备及存储介质。


背景技术：

2.无线通信模组(简称模组)在出厂之前，需要进行表面瑕疵检测。其中一项检测针对模组底部焊盘，比如检测焊盘表面是否有脏污、绿油、沾锡、破损、缺失等不良瑕疵项目。普通焊盘形状规则，以上瑕疵被检出的难度不大。但是也有一种特殊的焊盘，它具有半槽孔，即有两个尖角，而尖角存在缺失或者破损的检测难度比较大。
3.现有检测方案一：通过人工借助高倍率电子放大镜观察焊盘来实现检测，不仅耗时，而且效率低，同时容易存在漏检。
4.现有检测方案二：通过制作良品焊盘的形状模型，然后利用机器视觉将其他焊盘的形状与模型的形状进行一一比较，根据最终比较得出的相似度分值来检测缺陷。存在以下两点不足：1，如果尖角缺失部分比较小，缺失的部分占单个焊盘整体形状比例过低，那么此时形状匹配得出的相似度分值还是很高，有95％以上，从而在尖角缺失比较少的情况下，难以达到检测效果；2，同一个模组，同一种形状的焊盘数量众多，由于加工工艺影响，各个焊盘形状可能不完全相同，那么这种方法早期制作的形状模型，就很难保证适用于该种形状的所有焊盘,因此该种检测方法不稳定、兼容性差。


技术实现要素：

5.有鉴于此，本发明实施方式的目的在于提供一种缺陷检测方法、装置、设备及存储介质，以解决现有技术中检测效果差、不稳定且兼容性差等问题。
6.为解决上述技术问题，第一方面，本发明的实施方式提供了一种缺陷检测方法，包括：
7.计算得到检测对象的图像数据中的感兴趣区域；
8.计算得到所述检测对象的图像数据的边缘振幅图像；
9.根据所述感兴趣区域以及所述边缘振幅图像得到所述感兴趣区域内的边缘振幅图像的灰度数据；
10.根据所述感兴趣区域内的边缘振幅图像的灰度数据确定所述检测对象是否存在目标缺陷。
11.另外，所述检测对象为焊盘，且所述感兴趣区域为所述焊盘的半槽孔对应的区域；所述半槽孔包括两个尖角以及所述两个尖角之间的空隙；
12.所述根据所述感兴趣区域内的边缘振幅图像的灰度数据确定所述检测对象是否存在目标缺陷，包括：
13.若根据所述感兴趣区域内的边缘振幅图像的灰度数据判断所述感兴趣区域内存在符合预设形状条件的所述半槽孔的两个尖角，且所述感兴趣区域内的所述两个尖角之间
存在符合预设空隙条件的所述空隙，则确定所述检测对象不存在所述目标缺陷；
14.若所述感兴趣区域内不存在符合预设形状条件的所述半槽孔的两个尖角，和/或不存在符合预设空隙条件的所述空隙，则确定所述检测对象存在所述目标缺陷。
15.另外，所述感兴趣区域呈矩形且为所述半槽孔的两个尖角以及所述两个尖角之间的区域；
16.所述感兴趣区域内的边缘振幅图像的灰度数据为平行于所述感兴趣区域的长边的剖面上的平均灰度序列。
17.另外，根据所述感兴趣区域内的边缘振幅图像的灰度数据判断所述感兴趣区域内是否存在符合预设形状条件的所述半槽孔的两个尖角，包括：
18.分别计算得到所述两个尖角位置处的极差；所述极差为对应尖角位置处的最大灰度值与最小灰度值之差；
19.根据所述两个尖角位置处的极差的绝对值的比值判断是否存在符合预设形状条件的所述半槽孔的两个尖角。
20.另外，所述根据所述两个尖角位置处的极差的绝对值的比值判断是否存在符合预设形状条件的所述半槽孔的两个尖角，包括：
21.若所述比值小于第一阈值，则确定不存在符合预设形状条件的所述半槽孔的两个尖角；
22.若所述比值大于第二阈值，则确定不存在符合预设形状条件的所述半槽孔的两个尖角；
23.其中，所述第一阈值和所述第二阈值互为导数,且所述第一阈值小于所述第二阈值。
24.另外，判断所述感兴趣区域内的所述两个尖角之间是否存在符合预设空隙条件的所述空隙，包括：
25.若所述两个尖角之间的区域内的平均灰度序列的最小值小于第三阈值，则确定存在所述符合预设空隙条件的所述空隙。
26.第二方面，本发明实施例还提供了一种缺陷检测方法，应用于缺陷检测系统,所述方法包括：
27.抓取检测对象并采集得到所述检测对象的图像数据；
28.执行如第一方面所述的缺陷检测方法以确定所述检测对象是否存在目标缺陷；
29.若存在所述目标缺陷，则抛料；若不存在所述目标缺陷，则将所述检测对象送入后续流程。
30.第三方面，本发明实施例还提供了一种缺陷检测装置，包括：
31.感兴趣区域计算模块，用于计算得到检测对象的图像数据中的感兴趣区域；
32.振幅图像计算模块，用于计算得到所述检测对象的图像数据的边缘振幅图像；
33.灰度数据提取模块，用于根据所述感兴趣区域以及所述边缘振幅图像得到所述感兴趣区域内的边缘振幅图像的灰度数据；
34.缺陷判断模块，用于根据所述感兴趣区域内的边缘振幅图像的灰度数据确定所述检测对象是否存在目标缺陷。
35.第四方面，本发明实施例还提供了一种检测设备，所述设备包括：存储器和处理
器，存储器存储计算机程序，处理器运行所述计算机程序以实现如第一方面所述的缺陷检测方法。
36.第五方面，本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明第一方面所述的缺陷检测方法。
37.本发明实施例通过得到检测对象的图像数据的感兴趣区域内的边缘振幅图像的灰度数据，并根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺陷，将检测位置聚焦到比如焊盘的半槽孔位置，可精确检测对应位置是否存在目标缺陷，不仅计算量小，而且检测效率高、检测稳定性以及兼容性佳。
附图说明
38.图1是本发明实施例提供的缺陷检测系统的结构示意图；
39.图2是本发明实施例提供的缺陷检测方法的流程示意图；
40.图3a是本发明实施例提供的焊盘的彩色图像示意图；
41.图3b是本发明实施例提供的焊盘的灰度图像示意图；
42.图3c是本发明实施例提供的焊盘的边缘振幅图像的示意图；
43.图3d是本发明实施例提供的焊盘的半槽孔结构的边缘振幅图像的示意图；
44.图4a是本发明实施例提供的焊盘的半槽孔结构的一个尖角缺损的边缘振幅图像的示意图以及平均灰度序列的示意图；
45.图4b是本发明实施例提供的焊盘的半槽孔结构的一个尖角缺失的边缘振幅图像的示意图以及平均灰度序列的示意图；
46.图4c是本发明实施例提供的焊盘的半槽孔结构的一个尖角缺损的图像示意图；
47.图5是本发明实施例提供的缺陷检测系统的缺陷检测方法的流程示意图；
48.图6是本发明实施例提供的缺陷检测装置的结构示意图；
49.图7是本发明一实施例提供的检测设备的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.图1是本发明实施例提供的缺陷检测系统的结构示意图。该系统包括：主机100、图像采集设备110、同轴光源120、机械臂130。主机100与图像采集设备110、同轴光源120以及机械臂130通信连接。图像采集设备110可以采用工业相机以及镜头，在此不做具体限制。机械臂130抓取检测对象140，比如无线通信模组，待检测位置到位后通知主机100，主机100控制同轴光源120点亮后控制图像采集设备110采集模组的图像并将模组的图像数据回传至主机100，主机100对模组的图像数据进行处理并确定模组是否为合格品，若为合格品，则控制机械臂130将模组送入后续工艺流程，若为不合格品，将控制机械臂130抛料，比如将不良的模组送入不合格品收集盘等。
52.图2是本发明实施例提供的缺陷检测方法的流程示意图，本实施例的技术方案可
适用于具有特定形态特征的产品的缺陷检测，尤其适用于无线通信模组的半槽孔的缺陷的检测。该方法可以由本发明实施例提供的一种缺陷检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置于检测设备应用，检测设备可以为图1所示的主机。检测设备包括但不限于：pc、平板电脑、笔记本电脑等，本实施例不做具体限定。如图2所示，该方法具体包括如下步骤：
53.步骤201：计算得到检测对象的图像数据中的感兴趣区域。
54.示例性地，检测对象可以为无线通信模组的焊盘。焊盘具有半槽孔结构。半槽孔包括两个尖角以及两个尖角之间的空隙。可以通过工业相机及镜头采集焊盘的图像数据。焊盘的图像可以为采集图像，如图3a所示。对焊盘的图像数据进行处理可以得到焊盘的灰度图像数据。如图3b所示，为对获取的焊盘的彩色图像进行处理后得到的焊盘的灰度图像。
55.焊盘的半槽孔包括两个尖角以及两个尖角之间的空隙。感兴趣区域可以为焊盘的半槽孔对应的区域。根据焊盘的图像数据以及焊盘的半槽孔的形态特征得到感兴趣区域(region of interest，roi)，感兴趣区域即焊盘的半槽孔所在的区域，如图3d所示。焊盘的感兴趣区域呈矩形，且包含半槽孔的两个尖角以及两个尖角之间的空隙。需要说明的是，可以根据获取的彩色图像数据得到焊盘的感兴趣区域，从而可获得更精确的感兴趣区域，然不限于此。
56.步骤202：计算得到检测对象的图像数据的边缘振幅图像。
57.具体可以根据检测对象的灰度图像数据计算得到检测对象的边缘振幅图像。例如，根据焊盘的灰度图像数据计算得到焊盘的边缘振幅图像，如图3c所示。对焊盘的灰度图像计算一阶导数即可得到其边缘振幅图像，通过计算边缘振幅图像可以保留焊盘的图形的边缘轮廓而去掉其中的灰度值接近的图像。
58.步骤203：根据感兴趣区域以及边缘振幅图像得到感兴趣区域内的边缘振幅图像的灰度数据。
59.可选地，感兴趣区域内的边缘振幅图像的灰度数据可以为平行于感兴趣区域的长边的剖面上的平均灰度序列。示例性地，焊盘的一个半槽孔的平均灰度序列的图形如图4a所示。将平行于感兴趣区域的长边的剖面上的平均灰度序列作为感兴趣区域内的边缘振幅图像的灰度数据可以得到光滑的半槽孔的灰度图形。可以理解的是，灰度数据也可以为其他适于表征检测对象的特征的灰度数据，在此不做具体限制。
60.步骤204：根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺陷。
61.根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象的形态特征是否完整以及是否符合要求。以焊盘的半槽孔结构为例，当检测到半槽孔的两个尖角以及两个尖角之间的空隙的形态特征且其与半槽孔的形态特征相符时，即认为被检测的半槽孔不存在缺陷，否则认为半槽孔存在缺陷。然不限于此，检测对象的形态特征还可以为其他形状结构，比如有多个尖端的检测对象。
62.可选地，应用于焊盘的半槽孔结构的缺陷检测方法中，步骤204根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺陷可以包括：根据感兴趣区域内的边缘振幅图像的灰度数据判断感兴趣区域内是否存在符合预设形状条件的半槽孔的两个尖角以及判断感兴趣区域内的两个尖角之间是否存在符合预设空隙条件的空隙；若存在
符合预设形状条件的半槽孔的两个尖角，且感兴趣区域内的两个尖角之间存在符合预设空隙条件的空隙，则确定检测对象不存在目标缺陷；若感兴趣区域内不存在符合预设形状条件的半槽孔的两个尖角，和/或不存在符合预设空隙条件的空隙，则确定检测对象存在目标缺陷，从而判断图像中是否存在焊盘的半槽孔结构。
63.具体地，根据感兴趣区域内的边缘振幅图像的灰度数据判断感兴趣区域内是否存在符合预设形状条件的半槽孔的两个尖角可以包括：分别计算得到两个尖角位置处的极差；极差为对应尖角位置处的最大灰度值与最小灰度值之差；根据两个尖角位置处的极差的绝对值的比值判断是否存在符合预设形状条件的半槽孔的两个尖角。进一步地，根据两个尖角位置处的极差的绝对值的比值判断是否存在符合预设形状条件的半槽孔的两个尖角可以包括：若比值小于第一阈值，则确定不存在符合预设形状条件的半槽孔的两个尖角；若比值大于第二阈值，则确定不存在符合预设形状条件的半槽孔的两个尖角；若比值大于或者等于第一阈值，或者比值小于或者等于第二阈值，则确定存在符合预设形状条件的半槽孔的两个尖角。其中，第一阈值和第二阈值互为导数,且第一阈值小于第二阈值。
64.如图4a所示的一个半槽孔结构的平均灰度序列，即图4a中的曲线。其中，左右两侧各有一个波峰，中间为波谷。两个波峰分别对应半槽孔的两个尖角的灰度数据。左侧尖角的极差range
l
等于左侧波峰的最大灰度值与最小灰度值之差，右侧尖角的极差ranger等于右侧波峰的最大灰度值与最小灰度值之差。左右两个尖角的极差的比值rate为range
l
与ranger的绝对值之比。第一阈值比如为三分之一，第二阈值比如为3。第一阈值和第二阈值互为导数。当比值大于1时，判断比值是否大于第二阈值，比如是否大于3，若大于3，则认为两个尖角的高度不匹配，若小于或者等于3，则认为两个尖角的高度匹配，两个尖角的形状满足要求。当比值小于1时，判断该比值是否小于三分之一，若小于第一阈值，则认为两个尖角的高度不匹配，若比值大于或者等于三分之一，则认为两个尖角的高度匹配。第一阈值和第二阈值可以根据经验设置，本实施例对其具体取值不做限制，第一阈值可以为整数，也可以为小数。通过合适的第一阈值和第二阈值，可以较为准确地判断两个尖角的高度是否与合格的半槽孔的两个尖角匹配即可，从而可以精确检测出尖角破损的缺陷，如图4b、4c所示，即为左侧尖角缺失的情况。若两个尖角的任意一者缺失，或者两个尖角都缺失，则认为半槽孔结构存在缺陷。可以理解的是，当两个尖角的比值(亦可称为斜率)满足前述条件时，亦可以通过计算任一尖角的波峰与波谷的高度差计算尖角的高度，进一步判断尖角的高度也满足要求。
65.判断感兴趣区域内的两个尖角之间是否存在符合预设空隙条件的空隙可以包括：若两个尖角之间的区域内的平均灰度序列的最小值小于第三阈值，则确定存在符合预设空隙条件的空隙。两个尖角之间的空白地带(即空隙)的灰度值应小于某个标准值(即第三阈值)。第三阈值比如为1，当两个尖角之间的区域内的平均灰度序列的最小值小于1时，则确定存在符合预设条件的空隙，否则，若两个尖角之间的区域内的平均灰度序列的最小值大于或者等于1时，则确定不存在符合预设条件的空隙。第三阈值可以根据经验设置，本实施例对其取值不做具体限制。
66.本实施例与现有技术相比至少具备以下积极效果：
67.本发明实施例通过得到检测对象的图像数据的感兴趣区域内的边缘振幅图像的灰度数据，并根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺
陷，将检测位置聚焦到比如焊盘的半槽孔位置，可精确检测对应位置是否存在目标缺陷，不仅计算量小，而且检测效率高、检测稳定性以及兼容性佳。
68.图5为本发明实施例提供的缺陷检测方法的流程图，应用于如图1所示的缺陷检测系统。请继续参阅图1以及图5，该方法包括如下步骤：
69.步骤501：抓取检测对象并采集得到检测对象的图像数据。
70.具体地，主机100控制机械臂130抓取检测对象140，同时控制图像采集设备110采集得到检测对象140的图像数据。主机100与图像采集设备110通信并获取检测对象140的图像数据。
71.步骤502：执行如实施例一所述的缺陷检测方法以确定所述检测对象是否存在目标缺陷。
72.其中，主机100执行实施例一的缺陷检测方法以确定检测对象140是否存在目标缺陷。若存在目标缺陷，则执行步骤503，若不存在目标缺陷，则执行步骤504。
73.步骤503：抛料。
74.主机100控制机械臂130抛料。
75.步骤504：将检测对象送入后续流程。
76.主机100控制机械臂130将检测对象送入后续流程。
77.本实施例与现有技术相比至少具备以下积极效果：
78.本发明实施例通过得到检测对象的图像数据的感兴趣区域内的边缘振幅图像的灰度数据，并根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺陷，将检测位置聚焦到比如焊盘的半槽孔位置，可精确检测对应位置是否存在目标缺陷，不仅计算量小，而且检测效率高、检测稳定性以及兼容性佳。并且通过缺陷检测系统进行缺陷检测，进一步提高检测效率。
79.图6是本实施例提供的一种缺陷检测装置的结构框图。本发明实施例还提供一种缺陷检测装置600，配置于检测设备，检测设备可以为图1所示的检测系统中的主机，用于执行上述任意实施例所提供的缺陷检测方法。该装置600包括：感兴趣区域计算模块601、振幅图像计算模块602、灰度数据提取模块603以及缺陷判断模块604。
80.感兴趣区域计算模块601，用于计算得到检测对象的图像数据中的感兴趣区域。
81.振幅图像计算模块602，用于计算得到所述检测对象的图像数据的边缘振幅图像。
82.灰度数据提取模块603用于根据所述感兴趣区域以及所述边缘振幅图像得到所述感兴趣区域内的边缘振幅图像的灰度数据。
83.缺陷判断模块604用于根据所述感兴趣区域内的边缘振幅图像的灰度数据确定所述检测对象是否存在目标缺陷。
84.可选地，检测对象可以为焊盘，且所述感兴趣区域可以为所述焊盘的半槽孔对应的区域；所述半槽孔包括两个尖角以及所述两个尖角之间的空隙。
85.缺陷判断模块606可以包括尖角检测子模块、空间检测子模块以及判断子模块。其中，
86.尖角检测子模块用于根据感兴趣区域内的边缘振幅图像的灰度数据判断所述感兴趣区域内是否存在符合预设形状条件的所述半槽孔的两个尖角。
87.空间检测子模块用于若存在所述符合预设形状条件的半槽孔的两个尖角，则判断
所述感兴趣区域内的所述两个尖角之间是否存在符合预设空隙条件的所述空隙。
88.判断子模块用于若存在符合预设空隙条件的所述空隙，则确定所述检测对象不存在所述目标缺陷，若所述感兴趣区域内不存在符合预设形状条件的所述半槽孔的两个尖角，和/或不存在符合预设空隙条件的所述空隙，则确定所述检测对象存在所述目标缺陷。
89.可选地，感兴趣区域呈矩形且为所述半槽孔的两个尖角以及所述两个尖角之间的区域。所述感兴趣区域内的边缘振幅图像的灰度数据为平行于所述感兴趣区域的长边的剖面上的平均灰度序列。
90.可选地，尖角检测子模块用于分别计算得到所述两个尖角位置处的极差；以及根据所述两个尖角位置处的极差的绝对值的比值判断是否存在符合预设形状条件的所述半槽孔的两个尖角，其中，所述极差为对应尖角位置处的最大灰度值与最小灰度值之差。进一步地，尖角检测子模块用于若所述比值小于第一阈值，则确定不存在符合预设形状条件的所述半槽孔的两个尖角；若所述比值大于第二阈值，则确定不存在符合预设形状条件的所述半槽孔的两个尖角；其中，所述第一阈值和所述第二阈值互为导数,且所述第一阈值小于所述第二阈值。
91.空间检测子模块用于若所述两个尖角之间的区域内的平均灰度序列的最小值小于第三阈值，则确定存在所述符合预设空隙条件的所述空隙。
92.本实施例的检测装置与现有技术相比至少具备以下积极效果：
93.本发明实施例通过得到检测对象的图像数据的感兴趣区域内的边缘振幅图像的灰度数据，并根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺陷，将检测位置聚焦到比如焊盘的半槽孔位置，可精确检测对应位置是否存在目标缺陷，不仅计算量小，而且检测效率高、检测稳定性以及兼容性佳。
94.本发明实施例还提供一种检测设备。如图7所示，该设备包括：存储器702、处理器701；
95.其中，所述存储器702存储有可被所述至少一个处理器701执行的指令，所述指令被所述至少一个处理器701执行以实现前述实施方式所述的缺陷检测方法。
96.该检测设备包括一个或多个处理器701以及存储器702，图7中以一个处理器701为例。处理器701、存储器702可以通过总线或者其他方式连接，图7中以通过总线连接为例。存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述缺陷检测方法。
97.存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
98.一个或者多个模块存储在存储器702中，当被一个或者多个处理器701执行时，执行上述任意方法实施方式中的缺陷检测方法。
99.上述设备可执行本发明实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本发明实施方式所提供的方法。
100.本实施例的检测设备与现有技术相比，通过得到检测对象的图像数据的感兴趣区域内的边缘振幅图像的灰度数据，并根据感兴趣区域内的边缘振幅图像的灰度数据确定检测对象是否存在目标缺陷，将检测位置聚焦到比如焊盘的半槽孔位置，可精确检测对应位置是否存在目标缺陷，不仅计算量小，而且检测效率高、检测稳定性以及兼容性佳。
101.本发明实施例还涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。
102.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
103.本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。