本发明属于焊锡缺陷检测，具体地而言为一种基于点云和图像处理的分类模型焊锡缺陷检测方法。
背景技术：
1、pcb 板是现代电子设备的重要组成部分。它们用于支持和连接电子组件，如集成电路、电容器、电阻器等。pcb板的主要功能是提供可靠的电气连接和支撑电器元件，使电子设备在工作时稳定可靠。它们在日常生活各种领域中得到广泛应用，如消费电子产品，交通运输，医疗设备，工业设备等。而印刷电路板焊锡质量直接影响电子产品的质量。焊锡的缺陷会导致电子产品出现问题，甚至报废，从而造成严重损失。
2、随着工业生产对高速度与高精度要求的不断提升，传统的人工检测和简单的自动化焊锡检测技术已难以匹配实际生产需求。但由于焊锡的微小尺寸、表面反光状况且焊接状况复杂多变，现有技术难以有效克服这些难题，导致缺陷检测精度不足，漏检与误检现象频发。为了克服这些挑战，需要寻求更为先进的视觉检测技术，以更准确地识别和分析电路板上的焊锡。
技术实现思路
1、本发明的目的在于提供一种基于点云和图像处理的分类模型焊锡缺陷检测方法，解决焊锡的微小尺寸、表面反光状况且焊接状况复杂多变，导致缺陷检测精度不足，漏检与误检的问题。
2、本发明是这样实现的，
3、一种基于点云和图像处理的分类模型焊锡缺陷检测方法，该方法包括：
4、s1根据采集到的托盘原始图像进行方向上的平移，再将平移后的图像分割成四份，获取单个的粗定位pcb板图像，对粗定位pcb板图像进行校正定位，得到精定位pcb板图像；
5、s2对精定位pcb板图像中单个焊锡图像进行焊锡轮廓提取，获取焊锡的二维特征，所述二维特征包括周长、面积及圆度；
6、s3利用单个焊锡图像进行三维重构建立焊锡的3d点云图像，通过3d点云图像获取焊锡三维特征，并计算焊锡体积，所述三维特征包括焊锡的底面面积和高度；
7、s4将获取二维特征和三维特征通过sklearn-xgboost分类模型对焊锡缺陷进行分类识别。
8、进一步地：s1中具体包括：
9、提取托盘原始图像的roi区域，对roi区域应用一个高斯核大小为 15 x 15 的高斯模糊处理，对处理过后的图像取二值化，对二值化后的图像运用一个 10x10 大小的矩形结构元素进行形态学闭运算，得到平滑清晰的边界的二值化图像；
10、对二值化图像寻找连通域轮廓并检索最外层的轮廓，使用压缩方法存储轮廓，同时将每个轮廓的层次信息进行保存，通过对轮廓进行高度和宽度形态学上的筛选，找到唯一的感兴趣轮廓，存储在变量contour中；
11、以托盘原始图像左上点为坐标原点，纵向为轴，横向为轴，建立xy二维坐标系，作一条的直线，对该直线从上往下遍历，找到与感兴趣轮廓的第一个交点f1，用同样的方法找到标准图像上的相同的点得到标准交点f1_s，将得到的第一个交点f1与标准交点f1_s对比，基于这两个点进行托盘原始图像的整体上下平移，使得第一个交点f1与标准交点f1_s重合得到第一新图像，将第一新图像平分为四份，得到四个粗定位pcb板图像。
12、进一步地：在粗定位pcb板图像的固定位置取两个roi区域，两个roi区域的中心位置分别标记为第一特征点f2和第二特征点f3，作为粗定位pcb板图像上的两个特征点，用这两个点与标准图像上对应位置的第一标准特征点f2_s与第一标准特征点f3_s坐标对比，进行二维上的平移与旋转，得到精定位pcb板图像。
13、进一步地：进行二维上的平移与旋转包括：
14、将粗定位pcb板图像进行平移使第一特征点f2平移到标准图像对应的第一标准特征点f2_s所对应的坐标位置上；
15、通过第一特征点f2与第二特征点f3两点坐标，计算出这两点连线与水平线的夹角的角度大小，并计算得到标准图像上第一标准特征点f2_s与第二标准特征点f3_s的连线与水平线的夹角的角度大小，通过两个角度的差值确定粗定位pcb板图像绕第一特征点f2旋转的方向以及旋转的角度 ，旋转后得到一个第二新图像，第二新图像焊点与标准图像上的焊点的位置坐标一致，根据标准图像上的焊点位置，得到第二新图像的焊点位置，获得精定位pcb板图像。
16、进一步地：s2中对精定位pcb板图像中单个焊锡图像进行焊锡轮廓提取，获取焊锡的二维特征的方法具体包括：
17、对单个焊锡图像进行轮廓提取；
18、通过计算轮廓像素数总数得到焊锡周长；
19、计算轮廓内部的像素点个数得到焊锡面积；
20、利用焊锡面积与焊锡周长计算焊锡的圆度：。
21、进一步地：s3中具体包括：
22、在xy二维坐标系条件下，在原点作垂直于xy平面的z轴建立三维坐标系；
23、设，为焊锡的3d点云数据中的第个点的坐标，为第个点的轴坐标，为第个点的轴坐标，为第个点的轴坐标，其中，是3d点云数据中点的总数，将焊锡拟合一个圆锥形模型，令圆锥形模型的顶点坐标为，，，通过3d点云数据计算出圆锥形模型的底面半径和高；
24、计算中心点，找到3d点云数据中圆锥形模型底面的中心点，以此中心点作为圆锥底面的中心：
25、，
26、计算出圆锥形模型的底面半径和高包括：计算3d点云数据中圆锥形模型底面中所有点到中心点的平均距离作为底面半径，并将轴坐标的最大值作为高：
27、，
28、表示中心点的轴的坐标，表示中心点的轴的坐标，、分别是焊锡的3d点云数据中圆锥形模型底面点的、轴坐标，其中，是3d点云数据中圆锥形模型底面点的总数：
29、，
30、根据圆锥的体积公式，计算出焊锡的体积：。
31、进一步地：对焊锡缺陷进行分类识别前，建立焊锡图像的数据库和sklearn-xgboost分类模型，并将数据库中获取的二维特征和三维特征转换成特征向量作为训练样本添加到sklearn-xgboost分类模型中进行训练，得到训练后的sklearn-xgboost分类模型。
32、本发明与现有技术相比，有益效果在于：
33、本发明结合了点云处理与图像处理，旨在利用机器视觉的图像处理方法获取pcb焊锡图像，本发明方法通过精准匹配正确的pcb板，实时获得pcb板上焊锡的位置信息以及单个的焊锡图像，即生成检测区域；然后利用图像处理的方法提取焊锡的轮廓计算焊锡的轮廓周长、面积以及圆度，对单个焊锡图像进行三维重构获取点云图像，以降低计算量提升检测效率；并通过拟合圆锥来处理获取的点云图像来估算获得焊锡的体积；通过特征建立焊锡图像的数据库，使用数据库训练sklearn-xgboost分类模型使之收敛， 使用训练完成的sklearn-xgboost分类模块对焊锡特征进行分类，即可得到焊锡缺陷的检测结果，高效且精准的完成焊锡缺陷检测工作，满足了自动化、高速、高精的生产需求。
1.一种基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于，该方法包括：
2.根据权利要求1所述的基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于，s1中具体包括：
3.根据权利要求2所述的基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于，在粗定位pcb板图像的固定位置取两个roi区域，两个roi区域的中心位置分别标记为第一特征点f2和第二特征点f3，作为粗定位pcb板图像上的两个特征点，用这两个点与标准图像上对应位置的第一标准特征点f2_s与第一标准特征点f3_s坐标对比，进行二维上的平移与旋转，得到精定位pcb板图像。
4.根据权利要求3所述的基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于，进行二维上的平移与旋转包括：
5.根据权利要求1所述的基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于，s2中对精定位pcb板图像中单个焊锡图像进行焊锡轮廓提取，获取焊锡的二维特征的方法具体包括：
6.根据权利要求2所述的基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于，s3中具体包括：
7.根据权利要求2所述的基于点云和图像处理的分类模型焊锡缺陷检测方法，其特征在于：对焊锡缺陷进行分类识别前，建立焊锡图像的数据库和sklearn-xgboost分类模型，并将数据库中获取的二维特征和三维特征转换成特征向量作为训练样本添加到sklearn-xgboost分类模型中进行训练，得到训练后的sklearn-xgboost分类模型。
