一种立体机加工件定位方法、系统及存储介质与流程

1.本发明涉及工件抓取技术领域，尤其涉及一种立体机加工件定位方法、系统及存储介质。


背景技术：

2.随着时代的发展，工业生产也开始朝着大规模自动化方向飞速发展，目前在自动化相对成熟的工厂工业生产线中，随着以机械视觉为基础的智能制造技术的不断发展，对工厂板材切割零件进行分拣的自动化智能程度越来越高，在上料端已经由自动化智能抓取装置代替人工来对工件进行分拣和摆放，从而提高工业生产线上的生产效率，减少人工成本，但经过加工的工件表面光滑，反光情况严重，现有的抓取装置难以通过3d相机获取完整的深度图像，而且工件轮廓形状多样，使得现有的抓取装置难以进行分辨，从而使得现有的抓取装置对目标工件的定位困难，抓取装置对目标工件的抓取不够准确。


技术实现要素：

3.本发明提供了一种立体机加工件定位方法、系统及存储介质，以解决现有的抓取装置定位困难，抓取不够准确的问题。
4.为了实现上述目的，本发明通过如下的技术方案来实现：
5.第一方面，本发明提供一种立体机加工件定位方法，应用于立体机加工件定位系统，所述立体机加工件定位系统包括相机和机械臂，所述相机设置于所述机械臂上，所述方法包括：
6.根据所有工件的上表面形状特征构建cad套料图，所述cad套料图中包括各类型工件的形状特征数据；
7.采用相机采集待检测区域中的目标工件的纹理图和深度图，并提取所述纹理图中目标工件的形状特征，提取深度图中目标工件的高度信息；
8.根据所述纹理图对应的形状特征和cad套料图进行匹配，以确定目标工件在纹理图中的初始像素位置；
9.根据所述初始像素位置确定目标感兴趣区域，并根据所述目标工件的高度信息对所述目标感兴趣区域进行二值化处理得到二值化图像；
10.将所述二值化图像与所述cad套料图进行匹配以确定目标工件的目标像素位置和目标深度值；
11.根据所述目标像素位置和目标深度值确定目标工件相对于机械臂的坐标信息。
12.可选的，所述采用相机采集待检测区域中的目标工件的纹理图之后，所述方法还包括：
13.计算相机的畸变参数，基于所述畸变参数对所述纹理图进行去除畸变处理得到去除畸变后的纹理图。
14.可选的，所述根据所述目标工件的高度信息对所述目标感兴趣区域进行二值化处
理得到二值化图像，包括：
15.根据所述目标工件的高度信息确定所述目标感兴趣区域中目标工件的上表面区域和目标工件的放置平台区域；
16.对目标工件的上表面区域和目标工件的放置平台区域进行二值化处理得到目标工件的上表面深度图和目标工件的放置平台深度图；
17.剔除目标工件的放置平台深度图并将目标工件的上表面深度图作为所述二值化图像。
18.可选的，所述根据所述初始像素位置确定目标感兴趣区域，包括：
19.以初始像素位置为中心，以目标工件大小的120％-140％范围确定目标感兴趣区域。
20.可选的，所述将所述二值化图像与所述cad套料图进行匹配以确定目标工件的目标像素位置和目标深度值，包括：
21.设定预期匹配度，并将所述二值化图像与所述cad套料图进行匹配得到实际像素位置和实际匹配度；
22.将所述实际匹配度与所述预期匹配度进行比较，若实际匹配度大于预期匹配度则输出所述实际像素位置作为目标像素位置，若实际匹配度小于预期匹配度则输出所述初始像素位置作为目标像素位置。
23.可选的，所述根据所述目标像素位置和目标深度值确定目标工件相对于机械臂的坐标信息，包括：
24.建立相机坐标系，并根据所述目标像素位置和目标深度值确定目标工件在相机坐标系下的坐标信息；
25.通过手眼标定获得相机坐标系和机械臂坐标系之间的转换矩阵，并根据所述转换矩阵将所述目标工件在相机坐标系下的坐标信息转换为目标工件在机械臂坐标系下的坐标信息。
26.第二方面，本技术实施例提供一种立体机加工件定位系统，包括相机、机械臂以及处理单元，所述相机设置于所述机械臂上，所述处理单元分别与所述相机和所述机械臂连接；
27.所述处理单元用于根据所有工件的上表面形状特征构建cad套料图，所述cad套料图中包括各类型工件的形状特征数据；
28.所述相机用于采集待检测区域中的目标工件的纹理图和深度图，并将所述纹理图和所述深度图发送至所述处理单元；
29.所述处理单元还用于提取所述纹理图中目标工件的形状特征，提取深度图中目标工件的高度信息；根据所述纹理图对应的形状特征和cad套料图进行匹配，以确定目标工件在纹理图中的初始像素位置；根据所述初始像素位置确定目标感兴趣区域，并根据所述目标工件的高度信息对所述目标感兴趣区域进行二值化处理得到二值化图像；将所述二值化图像与所述cad套料图进行匹配以确定目标工件的目标像素位置和目标深度值；根据所述目标像素位置和目标深度值确定目标工件相对于机械臂的坐标信息。
30.第三方面，本技术实施例提供一种立体机加工件定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时
实现上述第一方面中所述方法的步骤。
31.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法步骤。
32.有益效果：
33.本发明提供的立体机加工件定位方法，通过创建cad套料图的方式获取目标工件的形状特征，并通过纹理图粗定位和深度图精确定位相结合的方式，对目标工件的位置进行获取，提高了对目标工件识别与定位的精准性，最后将目标工件的位置通过坐标转换传输到机械臂坐标内，便可实现机械臂对目标工件的抓取，改善了现有技术定位精度不准确，对目标工件的抓取困难的情况。
附图说明
34.图1为本发明优选实施例的立体机加工件定位方法的流程图；
35.图2为本发明优选实施例的立体机加工件定位系统的结构示意图；
36.图3为本发明优选实施例的立体机加工件定位系统中计算机程序的流程图。
具体实施方式
37.下面对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.除非另作定义，本发明中使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”或者“一”等类似词语也不表示数量限制，而是表示存在至少一个。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。
39.请参见图1，本技术实施例提供一种立体机加工件定位方法，应用于立体机加工件定位系统，所述立体机加工件定位系统包括相机和机械臂，所述相机设置于所述机械臂上，所述方法包括：
40.根据所有工件的上表面形状特征构建cad套料图，所述cad套料图中包括各类型工件的形状特征数据；
41.采用相机采集待检测区域中的目标工件的纹理图和深度图，并提取所述纹理图中目标工件的形状特征，提取深度图中目标工件的高度信息；
42.根据所述纹理图对应的形状特征和cad套料图进行匹配，以确定目标工件在纹理图中的初始像素位置；
43.根据所述初始像素位置确定目标感兴趣区域，并根据所述目标工件的高度信息对所述目标感兴趣区域进行二值化处理得到二值化图像；
44.将所述二值化图像与所述cad套料图进行匹配以确定目标工件的目标像素位置和目标深度值；
45.根据所述目标像素位置和目标深度值确定目标工件相对于机械臂的坐标信息。
46.在上述实施例中，利用创建cad套料图获取目标工件的形状特征，并通过纹理图粗定位和深度图精确定位相结合的方式，对目标工件的位置进行获取，提高了对目标工件识别与定位的精准性，最后将目标工件的位置通过坐标转换传输到机械臂坐标内，便可实现机械臂对目标工件的抓取。
47.可选的所述采用相机采集待检测区域中的目标工件的纹理图之后，所述方法还包括：
48.计算相机的畸变参数，基于所述畸变参数对所述纹理图进行去除畸变处理得到去除畸变后的纹理图。
49.在上述实施例中，获取纹理图后，能够利用相机的畸变参数对获取的纹理图进行处理，从而将纹理图中不需要的部分进行排出，避免了其他环境因素的干扰，保障了目标工件位置获取的完整性和准确性。
50.可选的所述根据所述目标工件的高度信息对所述目标感兴趣区域进行二值化处理得到二值化图像，包括：
51.根据所述目标工件的高度信息确定所述目标感兴趣区域中目标工件的上表面区域和目标工件的放置平台区域；
52.对目标工件的上表面区域和目标工件的放置平台区域进行二值化处理得到目标工件的上表面深度图和目标工件的放置平台深度图；
53.剔除目标工件的放置平台深度图并将目标工件的上表面深度图作为所述二值化图像。
54.在上述实施例中，通过二值化处理的方式基于目标工件的高度信息对获取到的图像进行二值化处理，目标工件的上表面与目标工件的放置平台之间存在高度差，在进行二值化处理后，目标工件的上表面图像和目标工件的放置平台图像会呈现不同颜色，进而通过剔除目标工件的放置平台图像所呈现颜色的区域便可完整得到目标工件的上表面图像，确保了目标工件图像获取的完整性，通过还能够避免因目标工件上表面反光二造成的图像获取缺失。
55.可选的，所述根据所述初始像素位置确定目标感兴趣区域，包括：
56.以初始像素位置为中心，以目标工件大小的120％-140％范围确定目标感兴趣区域。
57.其中，在一实施例中，可以以目标工件大小的120％范围确定目标感兴趣区域，在另一实施例中，可以以目标工件大小的130％范围确定目标感兴趣区域，在另一实施例中，可以以目标工件大小的140％范围确定目标感兴趣区域，确定目标感兴趣的目标工件大小范围在上述实施例中，只做示例，不做限定，此处，不做赘述。
58.可选的，所述将所述二值化图像与所述cad套料图进行匹配以确定目标工件的目标像素位置和目标深度值，包括：
59.设定预期匹配度，并将所述二值化图像与所述cad套料图进行匹配得到实际像素位置和实际匹配度；
60.将所述实际匹配度与所述预期匹配度进行比较，若实际匹配度大于预期匹配度则输出所述实际像素位置作为目标像素位置，若实际匹配度小于预期匹配度则输出所述初始
像素位置作为目标像素位置。
61.在上述实施例中，通过二值化图像与cad套料图的匹配得到的实际匹配度与设定的预期匹配度进行对比，若实际匹配度大于预期匹配度，说明二值化图像与cad套料图匹配后得到的位置坐标更加精准，便可以对定位信息进行更新，采用二值化图像与cad套料图匹配后得到的位置坐标对工件进行抓取，若实际匹配度小于预期匹配度，说明二值化图像与cad套料图匹配后得到的位置坐标不如初始像素位置准确，则继续采用初始像素位置作为工件坐标进行抓取，从而提高了对目标工件定位的精准度以及对工件抓取的稳定性。
62.可选的，所述根据所述目标像素位置和目标深度值确定目标工件相对于机械臂的坐标信息，包括：
63.建立相机坐标系，并根据所述目标像素位置和目标深度值确定目标工件在相机坐标系下的坐标信息；
64.通过手眼标定获得相机坐标系和机械臂坐标系之间的转换矩阵，并根据所述转换矩阵将所述目标工件在相机坐标系下的坐标信息转换为目标工件在机械臂坐标系下的坐标信息。
65.在上述实施例中，通过手眼标定坐标转换的方式，将目标工件基于相机坐标系的坐标信息转化到机械臂坐标系中，便可实现机械臂对目标工件位置的定位，从而帮助机械臂快速对目标工件进行抓取。
66.请参见图2，本技术实施例提供一种立体机加工件定位系统，包括相机、机械臂以及处理单元，所述相机设置于所述机械臂上，所述处理单元分别与所述相机和所述机械臂连接；
67.所述处理单元用于根据所有工件的上表面形状特征构建cad套料图，所述cad套料图中包括各类型工件的形状特征数据；
68.所述相机用于采集待检测区域中的目标工件的纹理图和深度图，并将所述纹理图和所述深度图发送至所述处理单元；
69.所述处理单元还用于提取所述纹理图中目标工件的形状特征，提取深度图中目标工件的高度信息；根据所述纹理图对应的形状特征和cad套料图进行匹配，以确定目标工件在纹理图中的初始像素位置；根据所述初始像素位置确定目标感兴趣区域，并根据所述目标工件的高度信息对所述目标感兴趣区域进行二值化处理得到二值化图像；将所述二值化图像与所述cad套料图进行匹配以确定目标工件的目标像素位置和目标深度值；根据所述目标像素位置和目标深度值确定目标工件相对于机械臂的坐标信息。
70.本技术实施例还提供一种立体机加工件定位系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述立体机加工件定位方法中所述的方法步骤。
71.上述的立体机加工件定位系统，可以实现上述的立体机加工件定位方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
72.请参见图3，本技术实施例一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述立体机加工件定位方法中所述的方法步骤。
73.上述的计算机可读存储介质，可以实现上述的立体机加工件定位方法的各个实施例，且能达到相同的有益效果，此处，不做赘述。
74.在一实施例中，首先根据工件的上表面形状特征构建cad套料图，根据cad套料图去获取工件的形状特征数据，同时采用相机采集目标工件的纹理图和深度图，并通过相机的畸变参数，去除纹理图中的畸变图像，确保纹理图的准确性，接着通过纹理图获取目标工件的形状特征，通过深度图获取目标工件的高度信息，并根据目标工件的形状特征与cad套料图进行匹配得到目标工件的初始像素位置，根据目标工件的高度信息对深度图进行二值化处理得到二值化图像，最后通过二值化图像与cad套料图的匹配得到的实际匹配度与设定的预期匹配度进行对比，若实际匹配度大于预先设定的预期匹配度，说明二值化图像与cad套料图匹配后得到的位置坐标更加精准，便可以对定位信息进行更新，采用二值化图像与cad套料图匹配后得到的位置坐标对工件进行抓取，若实际匹配度小于预先设定的预期匹配度，二值化图像与cad套料图匹配后得到的位置坐标不如初始像素位置准确，则继续采用初始像素位置作为工件坐标进行抓取，最后通过手眼标定将工件坐标从相机坐标中转换到机械臂坐标中，再通过机械臂对目标工件进行抓取即可。
75.在又一实施例中，通过获取工件的上表面图形作为模板得到cad套料图；
76.通过手眼标定获取相机坐标系到机械臂坐标系的转换矩阵；
77.采集待检测区域中目标工件的纹理图和深度图，并通过相机的畸变参数去除纹理图中的畸变。
78.根据实际场景设定纹理图中的感兴趣区域，并排出不需要的视野部分；
79.对纹理图中的感兴趣区域进行直方图均衡化以及执行窗口大小为5*5的高斯滤波得到结果图片；
80.对结果图片执行基于cad套料图的模板匹配，得到初始像素位置；
81.以初始像素位置为中心，以目标工件大小120％范围确定深度图的感兴趣区域；
82.根据目标工件的高度信息对深度图的感兴趣区域进行二值化处理，将目标工件的放置平面与目标工件的上表面分开得到二值化图像，同时计算目标工件上表面的平均高度，如果高度差不够则剔除初始像素位置；
83.再一次利用cad套料图与二值化图像进行模板匹配，得到匹配相似度和实际像素位置，若匹配相似度大于90％，则更新目标工件位置为实际像素位置，若匹配相似度小于90％，则依旧保留初始像素位置为目标工件位置；
84.通过手眼标定得到的转换矩阵将目标工件位置从相机坐标系中转换到机械臂坐标系中；
85.最后机械臂根据机械臂坐标系中的目标工件位置运动到目标工件位置处对目标工件进行抓取。
86.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。