应用于流水线的无色透明物体识别方法及系统

1.本技术涉及图像识别处理技术领域，尤其涉及一种应用于流水线的无色透明物体识别方法及系统。


背景技术：

2.药罐生产流水线上偶尔会出现无色透明玻璃瓶的倾倒、破碎等情况，此时需要操作员工通过塑胶手套对失效情况进行现场处理，这就要求操作人员需要24小时轮班在岗执勤，同时由于药罐生产流水线对洁净度有较高的要求，人员的进出操作间，需要通过严格的洁净处理，占用了较多的人力物力。现有技术中，可以通过光学3d传感器获取流水线上无色玻璃瓶的深度图像，进而对无色玻璃瓶进行识别，同时定位它们的位置和姿态，通过机器人维护系统代替员工，实现流水线倾倒、破碎玻璃瓶的识别和处理。但是现有技术中应用的光学3d传感器对无色透明物体的识别不够精确，比如在杂波环境中对相互遮挡簇拥的多个无色透明物体则无法精确识别无色透明玻璃瓶的边界。


技术实现要素：

3.为至少在一定程度上克服相关技术中对无色透明物体的识别精度不够准确的问题，本技术提供一种应用于流水线的无色透明物体识别方法及系统。
4.本技术的方案如下：
5.根据本技术实施例的第一方面，提供一种应用于流水线的无色透明物体识别方法，包括：
6.获取流水线中无色透明物体的rgb图像和深度图像；
7.将所述rgb图像和所述深度图像进行对齐；
8.根据所述rgb图像对所述深度图像进行全局优化，输出优化后的深度图像；
9.根据所述优化后的深度图像对所述无色透明物体进行识别定位。
10.优选的，在本技术一种可实现的方式中，所述获取流水线中无色透明物体的rgb图像和深度图像，包括：
11.基于深度摄像机获取流水线中无色透明物体的深度图像；
12.基于双远心摄像机获取流水线中无色透明物体的rgb图像。
13.优选的，在本技术一种可实现的方式中，所述根据所述rgb图像对所述深度图像进行全局优化，包括：
14.将所述rgb图像输入预先训练的深度卷积网络，得到多个优化维度以及各优化维度对应的优化数据；
15.根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行全局优化。
16.优选的，在本技术一种可实现的方式中，所述优化维度至少包括：表面法线，透明表面掩模和遮挡边界。
17.优选的，在本技术一种可实现的方式中，所述深度卷积网络为多个，各个所述深度卷积网络对应各所述优化维度。
18.优选的，在本技术一种可实现的方式中，所述根据所述rgb图像对所述深度图像进行全局优化，还包括：
19.根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行校正和深度调整。
20.根据本技术实施例的第二方面，提供一种应用于流水线的无色透明物体识别系统，包括：
21.第一摄像组、第二摄像组、处理器、电源和通讯模块；
22.所述电源分别连接所述第一摄像组、所述第二摄像组、所述处理器和所述通讯模块，用于提供工作电源；
23.所述处理器分别连接所述第一摄像组、所述第二摄像组和所述通讯模块；
24.所述通讯模块还连接上位机；
25.所述第一摄像组用于获取流水线中无色透明物体的rgb图像；
26.所述第二摄像组用于获取流水线中无色透明物体的深度图像；
27.所述处理器用于将所述rgb图像和所述深度图像进行对齐；还根据所述rgb图像对所述深度图像进行全局优化，输出优化后的深度图像；还根据所述优化后的深度图像对所述无色透明物体进行识别定位，并通过所述通讯模块将识别定位结果发送到所述上位机。
28.优选的，在本技术一种可实现的方式中，所述第一摄像组包括：深度摄像机；
29.所述第二摄像组包括：双远心摄像机；
30.所述通讯模块包括：gprs(general packet radio service，通用分组无线服务)无线通讯模块，且所述通讯模块基于tcp/ip(transmission control protocol/internet protocol，传输控制协议/网际互连协议)协议进行通信。
31.本技术提供的技术方案可以包括以下有益效果：本技术中应用于流水线的无色透明物体识别方法，不仅获取无色透明物体的深度图像，还获取了无色透明物体的rgb图像，将rgb图像和深度图像进行对齐，由于本技术中，根据rgb图像对深度图像进行全局优化，输出优化后的深度图像，并根据优化后的深度图像对无色透明物体进行识别定位，从而提高对无色透明物体的识别精度。
32.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
33.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
34.图1是本技术一个实施例提供的一种应用于流水线的无色透明物体识别方法的流程示意图；
35.图2是本技术一个实施例提供的一种应用于流水线的无色透明物体识别系统的结构示意图。
36.附图标记：第一摄像组-1；第二摄像组-2；处理器-3；电源-4；通讯模块-5。
具体实施方式
37.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
38.实施例一
39.一种应用于流水线的无色透明物体识别方法，参照图1，包括：
40.s11：获取流水线中无色透明物体的rgb图像和深度图像；
41.具体的，获取流水线中无色透明物体的rgb图像和深度图像，包括：
42.基于深度摄像机获取流水线中无色透明物体的深度图像；
43.基于双远心摄像机获取流水线中无色透明物体的rgb图像。
44.3d视觉系统通过tof光学几何或者物理原理，利用非接触式的光学成像技术辨别被测物体的空间立体位置，被测物体会被转换成3d点集，3d视觉检测系统基于3d点集进行判断，从而避免了由于二维机器视觉受到外在因素影响检测可靠性的问题。因此，本实施例中采用采用主流的深度摄像机作为3d视觉检测获取流水线中无色透明物体的深度图像。
45.相比于传统的rgb摄像机，双远心摄像机具有其独特的高分辨率、超宽景深、超低畸变以及独有的平行光设计等光学特性，它给机器视觉精密检测带来质的飞跃，被应用于各种传统镜头不能满足的检测应用场合。为了解决无色透明物体透光、反光，且易受外界环境光线的干扰，各个角度的光线会造成遮挡或泛白，影响无色透明物体的位姿检测等问题，本实施例中基于双远心摄像机获取流水线中无色透明物体的rgb图像。
46.s12：将rgb图像和深度图像进行对齐；
47.对齐即将rgb图像和深度图像中的图像进行重合。本实施例中将rgb图像和深度图像进行对齐，防止后续在对深度图像进行优化时出现偏差。
48.s13：根据rgb图像对深度图像进行全局优化，输出优化后的深度图像；
49.具体的，根据rgb图像对深度图像进行全局优化，包括：
50.将rgb图像输入预先训练的深度卷积网络，得到多个优化维度以及各优化维度对应的优化数据；
51.根据各优化维度以及各优化维度对应的优化数据对深度图像进行全局优化。
52.其中，优化维度至少包括：表面法线，透明表面掩模和遮挡边界。
53.本实施例中，将rgb图像输入预先训练的深度卷积网络，根据深度卷积网络来得到表面法线，透明表面掩模，遮挡边界。
54.优选的，深度卷积网络为多个，各个深度卷积网络对应各优化维度。
55.对应的，根据rgb图像对深度图像进行全局优化，还包括：
56.根据各优化维度以及各优化维度对应的优化数据对深度图像进行校正和深度调整。
57.本实施例中，采用了3种神经网络：第一种网络用于得到表面法线，第二种用于得到遮挡边界以处理深度图像上深度上不连续的问题，第三种用于得到遮挡边界，用于删除深度图像中跟透明对象有关的所有像素，以便填充其正确的深度。
58.s14：根据优化后的深度图像对无色透明物体进行识别定位。
59.最终，本实施例中根据优化后的深度图像对无色透明物体进行识别定位，从而提高对无色透明物体的识别精度。
60.实施例二
61.一种应用于流水线的无色透明物体识别系统，包括：
62.第一摄像组1、第二摄像组2、处理器3、电源4和通讯模块5；
63.电源4分别连接第一摄像组1、第二摄像组2、处理器3和通讯模块5，用于提供工作电源4；
64.处理器3分别连接第一摄像组1、第二摄像组2和通讯模块5；
65.通讯模块5还连接上位机；
66.第一摄像组1用于获取流水线中无色透明物体的rgb图像；
67.第二摄像组2用于获取流水线中无色透明物体的深度图像；
68.处理器3用于将rgb图像和深度图像进行对齐；还根据rgb图像对深度图像进行全局优化，输出优化后的深度图像；还根据优化后的深度图像对无色透明物体进行识别定位，并通过通讯模块5将识别定位结果发送到上位机。
69.优选的，第一摄像组1包括：深度摄像机；
70.第二摄像组2包括：双远心摄像机；
71.通讯模块5包括：gprs无线通讯模块5，且通讯模块5基于tcp/ip协议进行通信。
72.gprs是在现有gsm系统上发展出来的一种新的数据承载业务,支持tcp/ip协议，可以与分组数据网(internet等)直接互通。gprs无线传输系统的应用范围非常广泛，几乎可以涵盖所有的中低业务和低速率的数据传输，尤其适合突发的小流量数据传输业务。因此，本实施例中选用gprs无线通讯模块5，内嵌了tcp/ip协议，采用工业级的gprs模块，适用于单片机数据采集传输系统没有tcp/ip协议栈，但使用串口通信的情况。
73.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
74.需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是指至少两个。
75.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
76.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
77.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步
骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
78.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
79.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
80.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
81.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种应用于流水线的无色透明物体识别方法，其特征在于，包括：获取流水线中无色透明物体的rgb图像和深度图像；将所述rgb图像和所述深度图像进行对齐；根据所述rgb图像对所述深度图像进行全局优化，输出优化后的深度图像；根据所述优化后的深度图像对所述无色透明物体进行识别定位。2.根据权利要求1所述的方法，其特征在于，所述获取流水线中无色透明物体的rgb图像和深度图像，包括：基于深度摄像机获取流水线中无色透明物体的深度图像；基于双远心摄像机获取流水线中无色透明物体的rgb图像。3.根据权利要求1所述的方法，其特征在于，所述根据所述rgb图像对所述深度图像进行全局优化，包括：将所述rgb图像输入预先训练的深度卷积网络，得到多个优化维度以及各优化维度对应的优化数据；根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行全局优化。4.根据权利要求3所述的方法，其特征在于，所述优化维度至少包括：表面法线，透明表面掩模和遮挡边界。5.根据权利要求3所述的方法，其特征在于，所述深度卷积网络为多个，各个所述深度卷积网络对应各所述优化维度。6.根据权利要求3所述的方法，其特征在于，所述根据所述rgb图像对所述深度图像进行全局优化，还包括：根据各所述优化维度以及各所述优化维度对应的优化数据对所述深度图像进行校正和深度调整。7.一种应用于流水线的无色透明物体识别系统，其特征在于，包括：第一摄像组、第二摄像组、处理器、电源和通讯模块；所述电源分别连接所述第一摄像组、所述第二摄像组、所述处理器和所述通讯模块，用于提供工作电源；所述处理器分别连接所述第一摄像组、所述第二摄像组和所述通讯模块；所述通讯模块还连接上位机；所述第一摄像组用于获取流水线中无色透明物体的rgb图像；所述第二摄像组用于获取流水线中无色透明物体的深度图像；所述处理器用于将所述rgb图像和所述深度图像进行对齐；还根据所述rgb图像对所述深度图像进行全局优化，输出优化后的深度图像；还根据所述优化后的深度图像对所述无色透明物体进行识别定位，并通过所述通讯模块将识别定位结果发送到所述上位机。8.根据权利要求7所述的应用于流水线的无色透明物体识别系统，其特征在于，所述第一摄像组包括：深度摄像机；所述第二摄像组包括：双远心摄像机；所述通讯模块包括：gprs无线通讯模块，且所述通讯模块基于tcp/ip协议进行通信。

技术总结
本申请涉及一种应用于流水线的无色透明物体识别方法及系统，方法包括：获取无色透明物体的深度图像和RGB图像，将RGB图像和深度图像进行对齐，由于本申请中，根据RGB图像对深度图像进行全局优化，输出优化后的深度图像，并根据优化后的深度图像对无色透明物体进行识别定位，从而提高对无色透明物体的识别精度。从而提高对无色透明物体的识别精度。从而提高对无色透明物体的识别精度。


技术研发人员：贺京杰 刘石头 郭前进 刘强
受保护的技术使用者：北京石油化工学院
技术研发日：2022.02.17
技术公布日：2022/5/25