一种基于双TOF相机的AGV高位堆叠方法及检测装置与流程

一种基于双tof相机的agv高位堆叠方法及检测装置
技术领域
1.本发明涉及中压断路器技术领域，特别涉及了一种基于双tof相机的agv高位堆叠方法及检测装置。


背景技术：

2.随着当前仓储运输系统的自动化集成度的提高，市场对自动导引运输车（automated guided vehicle 简称agv）的智能化程度的要求越来越高。agv一般应用于物流系统或工厂内，用于根据用户指令自动将货物运送到目的地，比如货位，并进行堆放。
3.如中国专利局2020年2月28日公开了一种名称为一种基于智能叉车agv的高效搬运系统及其控制方法的发明，其公开号为cn110844494a，该发明该系统包括生产任务管理模块、agv调度管理模块、智能叉车agv和多层堆垛载具组成，其中生产任务管理模块、agv调度管理模块和智能叉车agv可分层进行数据交互。通过采用该系统有效利用搬运策略，设计一套配合该系统使用的控制方法，可以集中将托盘码垛到搬运货架后，统一集中进行运输，减少agv在托盘运输过程中的搬运次数，从而减少agv在路途中所耗费的时间，达到提高agv搬运效率的目的。但在实际使用过程中，agv在将货物放置到货位时，往往不是严格按照设定的位置百分之百的对准放置，而总是或多或少或左或右多的略有偏差。如此，在有多层货物需要堆叠放置时，上层的货物有时会难以放稳，甚至不能放置；而且层数越多，越往上越容易放不稳。举例来说，极端的情况下，第一层货物往左偏差较大，第二层货物往右偏差较大，如此第三层货物则很可能放不稳或放不上。综上所述，目前agv自动堆叠货笼的方法缺乏灵活性与易用性，且堆叠精度差。


技术实现要素：

4.本发明的目的是克服现有技术中agv自动堆叠货笼的方法缺乏灵活性与易用性，且堆叠精度差的问题，提供了一种基于双tof相机的agv高位堆叠方法及检测装置，能够解决实际应用中2米以上超宽料架、7米以上高度堆叠作业，识别置信度高，毫米级别精度，满足工业应用场景对于实时性、灵活性、工作效率以及安全可靠性的要求。
5.为了实现上述目的，本发明采用以下技术方案：一种基于双tof相机的agv高位堆叠方法，其特征在于，它包括下列步骤：s1：将agv导航至取货准备点，识别货层料架的前底脚，获取坐标数据，得到外部路径规划地图；s2：根据外部规划地图将agv导航至终点，完成取货任务；s3：agv搬运货物至卸货准备点，获取坐标数据，得到外部路径规划地图；s4：根据外部规划地图将agv导航至终点，获取坐标数据，判断坐标数据的差值是否满足安全校准条件，若满足，则完成卸货任务，若不满足，则agv行进至卸货准备点，重新进行卸货流程。
6.本发明采用整体检测法获取数据，将多个检测目标作为一个整体识别，提升识别
目标置信度，且因为堆叠料架为密集摆放，左右和前后间距均不超过300mm，识别模块将识别出多个目标，所以需要对多个预测狂进行选择，此举有效提升仓库库容量。本发明提供的基于双tof相机的agv高位堆叠解决方案，解决实际应用中2米以上超宽料架7米以上高度堆叠作业。具有识别置信度高，毫米级别精度，满足工业应用场景对于实时性、灵活性、工作效率、安全可靠性等多方面要求。
7.作为优选，所述的步骤s1具体步骤为：s1.1：上位机发送作业任务至车控系统，车控系统将agv导航至作业准备点；s1.2：根据任务信息，调整货叉高度，到位后车控系统发送识别指令，识别取货层料架的前底脚，获取左右两侧前底脚坐标数据；s1.3：车控系统将坐标数据从相机坐标系转化为车辆坐标系，计算出终点坐标、终点映射坐标和转向角度，并将数据转化为导航坐标系后发送至上位机；s1.4：上位机将导航坐标系发送至ts服务系统，ts服务系统输出外部路径地图至车控系统。
8.车控系统根据任务要求将agv导航至任务准备点，进行识别、建立导航坐标系，完成准备点到取货点（即终点）的外部路径规划图。之后车控系统根据外部路径地图完成行车路线规划，沿着该路线将车导航至终点，完成任务作业。ts服务系统是现有技术中的系统，无需额外设备，具有良好的可扩展性，配置也能够很高，适合一些常见的工作组级应用。
9.作为优选，所述的步骤s1中，识别货层料架的前底脚，获取坐标数据的具体步骤为：a1：左右两侧tof相机分别获取左侧和右侧图像以及三维点云；a2：对获取的图像进行预处理，并对预处理后的图像进行预测；a3：对获取的三维点云数据进行滤波，并对滤波后的数据进行预处理，得到坐标数据；a4：将坐标数据根据左右相机分类，并将精度调整到毫米级别后输出。
10.得到货层料架左右两侧前底脚坐标数据。在识别过程中，利用整体识别法，将多个检测目标作为一个整体识别，提升识别目标置信度。图像数据用于识别货层料架左右两侧前底脚；三维点云是按照规则格网排列的三维坐标点的数据集，负责用于建立坐标系。
11.作为优选，所述的步骤a2中，对获取的图像进行预处理：将图像转换成深度图和灰度图，并进行包括归一化和均衡化在内的图像增强。
12.图像增强是增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合。有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。便于识别。
13.作为优选，所述的步骤a2中，识别模块对与处理后的图像进行预测：a2.1：建立预测模型：a2.1.1：以神经网络yolov5为框架将采集的图像标注后进行训练，输出检测模型；a2.1.2：将检测模型导入agv内工控机，部署在识别模块内；a2.2：利用预测模型先后对左侧和右侧图像进行预测，输出检测目标的预测框；
a2.3：根据检测目标不同，将预测框分为bkleg、bktop、frleg以及frtop四类，识别模块对多个预测框进行选择，输出满足条件的预测框。
14.yolo是与ssd齐名的one_stage目标检测算法代表，网络结构比较简单。是一个可以检测出图片中有哪些物体的算法模型，效率很高，可以实时视频检测。堆叠料架为密集摆放，左右和前后间距均不超过300mm，识别模块将识别出多个目标，所以需要对多个预测狂进行选择。此举有效提升仓库库容量。
15.作为优选，所述的步骤a3中，识别模块对获取的三维点云数据进行滤波：识别模块获取三维点云数据，进行空间滤波、统计滤波以及直通滤波；识别模块对滤波后的数据进行预处理：识别模块对滤波后的三维点云数据进行点云配准、地面点云分割，并计算边界框坐标。
16.去除不必要的数据，得到准确的坐标数据。空间滤波是一种采用滤波处理的影像增强方法。其理论基础是空间卷积和空间相关。目的是改善影像质量，包括去除高频噪声与干扰，及影像边缘增强、线性增强以及去模糊等。统计滤波是测量图像的局部统计特征，然后用其统计值作为输出图像的像元值。其主要是通过计算小的邻近区(窗口范围内)的统计值，如其均值、中值、最大值、最小值等的改变来消除噪声或者提取纹理特征。
17.作为优选，所述的步骤a4中，进一步包括：a4.1：连续采集多帧图像，多线程同步处理后输出坐标集；a4.2：对坐标集进行去除异常值和均值化处理后只输出一个坐标数据。
18.多线程同步处理可以更好的利用资源：多线程指的是这个程序（一个进程）运行时产生了不止一个线程；同步指的是多个cpu实例或者多台机器同时执行一段处理逻辑，是真正的同时。有效提高识别效率和坐标数据准确性。
19.作为优选，所述的步骤s2中，进一步包括：假如终点坐标的左右方向y值偏差大于100mm或者转向角度大于5
°
，agv将行进至终点映射坐标，再根据外部路径地图规划路线，行进至终点，抬升货叉高度，在取到货物后完成出叉操作，调整货叉高度为搬运高度，完成取货作业。
20.终点映射坐标与终点坐标的左右方向y值偏差为0mm，转向角度为0
°
。这样将保证agv的取货路线相对平直，防止agv由于左右偏差y值或者转向角度过大而大幅度调整位姿，从而撞击料架叉车套。（若料架带有防止翻转，保护安全的叉车套，agv叉齿必须穿过叉车套，才能取货）作为优选，所述的步骤s4进一步包括：s4.1：agv根据外部路径地图规划路线，行进至终点；s4.2：车控系统发送第二次识别指令，识别卸货层料架的后顶脚和被卸货料架的后底脚，获取左右两侧后顶脚和后底脚的坐标数据；s4.3：计算出两组坐标数据的差值是否满足安全校准条件，若满足条件，agv完成卸货作业；若不满足条件，则agv行进至卸货准备点，重新进行卸货流程。
21.卸货流程中，agv在终点坐标进行第二次识别，进行安全校准。顶脚坐标x值（前后方向）减去底脚坐标x值大于5mm小于55mm且顶脚坐标y值（左右方向）减去底脚坐标y值大于-25mm小于25mm，才能通过安全校准。若满足条件，agv下降货叉高度，被卸货料架堆叠在
卸货层料架上，完成出叉操作，调整货叉高度为搬运高度，完成卸货作业。
22.一种基于双tof相机的agv高位堆叠检测装置，其特征在于，包括：相机支架，所述相机支架上设有用于支撑相机的相机安装座，相机安装座上设有车体安装座和直线轴承安装座，所述直线轴承安装座上设有直线滑动轴承，所述直线滑动轴承上设有能在其内运动的支撑轴，支撑轴上设有上限位板，相机支架下方设有海绵垫，直线轴承安装座和相机安装座之间还设有弹簧，电源线通过拖链引出。
23.可实现随着在门架抬升时，伸缩相机位置可以降至货叉面下端，在堆垛时，可以不被货物挡住，实现上层料架底脚和下层料架顶脚的检测校准功能。在门架下降时，支架底部撞击车体限位板，实现回缩功能，保证相机不会撞到地面。
24.因此，本发明具有如下有益效果：能够解决实际应用中2米以上超宽料架7米以上高度堆叠作业，识别置信度高，毫米级别精度，满足工业应用场景对于实时性、灵活性、工作效率以及安全可靠性的要求。
附图说明
25.图1为本发明方法的具体操作流程图；图2为本发明检测装置的结构示意图；图3为本发明检测装置的正视图；图中：1、上限位板；2、支撑轴；3、车体安装座；4、直线轴承安装座；5、直线滑动轴承；6、相机安装座；7、相机支架；8、海绵垫；9、拖链；10、弹簧。
具体实施方式
26.下面结合附图与具体实施方式对本发明作进一步详细描述：如图1所示的实施例中，可以看到一种基于双tof相机的agv高位堆叠方法，其操作流程为：步骤一，将agv导航至取货准备点，识别货层料架的前底脚，获取坐标数据，得到外部路径规划地图；步骤二，根据外部规划地图将agv导航至终点，完成取货任务；步骤三，agv搬运货物至卸货准备点，获取坐标数据，得到外部路径规划地图；步骤四，根据外部规划地图将agv导航至终点，获取坐标数据，判断坐标数据的差值是否满足安全校准条件，若满足，则完成卸货任务，若不满足，则agv行进至卸货准备点，重新进行卸货流程。
27.本发明采用整体检测法获取数据，将多个检测目标作为一个整体识别，提升识别目标置信度，且因为堆叠料架为密集摆放，左右和前后间距均不超过300mm，识别模块将识别出多个目标，所以需要对多个预测狂进行选择，此举有效提升仓库库容量。本发明提供的基于双tof相机的agv高位堆叠解决方案，解决实际应用中2米以上超宽料架7米以上高度堆叠作业。具有识别置信度高，毫米级别精度，满足工业应用场景对于实时性、灵活性、工作效率、安全可靠性等多方面要求。
28.如图2所示的实施例中，可以看到一种基于双tof相机的agv高位堆叠检测装置，包括：相机支架7，所述相机支架上设有用于支撑相机的相机安装座6，相机安装座上设有车体安装座3和直线轴承安装座4，所述直线轴承安装座上设有直线滑动轴承5，所述直线滑动轴承上设有能在其内运动的支撑轴2，支撑轴上设有上限位板1，相机支架下方设有海绵垫8，直线轴承安装座和相机安装座之间还设有弹簧10，电源线通过拖链9引出。
29.3d 相机与相机支架、相机安装座和支撑轴下端螺栓连接。支撑轴在直线轴承内运动，直线滑动轴承安装在直线轴承安装座上，通过车体安装座固定在车门架上身上。上限位板在该伸缩机构运动时起上限位的作用。弹簧安装在直线轴承安装座和相机安装座之间的轴上，起下降缓冲和伸展提供张力。电源线在拖链里面，拖链随机构伸缩而上下滚动。
30.运动原理：该运动原理为轴在直线轴承内上下滑动，实现伸缩功能。伸缩时应该有上下位和下限位。门架下降时，相机伸缩机下降到一定位置，相机安装座 和海绵垫与车体上安装的下限位板接触时，门架继续下降，相机部分相对地面静止，不再下降，弹簧会被压缩，整个机构处于压缩状态，最终压缩时如图中3所示。在车体起升时，利用重力和弹簧弹力，轴承相对于轴会向上运动，相机向下运动，整个机构处于伸开状态。拖链可以用于走线， 也可实现线的伸缩功能。
31.此检测装置为伸缩相机支架，可实现随着在门架抬升时，伸缩相机位置可以降至货叉面下端，在堆垛时，可以不被货物挡住，实现上层料架底脚和下层料架顶脚的检测校准功能。在门架下降时，支架底部撞击车体限位板，实现回缩功能，保证相机不会撞到地面。
32.下面继续通过具体的例子，进一步说明本发明的技术方案和技术效果，以下实例是对本发明的解释而本发明并不局限于以下实例。
33.第一步：将agv导航至取货准备点，识别货层料架的前底脚，获取坐标数据，得到外部路径规划地图上位机发送作业至车控系统，车控系统将agv行进至取货准备点，根据任务信息，调整货叉高度。到位后车控系统向识别模块发送识别指令，识别取货层料架的前底脚，获取左右两侧前底脚坐标数据，车控系统将坐标数据从相机坐标系转化为车辆坐标系，计算出终点坐标数据和转向角度，并将数据转化为导航坐标系后发送至上位机。
34.上位机将导航坐标系发送至ts服务系统，ts服务系统输出外部路径地图至车控系统。
35.其中，终点坐标数据包括终点坐标和终点映射坐标。
36.识别取货层料架的前底脚的过程为：a1：左右两侧tof相机分别获取货层料架左侧前底脚和右侧前底脚的图像；a2：对获取的图像进行预处理：将图像转换成深度图和灰度图，并进行归一化和均衡化等图像增强；a3：识别模块先后对左侧和右侧图像进行预测，输出左侧前底脚和右侧前底脚的预测框：a3.1：建立预测模型：以神经网络yolov5为框架将采集的图像标注后进行训练，输出检测模型；将检测模型导入agv内工控机，部署在识别模块内；a3.2：利用预测模型先后对左侧和右侧图像进行预测，输出检测目标的预测框；a3.3：根据检测目标不同，将预测框分为bkleg、bktop、frleg以及frtop四类，识别模块对多个预测框进行选择，输出满足条件的预测框；因为堆叠料架为密集摆放，左右和前后间距均不超过300mm，识别模块将识别出多个目标，所以需要对多个预测框进行选择，此举有效提升仓库库容量。
37.获取左右两侧前底脚坐标数据的具体过程为：
b1：左右两侧tof相机分别获取货层料架左侧前底脚和右侧前底脚的三维点云；b2：识别模块获取三维点云数据，并对获取的三维点云数据进行滤波，滤波包括空间滤波、统计滤波以及直通滤波；b3：识别模块对滤波后的三维点云数据进行点云配准、地面点云分割，并计算边界框坐标；b4：将坐标数据根据左右相机分类，并将精度调整到毫米级别后输出。
38.在获取坐标数据时，连续采集多帧图像，多线程同步处理后输出坐标集，对坐标集进行去除异常值和均值化处理后只输出一个坐标数据，有效提高识别效率和坐标数据准确性。
39.第二步：根据外部规划地图将agv导航至终点，完成取货任务取货流程中，车控系统会同时计算出终点坐标和终点映射坐标，假如终点坐标的左右偏差过大（终点坐标的左右方向y值偏差大于100mm）或者转向角度过大（转向角度大于5
°
），agv将后退至终点映射坐标，再根据外部路径地图规划路线，行进至终点（终点映射坐标与终点坐标的左右方向y值偏差为0mm，转向角度为0
°
）。这样将保证agv的取货路线相对平直，防止agv由于左右偏差y值或者转向角度过大而大幅度调整位姿，从而撞击料架叉车套（料架带有防止翻转，保护安全的叉车套，agv叉齿必须穿过叉车套，才能取货）。抬升货叉高度，在取到货物后完成出叉操作，调整货叉高度为搬运高度，完成取货作业。
40.第三步：agv搬运货物至卸货准备点，获取坐标数据，得到外部路径规划地图agv搬运货物至卸货准备点，根据任务信息，调整货叉高度，。到位后车控系统向识别模块发送识别指令，识别取货层料架的前底脚，获取左右两侧前底脚坐标数据，车控系统将坐标数据从相机坐标系转化为车辆坐标系，计算出终点坐标数据和转向角度，并将数据转化为导航坐标系后发送至上位机。
41.上位机将导航坐标系发送至ts服务系统，ts服务系统输出外部路径地图至车控系统。
42.识别取货层料架的前底脚和获取左右两侧前底脚坐标数据的过程与第一步中的过程一样。
43.第四步：根据外部规划地图将agv导航至终点，进行二次识别，完成卸货任务卸货流程中，agv在终点坐标进行第二次识别，进行安全校准。底脚横截面为100mm正方形，顶脚横截面为40mm正方形。顶脚坐标x值（前后方向）减去底脚坐标x值大于5mm小于55mm且顶脚坐标y值（左右方向）减去底脚坐标y值大于-25mm小于25mm，才能通过安全校准。
44.具体过程为：agv根据外部路径地图规划路线，行进至终点。车控系统发送第二次识别指令，识别卸货层料架的后顶脚和被卸货料架的后底脚，获取左右两侧后顶脚和后底脚的坐标数据，计算出两组坐标数据的差值是否满足安全校准条件。满足条件，agv下降货叉高度，被卸货料架堆叠在卸货层料架上，完成出叉操作，调整货叉高度为搬运高度，完成卸货作业。不满足条件，则agv行进至卸货准备点，重新进行卸货流程。
45.卸货层料架的后顶脚和被卸货料架的后底脚，获取左右两侧后顶脚和后底脚的坐标数据的过程与第一步中的过程一样。
46.以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。