本技术涉及一种针对于货物堆垛进行垛型安全监测的超界视觉智能检测方法，属于自动化生产与物流仓储领域。
背景技术：
1、随着国内外物流运输行业的快速发展，基于标准箱或袋封装的各类包裹货物已常见于现有分拣与物流出入库作业现场，目前在物流和仓储系统中采用立体库对货物进行存储和取放管理以提高空间利用。
2、现有仓储系统具有复杂化和货物种类多样化的特点，如何准确地检测出立体库内多个堆放货物形成的垛型是否稳定安全已成为一个亟待解决的问题。现有技术仍普遍地采取人工巡检和依赖定点设置的传感器进行监测的手段，此类方法存在诸多明显的技术缺陷与不足。一方面，基于人工巡检虽然可以提供较为准确的目测结果，但效率较为低下，且易受到人为因素的影响，另外还需要大量的人力资源，增加了仓储管理的运营成本；另一方面，基于传感器监测如红外探测设备等虽可对垛型得出较为准的初步判断依据，但却对于复杂的货物形状和堆叠方式缺少适应性识别能力，另外受限于安装位置的影响对库位内的货物仅支持扫描特定的、较小区域范围的货物垛型，无法进行整体分析与判断，应用范围有所欠缺。
3、有鉴于此，特提出本专利申请。
技术实现思路
1、本发明提出一种立体库内垛型超界视觉检测方法，为解决上述现有技术存在的问题而基于计算机视觉技术利用摄像头对垛型进行实时图像采集，以图像处理算法对垛型进行分析与识别，以期显著地提高检测精度和自动化管理水平，达到减少人为干预和提升检测作业效率的目的。
2、为实现上述设计目的，所述的立体库内垛型超界视觉检测方法，采用多个视觉设备分别拍摄货物堆垛的至少两个侧面，采用点云处理方式对视觉设备采集到的图像进行数据修正以得到当前拍摄视野下货位的托盘位置；通过计算标定出的托盘位置坐标，自适应地生成立方体防区，对托盘上的货物点云数据是否与防区立方体相交进行判断并计算出货位警戒面，以测得当前货位上的货位是否超界；根据立方体防区的范围等级，判断得出货物超界的等级。
3、进一步地，在侧面拍摄过程中，在相机工作距离可达范围内同时拍摄同一货位的深度与浅度垛型侧面图像。
4、进一步地，所述的视觉设备包括深度相机、智能相机、线扫相机或雷达。
5、进一步地，数据修正包括下采样、坐标系转换、托盘识别步骤，在数据修正处理过程中通过建立托盘坐标系以将拍摄时刻的数据转换到托盘坐标系下统一处理。
6、进一步地，在托盘位置坐标的计算过程中，对托盘进行定位以得出当前拍摄时刻的托盘位姿与托盘模板制作时建立托盘坐标系之间的旋转平移关系矩阵。
7、进一步地，所述立体库内垛型超界视觉检测方法包括下述步骤：
8、步骤1)、设备安装；
9、将视觉设备设置于货架两侧，以拍照获取货位上货物左右侧面的图像信息；
10、步骤2)、托盘标定；
11、建立坐标系，以托盘的中心点为坐标原点，垂直地面向上的轴为z轴，其余两个轴分别为x轴，y轴；
12、进行空托盘标定，获取标定时相机采集到的图像数据与实际托盘坐标系之间的转换平移关系矩阵t；实际托盘坐标系的中心点为托盘的中心位置，并且xoy平面与地面平行；
13、步骤3)、生成特征数据；
14、根据转换后的图像数据制作托盘特征数据并生成托盘特征数据截取区域a；
15、步骤4)、处理一侧图像数据；
16、4.1)使用旋转平移关系矩阵t将货物堆垛一侧图像转换至托盘坐标系，以得到整体转换后数据pt；
17、4.2)根据托盘特征数据截取区域a截取当前图像中的待截取特征数据范围内的数据pa；
18、4.3)使用点云模板匹配的方法对数据pa进行处理，以得到基于模板匹配结果生成的第二旋转平移关系矩阵r，第二旋转平移关系矩阵r代表当前拍摄的托盘数据pa与托盘特征数据间的旋转平移关系；若匹配失败，则直接执行步骤7)；
19、4.4)匹配成功后，将当前拍摄并转换后数据pt根据第二旋转平移关系矩阵r再次修正，以得到基于托盘定位后数据pr，托盘定位后数据pr为拍摄时刻图像数据转到标定时托盘坐标系下的数据；
20、4.5)根据超界阈值，基于托盘pa数据自适应生成超界检测防区；
21、4.6)根据最大的超界阈值，自适应生成检测区域，滤除检测区域外的图像数据；生成方式同超界防区生成方式；
22、4.7)将截取数据pr中在检测区域内的数据记为待聚类数据pd；
23、4.8)聚类上述待聚类数据pd中的点云数据；
24、4.9)采用预设的尺寸阈值过滤上述聚类后的点云数据；
25、4.10)判断过滤后的聚类结果与超界防区的立方体相交信息；若存在相交现象，则认为当前待检测区域存在货物超界情况；若货物与多个检测防区相交，则保留超界严重等级最高的货物超界结果；
26、步骤5)、处理另一侧图像数据；
27、采取上述步骤2)至4)处理视觉设备采集到的货架另一侧的图像数据。
28、进一步地，在步骤2)中，标定过程包括下述步骤：
29、将空托盘置于库位货架上，通过架设好的视觉设备采集空托盘的点云数据，截取空托盘点云数据中托盘上表面点云，聚类上表面点云数据；
30、聚类的中点定义为托盘的中心点，计算聚类后的点云数据绕x，y，z轴的旋转角度，得到旋转矩阵r；
31、根据聚类中心的点云坐标，增加点云平移关系，生成4*4的旋转平移矩阵，将聚类后的点云右乘旋转平移矩阵，将聚类后的托盘上表面点云转换成绕x，y，z轴角度为0，托盘中心点在坐标轴原点的状态，以得到旋转平移关系矩阵t，t为相机坐标系转换到托盘坐标系的转换矩阵；
32、单个点云根据旋转平移关系矩阵转换的计算公式如下，
33、
34、点云表示为，
35、
36、点云转换公式为，p′＝t·p，
37、
38、进一步地，在步骤3)中，托盘特征数据截取区域的生成条件为托盘特征点云数据构成的最小外接立方体扩展一定范围后生成的区域，扩展范围通过视觉系统中配置参数调整。
39、进一步地，在步骤4.3)中点云模板匹配方式为icp、特征点匹配或hough变化。
40、进一步地，在步骤4.5)中，超界检测防区为多个且防区的生成基于托盘实际坐标及超界阈值生成，防区为立方体形式。
41、综上，本技术提出的立体库内垛型超界视觉检测方法具有以下优点：
42、1、本技术适用于智能仓储管理系统中对长时间堆放的货物垛型进行安全监测，基于视觉算法对待检测货物的垛型进行超界视觉检测与判断，在减少人为干预的基础上准确且及时地对于货物倾斜导致的取货时破损、掉落等风险进行全面地评估，提前给出预警评估结果以显著地提高货物在仓储与取放过程中的安全性能。
43、2、本技术采用新型的托盘定位坐标系，对货位内的货物数据进行定位和修正，能够有效地兼容因堆垛机等设备在行走和上升时产生的位置误差，从而提高检测精度。
44、3、本技术采用使用侧面拍摄方式，在相机工作距离可达的范围内兼具拍摄深度与浅度货位的货物图像，具备较高的检测效率与兼容性。
45、4、本技术采取自适应防区生成方式，能够伴随货位内实际货物的存放位置动态地建立与修正货位警戒面，显著地提高检测算法对不同货位的兼容性。
46、5、本技术通过点云等实际物理信息较为精确地输出货物超界范围，并可通过修改防区设置分辨出货物超界问题的相应等级，从而为上位机输出可采用的处理方式提供相应保证，相应地提高了设备的扩展性和不同场景下的适用性。
1.一种立体库内垛型超界视觉检测方法，其特征在于：采用多个视觉设备分别拍摄货物堆垛的至少两个侧面，采用点云处理方式对视觉设备采集到的图像进行数据修正以得到当前拍摄视野下货位的托盘位置；
2.根据权利要求1所述的立体库内垛型超界视觉检测方法，其特征在于：在侧面拍摄过程中，在相机工作距离可达范围内同时拍摄同一货位的深度与浅度垛型侧面图像。
3.根据权利要求2所述的立体库内垛型超界视觉检测方法，其特征在于：所述的视觉设备包括深度相机、智能相机、线扫相机或雷达。
4.根据权利要求1所述的立体库内垛型超界视觉检测方法，其特征在于：数据修正包括下采样、坐标系转换、托盘识别步骤，在数据修正处理过程中通过建立托盘坐标系以将拍摄时刻的数据转换到托盘坐标系下统一处理。
5.根据权利要求1所述的立体库内垛型超界视觉检测方法，其特征在于：在托盘位置坐标的计算过程中，对托盘进行定位以得出当前拍摄时刻的托盘位姿与托盘模板制作时建立托盘坐标系之间的旋转平移关系矩阵。
6.根据权利要求1所述的立体库内垛型超界视觉检测方法，其特征在于：包括下述步骤，
7.根据权利要求6所述的立体库内垛型超界视觉检测方法，其特征在于：在步骤2)中，标定过程包括下述步骤，
8.根据权利要求6所述的立体库内垛型超界视觉检测方法，其特征在于：在步骤3)中，托盘特征数据截取区域的生成条件为托盘特征点云数据构成的最小外接立方体扩展一定范围后生成的区域，扩展范围通过视觉系统中配置参数调整。
9.根据权利要求6所述的立体库内垛型超界视觉检测方法，其特征在于：在步骤4.3)中点云模板匹配方式为icp、特征点匹配或hough变化。
10.根据权利要求6所述的立体库内垛型超界视觉检测方法，其特征在于：在步骤4.5)中，超界检测防区为多个且防区的生成基于托盘实际坐标及超界阈值生成，防区为立方体形式。
