本发明涉及吊装的，尤其涉及一种基于多探测技术融合的实时三维建模吊机操作自动避碰系统及方法。
背景技术：
1、目前，海上平台常用的吊机，一般是海上基座式吊机，但是，由于其吊臂较长，作业覆盖半径广，变幅幅度大(15°~80°)，旋转范围360°，再加上海上平台顶层甲板修井设备较多等原因，使操作者受限于操作环境的影响，在某些时候、某些区域，并不能准确的判断出吊机与障碍物之间的相对位置；因此，导致海上基座式吊机的吊臂容易与其他设备发生碰撞，出现安全事故，从而造成事故，令吊机瘫痪。
技术实现思路
1、本发明的目的在于提供一种基于多探测技术融合的实时三维建模吊机操作自动避碰系统及方法，其能够有效解决现有技术中所存在的上述技术问题。
2、一方面，本技术实施例公开了一种基于多探测技术融合的实时三维建模吊机操作自动避碰系统，用于实现吊机将吊物按照预设传输路径从起始位置输送到终点位置，所述预设传输路径从起始位置到终点位置依次划分为多个传输子区域，所述自动避碰系统包括设于吊机的吊臂上的不同的固定位置上的第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头；所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器所设置的位置使三者的扫描范围在吊臂移动过程中覆盖下一个所述传输子区域且存在重叠区域，所述视频探测摄像头的视觉范围在吊臂移动过程中覆盖下一个所述传输子区域；
3、当吊物处于所述起始位置或任一传输子区域时，分别通过所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器采集下一个传输子区域的雷达数据以及通过所述视频探测摄像头采集下一个传输子区域的视频数据；
4、将所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器同一时刻采集的每一帧雷达数据进行第一次数据融合，得到融合后的目标雷达数据；
5、当判断目标雷达数据中存在障碍物时获取障碍物的位置和尺寸信息，并基于障碍物的位置和尺寸信息判断障碍物是否落入下一个传输子区域的预设传输路径内；
6、若是，则将目标雷达数据中的障碍物雷达数据与同一时刻的对应帧的视频数据识别出的中的障碍物图像数据进行第二次数据融合，得到融合后的目标融合数据；
7、利用预先训练好的图像识别系统对所述目标融合数据进行识别，从而识别出所述障碍物的类型，并基于所述障碍物的类型、位置、尺寸信息及吊物的外形尺寸进行下一个传输子区域的碰撞预测计算，当碰撞预测计算结果显示若沿着下一个传输子区域的预设传输路径输出会发生碰撞时输出碰撞预警信号，并基于所述障碍物的类型、位置、尺寸信息及吊物的外形尺寸对下一个传输子区域的预设传输路径进行调整以避免发生碰撞；其中，所述吊物的外形尺寸通过对吊物的外形尺寸进行预先测量并输入得到。
8、作为上述方案的改进，所述同一时刻是指获取的雷达帧与雷达帧之间或者获取的雷达帧与视频帧之间的时间差小于或等于时间阈值。
9、作为上述方案的改进，对下一个传输子区域的预设传输路径进行调整时，在保证不发生碰撞的情况下，保持所述下一个传输子区域的预设传输路径的终点位置不变；若所述下一个传输子区域的预设传输路径的终点位置发生调整，则当所述吊物进入所述下一个传输子区域时，将再下一个传输子区域的预设传输路径的起始位置更改为对应发生调整后所述下一个传输子区域的预设传输路径的终点位置，并结合所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头采集的数据对再下一个传输子区域的预设传输路径进行碰撞预测计算及调整。
10、作为上述方案的改进，基于所述下一个传输子区域的每一帧的目标融合数据中的障碍物的位置信息判断出障碍物为动态障碍物时，根据所述动态障碍物的运动轨迹预估其运动趋势，并结合所述运动趋势对下一个传输子区域的预设传输路径进行调整。
11、另一方面，本技术实施例公开了一种基于多探测技术融合的实时三维建模吊机操作自动避碰方法，适用于自动避碰系统中以实现吊机将吊物按照预设传输路径从起始位置输送到终点位置，所述预设传输路径从起始位置到终点位置依次划分为多个传输子区域，所述自动避碰系统包括设于吊机的吊臂上的不同的固定位置上的第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头；所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器所设置的位置使三者的扫描范围在吊臂移动过程中覆盖下一个所述传输子区域且存在重叠区域，所述视频探测摄像头的视觉范围在吊臂移动过程中覆盖下一个所述传输子区域；其中，所述基于多探测技术融合的实时三维建模吊机操作自动避碰方法包括步骤：
12、s1、当吊物处于所述起始位置或任一传输子区域时，分别通过所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器采集下一个传输子区域的雷达数据以及通过所述视频探测摄像头采集下一个传输子区域的视频数据；
13、s2、将所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器同一时刻采集的每一帧雷达数据进行第一次数据融合，得到融合后的目标雷达数据；
14、s3、当判断目标雷达数据中存在障碍物时获取障碍物的位置和尺寸信息，并基于障碍物的位置和尺寸信息判断障碍物是否落入下一个传输子区域的预设传输路径内；
15、s4、若是，则将目标雷达数据中的障碍物雷达数据与同一时刻的对应帧的视频数据识别出的中的障碍物图像数据进行第二次数据融合，得到融合后的目标融合数据；
16、s5、利用预先训练好的图像识别系统对所述目标融合数据进行识别，从而识别出所述障碍物的类型，并基于所述障碍物的类型、位置、尺寸信息及吊物的外形尺寸进行下一个传输子区域的碰撞预测计算，当碰撞预测计算结果显示若沿着下一个传输子区域的预设传输路径输出会发生碰撞时输出碰撞预警信号，并基于所述障碍物的类型、位置、尺寸信息及吊物的外形尺寸对下一个传输子区域的预设传输路径进行调整以避免发生碰撞；其中，所述吊物的外形尺寸通过对吊物的外形尺寸进行预先测量并输入得到。
17、作为上述方案的改进，所述同一时刻是指获取的雷达帧与雷达帧之间或者获取的雷达帧与视频帧之间的时间差小于或等于时间阈值。
18、作为上述方案的改进，对下一个传输子区域的预设传输路径进行调整时，在保证不发生碰撞的情况下，保持所述下一个传输子区域的预设传输路径的终点位置不变；若所述下一个传输子区域的预设传输路径的终点位置发生调整，则当所述吊物进入所述下一个传输子区域时，将再下一个传输子区域的预设传输路径的起始位置更改为对应发生调整后所述下一个传输子区域的预设传输路径的终点位置，并结合所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头采集的数据对再下一个传输子区域的预设传输路径进行调整。
19、作为上述方案的改进，基于所述下一个传输子区域的每一帧的目标融合数据中的障碍物的位置信息判断出障碍物为动态障碍物时，根据所述动态障碍物的运动轨迹预估其运动趋势，并结合所述运动趋势对下一个传输子区域的预设传输路径进行碰撞预测计算及调整。
20、又一方面，本技术实施例公开了一种电子设备，电子设备包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于执行上述基于多探测技术融合的实时三维建模吊机操作自动避碰方法。
21、又一方面，本技术实施例公开了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备执行上述基于多探测技术融合的实时三维建模吊机操作自动避碰方法。
22、综上所述，本发明实施例提供的一种基于多探测技术融合的实时三维建模吊机操作自动避碰系统及方法，通过在吊臂上设计多个激光雷达传感器，多方位设计。另外还配合上视频探测摄像头，达到360度的监控。这样不仅可以通过激光雷达传感器判断障碍物的距离或大小，还能结合到视频探测达到清晰的知道障碍物是什么东西，对于规避障碍物更加好。其次，本发明通过吊机将吊物按照预设传输路径从起始位置输送到终点位置，将预设传输路径从起始位置到终点位置依次划分为多个传输子区域，然后通过第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头在吊臂移动过程中采集获取下一个传输子区域的数据，通过将所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器同一时刻采集的每一帧雷达数据进行第一次数据融合，得到融合后的目标雷达数据，当判断目标雷达数据中存在障碍物时获取障碍物的位置和尺寸信息，并基于障碍物的位置和尺寸信息判断障碍物是否落入下一个传输子区域的预设传输路径内，若是，则将目标雷达数据中的障碍物雷达数据与同一时刻的对应帧的视频数据识别出的中的障碍物图像数据进行第二次数据融合，得到融合后的目标融合数据；利用预先训练好的图像识别系统对所述目标融合数据进行识别，从而识别出所述障碍物的类型，并基于所述障碍物的类型、位置、尺寸信息及吊物的外形尺寸进行下一个传输子区域的碰撞预测计算，当碰撞预测计算结果显示若沿着下一个传输子区域的预设传输路径输出会发生碰撞时输出碰撞预警信号，并基于所述障碍物的类型、位置、尺寸信息及吊物的外形尺寸对下一个传输子区域的预设传输路径进行调整以避免发生碰撞。因此能够有效安全的吊机将吊物输送到终点位置。
1.一种基于多探测技术融合的实时三维建模吊机操作自动避碰系统，用于实现吊机将吊物按照预设传输路径从起始位置输送到终点位置，其特征在于，所述预设传输路径从起始位置到终点位置依次划分为多个传输子区域，所述自动避碰系统包括设于吊机的吊臂上的不同的固定位置上的第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头；所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器所设置的位置使三者的扫描范围在吊臂移动过程中覆盖下一个所述传输子区域且存在重叠区域，所述视频探测摄像头的视觉范围在吊臂移动过程中覆盖下一个所述传输子区域；
2.根据权利要求1所述基于多探测技术融合的实时三维建模吊机操作自动避碰系统，其特征在于，所述同一时刻是指获取的雷达帧与雷达帧之间或者获取的雷达帧与视频帧之间的时间差小于或等于时间阈值。
3.根据权利要求1所述基于多探测技术融合的实时三维建模吊机操作自动避碰系统，其特征在于，对下一个传输子区域的预设传输路径进行调整时，在保证不发生碰撞的情况下，保持所述下一个传输子区域的预设传输路径的终点位置不变；若所述下一个传输子区域的预设传输路径的终点位置发生调整，则当所述吊物进入所述下一个传输子区域时，将再下一个传输子区域的预设传输路径的起始位置更改为对应发生调整后所述下一个传输子区域的预设传输路径的终点位置，并结合所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头采集的数据对再下一个传输子区域的预设传输路径进行调整。
4.根据权利要求1所述基于多探测技术融合的实时三维建模吊机操作自动避碰系统，其特征在于，基于所述下一个传输子区域的每一帧的目标融合数据中的障碍物的位置信息判断出障碍物为动态障碍物时，根据所述动态障碍物的运动轨迹预估其运动趋势，并结合所述运动趋势对下一个传输子区域的预设传输路径进行碰撞预测计算及调整。
5.一种基于多探测技术融合的实时三维建模吊机操作自动避碰方法，适用于自动避碰系统中以实现吊机将吊物按照预设传输路径从起始位置输送到终点位置，所述预设传输路径从起始位置到终点位置依次划分为多个传输子区域，所述自动避碰系统包括设于吊机的吊臂上的不同的固定位置上的第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头；所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器所设置的位置使三者的扫描范围在吊臂移动过程中覆盖下一个所述传输子区域且存在重叠区域，所述视频探测摄像头的视觉范围在吊臂移动过程中覆盖下一个所述传输子区域；其特征在于，所述基于多探测技术融合的实时三维建模吊机操作自动避碰方法包括步骤：
6.根据权利要求5所述基于多探测技术融合的实时三维建模吊机操作自动避碰方法，其特征在于，所述同一时刻是指获取的雷达帧与雷达帧之间或者获取的雷达帧与视频帧之间的时间差小于或等于时间阈值。
7.根据权利要求5所述基于多探测技术融合的实时三维建模吊机操作自动避碰方法，其特征在于，对下一个传输子区域的预设传输路径进行调整时，在保证不发生碰撞的情况下，保持所述下一个传输子区域的预设传输路径的终点位置不变；若所述下一个传输子区域的预设传输路径的终点位置发生调整，则当所述吊物进入所述下一个传输子区域时，将再下一个传输子区域的预设传输路径的起始位置更改为对应发生调整后所述下一个传输子区域的预设传输路径的终点位置，并结合所述第一激光雷达传感器、第二激光雷达传感器、第三激光雷达传感器和视频探测摄像头采集的数据对再下一个传输子区域的预设传输路径进行调整。
8.根据权利要求5所述基于多探测技术融合的实时三维建模吊机操作自动避碰方法，其特征在于，基于所述下一个传输子区域的每一帧的目标融合数据中的障碍物的位置信息判断出障碍物为动态障碍物时，根据所述动态障碍物的运动轨迹预估其运动趋势，并结合所述运动趋势对下一个传输子区域的预设传输路径进行碰撞预测计算及调整。
9.一种电子设备，其特征在于，包括处理器、存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求5-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求5-8任一项所述的方法。
