本发明属于农田三维建模领域,具体涉及一种基于图像与激光雷达融合的田地三维点云重建方法。
背景技术:
1、农业场景的高度非结构化和语义信息复杂性给田地三维重建带来了巨大的挑战。在农业作业场景中,农田地形、农作物等目标存在着多种不同形态、颜色和高度,这些目标的特征难以被简单、清晰地提取。同时,农田作业过程中也具有较大的不确定性,如天气变化、作物生长等,这些不确定的因素对于田地的三维重建都会产生不确定的影响。
2、在对田地数据进行采集中,摄像机采集的图像具有丰富的纹理信息,便于确定物体类别,但是受光照影响较大,且无法提供测距信息。而激光雷达采集的点云数据虽然可以提供高精度的三维位置信息,且不受光照影响,但是缺乏颜色和纹理信息。
3、因此,如何将将摄像机采集的图像数据和激光雷达采集的点云数据进行融合,以实现互补,从而克服两者单独的缺点,并且减少单一检测的时间成本以及提高实时性,是目前需要解决的问题。
技术实现思路
1、本发明为了克服现有技术存在的不足,提供了一种基于图像与激光雷达融合的田地三维点云重建方法,所述田地三维点云重建方法通过将摄像机采集的图像数据和激光雷达采集的3d点云数据进行融合,来实现对田间三维点云进行建模,从而减少摄像机受到强光干扰和环境干扰等问题而导致建模精度不高的情形发生。
2、本发明解决上述技术问题的技术方案是:
3、一种基于图像与激光雷达融合的田地三维点云重建方法,包括以下步骤:
4、步骤s1:将激光雷达和摄像机安装到待测田地处,并对激光雷达和摄像机进行联合标定;
5、步骤s2:通过激光雷达采集田地的点云数据,通过摄像机采集田地的图像数据;
6、步骤s3:根据激光雷达和摄像机之间的坐标关系以及摄像机坐标系和像素坐标系之间的关系,将图像数据映射到与其对应同步时间的3d点云数据上,以获取彩色点云数据;
7、步骤s4;对彩色点云数据进行三维建模。
8、作为本发明的一个优选方案,在步骤s1中,将激光雷达与摄像机水平放置在待测田地的正前方,且保证激光雷达与摄像机之间的距离在预设范围内。
9、作为本发明的一个优选方案,在步骤s1中,采用棋盘标定法对所述摄像机和所述激光雷达进行联合标定,获取激光雷达和摄像机之间的坐标变换矩阵tr_velo_to_cam=[r,t]和摄像机的内参k。
10、作为本发明的一个优选方案,所述棋盘标定法中使用的棋盘格为8x6的黑白方块,每个方块的边长为92mm;将制作好的棋盘格垂直放置于摄像机与激光雷达的正向区域;所述摄像机与所述激光雷达同步扫描该棋盘格,以分别获取同一帧的图像数据与点云数据。
11、作为本发明的一个优选方案,在步骤s2中,通过旋转装置带动激光雷达与摄像机转动,同时激光雷达与摄像机按照设定频率对不同方位进行扫描,以获得整个待测田地的图像数据和点云数据,其中,所述旋转装置能够带动激光雷达与摄像机沿着x轴方向、y轴方向和z轴方向转动。
12、作为本发明的一个优选方案,在步骤s3中,根据激光雷达和摄像机之间的坐标变换矩阵tr_velo_to_cam=[r,t]和摄像机的内参k,将图像数据映射到与其对应同步时间的3d点云数据上,具体为:
13、;
14、式中:(,,)为在激光雷达坐标系中的3d云点的坐标;(u,v)为该3d云点在像素坐标系中的坐标;s为缩放参数。
15、作为本发明的一个优选方案,在步骤s4中,采用改进型lego-loam算法对每一帧的彩色点云数据进行三维建图。
16、作为本发明的一个优选方案,所述改进型lego-loam算法包括点云分割模块、特征点提取模块、雷达里程计模块和雷达建图模块,其中,
17、所述点云分割模块用于将每帧点云数据重投影到图像数据中,并进行地面分割,将非地面点云分割出来;
18、所述特征点提取模块用于对非地面点云进行边缘点和平面点的提取;
19、所述雷达里程计模块对提取的特征点,使用2次lm优化算法进行优化处理,得到姿态变换矩阵;
20、所述雷达建图模块用于将得到的特征点进行处理,建立两帧点云数据之间的约束关系,以此构建全局三维地图。
21、一种电子设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行所述的基于图像与激光雷达融合的田地三维点云重建方法的步骤。
22、一种计算机可读存储介质,其以计算机可读指令的形式存储有依据所述的基于图像与激光雷达融合的田地三维点云重建方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
23、本发明与现有技术相比,具有如下优点和有益效果:
24、1、本发明的基于图像与激光雷达融合的田地三维点云重建方法通过对摄像机采集到的田地的图像数据和激光雷达采集到的3d点云数据进行融合,从而获取彩色点云数据,并以此进行三维建模,这样可以减少摄像机受到强光干扰和环境干扰等问题而导致建模精度不高的情形发生。
25、2、本发明的基于图像与激光雷达融合的田地三维点云重建方法通过将图像数据和3d点云数据进行融合,从而实现实现数据互补,以此来提高建模的精度。
1.一种基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,在步骤s1中,将激光雷达与摄像机水平放置在待测田地的正前方,且保证激光雷达与摄像机之间的距离在预设范围内。
3.根据权利要求1所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,在步骤s1中,采用棋盘标定法对所述摄像机和所述激光雷达进行联合标定,获取激光雷达和摄像机之间的坐标变换矩阵tr_velo_to_cam=[r,t]和摄像机的内参k。
4.根据权利要求3所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,所述棋盘标定法中使用的棋盘格为8x6的黑白方块,每个方块的边长为92mm;将制作好的棋盘格垂直放置于摄像机与激光雷达的正向区域;所述摄像机与所述激光雷达同步扫描该棋盘格,以分别获取同一帧的图像数据与点云数据。
5.根据权利要求2所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,在步骤s2中,所述旋转装置能够带动激光雷达与摄像机沿着x轴方向、y轴方向和z轴方向转动。
6.根据权利要求3所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,在步骤s3中,根据激光雷达和摄像机之间的坐标变换矩阵tr_velo_to_cam=[r,t]和摄像机的内参k,将图像数据映射到与其对应同步时间的3d点云数据上,具体为:
7.根据权利要求1所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,在步骤s4中,采用改进型lego-loam算法对每一帧的彩色点云数据进行三维建图。
8.根据权利要求7所述的基于图像与激光雷达融合的田地三维点云重建方法,其特征在于,所述改进型lego-loam算法包括点云分割模块、特征点提取模块、雷达里程计模块和雷达建图模块,其中,
9.一种电子设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至8中任意一项所述的基于图像与激光雷达融合的田地三维点云重建方法的步骤。
10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至8中任意一项所述的基于图像与激光雷达融合的田地三维点云重建方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。