本发明涉及物体的三维重建,尤其是涉及一种基于关键点提取的建筑物室内建模点云配准方法。
背景技术:
1、建筑机器人作为智能建造的主要技术装备,已经能够实现工程测量、质量检测、打磨、喷涂、画线、钻孔等自主作业,在建筑工程中得到了广泛的应用。
2、建筑机器人在施工作业前,通常需要完成任务规划、作业规划、路径规划、导航定位、规避障碍以及实时控制,这些都需要对建筑物室内环境进行精确的三维建模,为建筑机器人进行自主作业提供数据是要的数据。目前,建筑物室内结构模型的三维重建,主要通过图形、图像或三维点云的配准和拼接实现,即机器人在移动过程中,通过传感器实时采集室内环境的图像或深度信息,获得高质量的深度图或点云数据,然后采用滤波算法和降采样算法对这些点云数据进行精简。经过初始配准和精确配准,得到拼接的室内环境完整的三维点云场景或三维模型。因此,使用精确度高、速度快的配准方法是得到精确的室内模型的关键。
3、配准是给定2个来自不同坐标系的三维数据点集,找到2个点集空间的变换关系,使得2个点集能统一到同一个坐标系。目前常用全局配准法(简称global配准法)和迭代最邻近点(iterative closest point,简称icp)配准法。global配准法首先计算2个点集的fpfh(fast point feature histogram)特征向量,然后找出2个点集中fpfh特征向量接近的若干关键点,通过最小化损失函数,求解最终的转换矩阵。这种方法计算量大,精确度不高。
4、icp配准法是一种迭代方法,需要反复计算源点云中的每一个点在目标点云中的对应点,然后计算使得所有对应点之间的几何距离总和最小的转换矩阵。这种方法具有准确率高的优点,在点云配准中经常使用。但是,icp配准法的缺点是,算法可能收敛于局部最优解,噪声或异常数据可能导致算法无法收敛,而且算法在开始迭代的第一步需要确定一个转换矩阵的初值,初值对最终的配准结果影响很大。如果初值的选择不合适,算法可能限入局部最优解,不能收敛到正确的转换矩阵。
5、因此,实际使用中,经常用global配准法得到初始矩阵,再使用icp法精确配准。我们把这种方法称为全局icp配准法,简记为“global+icp”配准法。由于该方法不但使用到了global配准法,还使用到了icp法,因此,虽然相对于global配准法提升了三维模型的准确度,但是依然存在大量的计算。
6、但是,建筑物室内环境通常比较复杂,例如建筑物室内的几何结构复杂,地面堆放建筑材料和装备,墙面预留孔、洞、槽、梁,还有电缆、拉线、钢筋等,角点多、曲线多、折线多,现有方法(包括“global+icp”配准方法)的配准精度明显下降,无法得到准确的室内三维模型。同时,由于新建的室内混凝土或腻子墙面上特征点非常少、拍摄的深度图或点云精度较差,或者图片之间重叠部分较少,无法得到准确的室内三维模型。
技术实现思路
1、本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种基于关键点提取的建筑物室内建模点云配准方法,能够在几何结构特别复杂或者特别简单的建筑物室内场景中以较高的精度完成室内环境的点云配准,从而获取精确的室内三维模型。
2、为解决上述技术问题,本发明采用的技术方案是:一种基于关键点提取的建筑物室内建模点云配准方法,包括以下几个步骤。
3、步骤一:获取建筑物室内的深度图。
4、使用三维相机在建筑物室内拍摄,分别得到源深度图和目标深度图,源深度图和目标深度图之间具有重合部分。
5、步骤二:提取深度图的关键点。
6、使用关键点提取算法分别提取每个源深度图的关键点和每个目标深度图的关键点。
7、步骤三:将关键点还原成点云。
8、s3-1:基于源深度图的关键点和目标深度图的关键点,通过配对算法得到实际位置相同的源深度图的关键点和目标深度图的关键点。
9、s3-2:将配对后的源深度图的关键点和目标深度图的关键点分别还原成点云,得到源深度图的关键点点云和目标深度图的关键点点云。
10、步骤四:对关键点的点云进行配准得到决策变量。
11、s4-1:设置要求解的决策变量,所述决策变量包括:, m, n, p,其中,是绕点云坐标系x轴旋转的角度,是绕点云坐标系y轴旋转的角度,是绕点云坐标系z轴旋转的角度, m是沿点云坐标系x轴平移的距离, n是沿点云坐标系y轴平移的距离, p是沿点云坐标系z轴平移的距离。
12、s4-2:通过式(1)对源深度图的关键点的点云进行配准:
13、(1)
14、式(1)中,是经过配准后源深度图的第个关键点点云坐标。是配准前源深度图的第个关键点点云坐标。
15、基于各个配准后的源深度图的关键点点云和对应的目标深度图的关键点点云,建立如式(2)所示的损失函数:
16、(2)
17、式(2)中,是源深度图的第个关键点点云配准后的坐标,是与源深度图的第个关键点实际位置相同的目标深度图的关键点点云坐标, h是全部的关键点的数目, j是损失值。
18、联立式(1)和式(2),使用梯度下降法求解直至损失函数收敛,得到决策变量。
19、步骤五:所有点云配准。
20、s5-1:将源深度图还原为三维点云,将目标深度图还原为三维点云。
21、s5-2:基于决策变量,通过式(1)对源深度图的全部点云进行配准,加上目标深度图的三维点云,得到建筑物室内的三维点云。
22、进一步,在步骤二中,所述关键点提取算法为以下的任意一种:fast目标算法和orb算法。
23、进一步,在步骤s3-1中,所述配对算法为brief描述子的欧氏距离最小的规则算法。
24、进一步,在步骤s3-2中,将配对后的源深度图的关键点和目标深度图的关键点分别还原成点云,包括以下步骤。
25、s3-2-1:获取关键点在源深度图或目标深度图中的坐标( u, v),和关键点在源深度图或目标深度图中的深度值 depth。
26、s3-2-2:获取相机的参数 u0, v0, fx, fy,并设置参数 scale,其中,( u0, v0)为源深度图或目标深度图中心点的位置, fx为源深度图或目标深度图到相机成像平面 x轴的距离, fy为源深度图或目标深度图到相机成像平面 y轴的距离。
27、s3-2-3:根据式(3)计算源深度图或目标深度图的关键点的点云坐标( x, y, z)。
28、(3)
29、式中, scale为设置的参数,( u0, v0)为源深度图或目标深度图中心点的位置, fx为源深度图或目标深度图到相机成像平面 x轴的距离, fy为源深度图或目标深度图到相机成像平面 y轴的距离。
30、本发明与现有技术相比具有以下优点:
31、本发明提供一种基于关键点提取的建筑物室内建模点云配准方法,通过将拍摄到的源深度图和目标深度图提取出关键点,并且通过关键点的配准实现所有点的配准过程,即对整个源深度图的点云和目标深度图的点云完成配准,从而能够在几何结构特别复杂或者特别简单的建筑物室内场景中以较高的精度和较低的计算量完成室内环境的点云配准,获取精确的室内三维模型。本方法的配准准确度明显高于常用的“global+icp”配准方法。
32、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
1.一种基于关键点提取的建筑物室内建模点云配准方法,其特征在于,包括以下几个步骤:
2.按照权利要求1所述的一种基于关键点提取的建筑物室内建模点云配准方法,其特征在于,在步骤二中,所述关键点提取算法为以下的任意一种:fast目标算法和orb算法。
3.按照权利要求1所述的一种基于关键点提取的建筑物室内建模点云配准方法,其特征在于,在步骤s3-1中,所述配对算法为brief描述子的欧氏距离最小的规则算法。
4.按照权利要求1所述的一种基于关键点提取的建筑物室内建模点云配准方法,其特征在于,在步骤s3-2中,将配对后的源深度图的关键点和目标深度图的关键点分别还原成点云,包括以下步骤:
