基于多局部模型拼接的大范围室内空间三维重建方法

1.本发明涉及以深度相机、彩色相机和惯性测量单元为传感器组合的三维重建方法，尤其涉及一种基于多局部模型拼接的大范围室内空间三维重建方法。


背景技术：

2.目前，二维的图像数据信息依然在大部分的视觉应用中占据主导地位，其原因是传统的三维场景建模不仅需要价格昂贵的专业数据采集设备，而且所需的时间和人力成本也非常高。虚拟现实(virtual reality，vr)和增强现实(augmented reality，ar)等技术的出现，使得真实环境与虚拟环境的界限变得越来越模糊，人们不仅希望体验电子设备模拟的科幻虚拟场景，也希望做到足不出户就能看完大量的房源信息或者领略世界各地的美景。
3.以往对人体或特定物体的三维重建需要专业的激光扫描设备，随着各种面向普通用户的消费级深度相机的出现，基于深度相机和其他传感器设备融合的三维扫描和重建技术得到了快速发展，目前应用较多的传感器组合中大多包括彩色相机和深度相机。然而基于图像流的三维重建方法存在着相机运动过快导致的图像模糊、相机视野不够导致的关联数据过少等一系列问题。惯性测量单元(inertial measurement unit，imu)能够测量传感器搭载平台的加速度和角速度，被认为与相机传感器具有明显的互补性，而且十分有潜力在融合之后得到更加完善的三维重建系统。本发明以如图1所示的彩色相机、深度相机和惯性测量单元作为感知环境的传感器组合，平板电脑作为搭载传感器的移动平台，采用手持的方式对室内三维场景进行扫描并实时重建出三维模型。
4.从实现方案的角度来说，目前主流的三维重建技术主要有两个分支，一个分支是从传感器运动中恢复三维场景的结构(structure from motion，sfm)，另一个分支是同时定位与地图构建(simultaneous localization and mapping，slam)。sfm方案基于对同一环境或者同一物体的一系列不同拍摄角度的图像，通过对特征角点的提取、匹配、跟踪以及空间位置的计算得到对应环境或物体的三维空间模型；而slam方案是指某移动传感器设备从一个未知环境中的未知地点出发，在运动过程中不断地通过传感器观测量对自身位置和姿态进行估计，再根据自身估计的位姿进行增量式地三维地图构建。
5.本发明提出了基于多局部模型拼接的大范围室内空间三维重建方法，通过深度视觉和惯性测量融合的定位方案提供的传感器移动平台位姿序列及其对应时刻的彩色图像和深度图像，基于截断有向距离场算法实现实时的三维重建。还针对存在的全局一致性偏差问题展开了研究，通过迭代最近点算法给出了稳定有效的多局部模型拼接方案。


技术实现要素：

6.本发明为了实现大范围室内环境的三维重建，提出了一种基于截断有向距离场算法的多局部重建子模型拼接的方案，并结合重建物体的实际参数对重建模型的精确度进行了验证。
7.基于多局部模型拼接的大范围室内空间三维重建方法，其主要创新点在于：基于体素表达的增量式三维重建、基于迭代最近点策略的多模型拼接两部分。
8.所述基于体素表达的增量式三维重建将场景空间分割成多个大小相同的细小立方体体素，通过对体素赋予有效距离值和权重值来非显式地模拟真实场景的三维表面。为了有效地减少数据存储量，本发明只存储距离真实场景表面较近的体素，而不直接存储场景内的所有体素，每个体素对应真实场景中的一个三维坐标点，同时记录体现该三维坐标距离真实场景表面的值和用于与其他相邻体素融合的权重值。增量式三维重建方案将现有重建模型与新的数据进行融合，能有效利用历史信息并不断地优化已有模型。
9.所述基于迭代最近点策略的多模型拼接方案对多个重建子模型的重叠区域进行三维匹配，并将不同区域的若干个重建子模型匹配到统一的坐标系中，从而得到高质量、完整的、一致的大范围室内空间三维模型。
10.本发明的优点在于：
11.(1)本发明通过搭建的移动传感器平台实现室内环境的多源数据采集，采用手持的方式对室内三维场景进行扫描并实时重建出三维模型，与大部分基于线缆连接的数据采集设备相比，本发明具有明显的实用性、便携性和可移植性；
12.(2)本发明通过基于体素的稠密三维模型来表示真实场景，将三维重建问题转化为对若干个体素的状态维护问题。截断有向距离场算法引入距离值和权重值表征和维护体素的状态，通过提取模型中的等值面可以得到重建模型中表征真实场景表面的所有体素。
13.(3)本发明提出的基于迭代最近点策略的多模型拼接方案对若干个重建子模型中的共视区域进行匹配并计算位置和姿态变换矩阵，进而对整体重建模型进行修正以得到更具一致性、细节性的大范围室内空间三维模型；
14.(4)本发明提出的三维重建方案能够准确地恢复真实场景的尺度信息，通过对重建模型中的物体进行实际测量，并将测量结果与重建模型中的距离信息进行对比，从而验证了本发明提出的重建方法的可行性和实用性。
附图说明
15.图1为本发明给出的数据发布端硬件平台实物图片；
16.图2为本发明给出的基于多局部模型拼接的大范围室内空间三维重建方法的实现框架图；
17.图3为本发明提供的局域网下的网络通信方式示意图；
18.图4为根据基于体素的三维重建方案得到的6个局部重建子模型的三维表面图；
19.图5为本发明提供的用于管理点云信息的k-维树数据结构图；
20.图6为本发明提供的源点云与目标点云的匹配过程图；
21.图7为本发明提供的基于最优位姿变换矩阵得到的真实场景整体模型图；
22.图8为本发明提供的实验室整体模型中部分区域的具体重建细节图；
具体实施方式
23.下面结合附图对本发明提供的基于多局部模型拼接的大范围室内空间三维重建方法进行详细说明。
24.本发明给出的基于多局部模型拼接的大范围室内空间三维重建方法的实现框架如图2所示。按照具体实施步骤，可以将整个流程划分为三部分，分别是数据发布、基于体素的局部场景子模型三维重建、基于迭代最近点策略的多模型拼接方案。数据发布端的所有功能均基于ios开发，硬件设备包括第六代ipad和occipital公司推出的structure深度相机。其他两部分的算法全部基于c 开发，硬件设备为搭载linux操作系统的台式机。
25.本发明提供的数据发布端能够实现局域网下的图像和传感器移动平台位姿序列等文本数据无线实时传输。图像数据的实时传输对网络带宽要求较高，本发明对深度图像和彩色图像进行了压缩处理，并以发布/订阅作为网络通信方式，根据相应规范设计如图3所示的数据发布和订阅过程。
26.本发明提供的基于体素的局部场景子模型三维重建方案实现了场景表面三维模型的重建。将场景空间分割成多个大小相同且细小的立方体体素，每个体素均对应一个实际的场景三维坐标，同时初始化体现该三维坐标距离真实场景表面的值d(x)和用于与其他相邻体素融合的权重值w(x)。若当前体素表示的三维坐标在物体表面以内，其对应的距离值小于0，反之大于0，且当该三维坐标与物体表面距离大于一定阈值时，直接截断为-1或1。权重值全部初始化为0，以便新的数据覆盖当前体素。
27.当有一组新的深度图像、彩色图像和传感器位姿数据时，本发明将图像中的像素变换到对应的体素上并进行距离值和权重值的更新，其具体步骤如下：
28.第1步，设当前体素对应的三维坐标是p
voxel
(x，y，z)，其投影射线对应的像素点为p(u，v)，在深度图像上对应的深度测量值为d
uv
，则有当前体素和实际测量体素之间的距离差：
[0029][0030]di
(x)《0表示该体素在真实场景表面的后方，di(x)》0表示该体素在真实场景表面的前方，而di(x)＝0则表示该体素为真实场景表面；
[0031]
第2步，考虑到某个特定体素在一段时间内能够得到一组距离值d1(x)，d2(x)，...，dn(x)以及权重值w1(x)，w2(x)，...，wn(x)，本发明通过融合已有距离值和权重值得到该体素的临时距离值和权重值，直到不再有面向该体素的新的距离值和权重值：
[0032][0033][0034]
第3步，为了能够增量式地进行三维重建，需要基于现有模型融合新的数据：
[0035][0036]wi 1
(x)＝wi(x) w
i 1
(x)
ꢀꢀꢀꢀ
(5)
[0037]
为减小三维模型的计算存储量，当体素远离真实物体内表面时将距离值di(x)截断为d
min
，距离真实物体表面外侧较远的体素距离值则截断为d
max
。
[0038]
第4步，融合了多帧给定位姿的深度图像和彩色图像后，能够得到一个较为完整的三维重建子模型，则可以基于当前模型提取零交叉等值面，即真实场景中的物体的表面。将
与当前体素相邻的8个体素放置在四面体的8个顶点处，若相邻的两个体素距离值互为正负，则该两点对应的棱边上必存在一个零点，可通过线性插值计算，然后基于该四面体12条棱上的所有零点构造多个三角面片，合并所有的三角面片便可以得到完整的如图4所示的6个局部重建子模型的三维表面。
[0039]
本发明提供的基于迭代最近点策略的多模型拼接方案可解决大范围场景下位姿估计产生的漂移导致重建模型质量下降的问题，以多个局部子模型的共视区域为基准，通过迭代最近点策略对共视区域进行三维匹配，将不同区域的若干个重建子模型匹配到统一的坐标系下，从而得到高质量且完整一致的三维重建模型，其具体步骤如下：
[0040]
第1步，使用如图5所示的k-维树数据结构建立两帧点云之间的点对关系，对每一帧点云内的所有三维点依次根据x轴、y轴和z轴的距离阈值划分到左右子树上，直至所有的三维点都落在k-维树的叶子节点上；
[0041]
第2步，确定源点云和目标点云，并通过递归地方式在目标点云中搜索源点云的最近邻点：如果源点云对应的坐标值小于当前节点值，则向k-维树左边子树递归访问，否则向右侧递归，基于该策略一直递归到k-维树的叶子层，该目标点云即为源点云的最近邻点，从而可建立点对关系(q1，q2，...，qn)和(p1，p2，...，pn)；
[0042]
第3步，构造点云重投影误差函数：三维点云在空间中满足欧式变换：
[0043][0044]
其中r和t表示待求解的三维旋转和平移变量，[x
q y
q zq]
t
表示源点云空间坐标，[x
p
′yp
′zp
′
]t表示变换后的目标点云空间坐标，则可以根据实际目标点云和变换后目标点云之间的欧氏距离构造关于旋转和平移变量的误差函数：
[0045][0046]
第4步，极小化上述点云重投影误差函数，将位姿变换结果作用到源点云上，并重新计算源点云与目标点云之间的匹配点对，不断进行上述迭代过程直到收敛。
[0047]
本发明提供了如图6所示的源点云与目标点云的匹配过程，其中原始色彩点云对应目标点云，绿色的点云对应源点云，红色点云对应经过位姿变换后的源点云，可以发现迭代最近点策略经过100次迭代后实现收敛，且该策略能够很好地将子模型中的共视区域进行配准从而避免重建模型出现场景堆叠和错位情况。
[0048]
本发明将某实验室场景分为6个片段进行实时三维重建，然后基于6个子模型中的共视区域执行迭代最近点方案，根据最优位姿变换矩阵将重建子模型融合为如图7所示的整体模型，图8展示了实验室部分区域的具体重建细节。可以发现基于体素的局部场景子模型三维重建和基于迭代最近点策略的多模型拼接方案能够协调重建模型全局一致性和局部细节真实性的矛盾。
[0049]
本发明提出的三维重建方案能够准确地恢复真实场景的尺度信息，通过对比重建模型中办公桌和显示器包装盒尺寸的测量值和真实值可发现：两者的长度和宽度测量误差在10mm以内，高度误差最大不超过20mm，所有测量的相对误差不超过2.5％，从而验证了本发明的可行性和实用性。