本申请实施例涉及计算机视觉,尤其涉及一种语义地图构建方法、服务设备、终端设备以及存储介质。
背景技术:
1、近几年来,随着增强现实(augmented reality,ar)设备的发展,ar技术无处不在。其中,ar技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,能够将虚拟的信息应用到真实世界,然后被人类感官所感知,从而让人们感受到“身临其境”的逼真性。
2、在相关技术中,大多数ar设备都具有实时定位与建图(simultaneouslocalization and mapping,slam)技术,可以允许用户生成地图或者网格并定位用户。然而,虽然目前已经存在产生三维(three dimension,3d)语义信息的方案,但是已有的技术方案考虑不全面,导致重建的整个语义地图的准确度偏低,无法更好地实现将虚拟物体在特定物理对象上显示。
技术实现思路
1、本申请提供了一种语义地图构建方法、服务设备、终端设备以及存储介质。
2、本申请的技术方案可以如下实现:
3、第一方面,本申请实施例提供了一种语义地图构建方法,应用于服务设备,该方法包括:
4、接收终端设备发送的第一图像数据和姿态数据;
5、根据第一图像数据和姿态数据,生成三维网格模型;
6、对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。
7、第二方面,本申请实施例提供了一种语义地图构建方法,应用于终端设备,该方法包括:
8、获取可穿戴设备的采集数据;其中,采集数据包括第一图像数据和第二图像数据;
9、对第二图像数据进行处理,生成姿态数据;
10、将第一图像数据和姿态数据发送给服务设备,以使得服务设备进行目标语义地图的构建。
11、第三方面,本申请实施例提供了一种服务设备,包括第一接收单元、建模单元和分割单元;其中,
12、第一接收单元,配置为接收终端设备发送的第一图像数据和姿态数据;
13、建模单元,配置为根据第一图像数据和姿态数据,生成三维网格模型;
14、分割单元,配置为对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。
15、第四方面,本申请实施例提供了一种服务设备,包括第一存储器和第一处理器;其中,
16、第一存储器,用于存储能够在第一处理器上运行的计算机程序;
17、第一处理器,用于在运行计算机程序时,执行如第一方面所述的方法。
18、第五方面,本申请实施例提供了一种终端设备,包括获取单元、数据处理单元和第二发送单元;其中,
19、获取单元,配置为获取可穿戴设备的采集数据;其中,采集数据包括第一图像数据和第二图像数据;
20、数据处理单元,配置为对第二图像数据进行处理,生成姿态数据;
21、第二发送单元,配置为将第一图像数据和姿态数据发送给服务设备,以使得服务设备进行目标语义地图的构建。
22、第六方面,本申请实施例提供了一种终端设备,包括第二存储器和第二处理器;其中,
23、第二存储器,用于存储能够在第二处理器上运行的计算机程序;
24、第二处理器,用于在运行计算机程序时,执行如第二方面所述的方法。
25、第七方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,计算机程序被第一处理器执行时实现如第一方面的方法、或者被第二处理器执行时实现如第二方面所述的方法。
26、本申请实施例提供了一种语义地图构建方法、服务设备、终端设备以及存储介质,在终端设备侧,获取可穿戴设备的采集数据;其中,采集数据包括第一图像数据和第二图像数据;对第二图像数据进行处理,生成姿态数据;将第一图像数据和姿态数据发送给服务设备,以使得服务设备进行目标语义地图的构建。在服务设备侧,接收终端设备发送的第一图像数据和姿态数据;根据第一图像数据和姿态数据,生成三维网格模型;对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。这样,在目标语义地图的构建中还结合了姿态数据,从而能够实现更完整的场景重建,提高了整个语义地图的准确度,可以更好地实现将虚拟物体在特定物理对象上显示;另外,由于场景重建和语义分割是在服务设备中执行,从而还能够降低终端设备的内存使用和功耗。
1.一种语义地图构建方法,应用于服务设备,所述方法包括:
2.根据权利要求1所述的方法,其中,所述根据所述第一图像数据和所述姿态数据,生成三维网格模型,包括:
3.根据权利要求2所述的方法,其中,所述方法还包括:
4.根据权利要求3所述的方法,其中,所述利用tsdf算法对所述不同观测点对应的局部点云进行融合计算,得到所述至少一个体素的tsdf值,包括:
5.根据权利要求3所述的方法,其中,所述根据所述至少一个体素的tsdf值,构建所述三维网格模型,包括:
6.根据权利要求1所述的方法,其中,所述第一图像数据包括深度图像数据和rgb图像数据;其中,所述深度图像数据、所述rgb图像数据和所述姿态数据的时间同步。
7.根据权利要求1所述的方法,其中,所述对所述三维网格模型进行语义分割,得到目标语义地图,包括:
8.根据权利要求7所述的方法,其中,所述利用逐点特征学习的方式进行语义以及实例分割,得到所述目标语义地图,包括:
9.根据权利要求1至8任一项所述的方法,其中,在所述得到目标语义地图之后,所述方法还包括:
10.一种语义地图构建方法,应用于终端设备,所述方法包括:
11.根据权利要求10所述的方法,其中,所述第一图像数据包括深度图像数据和rgb图像数据,所述第二图像数据包括鱼眼图像数据和惯性传感器数据;
12.根据权利要求11所述的方法,其中,所述对所述第二图像数据进行处理,生成姿态数据,包括:
13.根据权利要求12所述的方法,其中,在所述将所述第一图像数据和所述姿态数据发送给服务设备之前,所述方法还包括:
14.根据权利要求10至13任一项所述的方法,其中,所述方法还包括:
15.一种服务设备,包括第一接收单元、建模单元和分割单元;其中,
16.一种服务设备,包括第一存储器和第一处理器;其中,
17.一种终端设备,包括获取单元、数据处理单元和第二发送单元;其中,
18.一种终端设备,包括第二存储器和第二处理器;其中,
19.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如权利要求1至9任一项所述的方法、或者被第二处理器执行时实现如权利要求10至14任一项所述的方法。
