语义地图构建方法、服务设备、终端设备及存储介质与流程

    专利查询2026-02-09  1


    本申请实施例涉及计算机视觉,尤其涉及一种语义地图构建方法、服务设备、终端设备以及存储介质。


    背景技术:

    1、近几年来,随着增强现实(augmented reality,ar)设备的发展,ar技术无处不在。其中,ar技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,能够将虚拟的信息应用到真实世界,然后被人类感官所感知,从而让人们感受到“身临其境”的逼真性。

    2、在相关技术中,大多数ar设备都具有实时定位与建图(simultaneouslocalization and mapping,slam)技术,可以允许用户生成地图或者网格并定位用户。然而,虽然目前已经存在产生三维(three dimension,3d)语义信息的方案,但是已有的技术方案考虑不全面,导致重建的整个语义地图的准确度偏低,无法更好地实现将虚拟物体在特定物理对象上显示。


    技术实现思路

    1、本申请提供了一种语义地图构建方法、服务设备、终端设备以及存储介质。

    2、本申请的技术方案可以如下实现:

    3、第一方面,本申请实施例提供了一种语义地图构建方法,应用于服务设备,该方法包括:

    4、接收终端设备发送的第一图像数据和姿态数据;

    5、根据第一图像数据和姿态数据,生成三维网格模型;

    6、对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。

    7、第二方面,本申请实施例提供了一种语义地图构建方法,应用于终端设备,该方法包括:

    8、获取可穿戴设备的采集数据;其中,采集数据包括第一图像数据和第二图像数据;

    9、对第二图像数据进行处理,生成姿态数据;

    10、将第一图像数据和姿态数据发送给服务设备,以使得服务设备进行目标语义地图的构建。

    11、第三方面,本申请实施例提供了一种服务设备,包括第一接收单元、建模单元和分割单元;其中,

    12、第一接收单元,配置为接收终端设备发送的第一图像数据和姿态数据;

    13、建模单元,配置为根据第一图像数据和姿态数据,生成三维网格模型;

    14、分割单元,配置为对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。

    15、第四方面,本申请实施例提供了一种服务设备,包括第一存储器和第一处理器;其中,

    16、第一存储器,用于存储能够在第一处理器上运行的计算机程序;

    17、第一处理器,用于在运行计算机程序时,执行如第一方面所述的方法。

    18、第五方面,本申请实施例提供了一种终端设备,包括获取单元、数据处理单元和第二发送单元;其中,

    19、获取单元,配置为获取可穿戴设备的采集数据;其中,采集数据包括第一图像数据和第二图像数据;

    20、数据处理单元,配置为对第二图像数据进行处理,生成姿态数据;

    21、第二发送单元,配置为将第一图像数据和姿态数据发送给服务设备,以使得服务设备进行目标语义地图的构建。

    22、第六方面,本申请实施例提供了一种终端设备,包括第二存储器和第二处理器;其中,

    23、第二存储器,用于存储能够在第二处理器上运行的计算机程序;

    24、第二处理器,用于在运行计算机程序时,执行如第二方面所述的方法。

    25、第七方面,本申请实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,计算机程序被第一处理器执行时实现如第一方面的方法、或者被第二处理器执行时实现如第二方面所述的方法。

    26、本申请实施例提供了一种语义地图构建方法、服务设备、终端设备以及存储介质,在终端设备侧,获取可穿戴设备的采集数据;其中,采集数据包括第一图像数据和第二图像数据;对第二图像数据进行处理,生成姿态数据;将第一图像数据和姿态数据发送给服务设备,以使得服务设备进行目标语义地图的构建。在服务设备侧,接收终端设备发送的第一图像数据和姿态数据;根据第一图像数据和姿态数据,生成三维网格模型;对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。这样,在目标语义地图的构建中还结合了姿态数据,从而能够实现更完整的场景重建,提高了整个语义地图的准确度,可以更好地实现将虚拟物体在特定物理对象上显示;另外,由于场景重建和语义分割是在服务设备中执行,从而还能够降低终端设备的内存使用和功耗。



    技术特征:

    1.一种语义地图构建方法,应用于服务设备,所述方法包括:

    2.根据权利要求1所述的方法,其中,所述根据所述第一图像数据和所述姿态数据,生成三维网格模型,包括:

    3.根据权利要求2所述的方法,其中,所述方法还包括:

    4.根据权利要求3所述的方法,其中,所述利用tsdf算法对所述不同观测点对应的局部点云进行融合计算,得到所述至少一个体素的tsdf值,包括:

    5.根据权利要求3所述的方法,其中,所述根据所述至少一个体素的tsdf值,构建所述三维网格模型,包括:

    6.根据权利要求1所述的方法,其中,所述第一图像数据包括深度图像数据和rgb图像数据;其中,所述深度图像数据、所述rgb图像数据和所述姿态数据的时间同步。

    7.根据权利要求1所述的方法,其中,所述对所述三维网格模型进行语义分割,得到目标语义地图,包括:

    8.根据权利要求7所述的方法,其中,所述利用逐点特征学习的方式进行语义以及实例分割,得到所述目标语义地图,包括:

    9.根据权利要求1至8任一项所述的方法,其中,在所述得到目标语义地图之后,所述方法还包括:

    10.一种语义地图构建方法,应用于终端设备,所述方法包括:

    11.根据权利要求10所述的方法,其中,所述第一图像数据包括深度图像数据和rgb图像数据,所述第二图像数据包括鱼眼图像数据和惯性传感器数据;

    12.根据权利要求11所述的方法,其中,所述对所述第二图像数据进行处理,生成姿态数据,包括:

    13.根据权利要求12所述的方法,其中,在所述将所述第一图像数据和所述姿态数据发送给服务设备之前,所述方法还包括:

    14.根据权利要求10至13任一项所述的方法,其中,所述方法还包括:

    15.一种服务设备,包括第一接收单元、建模单元和分割单元;其中,

    16.一种服务设备,包括第一存储器和第一处理器;其中,

    17.一种终端设备,包括获取单元、数据处理单元和第二发送单元;其中,

    18.一种终端设备,包括第二存储器和第二处理器;其中,

    19.一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机程序,所述计算机程序被第一处理器执行时实现如权利要求1至9任一项所述的方法、或者被第二处理器执行时实现如权利要求10至14任一项所述的方法。


    技术总结
    本申请实施例公开了一种语义地图构建方法、服务设备、终端设备以及存储介质,应用于服务设备,该方法包括:接收终端设备发送的第一图像数据和姿态数据;根据第一图像数据和姿态数据,生成三维网格模型;对三维网格模型进行语义分割,得到目标语义地图;其中,目标语义地图用于实现将虚拟物体在物理环境中进行显示。

    技术研发人员:林昀柔,仲大伟
    受保护的技术使用者:OPPO广东移动通信有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-34111.html

    最新回复(0)