本发明属于虚拟现实和人工智能的，具体涉及一种基于毫米波点云的虚拟现实时空数据压缩与语义增强方法。
背景技术：
1、虚拟现实中的语义识别,在许多应用领域中起着重要作用,如娱乐、购物、医疗保健和教育等。传统的方法是通过虚拟现实头显和控制器中的惯性测量单元和摄像头来识别和跟踪用户的运动,从而提取语义信息。然而,这种传统方法往往需要大量的计算资源，并且在数据传输和存储方面存在显著缺陷。
2、近年来，随着传感器技术的飞速发展，尤其是毫米波雷达技术的进步，为虚拟现实领域带来了新的可能性。具体来说，毫米波雷达不仅可以穿透某些障碍物，捕捉到被遮挡物体的信息，而且还具有高灵敏度和低功耗的特点。然而，点云数据的高维性和稀疏性使得直接处理和分析这些数据变得异常复杂和计算密集。目前基于视觉变换器和点云变换器的方法在处理毫米波点云数据时,存在计算量大、内存需求高、鲁棒性不足等问题。
3、新兴的集成毫米波雷达具有低成本和小型化(约8厘米)的特点,因此很容易被集成到虚拟现实环境中,用于语义识别任务。此外,最近的应用展示了雷达在提供各种人体感知能力方面的潜力，毫米波雷达具有穿透性强、环境适应性高、隐私保护等优势。与传统的光学传感器相比,毫米波雷达可以穿透衣物和遮挡物,在各种光照条件下都能稳定工作,且不会记录用户的面部特征,更好地保护了用户隐私。这些使毫米波雷达成为增强虚拟现实语义识别能力的理想选择。
4、尽管毫米波雷达具有多种优势,但虚拟现实的语义识别提出了三个独特的挑战。首先,虚拟现实应用需要实时处理和响应能力,这对用户体验和沉浸感至关重要。其次,现有模型在处理整个毫米波点云数据时,没有优先考虑对虚拟现实任务至关重要的语义相关信息。最后，现有方法在需要快速处理和决策的实时应用中会导致不必要的计算开销、内存浪费和性能效率下降。
技术实现思路
1、本发明正是针对现有毫米波点云模型在虚拟现实语义识别中存在计算量大、内存需求高的问题，提供一种基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，至少包括定位阶段和聚焦阶段，在定位阶段中，点云变换器为每个点分配注意力分数,将点云中相邻的点分组,计算整个组的综合得分，当语义分辨率不清晰时,邻域全局语义注意力(neighborhood global semantic attention，ngsa)机制搜索语义分数高的区域，通过分析原始点云数据进行早期识别,利用智能策略重用特征；将注意力机制应用于定位阶段选择的关键点云区域进行聚焦识别，确定区域中点的重要程度并去除和语义无关的点。本发明方法实现了精确度和计算资源的优化，同时利用点云变换器架构,实现了高效的数据处理和特征重用。
2、为了实现上述目的，本发明采取的技术方案是：基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，至少包括定位阶段和聚焦阶段，
3、所述定位阶段：点云变换器为每个点分配注意力分数,将点云中相邻的点分组,计算整个组的综合得分，当语义分辨率不清晰时,邻域全局语义注意力(ngsa)机制搜索语义分数高的区域，通过分析原始点云数据进行早期识别,利用智能策略重用特征；
4、所述聚焦阶段：将注意力机制应用于定位阶段选择的关键点云区域进行聚焦识别，确定区域中点的重要程度并去除和语义无关的点。
5、作为本发明的一种改进，基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，包括如下步骤：
6、s1：利用点云变换器处理多帧毫米波点云,为每个点输出注意力分数；
7、s2：在定位阶段,分析虚拟现实用户身体生成的点云数据,利用向量注意力机制计算每个点的注意力分数,并将空间上接近的点聚合成组,计算每组的全局语义注意力分数,以确定关键语义区分区域；
8、s3：引入向量注意力机制,向量注意力在单个特征通道级别上运行,使用不同的特征变换来提取每个点的特征表示；
9、s4：当定位阶段预测结果低于决策边界时,触发聚焦阶段，使用邻域全局语义注意力(ngsa)机制识别类别区分区域,选择全局注意力分数最高的前k个点,并将这些点的表示连接起来,构建点云的表示,用于语义识别；
10、s5：引入应用程序类型识别和键盘输入识别模块用于虚拟现实语义识别，实现基于毫米波点云时空数据压缩的虚拟现实应用的语义增强。
11、作为本发明的另一种改进，所述步骤s1中，点云变换器模型的输入是尺寸为s×n×d的张量,其中s是组合的批量和长度大小,n是每帧的点数,d是每个点的维度,输出是尺寸为s×n×dattention的张量,dattention表示每个点的输出特征向量的维度；模型包括几个应用向量注意力于输入点的层,向量注意力在每一层中通过公式计算得出,其中是第i个点的输出特征向量,是点i和j之间的注意力权重，即每个点的注意力分数；注意力权重通过特征变换和ψ、关系函数β、映射函数γ(通常是mlp)、学习偏差δ和非线性激活函数ρ计算得出,如公式所示。
12、作为本发明的另一种改进，所述步骤s2中，每组的全局语义注意力分数具体为：
13、
14、其中，gk表示第k组的全局语义注意力分数。
15、作为本发明的又一种改进，在获得点云中每个点的向量注意力分数后,根据点的物理接近度对点进行分组,并使用公式为每个组分配一个全局注意力分数gj,以反映其与目标语义的相关性,其中gj是第j个组的全局语义注意力分数,|gj|是点组gj中点的数量，xi是点组gj中的i第个点,是点的向量注意力分数,是可学习的权重向量，是向量与权重向量的内积。
16、作为本发明的又一种改进，所述步骤s4中，每个组都有相应的表示通过连接前k个点的表示来构建点云的表示
17、
18、其中，h1表示每个点组的表示向量,top-k(g)表示具有最高分数的前k个点的集合,形式化表达为:
19、
20、其中，|k′|＝k，g＝g1,g2,...,gm表示点的集合。
21、与现有技术相比，本发明具有的技术效果及优势为：
22、(1)本发明至少包括定位阶段和聚焦阶段，在处理稀疏点云数据的情况下,克服了如何关注目标运动部分,尤其是语义区分区域,以及如何利用这些关键部分的点云数据增强虚拟现实语义识别的挑战,实现了精确度和计算资源的优化。
23、(2)本发明方法在定位阶段通过分析原始点云数据进行早期识别,利用智能策略重用特征,进一步减小计算资源消耗。聚焦阶段则将注意力机制应用于定位阶段选择的关键点云区域,显著缩小了对虚拟现实控制器上关键区域的关注范围,大幅降低了后续阶段的计算成本,同时消除了非关键区域的噪声干扰，进一步减小了模型的计算和内存资源消耗。
24、(3)本发明充分利用感知点云数据的特点,优化了语义识别过程；利用点云变换器架构,实现了高效的数据处理和特征重用。
1.基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，其特征在于：至少包括定位阶段和聚焦阶段，
2.如权利要求1所述的基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，其特征在于，包括如下步骤：
3.如权利要求2所述的基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，其特征在于：所述步骤s1中，点云变换器模型的输入是尺寸为s×n×d的张量,其中s是组合的批量和长度大小,n是每帧的点数,d是每个点的维度,输出是尺寸为s×n×dattention的张量,dattention表示每个点的输出特征向量的维度；模型包括几个应用向量注意力于输入点的层,向量注意力在每一层中通过公式计算得出,其中是第i个点的输出特征向量,是点i和j之间的注意力权重，即每个点的注意力分数；注意力权重通过特征变换和ψ、关系函数β、映射函数γ、学习偏差δ和非线性激活函数ρ计算得出,具体为：
4.如权利要求3所述的基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，其特征在于：所述步骤s2中，每组的全局语义注意力分数具体为：
5.如权利要求4所述的基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，其特征在于：所述步骤s3中，在获得点云中每个点的向量注意力分数后,根据点的物理接近度对点进行分组,并使用公式为每个组分配一个全局注意力分数gj,其中gj是第j个组的全局语义注意力分数，|gj|是点组gj中点的数量，xi是点组gj中的i第个点,是点的向量注意力分数,是可学习的权重向量，是向量与权重向量的内积。
6.如权利要求4所述的基于毫米波点云的虚拟现实时空数据压缩与语义增强方法，其特征在于：所述步骤s4中，每个组都有相应的表示通过连接前k个点的表示来构建点云的表示
