本申请涉及无线电定向,特别涉及一种4d毫米波雷达点云的生成方法、装置、电子设备及介质。
背景技术:
1、4d毫米波雷达指的是区别于只有速度、距离、方向角的传统的3d车载毫米波雷达,拥有速度、距离、方向角、俯仰角这四个维度信息的新式车载毫米波雷达。然而,4d毫米波雷达的点云质量相对较差,较为稀疏且噪声较大。
2、相关技术中,4d毫米波雷达点云生成方法主要有以下两类:
3、一类基于规则,改进传统的恒虚警率监测(cfar)方法,或基于前后逐帧点云叠加过滤。前者无法解决传统方法的根本问题,而后者容易造成信息的损失。
4、第二类是基于学习的方法,现有研究有以标定过程作监督,利用网络代替cfar生成点云,也有研究以lidar点云作监督,基于u-net和gan等网络生成点云。这些基于学习的方法通常难以准确提取原始数据的特征,难以构建合理的网络监督信号。且在点云生成网络的选择上也存在问题。
5、综上所述,相关技术中,在进行4d毫米波雷达点云生成时,难以在学习其他传感器丰富信息实现点云优化的同时,不造成4d毫米波雷达自身特性的损失,有待改进。
技术实现思路
1、本申请提供一种4d毫米波雷达点云的生成方法、装置、电子设备及介质,以解决相关技术中,在进行4d毫米波雷达点云生成时,难以兼顾点云优化和降低4d毫米波雷达自身特性损失的技术问题。
2、本申请第一方面实施例提供一种4d毫米波雷达点云的生成方法,包括以下步骤:获取任一目标的多帧激光点云;拼接所述多帧激光点云得到稠密的场景真值;将所述稠密的场景真值投影至4d毫米波雷达张量维度上,得到原始4d毫米波雷达张量信息,并利用预先构建的深度神经网络优化所述原始4d毫米波雷达张量信息,得到优化后的4d毫米波雷达张量,并基于所述优化后的4d毫米波雷达张量得到所述任一目标的4d毫米波雷达点云。
3、可选地,在本申请的一个实施例中,所述拼接所述多帧激光点云得到稠密的场景真值,包括:划分所述多帧激光点云,得到至少一个静态点云和/或至少一个动态点云;对所述静态点云进行预处理,得到预处理后的静态点云,并利用所述预处理后的静态点云计算帧间位姿变换,根据所述帧间位姿变换进行点云拼接,得到稠密的静态点云,和/或,将所述动态点云进行多帧目标位置叠加,得到稠密的动态点云,并将所述稠密的动态点云与所述稠密的静态点云进行拼接,得到稠密的激光雷达点云;基于所述4d毫米波雷达张量信息和所述稠密的激光雷达点云得到所述稠密的场景真值。
4、可选地,在本申请的一个实施例中,所述利用预先构建的深度神经网络优化所述原始4d毫米波雷达张量信息,包括:构建特征提取网络,其中,所述特征提取网络包括输入3d卷积模块、交叉注意力模块和输出3d反卷积模块中的至少一项;将focal loss和diceloss叠加作为所述特征提取网络的损失函数,并利用所述损失函数计算相应的输出损失;基于所述输出损失和所述稠密的场景真值训练所述特征提取网络,以得到所述优化后的4d毫米波雷达张量。
5、可选地,在本申请的一个实施例中,所述基于所述优化后的4d毫米波雷达张量得到所述任一目标的4d毫米波雷达点云,包括:利用预设反射强度阈值从所述优化后的4d毫米波雷达张量中提取所述任一目标;根据所述任一目标得到所述4d毫米波雷达点云。
6、本申请第二方面实施例提供一种4d毫米波雷达点云的生成装置,包括:获取模块,用于获取任一目标的多帧激光点云;拼接模块,用于拼接所述多帧激光点云得到稠密的场景真值;生成模块,用于将所述稠密的场景真值投影至4d毫米波雷达张量维度上,得到原始4d毫米波雷达张量信息,并利用预先构建的深度神经网络优化所述原始4d毫米波雷达张量信息,得到优化后的4d毫米波雷达张量,并基于所述优化后的4d毫米波雷达张量得到所述任一目标的4d毫米波雷达点云。
7、可选地,在本申请的一个实施例中,所述拼接模块包括:划分单元,用于划分所述多帧激光点云,得到至少一个静态点云和/或至少一个动态点云;第一计算单元,用于对所述静态点云进行预处理,得到预处理后的静态点云,并利用所述预处理后的静态点云计算帧间位姿变换,根据所述帧间位姿变换进行点云拼接,得到稠密的静态点云,和/或,将所述动态点云进行多帧目标位置叠加,得到稠密的动态点云,并将所述稠密的动态点云与所述稠密的静态点云进行拼接,得到稠密的激光雷达点云;第二计算单元,用于基于所述4d毫米波雷达张量信息和所述稠密的激光雷达点云得到所述稠密的场景真值。
8、可选地,在本申请的一个实施例中,所述生成模块包括:构建单元,用于构建特征提取网络,其中,所述特征提取网络包括输入3d卷积模块、交叉注意力模块和输出3d反卷积模块中的至少一项;第三计算单元,用于将focal loss和dice loss叠加作为所述特征提取网络的损失函数,并利用所述损失函数计算相应的输出损失;训练单元,用于基于所述输出损失和所述稠密的场景真值训练所述特征提取网络,以得到所述优化后的4d毫米波雷达张量。
9、可选地,在本申请的一个实施例中,所述生成模块包括:提取单元,用于利用预设反射强度阈值从所述优化后的4d毫米波雷达张量中提取所述任一目标;获取单元,用于根据所述任一目标得到所述4d毫米波雷达点云。
10、本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的4d毫米波雷达点云的生成方法。
11、本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上述实施例所述的4d毫米波雷达点云的生成方法。
12、本申请第五方面实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被执行时,用于实现如上的4d毫米波雷达点云的生成方法。
13、本申请实施例可以获取任一目标的多帧激光点云,通过拼接多帧激光点云得到稠密的场景真值,并将稠密的场景真值投影至4d毫米波雷达张量维度上,得到原始4d毫米波雷达张量信息,并利用预先构建的深度神经网络进行优化,得到优化后的4d毫米波雷达张量,进而得到4d毫米波雷达点云,从而在充分利用其他传感器信息实现点云优化的同时,不造成4d毫米波雷达自身特性的损失。由此,解决了相关技术中,在进行4d毫米波雷达点云生成时,难以兼顾点云优化和降低4d毫米波雷达自身特性损失的技术问题。
14、本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
1.一种4d毫米波雷达点云的生成方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述拼接所述多帧激光点云得到稠密的场景真值,包括:
3.根据权利要求1所述的方法,其特征在于,所述利用预先构建的深度神经网络优化所述原始4d毫米波雷达张量信息,包括:
4.根据权利要求1所述的方法,其特征在于,所述基于所述优化后的4d毫米波雷达张量得到所述任一目标的4d毫米波雷达点云,包括:
5.一种4d毫米波雷达点云的生成装置,其特征在于,包括:
6.根据权利要求5所述的装置,其特征在于,所述拼接模块包括:
7.根据权利要求5所述的装置,其特征在于,所述生成模块包括:
8.根据权利要求5所述的装置,其特征在于,所述生成模块包括:
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-4任一项所述的4d毫米波雷达点云的生成方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-4任一项所述的4d毫米波雷达点云的生成方法。
