本发明涉及arhud,尤其是指基于三维定位与地图构建算法的arhud的校准方法。
背景技术:
1、arhud是应用于汽车上用来辅助驾驶员开车的辅助设备,可以将行驶过程中的adas、导航等重要信息通过光学设备经过前挡风玻璃投射到驾驶员前方,避免驾驶员因低头看仪表中控而导致发生交通事故的危险。
2、传统的对于arhud标定方法需要手工测量人眼相机相对于世界坐标owxwywzw的x、y、z三个位移关系和θx,θy,θz三个旋转角度关系共六个自由度的值,这样有两个缺点:1.)测量的时间成本、仪器成本和劳动力成本较高;2.)测量标注过程中会产生较大误差。
3、同时现有技术一般在畸变矫正神经网络输入人眼相机的位置坐标x,y,z值,但实际风挡上的图像扭曲程度和人眼的观察角度也是有关系的,导致挡风玻璃上生成的图像失真,影响使用体验。
4、中国专利公开号cn115239922a,公开日2022年10月25日,名称为《基于双目相机的ar-hud三维坐标重建方法》的发明专利中公开了一种基于双目相机的ar-hud三维坐标重建方法,包括坐标系建立、透视投影、坐标重建和重映射等步骤,并利用双目相机通过标定、校正、匹配计算视差值和深度信息作为三维坐标重建的依据;与传统双目相机标定的区别在于加入了人眼三维坐标系,解决了传统单目相机缺少真实世界物体的深度信息,多维坐标系转换数据处理运算量大,以及重映射投影与真实目标不贴合等问题。不足之处在于,该专利的arhud坐标重建方法操作较为繁琐,步骤较为复杂,导致测量的时间成本、仪器成本和劳动力成本仍然较高。
技术实现思路
1、本发明的目的是克服现有技术中的arhud的标定过程成本较高、误差较大,同时在挡风玻璃上生成的图像失真,影响使用体验的缺陷,提供一种基于三维定位与地图构建算法的arhud的校准方法。
2、本发明的目的是通过下述技术方案予以实现:
3、基于三维定位与地图构建算法的arhud的校准方法,包括标定训练步骤和实际运行步骤,其中标定训练步骤包括:
4、步骤1,启动人眼相机,通过三维定位与地图构建算法计算人眼相机的位姿;
5、步骤2,将人眼相机的位姿和虚拟等效平面二维坐标作为输入,预畸变图的坐标作为输出,训练畸变矫正神经网络;
6、实际运行步骤包括:
7、步骤3,将训练完成的畸变矫正神经网络部署在畸变模块内;
8、步骤4,获取人眼位姿和虚拟等效平面二维坐标,畸变模块根据人眼位姿、虚拟等效平面二维坐标以及畸变矫正神经网络确定arhud投射原图的畸变程度,arhud光机投射预畸变图。
9、作为优选,所述的步骤1中,所述的三维定位与地图构建算法为orbslam3算法。
10、作为优选,通过orbslam3算法计算人眼相机的位姿的过程具体为:
11、步骤1a,根据人眼相机最初若干帧的特征点建立世界坐标系;
12、步骤1b,对每一帧图片中的特征点持续跟踪,相邻两帧之间的对应特征点,用于三角化方法确定这些特征点在世界坐标系下的三维坐标;
13、步骤1c,根据当前帧人眼摄像头视角下的图片的特征点二维坐标,和步骤1b中得到的对应特征点的三维坐标,组成特征点对,根据相机模型的刚性变换公式和透视变换公式,计算人眼相机位姿,即世界坐标和相对于世界坐标的旋转角度。
14、作为优选,所述的世界坐标为x,y,z,所述的相对于世界坐标的旋转角度为θx,θy,θz。
15、作为优选,所述的步骤2中,训练畸变矫正神经网络包括样本集和测试集,人眼相机一个位置的位姿作为一个样本,调整人眼相机的位置生成多个样本构成样本集。
16、作为优选,所述的样本包含圆点图m*n个在人眼相机上图像上的二维坐标样本点,所述的样本的数量为s个,总共得到s*m*n个训练样本点,一个训练样本点包含当前人眼相机6dof数据和虚拟等效平面二维坐标总共8个输入,包含预畸变图中圆点的坐标uo,vo共2个输出。
17、作为优选,所述的畸变矫正神经网络的激活函数是sigmoid,隐含层包括三层,神经元数量分别是50,100,20。
18、作为优选,所述的步骤4中,获取人眼位姿的方式是通过dms摄像头获取。
19、作为优选,所述的步骤4中,获取虚拟等效平面二维坐标的方式是遍历用于投影渲染的图片坐标得到。
20、本发明的有益效果是:本发明通过三维定位与地图构建算法直接得到人眼相机的世界坐标和相对于世界坐标的旋转角度,降低了arhud标定的成本,提升了标定的精度;同时本发明将世界坐标的旋转角度作为畸变矫正神经网络的输入,提升了畸变矫正神经网络的精度,使使用者观察的arhud显示图不会失真,提升了使用者的用户体验。
1.基于三维定位与地图构建算法的arhud的校准方法,其特征是,包括标定训练步骤和实际运行步骤,其中标定训练步骤包括:
2.根据权利要求1所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的步骤1中,所述的三维定位与地图构建算法为orbslam3算法。
3.根据权利要求2所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,通过orbslam3算法计算人眼相机的位姿的过程具体为:
4.根据权利要求3所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的世界坐标为x,y,z,所述的相对于世界坐标的旋转角度为θx,θy,θz。
5.根据权利要求1所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的步骤2中,训练畸变矫正神经网络包括样本集和测试集,人眼相机一个位置的位姿作为一个样本,调整人眼相机的位置生成多个样本构成样本集。
6.根据权利要求5所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的样本包含圆点图m*n个在人眼相机上图像上的二维坐标样本点,所述的样本的数量为s个,总共得到s*m*n个训练样本点,一个训练样本点包含当前人眼相机6dof数据和虚拟等效平面二维坐标总共8个输入,包含预畸变图中圆点的坐标uo,vo共2个输出。
7.根据权利要求1或6所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的畸变矫正神经网络的激活函数是sigmoid,隐含层包括三层,神经元数量分别是50,100,20。
8.根据权利要求1所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的步骤4中,获取人眼位姿的方式是通过dms摄像头获取。
9.根据权利要求1或8所述的基于三维定位与地图构建算法的arhud的校准方法,其特征是,所述的步骤4中,获取虚拟等效平面二维坐标的方式是遍历用于投影渲染的图片坐标得到。
