基于深度信息的相机安装校准工装方法及设备与流程

    专利查询2025-11-04  20


    本发明涉及机器人领域,尤其涉及一种基于深度信息的相机安装校准工装方法及设备。


    背景技术:

    1、近几年,随着大数据,人工智能,5g等技术的发展,机器人领域也得到了蓬勃的发展,机器人也从简单的流水线作业拓展到了能够在未知环境下自主运动,实现更加复杂的功能。传感器作为承担机器人“眼睛”的角色,在机器人实现自主运动中起到了举足轻重的作用。

    2、根据算法的差异,机器人使用的传感器主要可以分为激光传感器和视觉传感器两类。其中,视觉传感器根据结构不同可以分为单目相机,双目相机和深度相机。其中,单目相机由于结构简单而无法直接测量尺度信息,机器人快速运动时易发生丢失跟踪等问题;双目相机由于相机基线问题测量的深度信息距离有限,由于摄像头的增加计算量也大大增加,加大了处理器的负荷。相比较于单目和双目相机,深度相机利用结构光测量实际距离,以获得更加准确的深度信息,操作简单并且准确度高,在目前的机器人领域应用广泛。

    3、由于深度传感器在整个机器人系统中的重要性,准确的位置安装是实现机器人精准作业的关键,我们也将相机坐标系与机器人坐标系之间的位置安装参数称之为相机的外参。错误的相机安装位置可能会导致相机捕获的图像和实际场景不同,也可能会引入畸变从而使图像失真,加大后期外参标定的工作难度,甚至导致机器人运行精度降低乃至失败。

    4、而由于机器人模具制造和工人装配误差,实际的机器人相机安装角度与理论值常常有较大的误差,因此如何有效的检测出相机的安装误差并进行校准就是必须有效解决的问题。对于现有的标定校准工具,大多需要在校准过程中使用一些辅助工具如标定板,aruco标签,标定球等,这也加大了工人校准的操作难度。


    技术实现思路

    1、本发明的一个目的是提供一种基于深度信息的相机安装校准工装方法及设备。

    2、根据本发明的一个方面,提供了一种基于深度信息的相机安装校准工装方法,该方法包括:

    3、获取待校准机器人的深度相机在预设位置拍摄的静止的刚体物体的原始深度图像,获取参考机器人的安装合格的深度相机在相同的预设位置拍摄的静止的相同刚体物体的目标深度图像;

    4、对原始深度图像进行滤波操作,得到滤波后的原始深度图像;对目标深度图像进行滤波操作,以滤波后的目标深度图像;

    5、根据过滤波后的原始深度图像和目标深度图像的单位矩阵中的对应的匹配点,计算待校准机器人的深度相机的最优旋转和最优平移。

    6、进一步的,上述方法中,对原始深度图像进行滤波操作,得到滤波后的原始深度图像;对目标深度图像进行滤波操作,以滤波后的目标深度图像,包括:

    7、根据待校准机器人的深度相机的内参将原始深度图像的深度像素点投影为原始3d点云;

    8、利用ransac算法,剔除原始3d点云中z轴深度大于预设深度阈值的点,以得到滤波后的原始3d点云。

    9、进一步的,上述方法中,根据待校准机器人的深度相机的内参将原始深度图像的深度像素点投影为原始3d点云中,

    10、投影为原始3d点云的公式如下:

    11、

    12、y=(u-cy)*z/fy

    13、其中,x,y为3d点云的x轴和y轴坐标;

    14、v、u为深度像素图平面上x轴坐标和y轴坐标,z为深度相机拍摄得到的对应像素点位置的深度值;

    15、深度相机的内参包括:相机水平方向焦距fx,相机垂直方向焦距fy,成像平面x轴方向光心偏移cx,成像平面y轴方向光心偏移cy。

    16、进一步的,上述方法中,利用ransac算法,剔除原始3d点云中z轴深度大于预设深度阈值的点,以得到滤波后的原始3d点云,包括:

    17、利用ransac算法,训练原始3d点云对应的最终点模型;

    18、基于最终点模型,剔除原始3d点云中z轴深度大于预设深度阈值的点,以得到滤波后的原始3d点云。

    19、进一步的,上述方法中,利用ransac算法,训练原始3d点云对应的最终点模型,包括:

    20、ransac算法通过反复选择原始3d点云中的一组随机点,作为假设的局内点;

    21、设置一个初始点模型,适应于原始3d点云中所有假设的局内点;

    22、用初始点模型测试原始3d点云中的其他点,若某个其他点也适用于所述初始点模型,则将该点加入假设的局内点;

    23、若有大于预设数量阈值的点被归类为假设的局内点,则基于所有当前的假设的局内点重新估计模型,以得到原始3d点云对应的最优点模型;

    24、通过最优点模型中点假设局内点的数量和模型的错误率来评估最优点模型,以得到最终点模型。

    25、进一步的,上述方法中,根据过滤波后的原始深度图像和目标深度图像的单位矩阵中的对应的匹配点,计算待校准机器人的深度相机的安装位置的最优旋转和最优平移,包括:

    26、步骤s31,根据过滤波后的原始深度图像和目标深度图像的单位矩阵中的对应的匹配点,计算出过滤波后的原始深度图像到过滤波后的目标深度图像的变换矩阵,基于变换矩阵将过滤波后的原始深度图像进行变换,得到过滤波后的原始深度图像的原点云在过滤波后的目标深度图像的目标点云坐标系下的投影;

    27、步骤s32,基于所述投影,在目标点云中寻找与投影中的每一个采样点最近的点,得到目标点与原点的匹配点对;

    28、步骤s33,当某个匹配点对的目标点与原点之间的距离大于预设距离阈值,则认为该匹配点对是不合理的匹配点对,需要剔除该不合理的匹配点对,得到剩余的合理的匹配点对,即未剔除的匹配点对;

    29、步骤s34,基于剩余的合理的匹配点对,求解最优旋转r*,t*和最优平移r*,t*,以使损失loss最小。

    30、进一步的,上述方法中,步骤s34,基于剩余的合理的匹配点对,求解最优旋转r*,t*和最优平移r*,t*,以使损失loss最小之后,还包括:

    31、当循环执行步骤s31至步骤s34预设迭代次数后,或上一次迭代计算得到的最优旋转r*,t*和最优平移r*,t*与本次迭代计算得到的最优旋转r*,t*和最优平移r*,t*的差值小于预设阈值,则判断为迭代收敛,将本次迭代计算得到的最优旋转r*,t*和最优平移r*,t*,作为最终的最优旋转r*,t*和最优平移。

    32、进一步的,上述方法中,损失loss的计算公式如下:

    33、

    34、其中,和是原点云ps和目标点云pt中的对应点对,r*,t*即为待校准机器人的深度相机的安装位置的旋转误差和平移误差,i表示某个点对的序号;

    35、和分别表示源点云和目标点云的质心,令令这是一个3×3的矩阵,对h进行svd分解得到h=u∑vt,则icp问题的闭形式解如下:

    36、最优旋转为:

    37、r*=vut,

    38、最优平移为:

    39、

    40、根据本发明的另一方面,还提供一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现上述任一项所述的方法。

    41、根据本发明的另一方面,还提供一种用于在网络设备端信息处理的设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备执行上述任一项所述的方法。

    42、与现有技术相比,本发明是只依赖相机深度信息的校准方案,只需要在选定的校准地点标记好相机采样拍照位置,确保标记场所空旷,参考标定物特征明显即可。其中,不需要特制标定板大大降低了校准成本。只需要通过对比一台安装准确的深度相机所拍摄的图片,就可以准确快速计算出待校准相机的校准外参对于每台待校准的机器人只需采样一张图像即可进行校准,提高了校准的效率,降低了工人的校准难度,提高了可操作性,并且实际使用表明,该方案可以在一分钟内完成标定,速度快,鲁棒性强,大大提高了工业环境下的校准效率。本发明主要用于机器人传感器安装精度校准领域。利用机器人自身安装的深度传感器信息进行安装精度校准,不依赖额外的传感器输入,实现了一种精度高,可操作性强的校准工装。


    技术特征:

    1.一种基于深度信息的相机安装校准工装方法及设备,其中,该方法包括:

    2.如权利要求1所述的基于深度信息的相机安装校准工装方法,其中,对原始深度图像进行滤波操作,得到滤波后的原始深度图像;对目标深度图像进行滤波操作,以滤波后的目标深度图像,包括:

    3.如权利要求1所述的基于深度信息的相机安装校准工装方法,其中,根据待校准机器人的深度相机的内参将原始深度图像的深度像素点投影为原始3d点云中,

    4.如权利要求2所述的基于深度信息的相机安装校准工装方法,其中,利用ransac算法,剔除原始3d点云中z轴深度大于预设深度阈值的点,以得到滤波后的原始3d点云,包括:

    5.如权利要求4所述的基于深度信息的相机安装校准工装方法,其中,利用ransac算法,训练原始3d点云对应的最终点模型,包括:

    6.如权利要求1所述的基于深度信息的相机安装校准工装方法,其中,根据过滤波后的原始深度图像和目标深度图像的单位矩阵中的对应的匹配点,计算待校准机器人的深度相机的安装位置的最优旋转和最优平移,包括:

    7.如权利要求6所述的基于深度信息的相机安装校准工装方法,其中,步骤s34,基于剩余的合理的匹配点对,求解最优旋转r*,t*和最优平移r*,t*,以使损失loss最小之后,还包括:

    8.如权利要求6所述的基于深度信息的相机安装校准工装方法,其中,损失loss的计算公式如下:

    9.一种计算机可读介质,其上存储有计算机可读指令,所述计算机可读指令可被处理器执行以实现权利要求1至8中任一项所述的方法。

    10.一种用于在网络设备端信息处理的设备,该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该设备执行权利要求1至8中任一项所述的方法。


    技术总结
    本发明的目的是提供一种基于深度信息的相机安装校准工装方法及设备,只需要通过对比一台安装准确的深度相机所拍摄的图片,就可以准确快速计算出待校准相机的校准外参对于每台待校准的机器人只需采样一张图像即可进行校准,提高了校准的效率,降低了工人的校准难度,提高了可操作性,并且实际使用表明,该方案可以在一分钟内完成标定,速度快,鲁棒性强,大大提高了工业环境下的校准效率。本发明主要用于机器人传感器安装精度校准领域。利用机器人自身安装的深度传感器信息进行安装精度校准,不依赖额外的传感器输入,实现了一种精度高,可操作性强的校准工装。

    技术研发人员:吕程,白静,庞梁,王小挺,谷桐
    受保护的技术使用者:上海思岚科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-31643.html

    最新回复(0)