本发明涉及外参标定领域,具体涉及一种针对运动待测物的相机外参实时获取方法。
背景技术:
1、工业检测场景中,对于大型待测物而言,待测位置通常分布在待测物的不同区域,单个相机的视场范围无法覆盖全部的待测区域,为此,为了使得相机能够采集到待测物上的多个区域,可以采用以下两种方式:
2、方式一:增加相机数量,但是,该方式添加了额外的设备成本。
3、方式二:采用待测物与相机相对移动的方式,在该方式中,批量待测物被依次放置在移动设备(辊床)上、相对于相机进行连续平移运动;对于每个待测物而言,相机按照预设的帧率多次采集运动过程中的待测物图像,其中,单张图像中仅包含待测物的局部区域,随着待测物平移,采集到的多张图像能够覆盖待测物从头到尾的全部区域。该方式,无需增加设备成本,更加受到关注。使用该方式时,为了实现图像的全局拼接或者对于图像中特征点进行三维解算,需要预先标定运动中的待测物坐标系与相机坐标系之间的相对位置关系(相机外参)。现有技术中的外参标定方法,普遍针对于静止状态下的待测物进行外参标定,针对运动物体的外参标定方法鲜有提及。
技术实现思路
1、为了解决上述技术问题,本发明提供一种针对运动待测物的相机外参实时获取方法,旨在提高相机实时外参的获取精度,保障后续图像检测时的三维定位精度。
2、为此,本发明的技术方案如下:
3、一种针对运动待测物的相机外参实时获取方法,待测物置于辊床上,相机固定在辊床周围,相机的周围固定有感应器,所述感应器用于感知待测物是否到位;
4、所述辊床设有滚轮,所述滚轮受控于电机,所述电机设有编码器,电机带动滚轮匀速转动时,编码器连续记录脉冲序号,辊床前进;电机控制滚轮不转动时,编码器停止计数,辊床停止;
5、检测时,辊床前进,批量待测物被依次放置在辊床上、相对于相机进行连续平移运动;当单个待测物触发感应器时,相机开始按照预设的帧率多次采集运动过程中的待测物图像,其中,单张图像中仅包含待测物的局部区域,随着待测物平移,采集到的多张图像能够覆盖待测物从头到尾的全部区域;
6、在正式开始检测之前,利用其中一个待测物进行以下步骤,获取不同时刻待测物坐标系与相机坐标系之间的相对位置关系,所述待测物坐标系的x轴平行于辊床平移的方向、y轴垂直于平移的方向:
7、1)当待测物触发感应器时,辊床停止,提取此时编码器记录的脉冲序号记为a0;记此位置为初始位置并进行相机标定,得出待测物坐标系与相机坐标系之间的旋转平移关系r0t0;其中,r0表示旋转矩阵,t0表示平移矩阵,其包含三个坐标轴方向上的平移分量tx0、ty0、tz0;
8、2)辊床前进,辊床中的编码器连续记录脉冲序号;
9、每次相机采图时,均提取编码器记录的脉冲序号并利用如下公式计算获取该时刻下的待测物坐标系与相机坐标系之间的旋转平移关系riti:
10、旋转矩阵ri=r0、平移矩阵 ;
11、其中,i表示第i幅图像,s=d×(ai-a0);ai为采集第i张图像时编码器记录的脉冲序号,d为预先标定的相邻两个脉冲序号之间待测物平移的距离,θ为预先标定的待测物前进方向与辊床前进方向之间的夹角;
12、将计算得出的riti存储为实时的相机外参。
13、进一步,d和θ的预先标定过程如下:
14、当待测物触发感应器时,激光跟踪仪获取预先固定在待测物上的靶球的三维坐标;
15、令辊床向前移动,经过预设时间后停止,此时,激光跟踪仪再次获取待测物上标记点的三维坐标并将此时编码器记录的脉冲序号记为a';
16、将两次获取到的三维坐标之间的连线与x轴的夹角记为θ;
17、计算两个三维坐标之间的空间距离,记为l;
18、计算:,l为两次获取到的三维坐标之间空间距离。
19、针对待测物在辊床上发生打滑的情况,本发明还公开一种针对运动待测物的相机外参实时获取方法,待测物置于辊床上,相机固定在辊床周围,相机的周围固定有感应器,所述感应器用于感知待测物是否到位;
20、所述辊床设有滚轮,所述滚轮受控于电机,所述电机设有编码器,电机带动滚轮匀速转动时,编码器连续记录脉冲序号,辊床前进;电机控制滚轮不转动时,编码器停止计数,辊床停止;
21、检测时,辊床前进,批量待测物被依次放置在辊床上、相对于相机进行连续平移运动;当单个待测物触发感应器时,相机开始按照预设的帧率多次采集运动过程中的待测物图像,其中,单张图像中仅包含待测物的局部区域,随着待测物平移,采集到的多张图像能够覆盖待测物从头到尾的全部区域;
22、在正式开始检测之前,利用其中一个待测物进行以下步骤,获取不同时刻待测物坐标系与相机坐标系之间的相对位置关系,所述待测物坐标系的x轴平行于辊床平移的方向、y轴垂直于平移的方向:
23、s1、当待测物触发感应器时,辊床停止,提取此时编码器记录的脉冲序号记为a0;记此位置为初始位置并进行相机标定,得出待测物坐标系与相机坐标系之间的旋转平移关系r0t0;其中,r0表示旋转矩阵,t0表示平移矩阵,其包含三个坐标轴方向上的平移分量tx0、ty0、tz0;
24、s2、辊床前进,辊床中的编码器连续记录脉冲序号,相机按照预设的帧率采集图像;在辊床前进的过程中,令辊床随机停止多次,每次停止时均进行步骤b,直到待测物平移出检测区域时,执行步骤s3;
25、所述步骤b为:
26、相机关闭,将编码器当前记录的脉冲序号记为a'j,获取当前待测物的位置相比于初始位置平移的距离lj,以及待测物前进方向与辊床前进方向之间的夹角θj;j表示步骤b被执行的次数,j=1,2,3……m,m表示总次数;
27、计算;
28、计算在脉冲序号a0~a'j期间,相机采图时,待测物坐标系与相机坐标系之间的旋转平移关系r''it''i:
29、旋转矩阵r''i=r0、平移矩阵 ;
30、其中,i表示第i幅图像,s''=dj×(ai-a0);
31、ai表示采集第i张图像时编码器记录的脉冲序号;
32、利用r''it''i解算第i张图像中的特征点在待测物坐标系下的坐标,记为实测坐标;
33、计算实测坐标与特征点在数模中的坐标之间的偏差值;
34、辊床前进,辊床中的编码器连续记录脉冲序号,相机开启,继续按照预设的帧率采集图像;
35、s3、从步骤s2计算出多个偏差值中,挑选最小偏差值对应的dj和θj,分别记为d和θ;
36、利用其计算相机每次采图时,待测物坐标系与相机坐标系之间的旋转平移关系riti:
37、旋转矩阵ri=r0、平移矩阵;
38、其中,i表示第i幅图像,s=d×(ai-a0);
39、将计算得出的riti存储为实时的相机外参。
40、进一步,步骤b中,获取待测物前进方向与辊床前进方向之间的夹角θj,方式如下:
41、在步骤s1中,利用激光跟踪仪获取预先固定在待测物上的靶球的三维坐标q;
42、在步骤b中,利用激光跟踪仪再次获取待测物上靶球的三维坐标qj,将三维坐标qj与三维坐标q之间的连线与x轴的夹角记为θj。
43、进一步,当前待测物的位置相比于初始位置平移的距离lj的方式包括以下两种:
44、方式一:
45、将三维坐标qj与三维坐标q之间的空间距离记为lj;
46、方式二:
47、在步骤s1中,相机采集待测物表面图像,提取其中的待测物表面特征点的像素坐标(u,v),在待测物数模上查找该特征点的三维坐标(x1,y1,z1);
48、在步骤b中,在相机最新采集到的图像中,提取其中的另一特征点的像素坐标(u',v'),在待测物数模上查找该特征点的三维坐标(x1',y1',z1');
49、,s表示像素当量。
50、优选,步骤s2中,在辊床前进的过程中,令辊床等间距停止多次。
51、优选,还包括以下步骤:
52、i、在[d-δ,d+δ]区间内,按照预设步长多次取值,每次取值后均进行以下处理:
53、将当前取到的数值记为d';
54、利用d'计算平移矩阵 ;
55、其中,s'=d'×(ai-a0);
56、利用riti'解算第i张图像中的特征点在待测物坐标系下的坐标,记为实测坐标;
57、计算实测坐标与特征点在数模中的坐标之间的偏差值;
58、ii、挑选最小偏差值对应的d'的数值,将该数值解算得出的riti'记为最终的riti。
59、进一步,解算实测坐标的方式为:
60、利用相机光心与特征点的在图像中的像素坐标构建空间直线l;
61、利用riti'将待测物数模坐标系转换到相机坐标系下,空间直线l与转换后的待测物数模交汇,将交点坐标记为特征点对应在相机坐标系下的三维坐标;
62、再利用riti'将三维坐标转换到待测物坐标系下,得到实测坐标。
63、进一步,步骤i中,所述特征点有多个,分布在不同的图像中,对于每个特征点,先查找其所在的图像对应的riti',再利用查找到的riti'解算实测坐标、偏差值;
64、将各个特征点对应的偏差值取均值作为最终的偏差值。
65、优选,δ取值为0.3mm~1mm,预设步长取值为0.1δ~0.5δ。
66、本方法具有以下特点:
67、1、本方法先标定相邻两个脉冲序号之间待测物平移的距离d,进而准确获取待测物实时移动的距离值。基于距离值解算平移矩阵的变化量,得出实时外参。
68、2、将d的值在浮动区间内迭代,选出三维定位最佳的数值,进一步消除结算过程中引入的误差,将三维定位误差控制在3mm以内,可适用于缺陷精准三维定位、缺陷自动打磨等高精度应用场景。
69、3、令辊床在检测区域内多次停止,标定得出多个数值dj ,进一步解决车辆运行过程中存在打滑,d的数值标定不准确的问题,提升标定结果准确性和稳定性。
1.一种针对运动待测物的相机外参实时获取方法,待测物置于辊床上,相机固定在辊床周围,相机的周围固定有感应器,所述感应器用于感知待测物是否到位;
2.如权利要求1所述针对运动物体的相机外参实时获取方法,其特征在于:d和θ的预先标定过程如下:
3.一种针对运动待测物的相机外参实时获取方法,其特征在于:待测物置于辊床上,相机固定在辊床周围,相机的周围固定有感应器,所述感应器用于感知待测物是否到位;
4.如权利要求3所述针对运动物体的相机外参实时获取方法,其特征在于:步骤b中,获取待测物前进方向与辊床前进方向之间的夹角θj,方式如下:
5.如权利要求4所述针对运动物体的相机外参实时获取方法,其特征在于:当前待测物的位置相比于初始位置平移的距离lj的方式包括以下两种:
6.如权利要求3所述针对运动物体的相机外参实时获取方法,其特征在于:步骤s2中,在辊床前进的过程中,令辊床等间距停止多次。
7.如权利要求1或3所述针对运动物体的相机外参实时获取方法,其特征在于:还包括以下步骤:
8.如权利要求7所述针对运动物体的相机外参实时获取方法,其特征在于:解算实测坐标的方式为:
9.如权利要求7所述针对运动物体的相机外参实时获取方法,其特征在于:步骤i中,所述特征点有多个,分布在不同的图像中,对于每个特征点,先查找其所在的图像对应的riti',再利用查找到的riti'解算实测坐标、偏差值;
10.如权利要求7所述针对运动物体的相机外参实时获取方法,其特征在于:δ取值为0.3mm~1mm,预设步长取值为0.1δ~0.5δ。