雷达标定方法、装置及存储介质

1.本发明涉及雷达技术领域，尤其涉及一种雷达标定方法、装置及存储介质。


背景技术：

2.雷达和相机是车载系统中的重要的传感器，对物体识别和定位起着关键的作用，两者都可用于进行车道检测，雷达和相机各有优缺点。其中，相机识别障碍物的能力较强，且可以对障碍物进行细致分类，但是相机难以对物体进行精准定位，且采集数据时受环境光的限制。雷达探测距离较远且能够准确获取物体的三维信息，但识别障碍物的能力较弱，难以对物体进行分类。
3.将雷达与相机的功能进行融合可以相互取长补短，提升雷达系统的性能，其中，两者相融合时首要解决的问题是如何对雷达和相机进行联合标定。相机成像后，物体存在于相机图片的像素坐标系中，雷达采集数据后，物体存在于雷达坐标系中，标定算法即根据相机的二维图像和雷达采集的数据来确定雷达坐标系到像素坐标系的欧式转换矩阵。
4.现有技术中，雷达和相机联合标定的方法中，大多采用使用特制标定板进行离线标定的方法。具体来说，在一个矩形标定板中心放置一个角反，然后在图片上进行矩形识别，找出图片中的标定板从而计算出标定板在图片上的中心坐标。用雷达识别空间内的角反位置，其中，和分别为雷达坐标系下物体的距离和方位角。通过在视野范围内放置多个标定板或用一个标定板多次采样的方式来获取个点对，通过该个点构建点对点的约束，最后配合线性求解闭式解或非线性优化求解最优解的方式来计算雷达坐标系到像素坐标系的欧式转换矩阵。
5.现有技术中的标定方法至少存在以下三个技术问题：1、使用标定板进行标定的方法对场景的要求较高，需要固定的空旷场景，并需要操作人员实地安放标定板以获取稳定测量点对。标定过程需要花费大量的时间成本、人力成本、测试场景成本和设备成本。
6.2、现有技术中，通过使用点对点的约束来直接解算欧式转换矩阵，并没有通过额外的冗余信息对标定结果进行二次优化，导致数学模型的鲁棒性较差，测量精度较低。
7.3、在雷视传感器完成部署后，再次测量时需要重现之前的测试场景，鉴于环境的多变性和不确定性，在现实应用中，很难在工作场景内进行二次标定。


技术实现要素：

8.本发明提供了一种雷达标定方法、装置及存储介质，旨在有效解决现有技术中通过标定板进行雷达标定导致标定时间和人工成本高，且点对点约束解欧式转换矩阵易导致模型鲁棒性差的技术问题。
9.根据本发明的一方面，本发明提供一种雷达标定方法，所述方法包括：针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点
云图；在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
10.进一步地，所述在所述二维图像中确定表征所述检测目标的线段包括：基于霍夫变换方法在所述二维图像中确定所述线段。
11.进一步地，所述获取所述二维点云图中与所述线段位置对应的多个点包括：通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
12.进一步地，所述在所述点线对集合中获取满足预设条件的多个点线对包括：基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。
13.进一步地，所述将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；基于直接线性变换将所述目标点线约束转换为对应的线性约束。
14.进一步地，所述求解所述线性约束的闭式解包括：基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
15.进一步地，所述根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵包括：根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
16.进一步地，所述基于霍夫变换方法在所述二维图像中确定所述线段包括：（1）对所述二维图像进行高斯模糊处理；（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；（3）根据边缘检测算法获取所述目标区域的边缘特征图；（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
17.进一步地，所述基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对包括：（1）在所述点线对集合中随机选取8个点线对作为内点；（2）基于直接线性变换算法估算所述内点所对应的数据模型；
（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵h，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
18.进一步地，所述根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：针对每个所述点线对，执行如下操作：（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的点在雷达坐标系中的坐标，基于所述转换矩阵将所述线段对应的点在雷达坐标系中的坐标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：；对应的矩阵表达式为:，其中， 为所述线段在图像坐标系中的表达式， 为所述线段对应的点在所述雷达坐标系中的坐标， 为所述线段对应的点在所述图像坐标系中的坐标；（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：，的表达式如下：的表达式如下：的表达式如下：其中， h为所述转换矩阵h 按行展开后的表达式，表征该点线对中的线段与对应的点之间的线性关系。
19.进一步地，所述基于奇异值分解算法求解所述线性约束的闭式解包括：对每个所述线性约束对应的做奇异值分解以得到下式：，其中，矩阵为m * m的酉矩阵，矩阵为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵为n * n的酉矩阵；
将所述矩阵的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解。
20.进一步地，所述根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵包括：将所述转换为向量以作为模型的初始值；根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述lm算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
21.根据本发明的另一方面，本发明还提供了一种雷达标定装置，其特征在于，所述装置包括：数据采集模块，用于针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；点线对集合构建模块，用于在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；线性约束构建模块，用于在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；求解模块，用于求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；优化模块，用于根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
22.根据本发明的另一方面，本发明还提供了一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一雷达标定方法。
23.通过本发明中的上述实施例中的一个实施例或多个实施例，至少可以实现如下技术效果：在本发明所公开的技术方案中，在雷达和相机的联合标定方法中，将空间内有直线特征的强反射物体作为标定中的检测目标，在相机的二维图形上检测表示该物体的线段，在雷达数据中获取该物体附近的点目标，以构建点线约束来求解欧式转换矩阵。本方案不需要额外的标定板就可以实现雷达和相机的在线联合标定，为了确定精确的转换矩阵，使用冗余的点线约束配合ransac算法估计出数学模型需要的内点，以减少噪声对模型的影响。另外，在通过直接线性变换方法估算出转换矩阵的解析解后，通过全局迭代优化算法对转换矩阵进行二次修正。该方法可以实现在线自标定，在雷达和相机的联合标定过程中，只需要人工远程操作就可以实现标定，因此便于在无人值守的场景中使用，减少了人工成本。
该自标定方法还便于在工作环境内再次进行标定，且不需要标定板等额外的工具，减少了设备成本。
附图说明
24.下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。
25.图1为本发明实施例提供的一种雷达坐标系和相机坐标系的示意图；图2为本发明实施例提供的一种雷达标定方法的步骤流程图；图3为本发明实施例提供的一种雷达标定装置的结构示意图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
27.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
28.在本发明所公开的技术方案中，默认使用2d雷达和普通的单目摄像头，两个传感器的安装的相对关系和坐标系的定义如图1所示。其中为雷达坐标系，为相机坐标系，为像素坐标系，默认所有坐标系都是右手系。其中，在雷达坐标系中，2d雷达默认的全部点目标的高度相同，即=0或为某一固定数值。
29.令相机坐标系为转换的主坐标系，设相机获取的二维图像中的一点和雷达数据中的一点是相互关联的，根据相机投影模型可以得到如下的转换关系：其中为3 x 4的齐次内参矩阵，可以由matlab或opencv中的相机矫正模块计算获取。本发明默认内参矩阵为已知信息，不对内矩阵的求取做解释。
30.雷达和相机的联合标定，本质上是求解两者之间的外参矩阵。其中表示相机坐标系坐标原点在雷达坐标系下的坐标。为3 x 3的矩阵，旋转矩阵的第一行表示相机坐标系下雷达坐标系轴的坐标；第二行表示相机坐标系下雷达坐标系轴的坐标；第三行表示相机坐标系下雷达坐标系轴的坐标。通过外参可以让雷达坐标系经过平移和旋转后对齐相机坐标系。本发明的目的是
直接通过算法得到转换矩阵，其中 ,得到转换矩阵后可以用直接计算外参矩阵。
31.下面根据图2详细介绍本发明中的雷达标定方法。
32.图2所示为本发明实施例所提供的雷达标定方法的步骤流程图，所述雷达标定方法包括：步骤101： 针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；步骤102：在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；步骤103：在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；步骤104：求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；步骤105：根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
33.下面对上述步骤101-104进行具体描述。
34.在上述步骤101中，针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图。
35.示例性地，获取相机的摄像头拍摄的二维图像，并获取雷达采集的二维点云图，其中，相机拍摄二维图形的时间和雷达采集二维点云图时的时间为同一时间，具体来说，相机中的时间戳和雷达中的时间戳保持一致。另外，二维图形和二维点云图中的检测目标也保持一致，其中，检测目标上有近似直线的边缘线，例如马路边上的路沿，路沿上有至少一条近似直线的边缘线。
36.在上述步骤102中，在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合。
37.示例性地，在二维图像中重点找出和检测目标相对应的点，举例来说，如果检测目标为路沿，则找出相机拍摄的照片中路沿上近似直线的边缘线所对应的线段。二维点云图中没有直观的线段，根据线段位置确定出多个点。然后将每个点与二维图像中的线段进行关联，形成点线对集合。
38.在上述步骤103中，在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束。
39.示例性地，在点线对集合中，有些点线对的点的误差较大，并没有和线段相对应，所以在求转换矩阵之前，需要根据ransac算法对点线对进行筛选，通过ransac算法迭代估计符合模型的点线对，将选出的点线对当作符合模型的内点，并抛弃其它不符合模型的离散点。
40.当筛选出点线对以后，通过算法构建点线约束。在计算转换矩阵时，通过对测量精度和算法复杂度的综合权衡，确定选择的点线对的个数，有些步骤中并不需要对所有的点线束都进行计算，而是根据具体需求在点线约束中选取预设数量的点线约束。为了后续的计算，被选择的点线对被转换为对应的线性约束。
41.在上述步骤104中，求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解。
42.示例性地，在本发明所公开的技术方案中，并不是将直接求出的转换矩阵作为最终结果，而是先求出转换矩阵初始解，具体来说，首先求解线性约束的闭式解，进而计算得到转换矩阵初始解。
43.在上述步骤105中，根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
44.示例性地，为了获取雷达坐标系到像素坐标系的精确的欧式转换矩阵，并不是通过一次算法的求解结果作为最终的转换矩阵，而是根据满足预设条件的其它的点线对来对转换矩阵初始解进行非线性优化，以获得用于标定雷达的精确转换矩阵。
45.在本发明所公开的技术方案中，在雷达和相机的联合标定方法中，将空间内有直线特征的强反射物体作为标定中的检测目标，在相机的二维图形上检测表示该物体的线段，在雷达数据中获取该物体附近的点目标，以构建点线约束来求解欧式转换矩阵。本方案不需要额外的标定板就可以实现雷达和相机的在线联合标定，为了确定精确的转换矩阵，使用冗余的点线约束配合ransac算法估计出数学模型需要的内点，以减少噪声对模型的影响。另外，在通过直接线性变换方法估算出转换矩阵的解析解后，通过全局迭代优化算法对转换矩阵进行二次修正。该方法可以实现在线自标定，在雷达和相机的联合标定过程中，只需要人工远程操作就可以实现标定，因此便于在无人值守的场景中使用，减少了人工成本。该自标定方法还便于在工作环境内再次进行标定，且不需要标定板等额外的工具，减少了设备成本。
46.进一步地，在本发明所公开的技术方案中，在上述步骤102中，所述在所述二维图像中确定表征所述检测目标的线段包括：基于霍夫变换方法在所述二维图像中确定所述线段。
47.示例性地，通过基于霍夫变换方法在二维图像中确定出检测目标所对应的线段。霍夫变换是一种特征检测算法，被广泛应用在图像分析、计算机视觉以及数位影像处理。霍夫变换主要用来辨别找出物件中的特征，例如线段。在霍夫变换方法中，给定一个要辨别的形状的种类，算法会在参数空间中执行投票来决定物体的形状，具体通过累加空间里的局部最大值来确定。霍夫变换能识别任何形状，最经典的是侦测图片中的直线。
48.进一步地，在上述步骤102中，所述获取所述二维点云图中与所述线段位置对应的多个点包括：通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
49.示例性地，操作人员观察并对比二维图像和二维点云图，在二维点云图中的点集里确定线段所对应的区域，并人工选取线段对应的点。
50.进一步地，在上述步骤103中，所述在所述点线对集合中获取满足预设条件的多个
点线对包括：基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。
51.示例性地，使用随机抽样一致方法（random sample consensus，ransac）对点线对进行迭代计算，估计出满足预设条件的点线对，筛除产生误差比较大的点线对，可以提高计算精确度。随机抽样一致算法主要用于解决样本中的外点问题，最多可处理50%的外点情况。其基本思想是通过反复选择数据中的一组随机子集来达成目标。具体步骤为：首先，被选取的子集被假设为局内点，对应有一个模型适用于假设的局内点，即所有的未知参数都能从假设的局内点计算得出；其次，用得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点；再次，如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理；然后，用所有假设的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过。最后，通过估计局内点与模型的错误率来评估模型。在这个过程中，需要被重复执行固定的次数，每次产生的模型要么因为局内点太少而被舍弃，要么因为它比现有的模型更好而被选用。
52.进一步地，在上述步骤103中，所述将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；基于直接线性变换将所述目标点线约束转换为对应的线性约束。
53.示例性地，经过随机抽样一致方法对点线对进行筛选以后，保留的点线对为误差较小的多个点线对，在该多个点线对组成的多个点线约束中，随机选取预设数量的点线约束以作为目标点线约束，目标点线约束是指用于后续计算步骤的数据，其中，预设数量可以根据计算精度和算法复杂度来权衡确定，预设数量越大，则测量精度越高，但是相应的，预设数量越大，算法越复杂，处理时间会对应增加。其中，一个点线约束对应一个线性约束，通过线性约束矩阵算出的转换矩阵h本质上有8个自由度，因此需要8个或者8个以上的线性约束，即预设数量不小于8。
54.进一步地，在上述步骤104中，所述求解所述线性约束的闭式解包括：基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
55.示例性地，在求线性约束的闭式解时，用到的算法为最小二乘法或奇异值分解算法。
56.最小二乘法（ordinary least squares）又称最小平方法，是一种数学优化方法，通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小，最小二乘法是一种在误差估计、不确定度、系统辨识及预测等数据处理中广泛应用的数学工具。最小二乘法有线性特性、无偏性和最小方差性等特性。线性特性，指估计量分别是样本观测值的线性函数，即估计量和观测值的线性组合；无偏性，指参数估计量的期望值分别等于总体真实参数；最小方差性，又称有效性，指估计量与用其它方法求得的估计量比较，其方差最小，即最佳。
57.奇异值分解（singular value decomposition， svd）是在线性代数中一种重要的矩阵分解，不但可用在降维算法中的特征分解，还可以用于推荐系统，在机器学习、信号处
理、统计学中有重要应用。奇异值分解的目的是提取一个矩阵最重要的特征，所有的矩阵都可以进行奇异值分解。
58.进一步地，在上述步骤105中，所述根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵包括：根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
59.示例性地，根据闭式解得到转换矩阵初始解后，该转换矩阵初始解只是根据随机选取的预设数量的点线约束来计算出的，并没有用到其它冗余数据，所以存在一定的误差，为了提高计算精度，使用随机采样一致性方法（ransac）筛选出的多个点线约束来对转换矩阵初始解进行优化。具体来说，基于lm算法对转换矩阵初始解进行非线性优化，以获得精确转换矩阵。
60.levenberg-marquardt（lm）算法，中文为列文伯格-马夸尔特法，是最优化算法中的一种，最优化是寻找使得函数值最小的参数向量，可广泛应用于数据分析、最优设计或电子设计等。lm算法是使用最广泛的非线性最小二乘算法，是一种利用梯度求最大（小）值的算法，形象的说，属于“爬山”法的一种，又同时具有梯度法和牛顿法的优点，寻优速度较快。
61.进一步地，在上述步骤102中，所述基于霍夫变换方法在所述二维图像中确定所述线段包括：（1）对所述二维图像进行高斯模糊处理；（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；（3）根据边缘检测算法获取所述目标区域的边缘特征图；（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
62.示例性地，通过使用霍夫变换方法来检测出二维图像中的线段，对于二维平面内的线段，可由坐标原点到直线的距离和向量与轴的夹角表示为进而得到线段的参数空间方程。然后全零初始一个二维参数累加矩阵，将二维平面内所有可能在同一线段上的点代入参数空间方程内进行投票，最终二维参数累加矩阵中值最大的网格对应的参数，确定的直线就是待检测的线段。在本发明所公开的技术方案中，霍夫变换的具体流程如下：（1）对所述二维图像进行高斯模糊处理。
63.示例性地，输入待检测的二维图形，对二维图形进行高斯模糊处理，以减少图像细节对算法的影响，提高图片边缘特征的检测效率。
64.（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域。
65.示例性地，如果事先已经明确线段在二维图像中的大概位置，可以设置对应区域的掩码矩阵，来固定算法主要处理的感兴趣区域。如果事先已经明确线段在二维图像中的大概颜色，可以设置对应颜色的掩码矩阵，来固定算法主要处理的颜色区域。
66.（3）根据边缘检测算法获取所述目标区域的边缘特征图。
67.示例性地，使用canny等边缘检测算法，获取感兴趣区域内的边缘特征图。
68.（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线。
69.（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
70.示例性地，通过操作人员来人工选择霍夫变换的线段，例如图片中强反射物如路沿所对应的线段。
71.进一步地，在上述步骤103中，所述基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对包括：（1）在所述点线对集合中随机选取8个点线对作为内点；（2）基于直接线性变换算法估算所述内点所对应的数据模型；（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵h，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
72.示例性地，随机采样一致性算法（ransac）使用迭代的方式从一群包含噪点或离散点(outlier)的观测数据中，估算符合数学模型的参数以筛除离散点。通过步骤102中人工选取可能属于强反射物如路沿上的雷达点和线段检测模块中对应的直线，构成观测所用的点线对集合。由于人工选择的不确定性和雷达设备可能产生的误差，导致点线对集合内的数据存在离散值，因此需要使用ransac算法筛除点线对集合内的离散值。
73.ransac算法的流程中需要用到重投影误差。如果已知转换矩阵，和一点雷达点目标以及与其关联的直线。则雷达点目标经过转换矩阵，投影到图片上的点为。因此重投影误差定义为点到直线的距离。
74.ransac算法的具体流程如下：（1）在所述点线对集合中随机选取8个点线对作为内点。
75.示例性地，从点线对集合中随机选取8个点线对，作为符合数学模型的内点。
76.（2）基于直接线性变换算法估算所述内点所对应的数据模型。
77.示例性地，使用直接线性变换dlt估算符合内点的模型。
78.（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵h，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
79.示例性地，将点线对集合中剩下的点线对带入模型，计算平均重投影误差。例如，
迭代100次，记录最小平均重投影误差，以及此时dlt算法估算出的转换矩阵h。ransac迭代结束条件为：已达到最大迭代次数，或当前最小平均重投影误差小于预设的第一阈值，例如第一阈值位0.2。如果直到算法迭代结束，最小平均重投影误差依然大于预设的第一阈值，可认为观测的点线对集合存在较大误差，需要重新矫正设备，重新采样观测数据。
80.进一步地，在上述步骤103中，所述根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：针对每个所述点线对，执行如下操作：（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的点在雷达坐标系中的坐标，基于所述转换矩阵将所述线段对应的点在雷达坐标系中的坐标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：；对应的矩阵表达式为:，其中， 为所述线段在图像坐标系中的表达式， 为所述线段对应的点在所述雷达坐标系中的坐标， 为所述线段对应的点在所述图像坐标系中的坐标；（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：，的表达式如下：的表达式如下：的表达式如下：其中， h为所述转换矩阵h 按行展开后的表达式，表征该点线对中的线段与对应的点之间的线性关系。
81.进一步地，在上述步骤104中，所述基于奇异值分解算法求解所述线性约束的闭式解包括：对每个所述线性约束对应的做奇异值分解以得到下式：，其中，矩阵为m * m的酉矩阵，矩阵为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵为n * n的酉矩阵；将所述矩阵的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解
。
82.进一步地，在上述步骤105中，所述根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵包括：将所述转换矩阵初始解转换为向量以作为模型的初始值；根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述lm算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
83.示例性地，lm算法常用来解决非线性的最小二乘问题，通过对参数进行迭代估计的方式，获取最小二乘问题的最优解。结合前文的推导，在该步骤中，需要求解的最优化问题, s.t. 。设表示第个待检测的点在参数下的误差。
84.根据牛顿法的思路，设每次迭代参数时，都改变，即迭代后点对应的误差为。根据泰勒公式上式可展开为。其中表示函数在观测点处对参数的一阶导数。
85.现在考虑带入所有观测点，在参数改变的情况下。整个观测数据的误差为。
86.用矩阵表示上式，获得的公式如下式所示：，对上式求导，并令一阶导数为0，得到。其中称作雅可比矩阵，矩阵的每一行对应上面提到的。lm算法还需要在上述公式中加入非负的阻尼系数。最终得到。为参数数量大小的单位矩阵。因此每一步迭代时，参数的变化量。
87.相对应的，在本发明所公开的技术方案中， lm算法的流程为：将所述转换矩阵初始解转换为向量以作为模型的初始值。
88.示例性地，输入dlt模块估算的所述转换矩阵初始解,将其转换为向量以作为模型的初始解。
89.根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述lm算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差。
90.示例性地，将ransac模块输出的点线对集合中的每个观测点
转换为。将点线对集合转换为矩阵，并计算转换矩阵初始解对应的初始平均重投影误差。
91.设置lm算法的最大迭代次数，开始迭代。每次迭代结束后更新向量，计算参数的更新量，以的方式更新参数。
92.其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵。
93.示例性地，更新参数为后，计算整个点线对集合的平均重投影误差。如果小于预设的最小阈值，或达到了最大迭代次数，则退出迭代，输出最终参数。
94.否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
95.示例性地，如果，增大阻尼系数，如果减小阻尼系数，若当前得到的平均重投影误差小于初始平均重投影误差，则减小阻尼系数后进行后续迭代。
96.基于与本发明实施例的一种雷达标定方法同样的发明构思，本发明还提供了一种雷达标定装置，请参考图3，所述装置包括：数据采集模块201，用于针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；点线对集合构建模块202，用于在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；线性约束构建模块203，用于在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；求解模块204，用于求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；优化模块205，用于根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。
97.示例性地，所述点线对集合构建模块202进一步用于：基于霍夫变换方法在所述二维图像中确定所述线段。
98.示例性地，所述点线对集合构建模块202进一步用于：通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。
99.示例性地，所述线性约束构建模块203进一步用于：基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。
100.示例性地，所述线性约束构建模块203进一步用于：在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；基于直接线性变换将所述目标点线约束转换为对应的线性约束。
101.示例性地，所述求解模块204进一步用于：基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。
102.示例性地，所述优化模块205进一步用于：根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。
103.示例性地，所述点线对集合构建模块202进一步用于：（1）对所述二维图像进行高斯模糊处理；（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；（3）根据边缘检测算法获取所述目标区域的边缘特征图；（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
104.示例性地，所述线性约束构建模块203进一步用于：（1）在所述点线对集合中随机选取8个点线对作为内点；（2）基于直接线性变换算法估算所述内点所对应的数据模型；（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵h，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。
105.示例性地，所述线性约束构建模块203进一步用于：针对每个所述点线对，执行如下操作：（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的点在雷达坐标系中的坐标，基于所述转换矩阵将所述线段对应的点在雷达坐标系中的坐标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：；对应的矩阵表达式为:，其中， 为所述线段在图像坐标系中的表达式， 为所述线段对应的点在所述雷达坐标系中的坐标， 为所述线段对应的点在所述图像坐标系中的坐标；（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：，
的表达式如下：的表达式如下：的表达式如下：其中， h为所述转换矩阵h 按行展开后的表达式，表征该点线对中的线段与对应的点之间的线性关系。
106.示例性地，所述求解模块204进一步用于：对每个所述线性约束对应的做奇异值分解以得到下式：，其中，矩阵为m * m的酉矩阵，矩阵为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵为n * n的酉矩阵；将所述矩阵的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解。
107.示例性地，所述优化模块205进一步用于：将所述转换矩阵初始解转换为向量以作为模型的初始值；根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述lm算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。
108.此外，所述的雷达标定装置其它方面以及实现细节与前面所描述的雷达标定方法相同或相似，在此不再赘述。
109.根据本发明的另一方面，本发明还提供一种存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如上所述的任一雷达标定方法。
110.综上所述，虽然本发明已以优选实施例揭露如上，但上述优选实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。

技术特征：
1.一种雷达标定方法，其特征在于，所述方法包括：针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。2.如权利要求1所述的方法，其特征在于，所述在所述二维图像中确定表征所述检测目标的线段包括：基于霍夫变换方法在所述二维图像中确定所述线段。3.如权利要求2所述的方法，其特征在于，所述获取所述二维点云图中与所述线段位置对应的多个点包括：通过操作人员在所述二维点云图中人工选取的方式获取与所述线段对应的所述多个点。4.如权利要求3所述的方法，其特征在于，所述在所述点线对集合中获取满足预设条件的多个点线对包括：基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对。5.如权利要求4所述的方法，其特征在于，所述将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：在所述多个点线约束中随机选取所述预设数量的点线约束，并将选取出的点线约束作为所述目标点线约束，其中，所述预设数量不小于8；基于直接线性变换将所述目标点线约束转换为对应的线性约束。6.如权利要求5所述的方法，其特征在于，所述求解所述线性约束的闭式解包括：基于最小二乘法或奇异值分解算法求解所述线性约束的闭式解。7.如权利要求6所述的方法，其特征在于，所述根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵包括：根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵。8.如权利要求7所述的方法，其特征在于，所述基于霍夫变换方法在所述二维图像中确定所述线段包括：（1）对所述二维图像进行高斯模糊处理；（2）对预设区域或预设颜色对应的区域设置掩码矩阵以确定出待检测的目标区域；（3）根据边缘检测算法获取所述目标区域的边缘特征图；（4）对所述边缘特征图进行霍夫变换以获得霍夫变换检测直线；（5）将操作人员在所述霍夫变换检测直线中确定出的直线作为所述线段。
9.如权利要求8所述的方法，其特征在于，所述基于随机抽样一致方法进行迭代估计以确定所述满足预设条件的点线对包括：（1）在所述点线对集合中随机选取8个点线对作为内点；（2）基于直接线性变换算法估算所述内点所对应的数据模型；（3）基于所述数据模型针对所述点线对集合中剩余的点线对进行迭代并在每次迭代后计算平均重投影误差，以及确定在当前已完成的所有迭代中的最小平均重投影误差，其中，当所述最小平均重投影误差小于预设的第一阈值时迭代结束，并基于直接线性变换算法估算所述最小平均重投影误差对应的转换矩阵h，若迭代次数达到第一预设次数且所述最小平均重投影误差大于所述预设的第一阈值，则重新获取所述二维图形和所述二维点云图。10.如权利要求9所述的方法，其特征在于，所述根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束包括：针对每个所述点线对，执行如下操作：（1）获取该点线对中的线段在图像坐标系下的直线表达式，以及所述线段对应的点在雷达坐标系中的坐标，基于所述转换矩阵将所述线段对应的点在雷达坐标系中的坐标转换到图像坐标系下以构建该点线对对应的点线约束，转换公式如下：；对应的矩阵表达式为:，其中， 为所述线段在图像坐标系中的表达式， 为所述线段对应的点在所述雷达坐标系中的坐标， 为所述线段对应的点在所述图像坐标系中的坐标；（2）基于直接线性变换算法将所述矩阵表达式线性展开以获得该点线对的点线约束对应的线性约束，所述线性约束的表达式如下：，的表达式如下：的表达式如下：的表达式如下：其中， h为所述转换矩阵h 按行展开后的表达式，表征该点线对中的线段与对应的点之间的线性关系。11.如权利要求10所述的方法，其特征在于，所述基于奇异值分解算法求解所述线性约束的闭式解包括：
对每个所述线性约束对应的做奇异值分解以得到下式：，其中，矩阵为m * m的酉矩阵，矩阵为主对角线上的元素按递减顺序排布的m * n对角阵，矩阵为n * n的酉矩阵；将所述矩阵的最后一列列向量确定为所述闭式解，以得到所述转换矩阵初始解。12.如权利要求11所述的方法，其特征在于，所述根据所述多个点线约束并基于lm算法对所述转换矩阵初始解进行非线性优化以获得所述精确转换矩阵包括：将所述转换矩阵初始解转换为向量以作为模型的初始值；根据所述多个点线对中的所有点线对和所述初始值计算初始平均重投影误差，并基于所述lm算法进行迭代，每次迭代结束后更新所述向量并计算基于更新后的向量所得到的平均重投影误差，其中，若所述平均重投影误差小于预设的第二阈值或者达到了预设的第二迭代次数，则迭代结束，并将当前向量对应的矩阵确定为所述精确转换矩阵，否则，若当前得到的平均重投影误差大于所述初始平均重投影误差，则增大阻尼系数后进行后续迭代，若当前得到的平均重投影误差小于所述初始平均重投影误差，则减小阻尼系数后进行后续迭代。13.一种雷达标定装置，其特征在于，所述装置包括：数据采集模块，用于针对同一检测目标获取在同一时间下相机采集的二维图像和雷达采集的二维点云图；点线对集合构建模块，用于在所述二维图像中确定表征所述检测目标的线段，以及获取所述二维点云图中与所述线段位置对应的多个点，将每个点与所述线段相关联以组成由多个点线对构成的点线对集合；线性约束构建模块，用于在所述点线对集合中确定满足预设条件的多个点线对，根据所述多个点线对构建多个点线约束，将所述多个点线约束中的预设数量的点线约束作为目标点线约束，并将所述目标点线约束转换为对应的线性约束；求解模块，用于求解所述线性约束的闭式解，并根据所述闭式解得到转换矩阵初始解；优化模块，用于根据所述多个点线约束对所述转换矩阵初始解进行非线性优化以获得用于标定所述雷达的精确转换矩阵。14.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1至12中任一项所述的雷达标定方法。

技术总结
本发明公开了一种雷达标定方法、装置及存储介质，其中，所述方法包括：获取同一时间下相机的二维图像和雷达的二维点云图；在二维图像中确定表征检测目标的线段及获取二维点云图中与线段位置对应的多个点以组成点线对集合；确定满足预设条件的多个点线对并构建多个点线约束，随机从多个点线约束中选取预设数量的点线约束作为目标点线约束。转换为线性约束后求线性约束的闭式解并得到转换矩阵初始解；使用剩下的点线约束对转换矩阵初始解进行非线性优化以获得用于标定雷达的精确转换矩阵。本发明所提供的技术方案能够解决现有技术中通过标定板进行雷达标定导致标定时间和人工成本高，且使用点对点约束直接解转换矩阵易导致模型鲁棒性差的技术问题。模型鲁棒性差的技术问题。模型鲁棒性差的技术问题。


技术研发人员：徐刚 裴昊 刘佩文 张燎 严涵
受保护的技术使用者：东南大学
技术研发日：2022.04.21
技术公布日：2022/5/25