基于二分图的驾驶目标关联方法、系统、车辆及存储介质与流程

1.本发明属于汽车自动驾驶技术。具体涉及一种自动驾驶多目标关联传感数据融合技术。


背景技术：

2.随着时代的发展，科技技术不断革新的年代。大众消费者对自动化产品的需求越来越大，也越来越广。然而对于汽车行业，自动驾驶不仅是满足客户需求的重要功能，也是拉动品牌的有效途径。因此，汽车行业的自动驾驶在新时代、新技术背景下，已成为新一轮研究热潮。在当前各行业的技术支撑下，基于结构化道路的自动驾驶成为本领域的主要方向，但是仍然存在两大技术难题：1、多源传感器目标关联；2、多元传感器目标属性融合。复杂的现实环境决定了单一传感器对现实表达不足，多源异构传感器的目标成为自动驾驶必不可少信息，对车辆驾驶控制有着关键性的作用。但不同传感器由于受环境和硬件限制，都会存在目标虚假、丢失以及位置、速度等关键信息的跳变和误差。
3.公开号: cn111551938a，名称“一种基于矿区环境的无人驾驶技术感知融合方法”。以多种传感器作为数据来源，针对矿区特殊行车环境，利用多传感器融合技术，保证感知信息的稳定性和可靠性。利用多种传感器采集车辆周围环境信息，基于多传感器融合原理，依据不同传感器特性进行互补，可以获取更加精准的感知信息，提高感知准确性，从而可以使无人驾驶矿卡车辆在使用过程中适应复杂的矿区环境，安全高效地完成作业。利用不同传感器得到的障碍物信息，通过计算信息熵得到其特征信息权重，进而优化匹配矩阵，提高匹配精度，从而针对恶劣矿区环境下提取的障碍物信息以及跟踪目标信息进行更精确地匹配，获得更精准的行车环境信息，保障整体行车过程中的安全性和流畅性。
4.自动驾驶中目标和本车移动速度快，需要多源传感器目标关联完成采集信息。为了更好的实现多源异构传感器的目标关联，有必要基于不同传感器目标开发一种多目标关联系统。


技术实现要素：

5.本发明针对现有技术中存在的上述问题，提出一种基于二分图的自动驾驶中多目标关联系统及方法，解决目标关联问题，不仅能有效实现单传感器多目标匹配跟踪，提供文档的目标信息，也能实现不同传感器之间目标关联融合，更真实的复原现实场景。
6.本发明解决上述技术问题的技术方案是，一方面，提出一种基于二分图的自动驾驶多目标关联方法，包括步骤：多源传感器采集获取测量目标和跟踪目标信息及属性，进行预处理，以目标置信度过滤无效及异常目标信息；提取目标跟踪列表中距离当前时间最近的目标作为多传感器融合目标，对其多源传感器信息融合匹配；对预处理后的测量目标和跟踪目标信息及属性进行时间补偿和空间同步；结合单传感器跟踪信息以及多传感器融合数据与待关联感知数据，以经过补偿和同步后的测量目标和跟踪目标信息及其属性构建完全二分图，寻找测量目标和跟踪目标的最优匹配对；根据跟踪目标实时位置信息及属性，评
估当前匹配对的置信度，确定最相关目标。
7.进一步优选，构建完全二分图包括：单传感器跟踪目标和多传感器融合跟踪目标构成特征目标，以特征目标目标信息及其属性构成顶点集v1；以单传感器观测目标和多传感器并集目标为待关联目标，以待关联目标属性构成顶点集v2，以及v1与v2之间关联形成的边构建目标完全二分图。
8.进一步优选，对二分图进行匈牙利算法计算最小匹配代价，获取测量目标与跟踪目标的最优匹配对。
9.进一步优选，提取跟踪过程中多源传感器提取的目标特征信息，采用目标位置/速度/加速度误差分析评估当前匹配对的置信度，根据置信度输出最接近的最优匹配对。
10.第二方面，本发明提出一种基于二分图的多目标关联系统，包括：信息获取单元、预处理单元、信息缓存单元、最优匹配对计算单元、关联合理性评估单元，道路信息获取单元接收各传感器上报的道路环境信息、测量目标和跟踪目标信息及属性；预处理单元根据预处理数据清洗规则，对传感器采集的信息进行预处理，过滤无效及异常目标信息；信息缓存单元，缓存各传感器感知的道路数据及预处理数据；最优匹配对计算单元，结合单传感器跟踪信息以及多传感器融合数据与待关联感知数据，以经过补偿和同步后的测量目标和跟踪目标信息及其属性构建完全二分图，通过二分图顶点属性间代价最小关联对寻找测量目标和跟踪目标的最优匹配对；关联合理性评估单元根据跟踪目标实时位置信息及属性，评估当前匹配对的置信度，确定最相关目标。
11.进一步优选，，道路目标信息包括：摄像头、毫米波雷达、激光雷达获取的测量目标和跟踪目标的目标跟踪id、目标类型、整车坐标系、车辆位置、速度、加速度、运动趋势、航向角。
12.进一步优选，构建完全二分图包括：单传感器跟踪目标和多传感器融合跟踪目标构成特征目标，以特征目标目标信息及其属性构成顶点集v1；以单传感器观测目标和多传感器并集目标为待关联目标，以待关联目标属性构成顶点集v2，以及v1与v2之间关联形成的边构建目标完全二分图。
13.第三方面，本发明申请保护一种车辆，该车辆包括上面所述基于二分图的多目标关联系第四方面，本发明色申请保护一种计算机可读存储介质，其上存储有计算机程序，该程序能够被处理器加载和运行以执行上面所述基于二分图的多目标关联方法。
14.本发明针对单传感器目标关联，能基于目标历史信息匹配当前目标形成跟踪链表，有效的结合目标在环境中的上下文信息。不仅增强了单传感器的目标的健壮性和稳定性，同时也提升了目标真实属性的可信度，增强了融合的效率和性能，降低了资源消耗；针对多传感器目标关联，能使融合跟踪目标与各传感器实时目标进行有效关联，提升了融合目标对现实场景的真实性，增强了目标融合的可靠性，降低环境认知的资源消耗。
附图说明
15.图1为本发明的单传感器多目标关联匹配流程图；图2为本发明的多传感器多目标关联匹配流程图。
具体实施方式
16.为进一步帮助理解本发明的技术方案，下面结合附图和具体实施例对本发明进行进一步的描述：为了更好的实现多源异构传感器的目标关联，本发明构建一种基于二分图的多目标关联系统，包括：道路信息获取单元、道路信息缓存单元、二分图构建单元、最优匹配对计算单元、关联合理性评估单元，道路信息获取单元，用于接收各传感器上报道路环境信息。所述道路信息包括车道、车道线、车辆目标、行人目标、道路交通标识、交通流、交通灯和路口指示等基础信息。所述目标信息包括目标跟踪id、位置、速度、加速度、航向角、运动状态等基础信息；道路信息缓存单元，用于缓存各传感器感知道路数据；最优匹配对计算单元，用于以特征目标属性为图顶点集和待关联目标属性为图顶点集，采用图论构建目标二分图。构建的目标二分图包括特征目标属性构成的顶点集v1、待关联目标属性构成的顶点v2以及v1与v2之间关联形成的边其中，特征目标包括单传感器跟踪目标和多传感器融合跟踪目标，待关联目标包括单传感器观测目标和多传感器并集目标，提取道路信息缓存单元中存储的各测量目标的id、位置、速度、加速度、航向角、运动状态等信息的特征属性构成顶点集v1，获取待关联目标（跟踪目标）的上述特征属性构建顶点集v2；采用匈牙利算法（不仅限此方法）寻找二分图顶点属性间代价最小关联对，即完美匹配，实现历史目标与当前目标有效关联；关联合理性评估单元，根据目标历史属性和运动模型之间的关系构建约束方程，结合历史上下文信息计算当前匹配对的合理性。
17.如图1所示为本发明的单传感器多目标关联匹配流程图。包括：步骤一、传感器采集获取道路目标信息。道路目标信息包括目标跟踪id、整车坐标系（以本车前保中心点为坐标原点）车辆位置、速度、加速度以及目标类型、运动趋势、航向角等，信息获取可来源于摄像头、毫米波雷达和激光雷达等传感器；步骤二、对传感器采集的道路目标信息进行预处理，根据不同传感器特性以及先验知识（如横向/纵向设定阈值、区域设定）制定预处理数据清洗规则（降低目标置信度），以目标置信度过滤无效目标；步骤三、根据传感器测量特性，对经过预处理的道路目标信息进行时间补偿和空间同步。由于传感器在感知环境到目标输出，存在算法延时，需要根据图像曝光或者雷达射频点与当前时间点补偿时差，同时也需要对延时时间进行（ct/cv模型）空间变换同步。
18.步骤四、单目标跟踪数据提取。已处理时间构建目标跟踪列表，提取距离当前时间最新目标作为融合匹配数据。
19.步骤五、由于跟踪目标与当前目标存在时间差，需要根据特性进行时间补偿以及空间同步。根据传感器特性（ct/cv/ca运动模型），进行时间补偿和空间同步。
20.步骤六、运用测量目标信息和跟踪目标信息构建二分图。以测量目标和跟踪目标位置信息、速度以及加速度等，构建完全二分图（同上）；步骤七、寻找最优完全匹配。可采用对二分图进行匈牙利算法计算最小匹配代价，寻找最优匹配对。
21.步骤八、结合跟踪信息评估最优完全匹配。运用跟踪过程中提取的特征信息，采用
目标位置/速度/加速度误差分析评估当前匹配对的置信度，增强输出目标的可靠性。
22.图2所示为本发明基于二分图的多传感器多目标关联匹配流程图。
23.单传感器目标信息获取：通过前视摄像头、周视摄像头、毫米波雷达以及激光雷达等传感器获取道路信息。
24.不同传感器设备采用不同的方式获取车道目标信息。例如、摄像头采用深度学习检测在车道图像中提取目标；毫米波和激光雷达采用点云数据聚类获得车道目标数据，根据不同传感器特性以及先验知识指定预处理数据清洗规则，去除明显异常数据。例如、目标位置、速度的连续性和运动状态的持续性等，为后面对目标进行时间补偿以及空间同步提供基础。
25.接收不同传感器上报的道路环境信息：目标数据、车道线数据、路标数据等，并缓存形成感知历史数据；结合单传感器跟踪信息以及多传感器融合数据与待关联感知数据，构建二分图顶点集合，为计算最优关联匹配做预处理；单传感器目标关联匹配。以测量目标和跟踪目标信息及属性，构建完全二分图；采用匈牙利算法寻找二分图最优完全匹配。多传感器目标关联匹配：运用单传感器目标信息和融合目标信息构建二分图，以单传感器目标和融合目标信息以及属性，构建完全二分图；采用匈牙利算法寻找二分图最优完全匹配。结合二分图顶点属性信息和历史已完成关联配对信息，删除冗余信息。其余未完成关联的顶点间采用图论思想，寻找代价最小匹配对；结合历史匹配信息以及关联特征相似度评估代价最小匹配对可信度，并根据置信度输出最接近现实环境的最优匹配对。单传感器目标匹配评估：结合单传感器特征以及跟踪信息评估最优完全匹配对进行单传感器匹配评估，增强目标的可靠性；融合目标匹配评估：结合融合特性评估最优完全匹配对，增强融合目标输出的可靠性。