一种多源信息传感器融合目标检测方法与流程

    专利查询2025-10-06  7


    本发明属于自动驾驶汽车环境感知领域,尤其涉及一种多源信息传感器融合目标检测方法。


    背景技术:

    1、随着智能网联技术的发展,依靠单模态信息感知技术已很难满足动态多变场景下对高级别自动驾驶的要求,故对车辆外部环境的检测需要用到多种传感器(如摄像头、激光雷达和毫米波雷达等)同步检测并进行数据融合。目前融合方案多种多样,包括摄像头+毫米波雷达,摄像头+激光雷达、摄像头+毫米波雷达+激光雷达等方案,将来自摄像头、毫米波雷达、激光雷达等多种传感器采集到的数据进行融合。多个传感器信息融合主要通过时空同步、数据关联、目标跟踪三个步骤来实现。时空同步是将各传感器采集的数据分别在时间维度和空间维度保持对齐,随着传感器数量增多和数据量越来越大,对时空同步算法的处理速度要求越来越高。数据关联是将不同传感器检测的目标进行匹配,确定目标与传感器接收到的量测信息之间的对应关系,其鲁棒性有待提高。动态场景多目标跟踪主要是把不同帧中同一运动物体时序关联,形成对多目标的连续性理解,输出感知物体位置,速度和朝向信息。

    2、同时,汽车配备多个传感器的同时也带来了维度爆炸与车端算力压力过大等问题,且对多源异构的感知数据融合的实时性与可靠性提出很高的要求,因此多模态、高可靠的协同感知与信息融合技术是当前亟待解决的问题,需设计一种高可靠多源传感器融合目标检测方法。


    技术实现思路

    1、本发明针对现有多个传感器融合目标检测方法实时性和可靠性较差,提供一种多源信息传感器融合目标检测方法。

    2、为实现上述目的,本发明提供的技术方案如下:

    3、一种多源信息传感器融合目标检测方法,其特征在于,包括以下步骤:

    4、步骤1,通过汽车上的多个传感器获得检测目标处理后的图像信息和点云信息;

    5、步骤2,针对多个传感器在采样周期和空间位置的差异,对各传感器数据进行降频处理和坐标系转换,实现多个传感器时空同步;

    6、步骤3,针对多个传感器目标数据关联易混乱问题,采用多个传感器数据关联算法,消除数据二义性;

    7、步骤4,对动态场景内多目标跟踪,将不同帧中同一运动物体时序关联,形成对多目标的连续性理解,实时输出感知目标位置、速度和朝向等信息。

    8、进一步的,所述步骤1的多个传感器包括:1个摄像头、1个激光雷达和1个毫米波雷达;

    9、进一步的,所述步骤2中多个传感器时空同步包括以下步骤:

    10、步骤a,通过参数设置将频率较高的激光雷达和毫米波雷达进行降频处理,和摄像头采样频率保持一致;

    11、步骤b,将摄像头、激光雷达和毫米波雷达测量数据通过can通信和以太网传输至计算单元,以时间匹配算法在融合前直接消除多个传感器测量数据的时间差,并将多源信息集中且利用时间同步算法中实现时间同步;

    12、步骤c,摄像头、激光雷达和毫米波雷达进行空间标定,获得摄像头的内部、外部参数、各坐标系之间的转换关系;通过一系列坐标转换,将激光雷达和毫米波雷达检测目标投影到摄像头图像上,从而获得雷达检测的目标框架,即可实现多个传感器的空间融合。

    13、进一步的,所述步骤3中消除数据二义性包括以下步骤:

    14、步骤a,将摄像头、激光雷达和毫米波雷达得到的测量数据进行门限限制,利用先验知识粗略过滤门限以外的数据,减少一些不可能的测量与航迹的配对关系,得到可行的量测—航迹配对;

    15、步骤b,将摄像头、激光雷达和毫米波雷达检测目标矩形框中关键点位置形成关联矩阵,用以衡量每个点迹与其相应航迹匹配程度;

    16、步骤c,综合所有落入关联矩阵内航迹,根据每个点迹的置信度,按照赋值策略分别赋予其相应的航迹,消除二义性。

    17、进一步的,所述步骤4中对多目标跟踪包括以下步骤:

    18、步骤a,基于随机有限集的多目标跟踪算法,以随机有限集表示各观测时刻多目标的运动状态及传感器的测量数据,实现对多目标数量以及多目标状态的估计;

    19、步骤b,针对自动驾驶中存在的实际需求,对观测跟踪目标的输出变量进行建模,分为参与状态更新的状态变量和其他不参与更新的非状态属性;

    20、步骤c,基于三个不同传感器的检测结果,输入同一个随机有限集跟踪器,对其跟踪输出结果进行高置信度融合。

    21、本发明提供了一种多源信息传感器融合目标检测方法,该方法具通过多个传感器融合可以避免单一传感器的局限性,提高了目标识别的准确性和精准度,同时缓解了信息维度爆炸和车端算力压力,提升了系统的冗余度和容错性。



    技术特征:

    1.一种多源信息传感器融合目标检测方法,其特征在于,包括以下步骤:

    2.根据权利要求书1所述的一种多源信息传感器融合目标检测方法,其特征在于,所述步骤1的多个传感器包括:1个摄像头、1个激光雷达和1个毫米波雷达。

    3.根据权利要求书1所述的一种多源信息传感器融合目标检测方法,其特征在于,所述步骤2中多个传感器时空同步包括以下步骤:

    4.根据权利要求书1所述的一种多源信息传感器融合目标检测方法,其特征在于,所述步骤3中消除数据二义性包括以下步骤:

    5.根据权利要求书1所述的一种多源信息传感器融合目标检测方法,其特征在于,所述步骤4中对多目标跟踪包括以下步骤:


    技术总结
    本发明公开一种多源信息传感器融合目标检测方法,主要应用于自动驾驶汽车环境感知领域,旨在提高感知系统冗余度与容错性的同时,保证多源异构的感知数据融合的实时性与可靠性。该方法具体包括以下步骤:步骤1,通过汽车上的多个传感器获得检测目标处理后的图像信息和点云信息;步骤2,针对多个传感器在采样周期和空间位置的差异,对各传感器数据进行降频处理和坐标系转换,实现多个传感器时空同步;步骤3,针对多个传感器目标数据关联易混乱问题,采用多个传感器数据关联算法,消除数据二义性;步骤4,对动态场景内多目标跟踪,将不同帧中同一运动物体时序关联,形成对多目标的连续性理解,实时输出感知目标位置,速度和朝向等信息。

    技术研发人员:程啸宇,卢晓涛,陈刚
    受保护的技术使用者:安徽戴泽信息科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-31308.html

    最新回复(0)