一种显示车辆周围目标检测及轨迹预测的系统及方法与流程

1.本发明提供了一种尤其在hud上显示车辆周围目标检测结果并给出目标轨迹预测的系统和方法，不仅能够为驾驶员提供车辆周围的目标种类、方位、距离的信息，还可以给驾驶员提示所述目标的未来轨迹。根据本发明的系统和方法能够将处理好的信息呈现给驾驶员，而忽略掉不相干或者说不重要的环境信息，以更好地辅助驾驶员在不同驾驶场景下的判断。


背景技术：

2.近年来，随着车辆智能化以及交通智能化的发展，人们对行车安全性能的要求也越来越高，越来越多的车辆开始配备更加智能化的辅助驾驶系统，如前方碰撞预警系统、自动紧急制动、盲点检测系统以及全景泊车辅助系统和全景行车记录仪等。
3.然而现有技术中针对车辆周围目标的显示尚存在一些缺点，例如需要根据v2x信息，这需要周围的其他车辆或者道路基础设施的协助。此外，现有技术中通常是对驾驶盲区进行显示，而并非车辆周围的全面环境信息。在一些现有技术中，即使针对车辆周围的全面环境信息进行显示，也不能对运动的目标进行轨迹预测；或者对运动的目标进行轨迹预测，但显示信息过于繁杂，对驾驶员的注意力有较大的分散。


技术实现要素：

4.本发明针对上述问题，提出了一种显示车辆周围目标检测及轨迹预测的系统及方法。根据本发明的方法不仅能够为驾驶员提供车辆周围的目标种类、方位、距离的信息，还可以给驾驶员提示所述目标的未来轨迹。根据本发明的系统和方法能够将处理好的信息呈现给驾驶员，而忽略掉不相干或者说不重要的环境信息，以更好地辅助驾驶员在不同驾驶场景下的判断。
5.根据本发明的第一方面，提出一种显示车辆周围目标检测及轨迹预测的系统，其中，所述系统至少具有：
6.检测模块，所述检测模块具有至少一个传感器，用于对车辆周围的目标进行检测和定位；
7.预测模块，所述预测模块能够基于车辆周围的目标进行预测；
8.显示模块，所述显示模块能够将车辆周围的目标的相关数据和所述预测模块的预测结果显示出来，其中，所述显示模块呈现的信息能够由驾驶员自主地选择。
9.在本发明的框架内，车辆周围的目标至少包括车辆周围的其他车辆、障碍物、行人、非机动车等，其中，障碍物包括道路上或道路旁的交通设施、绿化带、城市基础设施等。
10.在本发明的框架内，预测模块可以集成在车辆控制系统中，所述车辆控制系统是指配置为合适的控制设备或者一组多个控制设备，例如包括专用集成电路、一个或多个处理器、存储有指令的非暂时性存储器。所述车辆控制系统例如是电子控制单元(ecu)，通常又称为“行车电脑”，“车载电脑”等。也可以设想，所述预测模块能够是专门用于预测计算的
单独的模块。
11.在本发明的框架内，“由驾驶员自主地选择”意味着驾驶员能够根据自身需要来选择在显示模块上呈现的信息，例如驾驶员能够根据需要选择将超过某一临界的相对速度靠近的其他目标突出显示，这至少包括两种情况，一是该目标以较大速度靠近，二是该目标虽然静止，但安装有根据本发明的系统的车辆以较大速度驶向该目标。驾驶员还能够根据自身需要选择不显示一些目标，例如道路两旁的绿化带、垃圾桶、车道线等等都可以根据驾驶员的需要进行呈现。这种选择应当是在驾驶车辆之前进行的。
12.通过驾驶员的自主选择，能够个性化地设置所呈现的信息，使呈现的内容不至于太过繁杂，也能够避免忽略掉对于安全性至关重要的信息，有利于驾驶员快速判断并进行相应操作，提高车辆行驶的安全性。
13.根据本发明的优选的实施方式，所述至少一个传感器至少包括下述传感器中的一个：车载摄像头、毫米波雷达、超声波雷达、激光雷达。在本发明的框架内，优选将多个传感器分别设置在车身前后和车身两侧，例如在车身前后各设置一个毫米波雷达和一个摄像头，在车身两侧各设置两个毫米波雷达和一个摄像头。自然也可以设想，根据车辆的设计需求设置其他种类和数量的传感器。
14.根据本发明的优选的实施方式，所述检测模块能够基于至少一个传感器的检测结果至少得到所述目标的种类、大小和运动速度。例如，检测模块在接收到传感器的检测信号后，对所述检测信号进行分析处理，将目标尤其根据轮廓和/或运动速度进行归类，例如将目标归属于乘用车、商用车、交通设施、行人、非机动车、城市基础设施等类别。此外，在本发明的框架内，检测模块优选地还能够通过方向盘转向角传感器和车轮速度传感器获取车辆行驶数据。
15.根据本发明的优选的实施方式，所述预测结果至少包括所述目标的运动轨迹和/或预期速度。在本发明的框架内，显示模块能够将车辆周围目标的相关数据和预测结果进行显示，驾驶员还能够根据自身需要选择显示的样式，例如是否显示预测轨迹，选择显示预测轨迹的时间长度和颜色，选择环境感知结果的数量以及目标的种类等。驾驶员能够通过设置在显示模块上的控制面板进行选择，该控制面板例如可以是设置在车辆中控上的按钮或者设置在车辆中控的触摸屏上的控制界面。还可以设想，该控制面板可以设置在与车辆连接的移动设备上，尤其移动设备的应用程序上。所述移动设备与车辆的连接尤其能够通过有线的方式和无线的方式实现，例如线缆、蓝牙、紫蜂(zigbee)、wifi等本领域技术人员常见的连接方式。所述移动设备可以是平板电脑、手机、笔记本电脑等。所述移动设备与车辆的连接也能够间接地进行，例如通过远程服务器进行，由此能够实现远程修改显示设置。
16.根据本发明优选地，该显示模块还可以具有发声模块，用于在紧急情况下除了视觉提醒外还能够对驾驶员发出警报声音。
17.在本发明的框架内，例如驾驶员能够根据自身需求选择将以超过第一相对速度靠近的目标呈现为红色，将以超过第二相对速度但低于第一相对速度靠近的目标呈现为黄色，将静止的或者与本车辆相对静止的目标呈现为绿色。所述第一相对速度和第二相对速度能够是固定的，但也可以设想，所述第一相对速度和所述第二相对速度是可变的，尤其依赖于车辆行驶速度进行变化。还可以设想的是，针对不同类别的目标进行不同的设置，例如将本身静止的目标(例如护栏、绿化带)设置为始终呈现为绿色，将运动的目标(例如行人、
非机动车、其他车辆)根据其相对速度设置为呈现不同的颜色。还可以结合目标所在的位置进行设置，例如将驾驶员后方、侧后方且远离的目标始终显示为绿色，将驾驶员正前方且靠近的目标显示为红色，将驾驶员侧前方或者侧向的目标显示为黄色。
18.根据本发明的优选的实施方式，所述系统还具有融合模块，所述融合模块将所述传感器的检测结果通过融合算法进行数据融合，使得将所述目标的信息和与道路信息相融合。所述融合模块能够从检测模块获取所需要的数据，例如检测的目标种类、速度，接着将所获取的数据与地图数据或者说道路数据融合，计算出驾驶员位置周围的环境情况。所述地图数据能够存储在ecu中或者存储在融合模块自身的存储器中，所述融合模块能够集成在ecu中或者是单独设置的专门用于融合运算的模块。
19.根据本发明的优选的实施方式，所述预测模块基于所述融合模块的数据融合结果进行预测，并将所述融合结果和所述预测结果发送给所述显示模块。由此能够更准确地呈现驾驶员所在位置周围的环境情况。
20.在本发明的框架内，所述显示模块优选是hud(head up display)装置。hud装置又称为抬头显示器或者平视显示器，用于将信息投射到驾驶员的眼睛，通常被设计成在车辆的前窗(或者说挡风玻璃)上呈现车辆的行驶信息，以使驾驶员能够平视地看到行驶信息。这些行驶信息在现有技术中通常呈现在车辆的仪表板上或者车辆的中控显示器上。通过使用hud装置能够使驾驶员将注意力集中在前方，而无需在驾驶时将注意力转移到仪表板上。
21.根据本发明的优选的实施方式，所述显示模块，尤其hud装置能够以鸟瞰图的方式呈现车辆周围的环境信息以及所述目标的相关数据。通过鸟瞰图的方式呈现，能够使车辆周围的环境信息更加直观，有利于驾驶员快速判断并进行相应操作。
22.根据本发明的第二方面，提出一种用于显示车辆周围目标的方法，所述方法至少包括下述步骤：
23.检测车辆周围的目标，对所述目标进行定位；
24.基于所述目标的检测和定位对所述目标进行预测；
25.向驾驶员显示预测结果，其中，显示的信息能够被驾驶员自主地选择。
26.根据本发明的方法，优选地，在检测步骤之后还具有数据融合步骤，在所述数据融合步骤中，将所述目标的信息和与道路信息或者说地图信息相融合，并在预测步骤中基于融合结果进行预测，在显示步骤中将所述融合结果和所述预测结果进行显示。
27.根据本发明的方法能够借助根据本发明的系统来执行。
28.在本发明的框架内，根据具体的设计需求，各个模块的顺序和功能也可以进行相应的调整，只要最终可以给出车辆周围的目标检测和轨迹预测结果。
29.在本发明的框架内，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
附图说明
30.下面以实施例来示意性地说明根据本发明的显示车辆周围目标检测及轨迹预测的系统和方法。
31.图1示出了根据本发明的优选实施方式的用于显示车辆周围目标检测及轨迹预测的系统；
32.图2示出了以鸟瞰图的形式尤其在hud装置上呈现的车辆周围的环境信息以及相对应的预测轨迹。
具体实施方式
33.图1中示出了根据本发明的优选实施方式的用于显示车辆周围目标检测及轨迹预测的系统。在该优选的实施方式中，根据本发明的系统具有检测模块、融合模块、预测模块和显示模块。
34.在检测模块中尤其具有多个车载摄像头和/或毫米波雷达和/或超声波雷达和/或激光雷达，例如在车身前后各设置一个毫米波雷达和一个摄像头，在车身两侧各设置两个毫米波雷达和一个摄像头。通过车身上的毫米波雷达能够检测车辆周围的目标的速度，通过摄像头能够检测车辆周围的目标的图像数据，由此，检测模块能够获得车辆周围的其他车辆、障碍物、行人、非机动车等的信息，并且能够基于这些信息至少得到目标的种类、大小和运动速度。例如，检测模块在接收到传感器的检测信号后，对所述检测信号进行分析处理，将目标根据轮廓和/或运动速度进行归类。在本发明的框架内，检测模块优选地还能够通过方向盘转向角传感器和车轮速度传感器获取车辆行驶数据。
35.接着，融合模块将传感器的检测结果通过融合算法进行数据融合，使得将所述目标的信息和与道路信息相融合。所述融合模块能够从检测模块获取目标种类、速度等信息，接着将所获取的信息与地图信息或者说道路信息融合，计算出驾驶员位置周围的环境情况。
36.在融合模块进行融合运算之后，预测模块基于融合模块的数据融合结果进行预测，并将所述融合结果和所述预测结果发送给所述显示模块。由此能够更准确地呈现驾驶员所在位置周围的环境情况。
37.显示模块能够将车辆周围目标的相关数据和预测结果进行显示，驾驶员可以根据自身需要选择显示的样式，例如是否显示预测轨迹，选择显示预测轨迹的时间长度和颜色，选择环境感知结果的数量以及目标的种类等。驾驶员能够通过设置在显示模块上的控制面板进行选择。该控制面板也可以不设置在显示模块上，例如设置在车辆中控上、与车辆相连接的移动设备上。
38.在图1示出的系统中，示例性地，驾驶员能够根据自身需求选择将不同的目标呈现为不同的颜色，例如将危险性较大的目标呈现为红色，将具有一定危险性的目标呈现为黄色，将静止的或者与本车辆相对静止的目标呈现为绿色。所述“危险性”尤其指的是与车辆产生碰撞的可能性。
39.还可以设想的是，驾驶员能够针对不同类别的目标进行不同的设置，例如将本身静止的目标(例如护栏、绿化带)设置为始终呈现为绿色，将运动的目标(例如行人、非机动车、其他车辆)根据其相对速度设置为呈现不同的颜色。
40.在图2中示出了以鸟瞰图的形式尤其在hud装置上呈现的车辆周围的环境信息以及相对应的预测轨迹。
41.在图2中，位于中间车道的“目标车辆”代表驾驶员所在的车辆，由图2可见，在驾驶
员所处的位置周围，在左侧有一大型卡车，左前方道路有欲横穿马路的行人，正前方有从左向右行驶的非机动车，右前方有一乘用车，右侧也有欲横穿马路的行人，以及右后方有远离驾驶员的非机动车。在图2中，每个目标旁具有其预测轨迹(以多个折线的方式示出)。可以设想的是，该预测轨迹以不同的颜色显示，以表示其不同的运动速度；或者在该预测轨迹旁(例如上方或者下方)以数字示出其运动速度。在此，“运动速度”可以表示绝对运动速度或相对运动速度，绝对运动速度是指该目标相对于地面的速度，相对运动速度是指该目标相对于目标车辆的速度。在以颜色表示不同的运动速度的情况下，例如以绿色表示远离，以红色表示靠近，并且还可以根据颜色的深浅来表示远离或者靠近的速度快慢；在以数字表示运动速度的情况下，例如能够以数字前的“+”表示靠近，以数字前的
“‑”
表示远离。
42.在图2所示出的示例中，例如能够将右后方远离驾驶员的非机动车显示为绿色，但也可以出于清楚性而不显示该非机动车，这是因为该非机动车显然具有小的危险性。而驾驶员右侧的行人和左前方的行人例如可以选择显示为黄色，将驾驶员正前方的非机动车显示为红色，这是因为驾驶员右侧的和左前方的行人具有较高的危险性，而驾驶员正前方的非机动车具有最高的危险性。
43.在图2所示出的示例中，驾驶员左右两侧的机动车尤其能够根据其相对速度进行不同地显示，例如对于右前方的乘用车，在该乘用车的车速低于目标车辆的车速的情况下(相对靠近)，例如可以显示为黄色，在该乘用车的车速高于目标车辆的车速的情况下(相对远离)，例如可以显示为绿色。还可以结合目标车辆的驾驶行为进行显示，例如对于右前方的乘用车，如果该乘用车的相对位置靠近目标车辆且目标车辆开启右转指示灯，则将该右前方的乘用车显示为红色。同样地，对于左侧的大型卡车，也可以采用类似的设置，例如该大型卡车的相对位置靠近目标车辆且目标车辆开启左转指示灯，则将该大型卡车显示为红色；或者，例如如果该大型卡车与目标车辆保持相对静止且小于10米的距离，在目标车辆开启左转指示灯时，将该大型卡车显示为红色，在目标车辆保持直行时，将该大型卡车显示为黄色。
44.当然也能够设想，根据目标的种类进行不同的颜色显示，例如：将行人呈现为绿色，根据其危险性程度呈现为浅绿、绿和深绿；将非机动车呈现为黄色，根据其危险性程度呈现为浅黄、黄和深黄；将机动车呈现为红色，根据其危险性程度呈现为粉红、红和深红。所选择的颜色也可以根据驾驶员自身需求而个性化的改变。
45.上述的选择应当是在驾驶车辆之前进行的，并且由显示模块将所选择的参数存储起来，由此不需要重复地进行选择。在本发明的框架内，本领域技术人员能够根据本发明的构思对所显示的信息进行所需要的选择，使得危险性较高的目标能够以较高的优先级显示，危险性较低的目标以较低的优先级显示或者完全不显示，而不需要付出创造性的劳动。
46.应当理解，本发明以上所示出的实施例是示例性的而非限定性的，用于示出根据本发明的空气质量信息级别指示系统的典型的实施方式。更准确地说，除上述说明的实施例外，利用本发明的各个特征进行组合产生的对于本领域技术人员来说有意义的大量变型方案同样是可行的。

技术特征：
1.一种显示车辆周围目标检测及轨迹预测的系统，其中，所述系统至少具有：检测模块，所述检测模块具有至少一个传感器，用于对车辆周围的目标进行检测和定位；预测模块，所述预测模块能够基于车辆周围的目标进行预测；显示模块，所述显示模块能够将车辆周围的目标的相关数据和所述预测模块的预测结果显示出来，其中，所述显示模块呈现的信息能够由驾驶员自主地选择。2.根据权利要求1所述的系统，其中，所述至少一个传感器至少包括下述传感器中的一个：车载摄像头、毫米波雷达、超声波雷达、激光雷达。3.根据上述权利要求中任一项所述的系统，其中，所述检测模块能够基于所述至少一个传感器的检测结果至少得到所述目标的种类、大小和运动速度。4.根据上述权利要求中任一项所述的系统，其中，所述预测结果至少包括所述目标的运动轨迹和/或预期速度。5.根据上述权利要求中任一项所述的系统，其中，所述系统还具有融合模块，所述融合模块将所述传感器的检测结果通过融合算法进行数据融合，使得将所述目标的信息和与道路信息相融合。6.根据权利要求5所述的系统，其中，所述预测模块基于所述融合模块的数据融合结果进行预测，并将所述融合结果和所述预测结果发送给所述显示模块。7.根据上述权利要求中任一项所述的系统，其中，所述显示模块是hud装置。8.根据上述权利要求中任一项所述的系统，其中，所述显示模块能够以鸟瞰图的方式呈现车辆周围的环境信息以及所述目标的相关数据。9.一种用于显示车辆周围目标的方法，其中，所述方法至少包括下述步骤：检测车辆周围的目标，对所述目标进行定位；基于所述目标的检测和定位对所述目标进行预测；向驾驶员显示预测结果，其中，显示的信息能够被驾驶员自主地选择。10.根据权利要求9所述的方法，其中，在检测步骤之后还具有数据融合步骤，在所述数据融合步骤中，将所述目标的信息和与道路信息相融合，并在预测步骤中基于融合结果进行预测，在显示步骤中将所述融合结果和所述预测结果进行显示。

技术总结
一种显示车辆周围目标检测及轨迹预测的系统，其中，所述系统至少具有：检测模块，所述检测模块具有至少一个传感器，用于对车辆周围的目标进行检测和定位；预测模块，所述预测模块能够基于车辆周围的目标进行预测；显示模块，所述显示模块能够将车辆周围的目标的相关数据和所述预测模块的预测结果显示出来，其中，所述显示模块呈现的信息能够由驾驶员自主地选择。以及一种用于显示车辆周围目标的方法，所述方法至少包括下述步骤：检测车辆周围的目标，对所述目标进行定位；基于所述目标的检测和定位对所述目标进行预测；向驾驶员显示预测结果，其中，显示的信息能够被驾驶员自主地选择。地选择。地选择。


技术研发人员：支蓉 王宝锋
受保护的技术使用者：梅赛德斯-奔驰集团股份公司
技术研发日：2022.03.16
技术公布日：2022/5/25