用于视觉转向的自动化车辆的车道延伸的制作方法

用于视觉转向的自动化车辆的车道延伸
1.本技术是申请日为2017-01-09，申请号为201710014936.3，题为“用于视觉转向的自动化车辆的车道延伸”的发明专利申请的分案申请。
2.发明技术领域
3.本公开总地涉及适于在自动化车辆上的使用的车道延伸系统，并且更具体地涉及当从相机图像确定的视觉路径不对应于数字地图时，根据视觉路径先前定义的当前轨迹操作车辆的系统。
4.发明

背景技术：

5.已知使用相机来检测道路的特征(例如车道标记和路缘)以操作(例如转向)自动化车辆。然而，在一些实例中，这些特征可能是不一致的、减弱的或以其他方式不可用的。这些实例的示例包括但不限于十字路口、山顶、偏离的车道标记、出口匝道、标记不佳的车道和/或不正确地检测到的视觉标记。已经提出使用诸如电子水平(eh)或通用的全球定位系统的数字地图，但这种数字地图要求不期望的频繁的更新以保持与相机可检测到的一致。


技术实现要素：

6.根据一个实施例，提供了一种适于在自动化车辆上的使用的车道延伸系统。系统包括相机、位置设备和控制器。相机用于捕捉主车辆行进的道路的图像。位置设备用于确定主车辆在数字地图上的位置。控制器与相机和位置设备通信。控制器配置为基于在图像中检测到的道路的车道标记确定视觉路径、当视觉路径确实对应于数字地图时根据视觉路径操作主车辆以及当视觉路径不对应于数字地图时根据视觉路径先前定义的当前轨迹操作主车辆。
7.有利地，系统根据当前轨迹完成对主车辆的操作而不参考数字地图。
8.在阅读优选实施例的下列详细描述后，进一步的特征和优势将更清楚地呈现，该优选实施例仅作为非限制性的示例且参照附图而给出。
附图说明
9.现在将参考附图借助示例来描述本发明，在附图中：
10.图1是根据一个实施例的车道延伸系统的示图；
11.图2是根据一个实施例的由图1的系统经历的交通场景；
12.图3是根据一个实施例的由图1的系统经历的交通场景；以及
13.图4是根据一个实施例的由图1的系统经历的交通场景。
具体实施方式
14.图1示出适于在自动化车辆(下文称为主车辆12)上的使用的车道延伸系统10(下文称为系统10)的非限制性示例。通常，系统10配置为在自动模式14中操作(即驾驶)主车辆12，由此主车辆12的操作者16与乘客相差不多。即，操作者16实质上与对主车辆12的转向或对加速器和制动器的操作不相关。构想主车辆12也可在手动模式18中操作，其中操作者16
对操作车辆控制20完全负责，或者在部分模式(未示出)中操作，其中对车辆的控制由操作者16和系统10的控制器24共享。
15.控制器24可包括诸如微处理器的处理器(未具体示出)或诸如包括用于处理数据的专用集成电路(asic)的模拟和/或数字控制电路的其它控制电路(如对本领域技术人员而言应当是明显的)。控制器24可包括用于储存一个或多个例程、阈值和捕获的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(eeprom)。如本文中所描述，可通过处理器执行一个或多个例程以基于由控制器24接收的信号执行操作主车辆12的步骤。
16.系统10包括用于捕捉主车辆12行进的道路30的图像28的相机26。图像28可包括但不限于在道路30上或接近道路30的车道标记32、其他车辆34和/或行人36。适于在主车辆12上的使用的相机26的示例是市售的，如将被本领域技术人员所认识的。相机26可安装在主车辆12的前面，或安装在主车辆的内部的适于使相机穿过主车辆12的挡风玻璃观察主车辆12周围的区域的位置。
17.系统10包括用于确定主车辆12在数字地图40上的位置42的位置设备38。位置设备38可类似于在全球定位系统(gps)和/或电子水平类型的系统中使用的那些。位置42可表达为例如对应于数字地图40上的特定位置的全球坐标。可替代地，位置42可以被表达为到沿道路30布置的一个或多个基于地面的应答器的距离和方向。一些先前系统依赖广泛详细地描述或模拟驾驶环境(即道路30)的各种形式的数字地图，因此车辆理论上可以使用高精度版本的位置设备而不利用诸如图像28的任何其他信息来操作。如在之后的描述中将变得明显的，本文中所描述的系统10使用的数字地图40仅提供了关于道路30相对低水平的细节，例如在主车辆前方的道路30的形状，诸如指示道路30是直的或弯曲的。
18.控制器24与相机26和位置设备38电气通信，因此控制器24可接收来自相应设备的图像28和位置42。控制器24通常配置为使用本领域技术人员已知的图像处理算法处理图像28以基于但不限于在图像28中检测到的或存在的道路30的车道标记32来确定视觉路径44。如本文中所使用的，视觉路径44定义沿道路30的路径，控制器24在自动模式14中对主车辆的操作的期间跟随该路径，自动模式14控制主车辆12的车辆控制20的转向、加速器和/或制动器。即，系统10使用图像28以确定车辆控制20怎样被操作以驾驶主车辆12。
19.如在之后的描述中将变得明显的，本文中所描述的系统10相对于依赖于诸如高分辨率数字地图数据库和昂贵的高精度全球定位设备的其他装置的先前系统对于操作主车辆12具有优势。即，系统10或更具体地控制器24配置为当视觉路径44确实对应于数字地图时根据或沿着视觉路径44操作主车辆12。换句话说，只要图像28足以提供与数字地图40不一致的视觉路径44，控制器24中的视觉/地图匹配逻辑46选择跟随视觉路径的选项并且跟随视觉路径44。
20.与为提供在没有图像28的情形下操作车辆的方法而已经引起成本和复杂性的先前系统相反，本文中所描述的控制器24配置为当视觉路径44不对应于数字地图40时根据视觉路径44先前定义的当前轨迹50来操作主车辆12。即，如果图像28不足以确定视觉路径44和数字地图40对于道路30指示相同的形状，或者视觉路径44和数字地图40指示的道路30的形状不一致，即视觉路径44和数字地图40不对应，则系统10简单地至少暂时地按相同方式继续转向主车辆12，例如沿同样的弯曲或在直线上的路径(当前轨迹50)，直到图像28重新
变得足以确定对应于数字地图40的视觉路径44。
21.系统10将在不采取一些辅助行动的情形下根据当前轨迹50操作主车辆12多长时间或多远将取决于多种因素，例如但不限于相机26的操作状态、主车辆12的速度、在视觉路径44不对应于数字地图40的情况之前视觉路径44和数字地图40确实对应的时间的程度/长度和/或在主车辆12的路径中对某个物体的检测。需要强调，与先前系统相反，本文中所描述的系统10相对于先前系统具有成本和复杂性的优势，因为对主车辆12的操作根据当前轨迹50完成而不参考数字地图40。
22.图2示出了道路30的十字路口52的非限制性示例，其已经被观察到导致对于操作自动化车辆的仅基于视觉的系统的转向可信度的问题。还观察到新的转向车道和出口匝道导致相似的问题。因为路缘56提供的右边缘标记54从道路30的中央线提供的左边缘标记58偏离，视觉路径44可能转向离开对应于指示道路30是直路的数字地图40的当前轨迹50。这是当因为车道标记32不穿过十字路口52延伸车道标记32未被检测到时视觉路径44不对应于数字地图40的地方的示例。为了克服这个问题，控制器24仅仅在当前轨迹50中转向主车辆12，在该示例中直线向前，并且这样做不是因为数字地图40指示道路30是直路，而是因为推测通过直行将重新检测到足够的特征使得视觉路径44和数字地图40将重新对应。
23.图3示出道路30的另一非限制性示例，其可能导致视觉路径44不对应于数字地图40。在该示例中道路30包括其他车辆34行进的旁路60。道路30包括阻止相机26看见在山顶62另一边的道路30的山顶62。在该实例中，视觉路径44指示道路30在山顶62处停止，但数字地图40指示道路30在山顶的另一边存在。由此，视觉路径不对应于数字地图40。如在图2所示的先前情形下，控制器24仅仅根据当前轨迹50转向主车辆12，并且这样做不是因为数字地图40指示道路30存在，而是因为推测通过直行将重新检测到足够的特征使得视觉路径44和数字地图40将重新对应。
24.控制器24可进一步配置为当视觉路径44不对应于数字地图40时根据当前轨迹50操作主车辆12，直到在主车辆12的行进路径64中检测到物体66(例如完成指示的转弯之后的其他车辆34)。如本文中所使用的，行进路径64是主车辆12使用本文中所描述的系统10最终将跟随的路径。在主车辆12通过山顶62之后，控制器24可能花一点时间重新确定对应于数字地图40的视觉路径44，因此主车辆12继续根据当前轨迹50行进。然而，如果其他车辆34执行图3中显示的转向并且因此在行进路径64中，则控制器24可能采取某些行动以阻止与其他车辆34的碰撞，尽管视觉路径44可能还未对应于数字地图40。物体66的其他非限制性的示例包括跨过行进路径64的行人36(图3中未示出)或行进路径64中的道路30上的碎片(图3中未示出)。
25.如上所提出的，控制器24可进一步配置为操作主车辆12以避免与在主车辆12的行进路径64中检测到的物体66的碰撞。为了避免碰撞，控制器24可以例如应用主车辆12的制动和/或操作转向以将主车辆12转向进另一车道或到道路30的路肩上。即，当在行进路径中检测到物体66(其他车辆34)时，主车辆12可以停止、减速和/或转向远离行进路径64，并且因此不继续根据当前轨迹50行进。
26.图4示出可能导致视觉路径44不对应于数字地图40的道路30的另一非限制性示例。在该示例中，道路30包括建设区68，其中道路30的一部分不具有控制器能够使用以确定视觉路径44的任何视觉提示，例如车道标记、路缘或人行道边缘。由此，视觉路径不对应于
数字地图40。与图2和3示出的当视觉路径44不对应于数字地图时控制器24仅仅将主车辆12转向在直线方向中的先前情形相反，在该非限制性示例中道路30是弯曲的，因此视觉路径44在建设区68开始的点之前是弯曲的。由此，视觉路径44先前定义的当前轨迹50也是弯曲的。主车辆12通过固定或保持在建设区68开始的点时(即在视觉路径44不对应于数字地图40的点时)使用的主车辆12的方向盘的角度来跟随当前轨迹50。通过保持方向盘的角度，主车辆跟随当前轨迹50，并且这样做不是因为数字地图40指示道路30在建设区68的另一边恢复，而是因为推测通过在曲线的相同半径继续使主车辆12转弯将重新检测到足够的特征使得视觉路径44和数字地图40将重新对应。在根据当前轨迹50行进之后，检测到足够的视觉提示，并且当对车道标记32的检测恢复使得视觉路径44和数字地图40将重新对应时控制器24配置为恢复根据视觉路径44对主车辆12的操作。
27.因此，提供了车道延伸系统(系统10)、用于系统10的控制器24以及操作系统10的方法。与先前系统相反，本文中所描述的系统10与先前系统相比花费更少并且更简单，因为当来自相机26的图像28不足以确定对应于数字地图40的视觉路径44时，系统10仅仅根据当前轨迹50转向主车辆12(例如继续沿着当前弯曲或直的路径)。根据当前轨迹50转向不参考数字地图40地完成，并且预期继续，直到图像28重新变得足以确定对应于数字地图40的视觉路径44，或直到需要避免主车辆12的行进路径64中的物体66以阻止碰撞。
28.尽管已针对其优选实施例对本发明进行了描述，然而本发明不旨在受如此限制，而是仅受所附权利要求书中给出的范围限制。

技术特征：
1.一种车道延伸系统，适于在车辆上使用，所述系统包括处理器，所述处理器被配置用于：接收由所述车辆行进的道路的图像；基于所述图像中的车道标记，确定用于所述车辆进行操作的视觉路径；确定所述视觉路径是否对应于数字地图上的行进路径；如果所述视觉路径确实对应于所述数字地图上的所述行进路径，则根据所述视觉路径来操作所述车辆；以及如果所述视觉路径不对应于所述数字地图上的所述行进路径，则根据先前定义的视觉路径的当前轨迹来操作所述车辆。2.如权利要求1所述的系统，其特征在于，根据所述当前轨迹完成对所述车辆的操作而不参考所述数字地图。3.如权利要求1所述的系统，其特征在于，所述控制器被配置用于：响应于未在所述图像中检测到所述车道标记，确定所述视觉路径不对应于所述数字地图上的所述行进路径。4.如权利要求1所述的系统，其特征在于，所述控制器进一步配置用于：如果所述视觉路径不对应于所述数字地图上的所述行进路径，则根据所述当前轨迹操作所述车辆，直到在所述车辆的实际行进路径中检测到物体。5.如权利要求4所述的系统，其特征在于，所述控制器进一步配置用于：操作所述车辆以避免与在所述车辆的所述实际行进路径中检测到的所述物体的碰撞。6.如权利要求3所述的系统，其特征在于，所述控制器进一步配置用于：当对所述车道标记的检测恢复时，恢复根据所述视觉路径对所述车辆的操作。7.如权利要求1所述的系统，其特征在于，所述图像是从所述车辆的相机接收到的。8.如权利要求1所述的系统，其特征在于，所述数字地图是从所述车辆的位置检测器获得的。9.一种车道延伸系统，适于在车辆上使用，所述系统包括：用于接收由所述车辆行进的道路的图像的装置；用于基于所述图像中的车道标记确定用于所述车辆进行操作的视觉路径的装置；用于确定所述视觉路径是否对应于数字地图上的行进路径的装置；用于如果所述视觉路径确实对应于所述数字地图上的所述行进路径则根据所述视觉路径来操作所述车辆的装置；以及用于如果所述视觉路径不对应于所述数字地图上的所述行进路径则根据先前定义的视觉路径的当前轨迹来操作所述车辆的装置。10.一种由车辆的控制器执行的方法，所述方法包括：接收由所述车辆行进的道路的图像；基于所述图像中的车道标记，确定用于所述车辆进行操作的视觉路径；确定所述视觉路径是否对应于数字地图上的行进路径；如果所述视觉路径不对应于所述数字地图上的所述行进路径，则根据先前定义的视觉路径的当前轨迹来操作所述车辆；以及如果所述视觉路径确实对应于所述数字地图上的所述行进路径，则根据所述视觉路径来操作所述车辆。

技术总结
本申请公开了用于视觉转向的自动化车辆的车道延伸。适于在自动化车辆上使用的车道延伸系统(10)包括相机(26)、位置设备(38)和控制器(24)。相机(26)用于捕捉主车辆(12)行进的道路(30)的图像(28)。位置设备(38)用于确定主车辆(12)在数字地图(40)上的位置(42)。控制器(24)与相机(26)和位置设备(38)通信。控制器(24)配置为基于车道标记(32)确定视觉路径(44)、当视觉路径(44)确实对应于数字地图(40)时根据视觉路径(44)操作主车辆(12)、以及当视觉路径(44)不对应于数字地图(40)时根据当前轨迹(50)操作主车辆(12)。系统(10)根据当前轨迹(50)完成对主车辆(12)的操作而不参考数字地图(40)。地图(40)。地图(40)。


技术研发人员：M
受保护的技术使用者：安波福技术有限公司
技术研发日：2017.01.09
技术公布日：2022/5/25