在车辆运行时检测三维结构模型的制作方法

1.本公开涉及改善可配备在车辆上以提供自主地理空间定位的全球导航卫星系统(gnss)的性能，特别是通过使用传感器设备比如相机、无线电检测和测距(雷达)设备和/或光检测和测距(激光雷达)设备的组合来确定从车辆的建筑物和其他结构的三维(3d)模型而改善性能。


背景技术：

2.配备有gnss接收器的车辆比如汽车、卡车、轮船等可以为操作员(人类、自主或半自主)提供导航信息。通用的gnss包括全球定位系统(gps)、全球导航卫星系统(glonass)、伽利略、北斗和其他区域系统。gnss接收器可以提供达特定精度水平的导航信息；然而，精度水平通常限于露天环境。例如，在露天环境中，gnss接收器可以在至少1.5米(m)的精度内实现测量。gnss接收器通常在市区(比如城市)中精度较低，尤其是在有建筑物和其他结构的情况下。建筑物和其他结构通过遮挡接收器在露天环境中的视野来阻碍从gnss系统接收信号的gnss接收器的路径，从而代替地创建了高多径射频(rf)信号环境。


技术实现要素：

3.一种用于在运行时检测车辆附近的一个或多个三维结构的计算机实现的方法包括由处理器使用相机生成车辆附近的鸟瞰(bev)相机图像，该bev相机图像包括附近的一个或多个结构的二维坐标。该方法还包括由处理器生成车辆附近的bev高度图像，该bev高度图像提供附近的一个或多个结构的高度。该方法还包括由处理器基于bev相机图像和bev高度图像，检测附近的一或多个三维结构的一个或多个边缘。该方法还包括由处理器通过基于一个或多个三维结构的边缘的平面拟合生成车辆附近的一个或多个三维结构的模型。该方法还包括由处理器基于车辆附近的一个或多个三维结构的模型，重新配置导航系统接收器。
4.根据一个或多个实施例，基于从车辆的雷达捕获的雷达数据来生成bev高度图像。
5.根据一个或多个实施例，bev高度图像是使用雷达数据生成的bev雷达图像。
6.根据一个或多个实施例，检测一个或多个三维结构的边缘包括：由处理器通过合并bev相机图像和bev雷达图像以为bev相机图像中的每个像素添加高度信息作为通道来生成合并图像；以及由处理器通过将合并图像输入到人工神经网络来检测边缘。
7.根据一个或多个实施例，基于从车辆的激光雷达捕获的激光雷达数据生成bev高度图像。
8.根据一个或多个实施例，相机包括配备在车辆的不同侧上的多个相机。
9.根据一个或多个实施例，重新配置导航系统接收器包括改变导航系统接收器正在使用的频率。
10.根据一个或多个实施例，一种配备在车辆中的设备包括导航系统接收器、相机、存储器以及与导航系统接收器、存储器并且与相机耦合的处理器。处理器配置为执行用于在
运行时检测车辆附近的一个或多个三维结构的方法。该方法包括生成车辆附近的鸟瞰(bev)相机图像，该bev相机图像包括附近的一个或多个结构的二维坐标。该方法还包括生成车辆附近的bev高度图像，该bev高度图像提供附近的一个或多个结构的高度。该方法还包括基于bev相机图像和bev高度图像，检测附近的一或多个三维结构的一个或多个边缘。该方法还包括通过基于一个或多个三维结构的边缘的平面拟合生成车辆附近的一个或多个三维结构的模型。该方法还包括基于车辆附近的一个或多个三维结构的模型，重新配置导航系统接收器。
11.根据一个或多个实施例，基于从车辆的雷达捕获的雷达数据来生成bev高度图像。
12.根据一个或多个实施例，bev高度图像是使用雷达数据生成的bev雷达图像。
13.根据一个或多个实施例，检测一个或多个三维结构的边缘包括：由处理器通过合并bev相机图像和bev雷达图像以为bev相机图像中的每个像素添加高度信息作为通道来生成合并图像；以及由处理器通过将合并图像输入到人工神经网络来检测边缘。
14.根据一个或多个实施例，基于从车辆的激光雷达捕获的激光雷达数据生成bev高度图像。
15.根据一个或多个实施例，相机包括配备在车辆的不同侧上的多个相机。
16.根据一个或多个实施例，重新配置导航系统接收器包括改变导航系统接收器正在使用的频率。
17.一种计算机程序产品包括计算机存储设备，该计算机存储设备包括计算机可执行指令，该计算机可执行指令在由处理单元执行时使处理单元执行用于在运行时检测车辆附近的三维结构的方法。该方法包括生成车辆附近的鸟瞰(bev)相机图像，该bev相机图像包括附近的一个或多个结构的二维坐标。该方法还包括生成车辆附近的bev高度图像，该bev高度图像提供附近的一个或多个结构的高度。该方法还包括基于bev相机图像和bev高度图像，检测附近的一或多个三维结构的一个或多个边缘。该方法还包括通过基于一个或多个三维结构的边缘的平面拟合生成车辆附近的一个或多个三维结构的模型。该方法还包括基于车辆附近的一个或多个三维结构的模型，重新配置导航系统接收器。
18.根据一个或多个实施例，基于从车辆的雷达捕获的雷达数据来生成bev高度图像。
19.根据一个或多个实施例，bev高度图像是使用雷达数据生成的bev雷达图像。
20.根据一个或多个实施例，检测一个或多个三维结构的边缘包括：由处理器通过合并bev相机图像和bev雷达图像以为bev相机图像中的每个像素添加高度信息作为通道来生成合并图像；以及由处理器通过将合并图像输入到人工神经网络来检测边缘。
21.根据一个或多个实施例，基于从车辆的激光雷达捕获的激光雷达数据生成bev高度图像。
22.根据一个或多个实施例，相机包括配备在车辆的不同侧上的多个相机。
23.根据一个或多个实施例，重新配置导航系统接收器包括改变导航系统接收器正在使用的频率。
24.当结合附图考虑时，根据以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
25.其他特征、优点和细节仅通过示例的方式在下面的详细描述中出现，该详细描述参考附图，其中：
26.图1描绘了根据一个或多个实施例的用于感测车辆附近的环境并动态地检测3d结构的示例性系统的框图；
27.图2描绘了根据一个或多个实施例的由车辆捕获和获得的不同类型的数据的示例；
28.图3描绘了根据一个或多个实施例的用于从车辆实时估计静态和动态结构的3d模型的方法的流程图；
29.图4描绘了根据一个或多个实施例的用于边缘检测的图像的示例；以及
30.图5描绘了用于实现本文描述的一个或多个实施例的计算系统。
具体实施方式
31.以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。在所有附图中，相应的附图标记表示相同或相应的部件和特征。如本文所用，控制模块、模块、控件、控制器、控制单元、电子控制单元、处理器和类似术语是指以下中的任何一个或者一个或多个的各种组合：专用集成电路(asic)、电子电路、中央处理单元(优选微处理器)和相关的存储器和存储设备(只读存储器(rom)、随机存取存储器(ram)、电可编程只读存储器(eprom)、硬盘驱动器等)、图形处理单元或执行一个或多个软件或固件程序或例程的微控制器、组合逻辑电路、输入/输出电路和设备(i/o)以及适当的信号调节和缓冲电路、高速时钟、模数(a/d)和数模(d/a)电路和提供所描述的功能的其他部件。控制模块可以包括在车辆控制器局域网以及工厂内和与服务有关的网络上的各种通信接口，包括点对点或离散线路以及到包括广域网和局域网的网络的有线或无线接口。如本公开中阐述的控制模块的功能可以在多个联网的控制模块之间的分布式控制架构中执行。软件、固件、程序、指令、例程、代码、算法和类似术语表示任何控制器可执行指令集，包括校准、数据结构和查找表。控制模块具有被执行以提供所描述的功能的一组控制例程。例程比如由中央处理单元执行，并且可操作以监视来自感测设备和其他联网的控制模块的输入，并执行控制和诊断例程以控制致动器的操作。例程可以在正在进行的发动机和车辆操作期间以规则的间隔执行。可替代地，可以响应于事件的发生、软件调用或者根据需要经由用户界面输入或请求来执行例程。
32.本文描述的技术解决方案以全球导航卫星系统(gnss)接收器的精度来解决技术挑战。如前所述，配备有gnss接收器的车辆比如汽车、卡车、轮船等可以为操作员(人类、自主或半自主)提供导航信息。然而，精度水平通常限于露天环境，并且gnss接收器通常在市区(比如城市)中精度较低，尤其是在有建筑物和其他结构的情况下。建筑物和其他结构通过遮挡接收器在露天环境中的视野来阻碍从gnss系统接收信号的gnss接收器的路径，从而代替地创建了高多径射频(rf)信号环境。
33.本文描述的技术解决方案通过动态检测可以抑制gnss接收器接收导航信息的三维(3d)结构(比如建筑物)来准确地解决此类技术难题。3d结构的检测完全在运行时执行，而无需有关此类结构模型的先验信息，比如包含3d结构的位置和其他信息的静态地图。换句话说，本文描述的用于动态检测3d结构的技术解决方案不需要任何先验信息或地图的任
何连续更新。因此，与使用静态地图或连续更新地图以检测此类3d结构的现有解决方案相比，该技术解决方案可节省成本。在一个或多个实施例中，例如，报告诸如以低于(或高于)预定阈值的高度测量检测的建筑物的结构，以减少由诸如路缘石之类的结构引起的错误警报。
34.现在转到图1，框图示出了用于感测车辆附近的环境并动态地检测3d结构的示例性系统100。系统100包括车辆101，其配备有处理器140、存储器145、gnss接收器155、相机108和雷达110。在一个或多个实施例中，车辆101还配备有激光雷达112。应当理解，车辆101可以配备有未在本文中列出的附加装置和/或部件。
35.处理器140可以是微处理器、图形处理单元、数字信号处理器或任何其他处理单元。处理器140可以执行一个或多个计算机可执行指令以执行本文所述的一种或多种方法。这样的计算机可执行指令可被存储在存储器145中。存储器145可以存储在计算机可执行指令的执行期间由处理器140使用的附加信息。例如，存储器145可以存储临时值、媒体(例如图像、音频、视频)以及要在执行期间使用的其他信息。
36.系统100可以利用相机108以及其他传感器来捕获车辆101附近的图像202(图2)。这里，车辆101的“附近”可以是车辆在距车辆101的中心(或任何其他参考点)的预定距离(例如50米、100米等)内的环境。相机108可操作成在视场(fov)内捕获图像202，其可包括在该fov内的静态和动态物体。图像处理技术可用于在fov内定位和分类物体。fov通常与受fov限制的驾驶场景或驾驶场景的一部分相关。
37.相机108可以包括放置在车辆101内部和/或外部的多个相机。例如，相机108的子集可以放置在车辆101的侧面、顶部、前部和/或后部，其可操作成捕获图像202或车辆101附近的视场的一系列图像。在示例性实施例中，相机108可包括广角相机。可以执行传感器融合以提供外部物体的准确检测、分类、跟踪等以及适当属性(比如相对速度、加速度等)的计算。在一个或多个实施例中，相机108有助于生成车辆101附近的鸟瞰(bev)图像204。
38.使用一种或多种已知的计算机视觉技术中的任何一种来生成bev相机图像204。例如，预定数量的相机108安装在车辆101周围，以使它们的视野覆盖附近。相机108的参数被预先校准，使得可以将从相机108捕获的图像202变形为透视图以进行集成。通过使用动态编程方法沿接缝对齐，然后传播具有wendland函数的对齐变形场，可以将图像202中相邻视图的重叠区域缝合在一起。以这种方式，图像202可被集成到单个全景无缝的bev相机图像204中。可以理解的是，可以使用其他技术来生成bev相机图像204，并且本文描述的技术方案的各方面不受限于使用哪种技术来生成bev相机图像204。
39.雷达110用于检测车辆101附近的物体。在一个或多个实施例中，由雷达110捕获的雷达数据提供车辆101附近的3d结构的范围信息。在一个或多个实施例中，车辆101配备有多个雷达110。由多个雷达110捕获的雷达数据用于生成车辆101附近的bev雷达图像206(图2)。可以使用来自惯性测量单元(imu)的信息捕获来自雷达的多次扫描并在空间上对齐以生成bev雷达图像206。来自雷达110的多普勒信息还可以用于在生成bev雷达图像206之前从多次扫描中识别和删除移动物体。bev雷达图像206是车辆101附近的图像，其中bev雷达图像206的每个像素代表检测到的物体、检测的置信度或雷达横截面。
40.bev相机图像204和bev雷达图像206一起用于生成包括车辆101附近的3d结构的模型。生成模型包括计算附近结构的高度。可以使用目标与车辆101的距离r来计算目标的高
度，该距离r是由来自雷达110的范围信息提供的。此外，基于可以从图像202确定的目标的仰角e来计算目标的高度。可以使用来自范围数据的相应距离r和来自相机图像202的仰角e确定相机图像202中的代表车辆101附近的结构的每个像素的高度。
41.基于附近的模型，可以对gnss接收器155进行编程以改善对来自gnss的导航信号的接收。例如，编程可以包括改变与接收器155相关的一个或多个参数。可替代地或另外，基于附近的模型，从诸如例如可以使用有线或无线连接而与车辆101相关的电话(未示出)之类的不同源获得车辆101的导航信息。
42.在车辆101包括激光雷达112的实施例中，捕获车辆101附近的点云数据208。激光雷达数据208包括从图像平面(即图像202的平面)对车辆101附近的3d结构的深度估计。在一个或多个实施例中，车辆101配备有多个激光雷达112。此外，使用由激光雷达112捕获的激光雷达数据208来生成bev激光雷达图像210。bev激光雷达图像210提供从地平面的3d结构的范围信息。可以使用来自惯性测量单元(imu)的信息捕获来自激光雷达112的多次扫描并在空间上对齐以生成bev激光雷达图像210。bev激光雷达图像210是车辆101附近的图像，其中bev激光雷达图像210的每个像素代表检测到的物体或检测的反射率。来自激光雷达112的范围信息包括来自图像202的每个像素的高度。
43.在车辆101配备有激光雷达112的情况下，可以使用bev相机图像204和使用由激光雷达112捕获的高度信息的bev激光雷达图像210来生成车辆101附近的模型。如果在一个或多个实施例中激光雷达数据208可用，则可能不需要雷达图像206来生成模型。
44.图3描绘了根据一个或多个实施例的用于实时地从车辆估计静态和动态结构的3d模型的方法300的流程图。方法300包括在框302使用相机108生成车辆101附近的bev相机图像204。可以使用使用由相机108捕获的多个图像的一种或多种已知技术来生成bev相机图像204。
45.方法300还包括在框304确定车辆101是否配备有激光雷达112。如果车辆101未配备有激光雷达112，则方法300在框306继续生成车辆101附近的bev雷达图像206。可以使用使用由雷达110捕获的多个雷达数据的一种或多种已知技术来生成bev雷达图像206。
46.在框308，通过对齐和合并bev雷达图像206和bev相机图像204来产生合并图像。bev雷达图像206和bev相机图像204被变换(例如裁剪、旋转、平移)，以便彼此对齐并匹配。可以使用已知的图像配准技术来执行对齐。图像的合并包括将来自bev雷达图像206的每个像素的雷达信息用作合并图像中的第一通道，并将来自bev相机图像204的颜色信息用作其余通道。例如，如果合并图像具有四个通道：红色、绿色、蓝色和深度(rgbd)，则可以使用来自bev相机图像204的颜色数据填充rgb通道，并且可以使用来自bev雷达图像206的范围数据填充d通道。应当理解，可以使用通道的其他组合，并且在其他示例中，合并图像可以包括与上述示例不同的通道。因此，合并图像是张量，其提供由合并图像的像素表示的车辆101附近的范围和颜色信息。
47.在框310，神经网络分析合并图像以检测3d结构，比如车辆101附近的建筑物、树木、塔和其他此类物体。神经网络是人工神经网络，比如卷积神经网络(cnn)、前馈神经网络、多层感知器或任何其他此类神经网络。对神经网络进行预训练，以检测3d结构，尤其是合并图像中的建筑物的边缘，其包括合并图像中的数据通道中的范围数据和相机数据。在这种情况下，范围数据是来自bev雷达图像206的数据。图4描绘了从示例场景在合并图像
401中检测到的建筑物的示例边缘402。应当理解，在其他实施例中，合并图像401和/或检测到的边缘402可以与所描绘的不同。
48.在框312，以二维(例如xy坐标)确定相对于车辆101的检测到的边缘402的坐标。例如，将车辆101的坐标(例如车辆101的中心)配置为(0，0)(即原点，并且边缘402的坐标以该参考来确定)。在示例中，基于来自原点的像素的数量或以与像素数量的任何其他关系来确定坐标。
49.此外，在框314，确定用于检测到的边缘402的第三维度上的坐标，例如z坐标。可以基于合并图像中和/或雷达图像206中的范围数据来确定z坐标。如前所述，使用范围数据以及来自相机108的图像202，计算边缘402的高度。在示例中，高度信息被存储为合并图像中由xy坐标表示的像素的z坐标的值。可替代地，在bev雷达图像206中的与边缘402的xy坐标相对应的像素被识别。来自bev雷达图像206的深度信息被用作z坐标。
50.在框316，通过使用边缘402的xyz坐标执行平面拟合来生成3d结构104的模型。可以使用一种或多种已知技术来执行平面拟合，比如使用随机样本一致性(ransac)算法，或任何其他已知的平面拟合算法。
51.可替代地，参考框304，如果激光雷达112可用于车辆101，则在框318，方法300继续使用车辆101附近的激光雷达数据来生成bev激光雷达图像210。可以使用使用由激光雷达112捕获的多个激光雷达数据的一种或多种已知技术来生成bev激光雷达图像210。例如，通过捕获点云(即使用激光雷达112的激光雷达数据208)来生成bev激光雷达图像210。此外，激光雷达数据208被转换成范围图像，其中，范围图像中的每个像素表示从激光雷达数据208的检测(或不检测)。这种转换包括参考地平面比较激光雷达数据208中的每个点处的高度(z)。车辆101的平面被用作用于这种计算的地平面。可以使用三角函数和该点的范围数据来计算参考地平面的激光雷达数据208中的每个点的高度。
52.应当理解，在其他实施例中，可以使用不同的技术来确定激光雷达数据208中的每个点的高度。随后将高度图像投影在地平面上，例如使用单应性以获得bev激光雷达图像210。bev激光雷达图像210中的每个像素代表车辆101附近的3d结构的x,y,z坐标，其中x和y坐标是相对于车辆101的地平面上的2d坐标，例如以车辆101作为原点。z坐标(即高度)可以由像素处的灰度(或任何其他颜色)值表示。
53.此外，在框320，分析bev激光雷达图像210以检测车辆101附近的结构的边缘402。分析可以由神经网络执行，该神经网络被预先训练以基于存储在bev激光雷达图像210中的xyz值检测边缘，其中代表高度的z值被存储为每个像素坐标(xy)处的颜色/强度。可替代地，z值代表每个像素的范围数据。图4描绘了在去噪的bev激光雷达图像403中检测到的边缘402。去噪的bev激光雷达图像403是通过使用滤波器比如空间域滤波器、变换域滤波器等处理bev激光雷达图像210而获得的。这种滤波可以是线性和/或非线性的。这种滤波器的典型示例可以包括均值滤波器、weiner滤波器、中值滤波器、非线性阈值滤波器等。
54.一旦检测到边缘402，方法300还包括在框312检测边缘的xy坐标。此外，在框314，使用范围数据来检测边缘的z坐标。范围数据可以从传感器比如雷达110、激光雷达112等获得。在框316，使用平面拟合技术来确定3d结构104的模型。
55.方法300还包括在框322基于车辆101附近的结构的3d模型来重新配置gnss接收器155。重新配置可以包括改变gnss接收器155正在使用的一个或多个无线电信道(即频率)。
3d模型用于对无线电信号中的错误进行建模，否则传统的gnss接收器不会检测到这些错误。
56.本文描述的实施例有助于从车辆实时估计静态和动态结构的3d模型。估计的3d模型可以应用于gnss环境建模和地图构建。由于缺乏深度信息，现有的“仅相机”方法可能会在估计尺寸上出现错误。本文所述的技术解决方案使用雷达和/或激光雷达来准确地检测结构的覆盖区，并将该信息与相机图像相结合，以得出车辆附近的结构的3d模型。
57.车辆101附近的结构比如建筑物的3d模型用于改善gnss接收器的性能。可以使用本文所述的技术解决方案，完全在线地对gnss接收器的操作进行改进，从而避免需要先验模型、各个区域的静态地图或车辆行驶的区域的地图的连续更新。因此，本文所述的技术方案是通过节省通信密集型资源和操作来改善gnss的操作的实际应用。
58.现在转到图5，总体上示出了根据实施例的计算机系统500。计算机系统500可以用作本文所述的任何装置和/或设备，比如车辆101中配备的那些。在一个或多个实施例中，计算机系统500实现本文所述的一种或多种方法。计算机系统500可以是电子计算机框架，其包括和/或采用任何数量的利用各种通信技术的计算设备和网络及其组合，如本文所述。计算机系统500可以容易地扩展、延展和模块化，具有改变为不同服务或独立于其他特征而重新配置某些特征的能力。计算机系统500可以是例如服务器、台式计算机、膝上型计算机、平板电脑或智能电话。在一些示例中，计算机系统500可以是云计算节点。可以在由计算机系统执行的计算机系统可执行指令(比如程序模块)的总体情况下描述计算机系统500。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。可以在分布式云计算环境中实践计算机系统500，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括内存存储设备的本地和远程计算机系统存储介质中。
59.如图5所示，计算机系统500具有一个或多个中央处理单元(cpu)501a、501b、501c等(统称或总称为处理器501)。处理器501可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。处理器501(也称为处理电路)通过系统总线502耦合到系统存储器503和各种其他部件。系统存储器503可以包括只读存储器(rom)504和随机存取存储器(ram)505。rom504耦合到系统总线502，并且可以包括基本输入/输出系统(bios)，其控制计算机系统500的某些基本功能。ram是耦合到系统总线502以供处理器501使用的读写存储器。系统存储器503在操作期间为所述指令的操作提供临时存储空间。系统存储器503可以包括随机存取存储器(ram)、只读存储器、闪存或任何其他合适的存储器系统。
60.计算机系统500包括输入/输出(i/o)适配器506和耦合到系统总线502的通信适配器507。i/o适配器506可以是与硬盘508和/或任何其他类似部件通信的小型计算机系统接口(scsi)适配器。i/o适配器506和硬盘508在本文中统称为大容量存储器510。
61.可以在大容量存储器510中存储用于在计算机系统500上执行的软件511。大容量存储器510是处理器501可读的有形存储介质的示例，其中软件511被存储为用于处理器501执行的指令，以使计算机系统500操作，如本文相对于各个附图所描述。本文更详细地讨论计算机程序产品的示例以及这种指令的执行。通信适配器507将系统总线502与网络512互连，该网络可以是外部网络，从而使计算机系统500能够与其他这样的系统通信。在一实施例中，系统存储器503和大容量存储器510的一部分共同存储操作系统，该操作系统可以是
任何适当的操作系统，比如ibm公司的z/os或aix操作系统，以协调图5所示的各种部件的功能。
62.附加的输入/输出设备被示为经由显示适配器515和接口适配器516与系统总线502连接。在一实施例中，适配器506、507、515和516可以连接至一个或多个i/o总线，该i/o总线经由中间总线桥(未示出)连接至系统总线502。显示器519(例如屏幕或显示监视器)通过显示适配器515连接到系统总线502，显示适配器515可以包括图形控制器以改善图形密集型应用程序的性能以及视频控制器。扬声器523、输入设备比如触摸屏、按钮以及其他此类人机交互设备(未示出)等可以经由接口适配器516互连至系统总线502，该接口适配器516可以包括例如超级i/o芯片，其将多个设备适配器集成到单个集成电路中。用于连接外围设备(比如硬盘控制器、网络适配器和图形适配器)的合适i/o总线通常包括通用协议，比如外围组件互连(pci)。因此，如图5中所配置，计算机系统500包括处理器501形式的处理能力，以及包括系统存储器503和大容量存储器510的存储能力，诸如人机交互设备(未示出)之类的输入装置，以及包括扬声器523和显示器519的输出能力。
63.在一些实施例中，通信适配器507可以使用任何合适的接口或协议(比如互联网小型计算机系统接口)等来传输数据。网络512可以是蜂窝网络、无线电网络、广域网(wan)、局域网(lan)或互联网等。外部计算设备可以通过网络512连接到计算机系统500。在一些示例中，外部计算设备可以是外部网络服务器或云计算节点。
64.应该理解的是，图5的框图并非旨在指示计算机系统500将包括图5中所示的所有部件。相反，计算机系统500可以包括图5中未示出的任何适当的更少或附加的部件(例如附加的存储器部件、嵌入式控制器、模块、其他网络接口等)。此外，本文关于计算机系统500描述的实施例可以用任何适当的逻辑来实现，其中，在各种实施例中，本文所指的逻辑可以包括任何适当的硬件(例如处理器、嵌入式控制器或专用集成电路等)、软件(例如应用程序等)、固件或者硬件、软件和固件的任何合适的组合。
65.除非明确地描述为“直接”，否则在以上公开中描述第一和第二元件之间的关系时，该关系可以是在第一和第二元件之间不存在其他中间元件的直接关系，但也可以是在第一和第二元件之间存在一个或多个中间元件(在空间上或功能上)时的间接关系。
66.应当理解，在不改变本公开的原理的情况下，可以以不同的顺序(或同时)执行方法或过程内的一个或多个步骤。此外，尽管以上将每个实施例描述为具有某些特征，但相对于本公开的任何实施例描述的那些特征中的任何一个或多个可以在任何其他实施例的特征中实现和/或与其组合，即使该组合没有明确描述。换句话说，所描述的实施例不是互相排斥的，并且一个或多个实施例彼此的置换仍在本公开的范围内。
67.尽管已经参考示例性实施例描述了以上公开，但本领域技术人员将理解，在不脱离本发明范围的情况下，可以进行各种改变并且可以用等同物代替其要素。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

技术特征：
1.一种配备在车辆中的设备，该设备包括：导航系统接收器；相机；存储器；以及处理器，其与导航系统接收器、存储器并且与相机耦合，其中处理器配置为执行用于在运行时检测车辆附近的一个或多个三维结构的方法，该方法包括：由处理器使用相机生成车辆附近的鸟瞰(bev)相机图像，该bev相机图像包括附近的一个或多个结构的二维坐标；由处理器生成车辆附近的bev高度图像，该bev高度图像提供附近的一个或多个结构的高度；由处理器基于bev相机图像和bev高度图像，检测附近的一或多个三维结构的一个或多个边缘；由处理器通过基于一个或多个三维结构的边缘的平面拟合生成车辆附近的一个或多个三维结构的模型；以及由处理器基于车辆附近的一个或多个三维结构的模型，重新配置导航系统接收器。2.根据权利要求1所述的设备，其中，所述bev高度图像是基于从车辆的雷达捕获的雷达数据生成的。3.根据权利要求2所述的设备，其中，所述bev高度图像是使用所述雷达数据生成的bev雷达图像。4.根据权利要求3所述的设备，其中，检测一个或多个三维结构的边缘包括：由处理器通过合并bev相机图像和bev雷达图像以为bev相机图像中的每个像素添加高度信息作为通道来生成合并图像；以及由处理器通过将合并图像输入到人工神经网络来检测边缘。5.根据权利要求1所述的设备，其中，所述bev高度图像是基于从车辆的激光雷达捕获的激光雷达数据生成的。6.根据权利要求1所述的设备，所述相机包括配备在车辆的不同侧上的多个相机。7.根据权利要求1所述的设备，其中，重新配置所述导航系统接收器包括改变导航系统接收器正在使用的频率。8.一种计算机程序产品，包括计算机存储设备，所述计算机存储设备包括计算机可执行指令，所述计算机可执行指令在由处理器执行时使处理器执行用于在运行时检测车辆附近的一个或多个三维结构的方法，该方法包括：由处理器使用相机生成车辆附近的鸟瞰(bev)相机图像，该bev相机图像包括附近的一个或多个结构的二维坐标；由处理器生成车辆附近的bev高度图像，该bev高度图像提供附近的一个或多个结构的高度；由处理器基于bev相机图像和bev高度图像，检测附近的一或多个三维结构的一个或多个边缘；由处理器通过基于一个或多个三维结构的边缘的平面拟合生成车辆附近的一个或多个三维结构的模型；以及
由处理器基于车辆附近的结构的模型，重新配置导航系统接收器。9.根据权利要求8所述的计算机程序产品，其中，所述bev高度图像是基于从车辆的雷达捕获的雷达数据生成的。10.根据权利要求9所述的计算机程序产品，其中，所述bev高度图像是使用所述雷达数据生成的bev雷达图像。

技术总结
一种用于在运行时检测车辆附近的一个或多个三维结构的计算机实现的方法包括由处理器生成车辆附近的鸟瞰(BEV)相机图像，该BEV相机图像包括附近的一个或多个结构的二维坐标。该方法还包括由处理器生成车辆附近的BEV高度图像，该BEV高度图像提供附近的一个或多个结构的高度。该方法还包括基于BEV相机图像和BEV高度图像来检测三维结构的一个或多个边缘。该方法还包括通过基于一个或多个三维结构的边缘的平面拟合生成三维结构的模型。该方法还包括基于三维结构的模型来重新配置导航系统接收器。收器。收器。


技术研发人员：B.N.巴丘斯 R.库马尔 K.J.金
受保护的技术使用者：通用汽车环球科技运作有限责任公司
技术研发日：2021.05.12
技术公布日：2022/5/25