一种基于系统级芯片的超融合导航系统的制作方法

1.本技术涉及人工智能控制领域，具体涉及一种基于系统级芯片的超融合导航系统。


背景技术：

2.近随着人工智能科学技术的发展，特别是自动驾驶技术领域取得了巨大的科技进步,为了满足人们的需求,自动驾驶技术中对于安全性能的要求也越来越高,特别是包括有多种传感器的超融合导航系统领域。
3.现在市面上传统的自动驾驶模块比较单一，大部分为单一独立模块，这样就增加了各个独立模块之间的通信连接复杂性，而独立模块容易产生数据采集的不同步的问题，例如，在多路摄像头数据采集中，摄像头之间触发采集不同步，导致环境信息获取有错误。而激光雷达之间大多通过路由器多路采集，因此激光雷达采集数据的实时性、同步性较差。外接的超声波传感器使用arm处理器进行处理也会带来实时性的同步问题，以上诸多传感器信息融合不同步，会增加软件矫正的难度，再加上难于同步配合惯性传感器进行精确地制导定位，给整个人工智能自动驾驶领域增加了很多问题，导致视觉的错误误差，使整个系统不稳定。


技术实现要素：

4.为了解决上述问题，本技术提出了一种基于系统级芯片的超融合导航系统，包括：
5.传感器模块，至少包括图像采集子模块以及雷达子模块，所述图像采集子模块用于获取系统载体的实时环境图像；所述雷达子模块用于定位所述系统载体第一预设范围内的障碍物，并获取所述系统载体与所述障碍物之间的距离数据；系统级芯片模块，与所述传感器模块相连，所述系统级芯片模块至少包括可编程逻辑子模块以及可编程系统子模块，所述可编程逻辑子模块用于获取所述系统载体位置信息以及运动信息，并根据所述实时环境图像、所述距离数据、所述位置信息以及所述运动信息，生成所述导航载体的初始导航路径；所述雷达子模块至少包括激光雷达装置、毫米波雷达装置、超声波雷达装置，所述激光雷达装置采用以太网接口与所述可编程逻辑子模块相连，并通过轻量级ip协议进行解析；所述毫米波雷达装置采用控制器局域网总线通信协议与所述可编程逻辑子模块进行通讯；所述超声波雷达装置采用物理通信接口与所述可编程逻辑子模块相连；所述图像采集子模块通过移动产业处理器接口与所述可编程逻辑子模块相连。
6.在一个示例中，所述图像采集子模块至少包括第一数量个图像采集装置，所述图像采集装置用于采集所述系统载体的环境图像，并将所述环境图像进行环形拼接，以得到所述系统载体的实时环境图像。
7.在一个示例中，所述将所述环境图像进行环形拼接，也得到了所述系统载体的实时环境图像，具体包括：所述图像采集装置将所述环境图像通过所述移动产业处理器接口传输至所述可编程逻辑子模块；通过所述可编程逻辑子模块中vdma接口的多帧缓存机制，
将所述环境图像进行全方位的环形拼接，以得到所述系统载体的实时环境图像。
8.在一个示例中，所述激光雷达装置设置有与所述系统载体相连的旋转装置，所述旋转装置用于实现所述激光雷达在所述系统载体上进行旋转，以使所述系统载体上的多个所述激光雷达装置能够通过旋转构建三维环境模型；所述激光雷达装置用于采集所述系统载体第二预设范围内的障碍物信息，并通过所述可编程系统子模块中加速通信协议的握手链接，与所述图像采集子模块进行同步采集。
9.在一个示例中，所述可编程逻辑子模块用于获取所述系统载体位置信息以及运动信息，具体包括：所述可编程子模块获取所述系统载体的惯性传感器数据、gps接收机脉冲计数、位置信息、速度信息，其中，所述位置信息至少包括所述导航载体的导航经纬度；所述惯性传感器至少包括微机械陀螺仪以及加速度计；获取所述速度信息具体包括通过对所述加速度计完成模数转换获取所述导航载体的加速度信息以及当前速度。
10.在一个示例中，所述可编程逻辑子模块中设置有dsp芯片，且所述dsp芯片中预先存储有导航算法，所述dsp芯片用于根据所述系统载体的惯性传感器数据，补偿所述系统载体的惯性器件的误差，并确定所述系统载体的当前姿态。
11.在一个示例中，所述系统还包括：无线传输模块，所述无线传输模块用于从云端获取路况数据；路径选择模块，用于通过所述无线传输模块获取多条初始导航路径分别对应的路径拥堵情况，并根据所述多条初始导航路径的行驶距离以及所述路径拥堵情况，确定所述多条初始导航路径分别对应的选择参数，并将所述选择参数最大的所述初始导航路径作为所述系统载体的导航路径。
12.在一个示例中，所述系统还包括：显示模块，用于与用户进行交互，并展示所述导航路径的所述路况数据，以供所述用户选择最终导航路径；中间位置模块，用于根据用户输入的中间位置坐标，在所述多条初始导航路径中筛选出途径所述中间位置坐标的中间导航路径。
13.在一个示例中，所述传感器模块还包括：夜视子模块，用于采集所述系统载体第三预设范围内的光照强度，并在所述光照强度低于预设强度阈值的持续时间超出预设时间阈值的情况下，取代所述图像采集子模块进行图像采集，且所述夜视子模块至少包括光照度传感器以及红外图像采集装置。
14.在一个示例中，所述系统还包括：转弯预警模块，至少包括：定位子模块、告警子模块；所述定位子模块用于获取所述系统载体的实时位置信息，所述告警子模块用于根据所述实时位置信息以及所述导航路径确定即将进入转弯路段时，发出报警指示。
15.本技术提出的一种基于系统级芯片的超融合导航系统能够解决传统导航系统分析模块的复杂性，以及图像和雷达判据信息不同步的问题点，造成整个系统无法实现人工智能的真实物理环境，本系统解决了分立数据信息不同步的融合的难点，保证了机器人以及自动驾驶领域导航的高效率、安全、长期运行的稳定性。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1为本技术实施例中一种基于系统级芯片的超融合导航系统框架示意图。
具体实施方式
18.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.以下结合附图，详细说明本技术各实施例提供的技术方案。
20.本技术所说的超融合是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。
21.图1为本说明书一个或多个实施例提供的一种基于系统级芯片的超融合导航系统的示意图。系统中的某些中间参数或者中间结果允许人工干预调节，以帮助提高准确性。
22.如图1所示，本技术实施例提供一种基于系统级芯片的超融合导航系统，包括：传感器模块，至少包括图像采集子模块以及雷达子模块；这里的传感器指的是用于收集外界数据的装置。图像采集子模块可以简单的理解为摄像头模块，用于获取系统载体的实时环境图像，这里的系统载体指的是搭载该超融合系统的载体，可以是机器人、无人飞行器、智能交通工具等载体；这里的实时环境图像指的是以系统载体为中心，附近范围内的环境图像。雷达子模块用于定位系统载体第一预设范围内的障碍物，并获取系统载体与障碍物之间的距离数据，这里的第一预设范围即指雷达子模块的工作范围，障碍物指该第一预设范围内的路径中除系统载体外的其他物体。
23.系统级芯片(system on chip，soc)模块，与传感器模块相连，系统级芯片至少包括可编程逻辑(programmable logic，pl)子模块以及可编程系统(programming system，ps)子模块，这里的可编程逻辑子模块用于获取系统载体的位置信息以及运动信息，并根据图像采集子模块获取的实时环境图像，以及雷达子模块获取的距离数据，以及位置信息和运动信息，从而生成导航载体的初始导航路径。需要说明的是，这里的初始导航路径可以是多条，即从系统载体从当前位置到达目的地的路径有多条。
24.雷达子模块指的是由多种雷达装置合并构成的模块，由于各类雷达装置在不同距离的探测精确度不同，为保证导航系统的饿精确性，这里的雷达装置应当至少包括激光雷达装置、毫米波雷达装置、超声波雷达装置，同时，为解决独立模块容易产生数据采集的不同步的问题，激光雷达装置采用以太网接口与可编程逻辑子模块相连，并通过轻量级ip(lightweight，lwip)协议对采集到的数据进行解析；毫米波雷达装置采用控制器局域网总线(controller area network，can)通信协议与可编程逻辑子模块进行通讯；超声波雷达装置采用物理通信接口，如rs485物理通信接口与可编程逻辑子模块相连；图像采集子模块通过移动产业(mobile industry processor interface，mipi)处理器接口与可编程逻辑子模块相连。
25.在一个实施例中，为提升导航的精度，在对导航载体生成导航路径时，需要多个图像采集装置同时工作，以获得多张导航载体的周围环境图像，即采用多路图像采集装置，且多路图像采集装置用于同时采集系统载体的环境图像，以得到系统载体的实时环境图像。这里的实时环境图像指当前时刻系统载体360
°
的周围环境图像，通过获得系统载体的实时
环境图像，可以将实时环境图像供给导航ai，以辅助自动驾驶功能。
26.进一步地，多路图像采集装置在得到实时环境图像时，具体通过图像采集装置将环境图像通过移动产业，即mipi处理器接口，传输至可编程逻辑子模块，再通过所述可编程逻辑子模块中vdma接口的多帧缓存机制，进行同步采集地理环境图像信息并完成360
°
环形拼接的功能，以将所述环境图像进行全方位的环形拼接，以得到所述系统载体的实时环境图像。
27.在一个实施例中，为了能够使得激光雷达装置测得的数据更加精确，且使得激光雷达装置的覆盖范围更广，可以在激光雷达装置与系统载体相连的位置处设置有旋转装置，旋转装置一端与系统载体相连，另一端与激光雷达装置相连，用于实现激光雷达能够在系统载体上进行旋转，以使多个激光雷达装置能够通过旋转从而采集更广范围的数据，从而辅助构建三维环境模型。例如，可以采用3个16线制机械式360
°
旋转装置和一个半固态180
°
旋转装置，实现建图和避障的综合信息采集，其中半固态激光雷达装置可用于进行xyz三维空间场距环境建模定位。同时，激光雷达用于采集系统载体第二预设范围内的障碍物信息，并通过可编程系统子模块中的加速通信协议的握手链接，与图像采集模块进行同步采集。
28.在一个实施例中，可编程逻辑子模块在获取系统载体的位置信息以及运动信息时，首先会获取系统载体的惯性传感器数据、gps接收机脉冲计数，以及系统载体的位置信息和速度信息。需要说明的是，这里的惯性传感器应当至少包括微机械陀螺仪以及加速度计。在获取系统载体的速度信息时，通过pl端对加速度计进行模数转换，以获取导航载体的加速度信息以及当前速度。
29.在一个实施例中，由于飞行器、船舶、机器人等系统载体需要实时确定当前的载体姿态，才能够根据需要进一步操控系统载体接下来的动作，例如保持平稳，翻滚。这里的姿态通俗的说就是指系统载体的俯仰/横滚/航向状态。基于此，可以在可编程逻辑模块中预设有dsp芯片，且在dsp芯片中预先存储有导航算法，以使dsp芯片可用于根据系统载体的惯性传感器数据，补偿系统载体的惯性器件的误差，并确定系统载体的当前姿态，以根据需要进一步操控系统载体的下一步动作。
30.在一个实施例中，由于从当前位置到达目标位置的路径往往不止一条，而用户需求的普遍为所需时间较短或是行驶距离较短的路径，基于此，系统还设置有无线传输模块以及路径选择模块，其中无线传输模块用于通过云端获取各条初始导航路径的路况数据，并通过路径选择模块根据路况数据中包含的各个初始导航路径包含的行驶距离以及拥堵情况，来确定多条初始导航路径分别对应的选择参数，这里的选择参数与行驶距离的长度以及行驶时间的长度成负相关，并将选择参数最大的初始导航路径作为系统载体的导航路径。
31.进一步地，由于用户经常会希望系统载体在导航途中经过某个或多个中间地点，因此系统还设置有显示模块以及中间位置模块。其中，显示模块用于显示多条导航路径的路况数据，以跟用户进行交互，使得用户可以直接通过路况数据来选择自己满意的导航路径。同时，如果用户希望在导航过程中途径某一中间地点，可以通过显示模块将中间地点输入，并通过中间位置模块，将根据输入的中间位置坐标，在所述多条初始导航路径中筛选出途径所述中间位置坐标的中间导航路径。
32.在一个实施例中，在导航时难免会遇到光照强度较低的情况，此时图像采集子模块获取的周围环境实时图像将会失去参考作用。基于此，传感器模块中还设置有夜视子模块，用于采集系统载体第三预设范围内的光照强度，并在光照强度低于预设强度阈值的持续时间超出预设时间阈值的情况下，取代所述图像采集子模块进行图像采集，且夜视子模块至少包括光照度传感器以及红外图像采集装置。
33.在一个实施例中，由于导航载体在行驶过程中，尤其是在途径弯道时，要求驾驶员或周围其他车辆对导航载体的运动情况有良好的判断，当行驶速度过高时，还存在驾驶过程中安全性低的问题。基于此，系统还设置有转弯预警模块，至少包括位子模块、告警子模块。定位子模块用于获取系统载体的实时位置信息，告警子模块用于根据实时位置信息以及导航载体的速度信息，以及导航路径确定即将进入转弯路段且当前车速较高时，发出报警指示。
34.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
35.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种基于系统级芯片的超融合导航系统，其特征在于，包括：传感器模块，至少包括图像采集子模块以及雷达子模块，所述图像采集子模块用于获取系统载体的实时环境图像；所述雷达子模块用于定位所述系统载体第一预设范围内的障碍物，并获取所述系统载体与所述障碍物之间的距离数据；系统级芯片模块，与所述传感器模块相连，所述系统级芯片模块至少包括可编程逻辑子模块以及可编程系统子模块，所述可编程逻辑子模块用于获取所述系统载体位置信息以及运动信息，并根据所述实时环境图像、所述距离数据、所述位置信息以及所述运动信息，生成所述导航载体的初始导航路径；所述雷达子模块至少包括激光雷达装置、毫米波雷达装置、超声波雷达装置，所述激光雷达装置采用以太网接口与所述可编程逻辑子模块相连，并通过轻量级ip协议进行解析；所述毫米波雷达装置采用控制器局域网总线通信协议与所述可编程逻辑子模块进行通讯；所述超声波雷达装置采用物理通信接口与所述可编程逻辑子模块相连；所述图像采集子模块通过移动产业处理器接口与所述可编程逻辑子模块相连。2.根据权利要求1所述的系统，其特征在于，所述图像采集子模块至少包括第一数量个图像采集装置，所述图像采集装置用于采集所述系统载体的环境图像，并将所述环境图像进行环形拼接，以得到所述系统载体的实时环境图像。3.根据权利要求2所述的系统，其特征在于，所述将所述环境图像进行环形拼接，也得到了所述系统载体的实时环境图像，具体包括：所述图像采集装置将所述环境图像通过所述移动产业处理器接口传输至所述可编程逻辑子模块；通过所述可编程逻辑子模块中vdma接口的多帧缓存机制，将所述环境图像进行全方位的环形拼接，以得到所述系统载体的实时环境图像。4.根据权利要求1所述的系统，其特征在于，所述激光雷达装置设置有与所述系统载体相连的旋转装置，所述旋转装置用于实现所述激光雷达在所述系统载体上进行旋转，以使所述系统载体上的多个所述激光雷达装置能够通过旋转构建三维环境模型；所述激光雷达装置用于采集所述系统载体第二预设范围内的障碍物信息，并通过所述可编程系统子模块中加速通信协议的握手链接，与所述图像采集子模块进行同步采集。5.根据权利要求1所述的系统，其特征在于，所述可编程逻辑子模块用于获取所述系统载体位置信息以及运动信息，具体包括：所述可编程子模块获取所述系统载体的惯性传感器数据、gps接收机脉冲计数、位置信息、速度信息，其中，所述位置信息至少包括所述导航载体的导航经纬度；所述惯性传感器至少包括微机械陀螺仪以及加速度计；获取所述速度信息具体包括通过对所述加速度计完成模数转换获取所述导航载体的加速度信息以及当前速度。6.根据权利要求1所述的系统，其特征在于，所述可编程逻辑子模块中设置有dsp芯片，且所述dsp芯片中预先存储有导航算法，所述dsp芯片用于根据所述系统载体的惯性传感器数据，补偿所述系统载体的惯性器件的误差，并确定所述系统载体的当前姿态。7.根据权利要求1所述的系统，其特征在于，所述系统还包括：无线传输模块，所述无线传输模块用于从云端获取路况数据；
路径选择模块，用于通过所述无线传输模块获取多条初始导航路径分别对应的路径拥堵情况，并根据所述多条初始导航路径的行驶距离以及所述路径拥堵情况，确定所述多条初始导航路径分别对应的选择参数，并将所述选择参数最大的所述初始导航路径作为所述系统载体的导航路径。8.根据权利要求7所述的系统，其特征在于，所述系统还包括：显示模块，用于与用户进行交互，并展示所述导航路径的所述路况数据，以供所述用户选择最终导航路径；中间位置模块，用于根据用户输入的中间位置坐标，在所述多条初始导航路径中筛选出途径所述中间位置坐标的中间导航路径。9.根据权利要求1所述的系统，其特征在于，所述传感器模块还包括：夜视子模块，用于采集所述系统载体第三预设范围内的光照强度，并在所述光照强度低于预设强度阈值的持续时间超出预设时间阈值的情况下，取代所述图像采集子模块进行图像采集，且所述夜视子模块至少包括光照度传感器以及红外图像采集装置。10.根据权利要求1所述的系统，其特征在于，所述系统还包括：转弯预警模块，至少包括：定位子模块、告警子模块；所述定位子模块用于获取所述系统载体的实时位置信息，所述告警子模块用于根据所述实时位置信息以及所述导航路径确定即将进入转弯路段时，发出报警指示。

技术总结
本申请公开了一种基于系统级芯片的超融合导航系统，系统包括：传感器模块，至少包括图像采集子模块以及雷达子模块，图像采集子模块用于获取系统载体的实时环境图像；雷达子模块用于定位系统载体预设范围内的障碍物，并获取系统载体与障碍物之间的距离数据；系统级芯片模块，至少包括可编程逻辑子模块以及可编程系统子模块，可编程逻辑子模块用于获取系统载体位置信息以及运动信息，并生成导航载体的初始导航路径；雷达子模块至少包括激光雷达装置、毫米波雷达装置、超声波雷达装置，激光雷达装置采用以太网接口；毫米波雷达装置采用控制器局域网总线通信协议；超声波雷达装置采用物理通信接口；图像采集子模块采用移动产业处理器接口。接口。接口。


技术研发人员：张平闯 高明 孔强 李洪生
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：2022.02.21
技术公布日：2022/5/25