一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统的制作方法

    专利查询2025-12-25  10


    本发明涉及防碰撞,具体为一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统。


    背景技术:

    1、矿区无人驾驶技术的价值不容忽视,它在现代科技发展的推动下,正逐步成为确保矿山安全生产的关键技术,为矿山运营带来了显著的益处。现有的矿区环境中的扬尘、雨雾和弱光等复杂环境对无人驾驶技术的构成挑战。碰撞技术主要是基于激光雷达、毫米波和可见光摄像头。

    2、现有测速技术虽然具有很多优点,但也存在着一些缺点。

    3、(1)激光雷达:设备本身的成本相对较高,这增加了系统的整体成本。尽管目前已有许多企业开始研发低成本的激光雷达,但成本问题仍然是限制其普及的一个因素。复杂环境适应性:在极端天气条件下,如浓雾、暴雨等,激光雷达的性能可能会受到影响,导致识别精度下降。此外,在高度拥挤、杂乱的环境中,激光雷达可能面临信息过载的问题,难以快速准确地区分重要障碍物。

    4、(2)毫米波:毫米波雷达在识别障碍物属性信息方面存在困难,无法像摄像头直接识别出障碍物类别,无法像激光雷达准确获取障碍物位置和尺寸大小。

    5、(3)可见光视觉摄像头:视觉传感器在光线条件较差的情况下,如夜晚或浓雾天气,性能可能会受到影响,导致识别精度下降。对复杂环境的适应性有限:在极端天气条件下,如雨、雾等,视觉传感器的性能可能会受到严重影响,导致系统无法正常工作。

    6、为此,本发明提出了一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统。


    技术实现思路

    1、针对现有技术存在的上述不足,本发明提供了一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,解决了传统摄像头在复杂环境下难以准确检测障碍物的问题。

    2、本发明提供如下技术方案:一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,包括以下模块:

    3、超宽光谱摄像头模组:通过若干组摄像头对车辆周边进行环视,获得广域的视线范围;

    4、光谱信息分析模组:捕获整个可见光和近红外光谱范围内的光谱信息,并通过光谱信息分析结果,且具体操作如下:

    5、①首先使用超宽光谱相机进行场景拍摄,获取包括可见光和近红外光在内的全光谱图像;

    6、②将全光谱图像分解成不同波长范围的光谱数据。分解后主要有四种灰度图像,其对应的波段分别为红光(r)、绿光(g)、蓝光(b)、近红外光(nr)四个波段的反射率。不同物体四个波段的图像会有一定的差异,可以利用四种光谱的差异来区分不同物体;

    7、③采用加权平均的方式把近红外波段依次融入红光、绿光、蓝光,生成假彩色,其中alpha代表权重,默认采用0.5,根据不同的环境会进行调整。计算公式如下所示:

    8、r_fusion=alpha*r_reflection+(1-alpha)*nr_ref;

    9、g_fusion=alpha*g_reflection+(1-alpha)*nr_ref;

    10、b_fusion=alpha*b_reflection+(1-alpha)*nr_ref;

    11、其中r_ref、g_ref、b_ref、nr_ref分别代表红光(r)、绿光(g)、蓝光(b)、近红外光(nr)四个波段的反射率。alpha代表权重,r_fusion、g_fusion、b_fusion分别代表三个波段融合后的结果;

    12、④把融合后的图像分别缩放到0-255区间,重新生成rgb图像,计算公式如下所示:

    13、r_new=255*(r_fusion-min(r_fusion))/((max(r_fusion)-min(r_fusio n));

    14、g_new=255*(g_fusion-min(g_fusion))/((max(g_fusion)-min(g_fusio n));

    15、b_new=255*(b_fusion-min(b_fusion))/((max(b_fusion)-min(b_fusio n));

    16、其中,min函数表示灰度图像中的最小值,max函数表示灰度图像中的最大值;

    17、障碍物检测模块:对假彩色图像中目标进行数据标注、经过数据预处理、数据拆分、模型选择、模型训练、模型评估和目标检测一系列步骤,识别图像中的目标物体并标注其位置和类别信息;

    18、碰撞预警模块:通过超宽光谱摄像头检测的车辆位置和移动数据,并判断车辆是否存在碰撞风险;

    19、系统控制模块:通过检测的结果进行车辆控制。

    20、优选的,障碍物检测模块主要包括以下单元:

    21、数据标注单元:以光谱分析模块输出的假彩色图像为基础数据,对图像的目标物体进行标注,包括目标的位置和类别信息;

    22、数据预处理单元:对采集的全光谱图像进行预处理,包括去噪、数据增强操作,加强图像质量和准确性;

    23、数据拆分单元:将预处理后的全光谱图像数据集划分为训练集、验证集和测试集;

    24、模型选择单元:选择能处理全光谱图像的深度学习模型,如卷积神经网络(yolo系列)或者其变种;

    25、模型训练单元:使用标注的全光谱图像数据集对深度学习模型进行训练,以学习目标物体的特征和位置信息;

    26、模型评估单元:使用验证集对训练好的深度学习模型进行评估,以验证其对目标物体的检测准确性和泛化能力;

    27、目标检测单元:使用训练好的深度学习模型对新的全光谱图像进行目标检测,识别图像中的目标物体并标注其位置和类别信息。

    28、优选的,碰撞预警模块主要包括以下单元:

    29、目标检测和跟踪单元:利用计算机视觉技术,如卷积神经网络(cnn),对摄像头获取的图像进行目标检测和跟踪,并帮助识别道路上的车辆、行人和其他障碍物;

    30、距离估计单元:通过摄像头图像进行立体视觉或光流估计,估计目标物体与车辆之间的距离和相对速度;

    31、碰撞风险评估单元:基于目标检测和距离估计的结果,利用机器学习算法或物理模型来评估潜在的碰撞风险;

    32、预警系统:当检测到潜在的碰撞风险时,系统可以通过车内显示屏、声音提示、震动座椅方式向驾驶员发出警告,提醒其采取避免碰撞的行动。

    33、优选的,系统控制模块包括以下单元:

    34、行为预测单元:通过机器学习算法,对检测到的目标进行行为预测,例如预测其他车辆的变道意图、行人的行动方向;

    35、路径规划单元:基于目标检测和环境感知的结果,进行路径规划,确定车辆的行驶路径和行驶轨迹;

    36、车辆控制单元:将路径规划的结果转化为车辆控制指令,包括转向、加速、减速操作,通过车辆的自动驾驶系统或者辅助驾驶系统对车辆进行控制;

    37、人机交互单元:在进行车辆控制时,系统可以通过车内显示屏、声音提示方式向驾驶员或乘客展示车辆的控制决策和执行情况。

    38、与现有技术对比,本发明具备以下有益效果:

    39、该基于超宽光谱摄像头的矿区复杂环境防碰撞系统,可以获取更丰富的环境信息,包括可见光和红外信息,实现对矿区复杂环境中障碍物的感知和检测,解决了传统摄像头在复杂环境下难以准确检测障碍物的问题。


    技术特征:

    1.一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,其特征在于,包括以下模块:

    2.根据权利要求1所述的一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,其特征在于,障碍物检测模块主要包括以下单元:

    3.根据权利要求1所述的一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,其特征在于,碰撞预警模块主要包括以下单元:

    4.根据权利要求1所述的一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,其特征在于,系统控制模块包括以下单元:


    技术总结
    本发明涉及防碰撞技术领域,且公开了一种基于超宽光谱摄像头的矿区复杂环境防碰撞系统,包括以下模块:超宽光谱摄像头模组:通过若干组摄像头对车辆周边进行环视,获得广域的视线范围;光谱信息分析模组:捕获整个可见光和近红外光谱范围内的光谱信息,并通过光谱信息分析结果。该基于超宽光谱摄像头的矿区复杂环境防碰撞系统,可以获取更丰富的环境信息,包括可见光和红外信息,实现对矿区复杂环境中障碍物的感知和检测,解决了传统摄像头在复杂环境下难以准确检测障碍物的问题。

    技术研发人员:黄琰,曹喜乐,冯冲,申永刚
    受保护的技术使用者:理工雷科智途(北京)科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-33130.html

    最新回复(0)