基于深度学习的淡水障碍物识别方法和系统与流程

    专利查询2026-02-12  14


    本发明属于深度学习,尤其涉及一种基于深度学习的淡水障碍物识别方法和系统。


    背景技术:

    1、障碍物识别是通过传感器和算法检测来识别环境中的障碍物,通常用于自动驾驶、机器人导航等领域,以帮助系统避开障碍物,确保安全和有效的操作。而淡水障碍物识别是将障碍物识别技术应用于淡水环境中,在淡水环境中(如河流、湖泊)识别水下障碍物的过程,这种识别通常依靠声呐、雷达、摄像头等传感器,帮助船只、无人潜水器等设备避开水下障碍物,确保安全航行或操作。

    2、但由于水下环境复杂,水中的光线被折射和吸收会导致水下图像模糊,不易识别细节,而水的浑浊程度、浮游物质则会影响可见性,增加障碍物检测的难度,并且水流、波浪和沉积物等自然环境因素也可能会改变障碍物的形状或位置,导致障碍物的识别和定位出现偏差,因此在淡水环境下进行障碍物识别依然存在诸多亟待解决的问题。


    技术实现思路

    1、本发明的目的在于提供一种基于深度学习的淡水障碍物识别方法和系统,可以通过以下技术方案实现:

    2、第一方面,本技术实施例提供了一种基于深度学习的淡水障碍物识别方法,包括如下步骤:

    3、s1,将声呐设备、激光设备和摄像设备集成在同一检测设备中,用于进行障碍物的形状探测及位置探测;

    4、s2,利用检测设备采集声呐回波数据和摄像头图像数据并将二者作为原始样本数据;

    5、s3,基于深度学习对采集的原始样本数据进行数据处理以生成特征数据集,具体为:

    6、采用深度生成对抗网络对原始样本数据进行数据预处理并生成第一数据集;

    7、采用卷积神经网络对所述第一数据集进行数据再处理并生成融合数据集;

    8、依据所述融合数据集进行特征提取以获取障碍物特征并以此生成特征数据集;

    9、s4,采用yolo算法并根据所述特征数据集进行模型训练并生成障碍物识别模型;

    10、s5,利用环境检测装置检测淡水环境并获取水体参数;

    11、s6,利用检测设备采集实时的声呐回波数据和摄像头图像数据并将二者作为实时检测数据;将所述实时检测数据输入所述障碍物识别模型以获取障碍物的实际参数;将所述水体参数作为参考因子对障碍物的实际参数进行评估并以此获取障碍物信息;

    12、s7,还利用检测设备获取激光检测数据并将其与声呐回波数据作为识别验证数据对所述障碍物信息中障碍物的位置进行验证,并依据验证结果进行位置校正;

    13、其中,在步骤s3中,采用深度生成对抗网络进行数据预处理,具体包括如下内容:

    14、图像选取:基于原始样本数据选取水下图像并根据水下图像的成像质量对水下图像的光能量进行调整;

    15、图像增强:基于u-net网络结构对深度生成对抗网络中的生成器进行改进,具体为:在生成器中加入多方向卷积模块、嵌入的注意力模块以及结合全卷积的亮度均衡模块;

    16、图像去噪:融合循环一致性损失函数、感知损失函数以及多尺度结构相似性指数损失函数以生成联合损失函数,并将所述联合损失函数作为生成器的损失函数以进行图像去噪。

    17、优选地,关于图像选取:水下图像的光能量由前向散射、后向散射和直接照射三部分叠加而成,表示为:

    18、;

    19、式中,表示直接照射分量;表示前向散射分量;表示后向散射分量;

    20、其中,前向散射分量用于体现障碍物反射光的小角度散射,由障碍物发出经水体吸收和散射后到达摄像设备并被其接收;

    21、直接照射分量由障碍物的反射光在水中传播时衰减形成,描述了光在传播过程中的能量衰减情况,表示为:

    22、;

    23、式中,表示光在障碍物表面的能量;表示传输效率,且,η为衰减系数,为障碍物到拍摄处的距离;

    24、后向散射分量表示光在遇到悬浮颗粒并经过大角度改变后被摄像设备接收的光能量,表示为:

    25、;b与远处背景光相关。

    26、优选地,关于图像增强,包括如下内容:

    27、所述亮度均衡模块,用于定位水下图像中的弱光区域,具体包括:

    28、首先利用一个9×9的大卷积核捕获输入的水下图像的全局特征信息;

    29、其次使用连续五个3×3卷积层逐步提取弱光区域位置信息并输出弱光注意图;

    30、所述多方向卷积模块,用于在多个方向上执行卷积操作以捕获水下图像的特征信息,具体包括:

    31、按照通道维度对输入的水下图像进行划分和变换;

    32、使用多方向卷积核进行卷积操作;

    33、利用激活函数进行非线性变换;

    34、通过池化降低数据维度并提取关键特征;

    35、所述注意力模块,用于动态权重的分配以及信息的选择性聚焦,包括通道注意力子模块和空间注意力子模块,具体为:

    36、所述通道注意力子模块,用于根据通道关系自适应调整特征权重,具体包括:

    37、利用平均池化和最大池化函数对输入的水下图像进行通道级的处理;

    38、通过全连接层和relu激活函数将通道数压缩成一维向量并经过再次处理得到二维向量;

    39、通过sigmoid激活函数将输出转换为0到1范围内的权重值概率分布;

    40、所述空间注意力子模块,用于对水下图像进行卷积操作,提取各区域的特征表示并利用注意力机制对提取的特征进行加权平均,具体包括:

    41、计算平均池化值和最大池化值以捕获空间维度的不同特征;

    42、通过卷积层提取空间注意力信息,再通过sigmoid激活函数映射输出至0和1之间,生成空间注意力权重图;

    43、基于空间注意力权重图进行加权平均操作并输出不同特征的空间位置。

    44、优选地,在步骤s3中,采用卷积神经网络进行数据再处理,具体包括如下内容:

    45、数据同步:获取检测设备中每个传感器在采集数据时记录的时间戳;对时间戳进行校准以修正时间误差;利用校准后的时间戳将各个传感器的数据对齐;

    46、数据融合:利用卷积神经网络将声呐回波数据和摄像头图像数据进行融合以生成综合信息并形成融合数据集,具体包括:

    47、提取声呐回波数据中的声呐特征;

    48、提取摄像头图像数据中的视觉特征;

    49、对声呐特征和视觉特征进行特征维度调整,将二者映射到相同的维度;

    50、对声呐特征和视觉特征进行插值或变换以使二者在空间和语义上对齐;

    51、将声呐特征和视觉特征在特征维度上进行拼接并进行加权融合;

    52、将加权融合后得到的数据集合为特征数据集。

    53、优选地,在步骤s4中,采用yolo算法进行模型训练,具体包括如下内容:

    54、基于所述特征数据集进行标注,标记出障碍物的类别和位置;

    55、基于yolo算法配置网络结构和网络参数;

    56、结合位置回归、置信度预测以及类别预测的损失以形成自定义损失函数;

    57、使用特征数据集中的训练集进行模型训练,通过反向传播算法优化网络权重;

    58、使用特征数据集中的测试集评估模型的性能指标并调整网络参数和网络结构,保存评估后的障碍物识别模型。

    59、优选地,在步骤s5中,所述水体参数包括水质浊度、水流流速、水流流向和水底地形。

    60、优选地,在步骤s6中,获取障碍物信息具体包括:

    61、基于所述障碍物识别模型获取障碍物的类型;

    62、基于所述特征数据集获取障碍物的像素高度以及障碍物与摄像设备之间的距离;

    63、采用单目测距算法,基于像素高度和距离获取障碍物的实际高度;

    64、将障碍物的类型、障碍物的实际高度以及障碍物与摄像设备之间的距离集合为障碍物信息。

    65、优选地,在步骤s7中,对所述障碍物信息中障碍物的位置进行验证和校正,具体包括:

    66、s71,获取激光检测数据并计算障碍物的激光距离;

    67、s72,获取声呐回波数据并计算障碍物的声呐距离;

    68、s73,从障碍物信息中获取障碍物与摄像设备之间的摄像距离;

    69、s74,将激光距离和声呐距离与摄像距离进行比较,获取距离误差并计算障碍物的实际距离;

    70、s75,根据障碍物的实际距离对障碍物的位置进行校正并根据校正后的数据更新障碍物识别模型。

    71、优选地,在步骤s71中,计算障碍物的激光距离,具体包括:

    72、s711,根据所述水体参数确认水质等级,根据所述水质等级发射预设波长、预设功率的发射激光;

    73、s712,接收反射激光并根据发射激光和反射激光的相位差和所述预设波长计算出障碍物的激光距离;

    74、在步骤s72中,计算障碍物的声呐距离,具体包括:

    75、s721,声呐设备发射多个声呐信号并获取疑似目标的回波信号;

    76、s722,采集多个回波信号形成波束域数据并通过处理获得疑似目标的回波到达时刻;

    77、s723,建立极坐标系并基于每个疑似目标的回波到达时刻获得每个疑似目标的位置信息;

    78、s724,根据预先设置的跟踪门对得到的多个疑似目标的位置信息进行障碍物跟踪和确认,获取障碍物的声呐距离。

    79、第二方面,本技术实施例提供了一种基于深度学习的淡水障碍物识别系统,应用于如上所述的淡水障碍物识别方法,包括:

    80、检测设备集成模块,用于将声呐设备、激光设备和摄像设备集成在同一检测设备中,用于进行障碍物的形状探测及位置探测;

    81、数据采集模块,利用检测设备采集声呐回波数据和摄像头图像数据并将二者作为原始样本数据;

    82、数据处理模块,基于深度学习对采集的原始样本数据进行数据处理以生成特征数据集,具体为:

    83、采用深度生成对抗网络对原始样本数据进行数据预处理并生成第一数据集;

    84、采用卷积神经网络对所述第一数据集进行数据再处理并生成融合数据集;

    85、依据所述融合数据集进行特征提取以获取障碍物特征并以此生成特征数据集;

    86、模型训练模块,采用yolo算法并根据所述特征数据集进行模型训练并生成障碍物识别模型;

    87、水体环境检测模块,利用环境检测装置检测淡水环境并获取水体参数;

    88、障碍物识别模块,利用检测设备采集实时的声呐回波数据和摄像头图像数据并将二者作为实时检测数据;将所述实时检测数据输入所述障碍物识别模型以获取障碍物的实际参数;将所述水体参数作为参考因子对障碍物的实际参数进行评估并以此获取障碍物信息;

    89、识别结果验证模块,利用检测设备获取激光检测数据并将其与声呐回波数据作为识别验证数据对所述障碍物信息中障碍物的位置进行验证,并依据验证结果进行位置校正。

    90、本发明的有益效果为:

    91、(1)本技术采用摄像技术对淡水中的障碍物进行形状成像与类型识别,并通过深度学习排除了水下环境对成像及图像识别的影响,具体为:在处理水下图像时,通过深度生成对抗网络(gans)来进行图像增强和去噪,提高图像质量,从而改善后续障碍物识别的效果;通过卷积神经网络(cnn)来处理模糊和低对比度的图像;通过yolo(you only lookonce)算法将cnn提取的特征输入到yolo模型中进行实时目标检测,基于上述特征定位和识别障碍物并提供边界框信息;通过结合gans的图像优化能力、cnn的特征提取能力以及yolo算法的实时检测能力,从而提高水下障碍物识别的精度和效率;还采用声呐探测技术与激光探测技术对障碍物的位置进行定位和位置校正,排除了因水流、波浪和沉积物等自然环境因素导致的障碍物的识别和定位出现的偏差,显著提高了障碍物识别与分类的效果及定位的精确度。

    92、(2)本技术首先将声呐设备、激光设备和摄像设备集成在同一检测设备中并利用其进行障碍物的形状探测及位置探测;其次通过检测设备采集声呐回波数据和摄像头图像数据并将二者作为原始样本数据;再通过深度学习对上述原始样本数据进行数据处理以生成特征数据集;接着根据特征数据集进行模型训练并生成障碍物识别模型;再利用检测设备采集实时的声呐回波数据和摄像头图像数据并将二者作为实时检测数据并以此输入上述障碍物识别模型以获取障碍物的实际参数;还利用环境检测装置检测淡水环境以获取水体参数并将水体参数作为参考因子对障碍物的实际参数进行评估,并以此获取障碍物信息;最后还利用检测设备获取激光检测数据并将其与声呐回波数据作为识别验证数据对障碍物信息中障碍物的位置进行验证,并依据验证结果进行位置校正,以此判断障碍物识别的准确性。


    技术特征:

    1.一种基于深度学习的淡水障碍物识别方法,其特征在于:包括如下步骤:

    2.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:关于图像选取:水下图像的光能量由前向散射、后向散射和直接照射三部分叠加而成,表示为:

    3.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:关于图像增强,包括如下内容:

    4.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:在步骤s3中,采用卷积神经网络进行数据再处理,具体包括如下内容:

    5.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:在步骤s4中,采用yolo算法进行模型训练,具体包括如下内容:

    6.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:在步骤s5中,所述水体参数包括水质浊度、水流流速、水流流向和水底地形。

    7.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:在步骤s6中,获取障碍物信息具体包括:

    8.根据权利要求1所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:在步骤s7中,对所述障碍物信息中障碍物的位置进行验证和校正,具体包括:

    9.根据权利要求8所述的一种基于深度学习的淡水障碍物识别方法,其特征在于:在步骤s71中,计算障碍物的激光距离,具体包括:

    10.一种基于深度学习的淡水障碍物识别系统,应用于如权利要求1-9任一项所述的淡水障碍物识别方法,其特征在于:包括:


    技术总结
    本发明公开了一种基于深度学习的淡水障碍物识别方法和系统,涉及深度学习技术领域。该方法包括:将声呐、激光和摄像设备集成在同一检测设备进行障碍物探测;采集原始样本数据并基于深度学习进行模型训练以生成障碍物识别模型;检测淡水环境并获取水体参数;采集实时检测数据,获取障碍物的实际参数和障碍物信息;利用检测设备获取识别验证数据对障碍物的位置进行验证并校正。本发明采用摄像技术对淡水中的障碍物进行形状成像与类型识别,并通过深度学习排除了水下环境对成像及图像识别的影响,通过结合多种深度学习技术提高水下障碍物识别的精度和效率;还采用声呐与激光探测对障碍物的位置进行定位和校正,提高障碍物识别及定位的精确度。

    技术研发人员:程依春,罗长江,程猷益
    受保护的技术使用者:零度新能源科技(广东)有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-34208.html

    最新回复(0)