一种煤矿罐笼人员检测方法及系统

    专利查询2026-01-24  6


    本发明涉及煤矿处理,具体的是一种煤矿罐笼人员检测方法及系统。


    背景技术:

    1、副井罐笼是煤矿辅助运输系统的关键设备,负责上下井口人员、物料的运输。为防止在运输物料的过程中,由于物料在罐笼内晃动,造成人员挤压等伤害,煤矿企业规定严禁人、物混装。罐笼的工作模式通常分为提人和提物两种,若罐笼在提物模式下发现行人入内,则应当立即进入闭锁状态,防止人、物混装带来安全隐患。然而,副井作业过程中,由于绞车司机疏忽、人员安全意识参差不齐等种种因素,提物模式下未能发现罐内有人、运输人员时误操作进入提物模式、人物混装等事件偶有发生,给一线工作人员的人身安全带来了严重的隐患。因此,亟需一种能够精确地对罐笼中的人员进行识别,并且实现人员进罐立即给出闭锁信号,最终达到快速排除罐笼运输安全隐患的目的。

    2、然而,对煤矿罐笼内的人员进行精准检测存在诸多挑战。其一,罐笼纵深较大,而其内部高度较低,并且其内部光照极弱,在暗光条件下由于工人头灯灯光容易造成光照不均匀的现象,因此,罐笼内部即使安装了超广角的球形摄像头,其视野也仅能覆盖罐笼的一小部分,并且其成像效果极差,同时由于罐笼内部摄像头需要采用无线网络传输,在煤矿各种设备和环境的多重干扰下,其传输延迟和传输的图像质量都将受到影响。其二,罐笼需要运输的物料类型繁多,不少物料的形状与人相似,因此,传统的算法在检测时容易产生误检。其三,人员形态多变,罐笼中的人员可能呈现站、蹲、弯腰施工等多种姿态,传统算法由于鲁棒性差,检测时容易产生漏检。

    3、红外传感器通过感应人体发出的红外辐射实现人员检测,然而,红外传感器的感应范围通常呈现扇形或者圆形,难以将其范围控制在特定形状或空间范围内,因此当其应用于罐笼内人员检测时,其检测结果容易受到罐笼外的人员干扰。此外,红外传感器容易受到温度干扰,气候变化将影响其检测精度。

    4、部分企业通过将算法部署于摄像头的前端微处理器中,在采集到图像信息后立刻对视频进行处理和传输,实现了现场安全事件的快速响应。然而,摄像头前端的微处理器计算资源匮乏,只能实现部分传统人员识别算法的实时运算,目前还无法支持精度更高、鲁棒性更强的视频智能处理算法,因此误检和漏检率高。

    5、通过深度卷积神经网络(deep convolutional neural network,dcnn),构建目标检测算法进行人员检测,已经在众多安防领域得以应用。然而,目前基于dcnn构建的高精度目标检测模型的参数量和计算量十分庞大,靠近数据源的网络边缘端难以提供丰富的存储和运算资源,因此通常将其部署在高性能的服务器中实现视频智能处理服务。基于该方案实现视频智能处理时,需要先将视频传输到服务器中,等待服务器处理完毕,再将视频智能处理结果反馈给控制装置实现控制,在这一过程中产生了严重的计算延迟,无法对罐笼中的行人安全起到有效的保障作用。


    技术实现思路

    1、为解决上述背景技术中提到的不足,本发明的目的在于提供一种煤矿罐笼人员检测方法及系统,

    2、第一方面,本发明的目的可以通过以下技术方案实现:一种煤矿罐笼人员检测方法,方法包括以下步骤:

    3、获取煤矿相关图像,对煤矿相关图像进行resize处理,得到处理后的煤矿相关图像;

    4、将处理后的煤矿相关图像输入至预先建立的轻量化目标检测模型内,输出得到煤矿相关图像内人员的位置坐标;

    5、设定煤矿罐笼区域坐标范围,将煤矿相关图像内人员的位置坐标与煤矿罐笼区域坐标范围进行比对,若在煤矿罐笼区域坐标范围内,则人员处于罐笼内部,发送闭锁信号进行闭锁,反之则不发送闭锁信号。

    6、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述煤矿相关图像生成前的处理过程:

    7、拉取相应摄像头的rtsp视频流,并进行解码;

    8、将解码的图像信息存储在消息队列中,当消息队列长度大于1时,则弹出最先送入消息队列中的图像信息,删除积压在消息队列中的图像,视频处理线程则从消息队列中取出最新一帧的图像进行处理。

    9、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述预先建立的轻量化目标检测模型基于目标检测模型yolo-speed建立,包括主干网络、融合网络和输出。

    10、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述主干网络用于提取图像中的深度特征信息,融合网络用于对主干网络输出的不同尺度特征信息进行融合,输出部分则根据多尺度特征输出检测到的人员位置信息,作为煤矿相关图像内人员的位置坐标。

    11、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述主干网络包括elan-speed模块和mp-speed模块,并且结合cbh卷积结构,cbh由卷积层+bn层+hard-swish激活函数构成;

    12、结合第一方面,在第一方面的某些实现方式中,该方法还包括:cbh的表达式:

    13、fcbh(x)=hard_swish(bn(fconv(x)))

    14、其中,hard_swish(·)为hard_swish激活函数,bn(·)为批量归一化运算,fconv(·)为卷积运算。

    15、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述目标检测模型yolo-speed内的dbh由深度可分离卷积+bn层+hard-swish激活函数构成,cbm由卷积层+bn层+sigmoid激活函数构成。

    16、第二方面,为了达到上述目的,本发明公开了一种煤矿罐笼人员检测系统,包括:

    17、图像处理模块,用于获取煤矿相关图像,对煤矿相关图像进行resize处理,得到处理后的煤矿相关图像;

    18、坐标获取模块,用于将处理后的煤矿相关图像输入至预先建立的轻量化目标检测模型内,输出得到煤矿相关图像内人员的位置坐标;

    19、位置比对模块,用于设定煤矿罐笼区域坐标范围,将煤矿相关图像内人员的位置坐标与煤矿罐笼区域坐标范围进行比对,若在煤矿罐笼区域坐标范围内,则人员处于罐笼内部,发送闭锁信号进行闭锁,反之则不发送闭锁信号。

    20、结合第二方面,在第二方面的某些实现方式中,该系统还包括:所述图像处理模块内煤矿相关图像生成前的处理过程:

    21、拉取相应摄像头的rtsp视频流,并进行解码;

    22、将解码的图像信息存储在消息队列中,当消息队列长度大于1时,则弹出最先送入消息队列中的图像信息,删除积压在消息队列中的图像,视频处理线程则从消息队列中取出最新一帧的图像进行处理。

    23、其中,坐标获取模块内预先建立的轻量化目标检测模型基于目标检测模型yolo-speed建立,包括主干网络、融合网络和输出;

    24、坐标获取模块内主干网络用于提取图像中的深度特征信息,融合网络用于对主干网络输出的不同尺度特征信息进行融合,输出部分则根据多尺度特征输出检测到的人员位置信息,作为煤矿相关图像内人员的位置坐标;

    25、坐标获取模块内主干网络包括elan-speed模块和mp-speed模块,并且结合cbh卷积结构,cbh由卷积层+bn层+hard-swish激活函数构成;

    26、cbh的表达式:

    27、fcbh(x)=hard_swish(bn(fconv(x)))

    28、其中,hard_swish(·)为hard_swish激活函数,bn(·)为批量归一化运算,fconv(·)为卷积运算;

    29、坐标获取模块内目标检测模型yolo-speed内的dbh由深度可分离卷积+bn层+hard-swish激活函数构成,cbm由卷积层+bn层+sigmoid激活函数构成。

    30、本发明的有益效果:

    31、本发明硬件设计中采用了双网卡结构。由于煤矿视频网需要传输大量的视频信息,虽然装置部署在靠近数据源的网络位置,然而控制信号在视频网中进行传输势必会造成延迟,该装置的双网口结构将煤矿视频网与控制网信号隔开,提高了控制信号的传输速度,避免网络拥塞对控制信号造成延迟。经过测试,通过单独设置网卡发出控制指令到罐笼控制plc,控制信号的传输延迟相对于直接从视频网络进行传输的方式降低了约1.5秒,提出了elan-speed和elan-speed2模块,有效提高模型特征提取能力的同时,通过控制模型的计算量、参数量和内存存取成本,从而保障了模型的实时性,提出了sppcspc-speed模块,采用串联金字塔池化的方式降低了传统金字塔池化的分支数,减少了模型推理的内存存取成本;通过增加卷积神经网络分支,并采用深度可分离卷积,提升了模型的多尺度特征融合能力,设计了yolo-speed目标检测模型,通过多种特征提取模块提升罐笼复杂环境下的有效特征提取能力,保障了罐笼行人检测的准确性。通过轻量化的网络结构设计,保障了整个系统对罐笼内行人进行响应的速度,构建了煤矿副井罐笼安全闭锁装置,该装置能够快速精准地检测罐笼内的行人,并立即发出闭锁信号。相对于其他系统,该装置具有相应速度快、精度高的优势。


    技术特征:

    1.一种煤矿罐笼人员检测方法,其特征在于,方法包括以下步骤:

    2.根据权利要求1所述的一种煤矿罐笼人员检测方法,其特征在于,所述煤矿相关图像生成前的处理过程:

    3.根据权利要求1所述的一种煤矿罐笼人员检测方法,其特征在于,所述预先建立的轻量化目标检测模型为目标检测模型yolo-speed,包括主干网络、融合网络和输出。

    4.根据权利要求3所述的一种煤矿罐笼人员检测方法,其特征在于,所述主干网络用于提取图像中的深度特征信息,融合网络用于对主干网络输出的不同尺度特征信息进行融合,输出部分则根据多尺度特征输出检测到的人员位置信息,作为煤矿相关图像内人员的位置坐标。

    5.根据权利要求4所述的一种煤矿罐笼人员检测方法,其特征在于,所述主干网络包括elan-speed模块和mp-speed模块,并且结合cbh卷积结构,cbh由卷积层+bn层+hard-swish激活函数构成。

    6.根据权利要求5所述的一种煤矿罐笼人员检测方法,其特征在于,所述cbh的表达式:

    7.根据权利要求3所述的一种煤矿罐笼人员检测方法,其特征在于,所述目标检测模型yolo-speed内的dbh由深度可分离卷积+bn层+hard-swish激活函数构成,cbm由卷积层+bn层+sigmoid激活函数构成。

    8.一种煤矿罐笼人员检测系统,其特征在于,包括:

    9.根据权利要求8所述的一种煤矿罐笼人员检测系统,其特征在于,所述图像处理模块内煤矿相关图像生成前的处理过程:


    技术总结
    本发明公开了一种煤矿罐笼人员检测方法及系统,涉及煤矿处理技术领域,包括:硬件设计中采用双网口结构,避免了煤矿视频网由于网络拥塞导致的控制信号传输延迟问题,提高了控制信号的传输速度;提出了ELAN‑Speed和ELAN‑Speed2模块,有效提高模型特征提取能力的同时,通过控制模型的计算量、参数量和内存存取成本,从而保障了模型的实时性;提出了SPPCSPC‑Speed模块,采用串联金字塔池化的方式降低了传统金字塔池化的分支数,减少了模型推理的内存存取成本;基于上述设计的轻量化神经网络模块,结合深度可分离卷积,提出了YOLO‑Speed目标检测模型,实现副井罐笼行人的实时精准检测。

    技术研发人员:许志,张晓明
    受保护的技术使用者:安徽理工大学
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-33595.html

    最新回复(0)