一种基于YOLOv4-Tiny的矿井电机车路况实时检测方法

一种基于yolov4-tiny的矿井电机车路况实时检测方法
技术领域
1.本发明涉及目标检测技术领域，具体是一种基于yolov4-tiny的矿井电机车路况实时检测方法。


背景技术：

2.煤矿安全一直是世界各国着重关注的问题，近年来，我国煤炭行业大力发展煤矿智能化，其根本目的就是减少煤矿作业工人的数量，减轻工人劳动强度，提高作业安全性。
3.煤矿井下巷道有轨电机车作为煤矿辅助运输的主要设备，承担着运送人员以及相关煤矿作业设备的任务。截至目前，矿井电机车仍然依靠人工驾驶。发展矿井电机车的无人驾驶不仅可以避免事故的频发，同时可以减少煤矿井下作业人员数量，提高煤矿生产作业安全性，具有巨大的经济效益和社会效益。而传统的矿井电机车在轨道上运行时不能很好的对周围的路况信息进行自主识别并加以分析，在煤矿井下巷道环境差、弯道多、光照条件不充分以及技术保障手段的缺乏导致矿井电机车的运输事故频发。


技术实现要素：

4.本发明为实现煤矿井下巷道有轨电机车的无人驾驶，对传统深度学习目标检测yolov4-tiny算法进行改进，提供了一种基于yolov4-tiny的矿井电机车路况实时检测方法。改进后的yolov4-tiny算法在不影响检测速度的前提下大幅提高网络模型的检测精度，实现了矿井电机车在轨道运行时对周围目标的精准实时检测，为上述背景技术提供解决方案。
5.本发明所要解决的技术问题由以下技术方案实现：
6.一种基于yolov4-tiny的矿井电机车路况实时检测方法，包括以下步骤：
7.s1：采集煤矿井下巷道有轨电机车运行路况图像，对图像中包含的不同检测目标进行标注，创建矿井电机车图像数据集；
8.s2：对深度学习目标检测yolov4-tiny算法的网络结构进行改进，得到改进型yolov4-tiny网络；
9.s3：基于所述矿井电机车图像数据集，通过不断优化网络训练参数，多次训练所述改进型yolov4-tiny网络并测试，最终得到最优改进型yolov4-tiny网络模型；
10.s4：测试最优改进型yolov4-tiny网络模型的检测性能，并将未经标注的矿井电机车路况图像导入所述最优改进型yolov4-tiny网络模型中，输出检测结果；
11.s5：将所述最优改进型yolov4-tiny网络模型应用到矿井电机车的实际运行场景中，验证所述最优改进型yolov4-tiny网络模型的实效性。
12.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，对采集的所述电机车运行路况图像首先进行旋转、裁剪数据增强处理，增加图像多样性；所述不同检测目标包括行人、电机车、信号灯与碎石共四类，采用labelimg图像标注软件对所述电机车运行路况图像中的所述不同检测目标进行标注，并将每一张标注完成的图像转化
为yolo格式。
13.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，标注图像时，分别用“person”、“locomotive”、“lamp”与“stone”作为所述行人、所述电机车、所述信号灯与所述碎石的标签。
14.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，所述改进型yolov4-tiny网络由骨干网络backbone、颈部neck以及头部head三部分组成；所述骨干网络backbone用于提取输入图像特征；所述颈部neck将所述骨干网络backbone生成的特征图进行特征融合；所述头部head用于多目标分类检测。
15.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，对所述yolov4-tiny算法的改进措施包括：在所述颈部neck引入空间金字塔池化spp模块，增加网络特征融合能力；将所述头部head原本的两尺度预测增加至四尺度预测。
16.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，输出所述最优改进型yolov4-tiny网络模型时，所述网络训练参数最终设置为：图像输入尺寸为416
×
416；一批样本训练数量batch为32；一次性送入训练器的样本数量subdivision为8；动量momentum为0.9；权重衰减正则项decay为0.0005；迭代次数为10000步；初始学习率为0.001，并采用steps和scales参数用以更新学习率。
17.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，所述最优改进型yolov4-tiny网络模型的所述检测结果包括网络模型对单一目标的检测精度ap值、对各类目标的平均检测速度map值以及平均检测速度。
18.作为优选，本发明提供的一种基于yolov4-tiny的矿井电机车路况实时检测方法，所述最优改进型yolov4-tiny网络模型对所述行人、所述电机车、所述信号灯、所述碎石的ap值分别为99.27％、98.97％、99.02％和90.61％；所述最优改进型yolov4-tiny网络模型对四类目标的map值为96.97％，相比传统所述yolov4算法提升了12.38个百分点；所述最优改进型yolov4-tiny网络模型的平均检测速度达58.8fps，满足实时检测的要求。
19.本发明的有益效果是：
20.本发明基于深度学习目标检测yolov4-tiny算法，对yolov4-tiny算法的网络结构进行改进，改进后的算法在不影响检测速度的情况下大幅提高了检测精度，能够实现矿井电机车在恶劣巷道环境以及复杂路况条件下的多目标识别检测，并且检测精度高、速度快，能够满足精准实时检测的需求，为实现矿井电机车的无人驾驶提供技术支撑。
附图说明
21.图1为本发明矿井电机车路况检测流程图；
22.图2为本发明改进后的yolov4-tiny网络结构图；
23.图3为本发明空间金字塔池化spp模块结构图；
24.图4为本发明部分数据集图像；
25.图5为本发明训练过程中的损失loss曲线图；
26.图6为本发明部分检测结果图像；
具体实施方式
27.为了使本发明的目的、技术方案与创作特征更加清楚，下面将结合附图对本发明作进一步详细描述，应当理解，此处所描述的具体实施方式仅仅用于解释本发明，并不用于限定本发明。
28.参见图1，一种基于yolov4-tiny的矿井电机车路况实时检测方法，包括以下步骤：
29.s1：采集煤矿井下巷道有轨电机车运行路况图像，对图像中包含的不同检测目标进行标注，创建矿井电机车图像数据集；
30.s2：对深度学习目标检测yolov4-tiny算法的网络结构进行改进，得到改进型yolov4-tiny网络；
31.s3：基于所述矿井电机车图像数据集，通过不断优化网络训练参数，多次训练所述改进型yolov4-tiny网络并测试，最终得到最优改进型yolov4-tiny网络模型；
32.s4：测试最优改进型yolov4-tiny网络模型的检测性能，并将未经标注的矿井电机车路况图像导入所述最优改进型yolov4-tiny网络模型中，输出检测结果；
33.s5：将所述最优改进型yolov4-tiny网络模型应用到矿井电机车的实际运行场景中，验证所述最优改进型yolov4-tiny网络模型的实效性。
34.参见图2，对采集的所述电机车运行路况图像首先进行旋转、裁剪数据增强处理，增加图像多样性；所述不同检测目标包括行人、电机车、信号灯与碎石共四类，采用labelimg图像标注软件对所述电机车运行路况图像中的所述不同检测目标进行标注，标注时，采用最小矩形框将图像中包含的所有目标框选出来，并将每一张标注完成的图像转化为yolo格式。
35.标注图像时，分别用“person”、“locomotive”、“lamp”与“stone”作为所述行人、所述电机车、所述信号灯与所述碎石的标签，且每一种标签对应一个固定颜色的标注框。经过筛选，最终将2000张标注完成的图像作为所述矿井电机车图像数据集，并将所述矿井电机车图像数据集划分为训练集与测试集，且所述训练集与所述测试集的图像数量比例为4:1。
36.参见图3、图4，所述改进型yolov4-tiny网络由骨干网络backbone、颈部neck以及头部head三部分组成；所述骨干网络backbone用于提取输入图像特征；所述颈部neck将所述骨干网络backbone生成的特征图进行特征融合；所述头部head用于多目标分类检测。对所述yolov4-tiny算法的改进措施包括：在所述颈部neck引入空间金字塔池化spp模块，增加网络特征融合能力；将所述头部head原本的两尺度预测增加至四尺度预测，提高模型泛化力。
37.所述spp模块将输入特征图分别使用5
×
5、9
×
9、13
×
13且步长为1的池化核进行最大池化操作，随后分别将池化后的特征图与所述原输入特征图进行拼接处理，得到新的特征图。所述spp模块能够从多尺度特征中提取出固定大小的特征向量，解决输入图像尺寸不一的情况，所述spp模块不仅能够增加训练图像尺寸多样性，同时能够显著增大网络模型的感受野，提升算法对于小目标的检测能力和鲁棒性。
38.参见图5，为获取所述最优改进型yolov4-tiny网络模型，基于同一所述矿井电机车图像数据集，通过不断优化训练参数，多次对网络进行迭代训练并测试。
39.为了进一步丰富所述矿井电机车图像数据集，引入mosaic数据增强，在网络训练过程中对所述训练集中的图像随机做平移、旋转、缩放、裁剪等变换并随机进行拼接，增强
了所述矿井电机车图像数据集的多样性，丰富了所述矿井电机车图像数据集中的小目标特征，同时，将多个图像拼接在一起，相当于增大了一次训练所选取的样本数，提高了网络内存的利用率及鲁棒性。
40.输出所述最优改进型yolov4-tiny网络模型时，所述网络训练参数最终设置为：图像输入尺寸为416
×
416；一批样本训练数量batch为32；一次性送入训练器的样本数量subdivision为8；动量momentum为0.9；权重衰减正则项decay为0.0005；迭代次数为10000步；初始学习率为0.001，并采用steps和scales参数用以更新学习率，且steps设为8000和9000，scales设为0.1和0.1，即当训练的迭代次数达到8000步时，此时学习率在初始值的基础上衰减十倍，当迭代次数达到9000步时，此时学习率会在前一个值得基础上再次衰减十倍。在网络迭代训练过程中，损失函数loss的值在不断下降，迭代训练3000步之后所述损失函数loss逐渐收敛，经10000步迭代训练后，平均损失avg loss为0.0840。
41.参见图6，使用所述最优改进型yolov4-tiny网络模型对矿井电机车运行路况图像进行测试，在检测结果图像中，每一张所述结果图像中的所述不同检测目标均被框出，并且所述最优改进型yolov4-tiny网络模型对于小目标、模糊目标、部分遮挡目标以及重叠目标均能准确识别，无错检和漏检现象。
42.所述最优改进型yolov4-tiny网络模型的所述检测结果包括网络模型对单一目标的检测精度ap值、对各类目标的平均检测速度map值以及平均检测速度。所述最优改进型yolov4-tiny网络模型对所述行人、所述电机车、所述信号灯、所述碎石的ap值分别为99.27％、98.97％、99.02％和90.61％；所述最优改进型yolov4-tiny网络模型对四类目标的map值为96.97％，相比传统yolov4算法提升了12.38个百分点；所述最优改进型yolov4-tiny网络模型的平均检测速度达58.8fps，改进后的算法在不影响检测速度的情况下大幅提高了检测精度，能够实现矿井电机车在恶劣巷道环境以及复杂路况条件下对多种目标的精准实施检测，为实现矿井电机车的无人驾驶提供技术支撑。
43.最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，包括以下步骤：s1：采集煤矿井下巷道有轨电机车运行路况图像，对图像中包含的不同检测目标进行标注，创建矿井电机车图像数据集；s2：对深度学习目标检测yolov4-tiny算法的网络结构进行改进，得到改进型yolov4-tiny网络；s3：基于所述矿井电机车图像数据集，通过不断优化网络训练参数，多次训练所述改进型yolov4-tiny网络并测试，最终得到最优改进型yolov4-tiny网络模型；s4：测试最优改进型yolov4-tiny网络模型的检测性能，并将未经标注的矿井电机车路况图像导入所述最优改进型yolov4-tiny网络模型中，输出检测结果；s5：将所述最优改进型yolov4-tiny网络模型应用到矿井电机车的实际运行场景中，验证所述最优改进型yolov4-tiny网络模型的实效性。2.根据权利要求1所述的一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，对采集的所述电机车运行路况图像首先进行旋转、裁剪数据增强处理，增加图像多样性；所述s1中的不同检测目标包括行人、电机车、信号灯与碎石共四类，采用labelimg图像标注软件对所述电机车运行路况图像中的所述不同检测目标进行标注，并将每一张标注完成的图像转化为yolo格式。3.根据权利要求2所述的一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，标注图像时，分别用“person”、“locomotive”、“lamp”与“stone”作为所述行人、所述电机车、所述信号灯与所述碎石的标签。4.根据权利要求1所述的一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，所述改进型yolov4-tiny网络由骨干网络backbone、颈部neck以及头部head三部分组成；所述骨干网络backbone用于提取输入图像特征；所述颈部neck将所述骨干网络backbone生成的特征图进行特征融合；所述头部head用于多目标分类检测。5.根据权利要求1-4任一项所述的一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，对所述yolov4-tiny算法的改进措施包括：在所述颈部neck引入空间金字塔池化spp模块，增加网络特征融合能力；将所述头部head原本的两尺度预测增加至四尺度预测。6.根据权利要求1所述的一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，输出所述最优改进型yolov4-tiny网络模型时，所述网络训练参数最终设置为：图像输入尺寸为416
×
416；一批样本训练数量batch为32；一次性送入训练器的样本数量subdivision为8；动量momentum为0.9；权重衰减正则项decay为0.0005；迭代次数为10000步；初始学习率为0.001，并采用steps和scales参数用以更新学习率。7.根据权利要求1所述的一种基于yolov4-tiny的矿井电机车路况实时检测方法，其特征在于，所述最优改进型yolov4-tiny网络模型的所述检测结果包括网络模型对单一目标的检测精度ap值、对各类目标的平均检测速度map值以及平均检测速度。

技术总结
本发明公开一种基于YOLOv4-Tiny的矿井电机车路况实时检测方法，包括：采集煤矿井下巷道有轨电机车运行路况图像，对图像中包含的不同检测目标进行标注，创建矿井电机车图像数据集；对传统YOLOv4-Tiny网络结构进行改进，得到改进型YOLOv4-Tiny网络；基于所述矿井电机车图像数据集，优化网络训练参数，多次训练所述改进型YOLOv4-Tiny网络，最终得到最优改进型YOLOv4-Tiny网络模型；验证所述最优改进型YOLOv4-Tiny网络模型的检测性能。本发明通过对YOLOv4-Tiny算法进行改进，在不影响检测速度的条件下提高了算法的检测精度，增强了算法在复杂环境条件下对多种目标的检测能力，实现了矿井电机车在复杂煤矿巷道路况条件下对多种目标的精准实时检测，为实现矿井电机车的无人驾驶提供技术支撑。人驾驶提供技术支撑。人驾驶提供技术支撑。


技术研发人员：郭永存 杨豚 王爽 童佳乐 王文善 马鑫
受保护的技术使用者：安徽理工大学
技术研发日：2022.02.08
技术公布日：2022/5/25