一种基于机器视觉的海上风电安全监测与预警方法

1.本发明属于深度学习和目标检测领域，尤其是涉及一种基于计算机视觉的海上船舶目标识别与定位方法。


背景技术：

2.风电属于可再生能源，具有竞争力强、速度快的特点。相比陆基风能，海上风能资源的优势主要是风向稳定、风速大、影响环境力度小，同时海上风电场更接近能源需求大的城市，海面可应用面积辽阔，已经变成风电发展的主要使用趋势，据预测，2040年全球海上风电规模将增加15倍，届时中国的风电装机容量预计将增加到110gw。目前，我国海上风电开发建设如火如荼，有一大批风电场项目已经建成投产。但由此衍生出来的海上风电场运行维护问题也受到广泛关注。
3.海上风电场，由于其离岸距离远、所处环境恶劣，日常巡视维护和事故抢修十分不便，一旦出现事故将造成重大经济损失，因此海上风电场的设备维护是风电场建成后的主要问题。风电机组和海底电缆是海上风电场的重要组成部分，同时也是最容易遭受破坏的部分，一旦出现问题，造成的损失是不可估量的，因此对海上风电设备安全状态进行监测，并在事故出现前作出准确的警告是非常关键和必要的。
4.船舶作为海洋资源开发和经济活动的重要载体，对海上目标的准确监测变得越来越重要。近年来，常出现无关船舶误闯风电场内部水域，而引发碰撞海上风机、损坏海底电缆等风电事故发生，使得风电场对于船舶要求更加复杂。因此，需要以船舶作为研究对象，对海上目标开展识别和检测研究，由此获取目标对象的类型、身份、位置、威胁程度等数据，以便测算及监测海域目标与风电设备之间的距离，形成一定程度的预警能力。
5.目标识别与检测一直是图像识别领域的研究热点，其目的是是为每个感兴趣的对象预测一组边界框和类别标签。早期的目标识别与检测方法一般是通过人工提图像的浅层信息如形状、纹理和颜色等来构建卷积模板，并结合svm为代表的分类器实现分类识别。浅层特征经常会受到光线、环境和人工主观影响而做出误判,并且在目标识别过程中存在检测速度过慢，准确率低。随着人工智能技术的迅猛发展，特别在算力、数据和算法等多方面带来的技术突破，使得基于深度学习方法开始逐渐取代基于传统人工提取特征的方法。
6.现今，基于深度学习的目标检测技术成为当前研究的热点和难点，涌现出以ssd、retinanet、yolo等为代表的单阶段卷积神经网络检测模型，此类算法不需要生成候选区域，使用一个卷积神经网络直接对输入的图片特征提取并预测检测目标的位置信息，是一种端到端的检测方法。多阶段检测器具有高目标检测精度，而单阶段检测器具有更快的检测速度和更高的可扩展性，但是也存在不足之处，即对于小目标的检测效果始终不理想。
7.随着yolo系列的更新，yolov5算法目前在目标检测领域中具有较出色的检测精度与速度，但海上船舶数据自身存在密集多尺度、易被遮挡以及检测场景复杂等特点，导致该方法在实时检测条件下，船舶小目标提取方面表现不是很理想，常出现识别结果精度不高、漏检和误检等问题，难以形成完备的船舶目标识别与定位方法。


技术实现要素：

8.发明目的：本发明目的在于针对现有技术的不足，提供一种基于机器视觉与改进型yolov5的船舶目标检测方法，实现海上风电安全监测与预警。
9.技术方案：本发明所述基于机器视觉的海上风电安全监测与预警方法，包括如下步骤：
10.s1、获取图像：对采集的船舶图像进行预处理，并标注包含多种类别的船舶图像，建立一个包含多种类别的船舶检测数据集；
11.s2、建立船舶检测推理模型：以yolov5网络作为基准网络，分别对其主干网络、neck结构和检测头进行改进，在主干卷积中嵌入transformer编码器模块，全局关注目标图像特征块之间的依赖关系；将网络中标准特征融合panet结构替换为双向特征融合bifpn结构；增加小尺寸船舶目标检测头分支；构建出改进型yolov5船舶检测网络，并以步骤s1获得的数据集训练该船舶检测网络，得到船舶检测推理模型；
12.s3、模型识别：将需要检测与识别的船舶图片或视频流输入至步骤s2训练好的船舶检测推理模型，在输出文件或者输出视频流中得到所有船舶的类别并框出坐标位置，对影响海上风电安全的船舶进行监测与预警。
13.本发明进一步优选地技术方案为，步骤s1中标注包含多种类别的船舶图像是利用labelimg工具对收集的数据集进行标注，标注信息存储为xml格式，标注信息主要包括图片内船舶的位置坐标信息、尺寸信息和类别信息。
14.作为优选地，步骤s2中将步骤s1所有的标注文件由xml格式转换为txt格式，并对坐标进行归一化，完成后的txt文本包含目标类别、左上角坐标和右下角坐标，同时统一缩放为640*640像素尺寸，再将80％数据作为训练集，20％数据作为验证集，即可完成船舶检测网络训练前的图片处理。
15.优选地，步骤s2中在对改进型yolov5船舶检测网络进行训练时，在gpu服务器上搭建训练模型所需要的虚拟环境，完成后将训练集输入至改进型yolov5船舶检测网络进行目标检测模型训练，训练完成后即可得到用于复杂背景下船舶小目标检测的船舶检测推理模型。
16.优选地，yolov5检测网络主要由backbone特征提取网络、特征融合neck结构及head检测头网络组成，步骤s2中对该yolov5检测网络的改进包括：
17.a、在特征提取cspdarknet53网络末端嵌入transformer编码器模块并维持网络维度不变；
18.b、将neck网络的panet结构替换为双向特征融合bifpn结构；
19.c、将head检测头网络改进为四检测头结构，骨干网络中的160*160像素尺寸的特征图层引出一条分支，在bifpn最高维度80*80像素尺寸的特征图进行上采样操作同样引出一条160*160像素尺寸分支，两条分支进行合并操作后输入至bottleneck结构整合特征图并送入1*1像素尺寸的卷积核进行输出；
20.将修改后的各结构和模块按照原yolov5网络形式顺序堆叠，得到改进型yolov5网络。
21.有益效果：本发明适用于解决复杂背景干扰下小目标检测任务，该方法可以在保证实时检测前提下，提升模型对于不同大小目标的敏感性，降低较小目标的漏检率；相较于
普通卷积神经网络模型，基于yolov5目标网络进行改进，该方法在主干特征提取网络末端嵌入了transformer编码器模块，能够全局关注目标图像特征块之间的依赖关系，并通过多头自我注意为目标检测保留足够的空间信息，进一步提高了对船舶目标的特征表示能力，对严重遮挡、扰动和尺度多变的鲁棒性更高，最大化利用图像上下文语义特征信息，以解决现有技术在检测场景复杂情况下对较小且密集的船舶进行实时检测，改善了船舶小目标在严重遮挡、扰动和尺度多变情况下的检测效果；
22.本发明还通过双向特征融合bifpn结构，在不增加太多成本的情况下融合更多的特征将每个双向路径视为一个特征网络层，并多次重复同一层，以实现更高级别的特征融合；以及增加了160*160像素的小尺寸目标检测头分支，改善了小目标特征易丢失的问题，为小目标提供浅层的空间位置信息同时又保证了深层上下文信息的供给，总体上提高了模型对于船舶小目标的检测准确率。
附图说明
23.图1为本发明基于机器视觉的海上风电安全监测与预警方法流程图；
24.图2为本发明改进型yolov5船舶检测网络结构图；
25.图3为本发明transformer编码器网络结构图；
26.图4为本发明海上船舶目标检测效果图。
具体实施方式
27.下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
28.实施例：一种基于机器视觉的海上风电安全监测与预警方法，包括如下步骤：
29.s1、收集船舶图像，获取船舶图像的主要方式为查阅网络公开数据集及编写爬虫脚本爬取，而爬虫获得的图像是未标注的，这部分数据通过labelimg工具对获取的图像进行标注，主要标注信息为类别、尺寸以及目标在图像中的位置，完成后即可得到完整的初始数据集，在本实施例中获取了六种类型的船舶图片，包括矿石船、散货船、普通货船、集装箱船、渔船、客船，并将船舶数据集按照8:2划分为训练集和测试集。
30.s2、以yolov5网络作为基准网络，分别对其主干网络、neck结构和检测头进行改进，构建改进型yolov5船舶目标检测网络。具体方法为：
31.在原特征提取cspdarknet53网络末端嵌入transformer编码器模块并维持网络维度不变；将原neck网络的panet结构替换为双向特征融合bifpn结构，相较于panet结构，bifpn结构删除了只有一条输入边的节点，也就是对融合不同特征贡献最小的节点，在相同层添加一个跳跃连接，在同一尺度的输入节点到输出节点之间加一个跳跃连接，以便在不增加太多成本的情况下融合更多的特征将每个双向(自顶向下&自底向上)路径视为一个特征网络层；将原检测头改进为四检测头结构，骨干网络中的160*160像素尺寸的特征图层引出一条分支、将bifpn最高维度80*80像素尺寸的特征图进行上采样操作同样引出一条160*160像素尺寸分支，两条分支进行合并操作后输入至bottleneck结构整合特征图并送入1*1像素尺寸的卷积核进行输出；将修改后的各结构和模块按照原yolov5网络形式顺序堆叠即可。
32.s3、在gpu服务器上配置训练模型所用的虚拟环境容器，加载必要的模型依赖库，利用tensorflow完成模型框架代码的编写。
33.s4、将船舶训练数据集上传至改进型yolov5检测模型进行训练，特征提取阶段分别经过focus结构、卷积操作、bottleneckcsp、transformer编码器结构处理后得到3个不同大小的特征图像，将最后一个特征图经spp结构处理后得到输出的特征图展平成一维序列并加上空间位置编码后输入到transformer的编码器中，相应得到各个物体编码后的特征；分别将3个不同大小的特征图输入到bifpn结构中进行特征融合，不同尺度的特征信息按照不同权重进行累加，利用跳跃连接增强相同尺度的特征信息，最终得到完善的特征信息，经过这一系列操作后产生三个特征层输入到检测输出端，输出端根据生成的三个特征层，给出检测对象的边界框和置信度，之后采用非极大抑制的方法，筛选掉重复的边界框，得出预测框与分类概率，保存训练推理模型。
34.s5、将待检测船舶图片或视频流输入至步骤4的训练推理模型，即可在输出文件或者输出视频流中得到所有船舶目标的类别并框出坐标位置，实现复杂背景下船舶目标的识别与定位，解决船舶航行是否威胁海上风电重要设备预判问题，从而实现海上风电设备状态监测与预警研究。
35.如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。