本发明涉及水质预测,尤其涉及一种搭载于船艇的入河入海水上排口的智能检测方法及装置。
背景技术:
1、目前的河道巡查管理工作主要以人力为主,还有少量以无人机为载体的半自动河道检测产品。
2、人工巡查方式下项目的作业质量与效率相对较低。作业人员需要沿河岸步行,如果发现排口则需要进行拍照、登记信息(位置,状态,材质,是否晴天排水)等。再加上实际的河道中各种排口的安装位置极为复杂,排查人员的工作经验参差不一还有实际排查的工作难度等因素,排口的科学排查与管理一直都是难以解决的重要难题。
3、人工排查与复查首先需要耗费更高的人力成本,这对环保企业而言设置了一定的门槛。其次,人工排查上报信息的流程对于晴天排水等紧急情况的响应速度远不如智能设备迅速。更重要的是,人工排查的准确率受限于现场作业人员的操作规范性,工作态度以及判断经验等,并不够客观。一旦出现工程问题,从结果上也并不能立刻反馈出来,最终易导致项目验收不合格或额外的成本投入。
4、所以提供一种搭载于船艇的入河入海水上排口的智能检测方法及装置,解决上述问题。
技术实现思路
1、本发明的主要目的在于解决现有技术中,河道巡查管理工作主要以人力为主,还有少量以无人机为载体的半自动河道检测产品;人工巡查方式下项目的作业质量与效率相对较低;人工排查与复查首先需要耗费更高的人力成本等问题。
2、本发明第一方面提供了一种搭载于船艇的入河入海水上排口的智能检测方法,所述搭载于船艇的入河入海水上排口的智能检测方法包括:
3、构建河流排口数据集,将河流排口数据划分为训练集、验证集和测试集;
4、基于yolov5模型构建排口检测模型,利用训练集对排口检测模型进行训练,利用测试集对排口检测模型进行测试,判断排口检测模型是否符合预设条件,若是,则完成排口检测模型建立;
5、获取摄像头采集的实时视频数据,对实时视频数据进行抽帧生成实时原始图像;对实时原始图像进行图像滑动窗口处理生成待检测图像集;
6、利用排口检测模型对待检测图像集进行检测,生成特征图像集;
7、对特征图像集进行霍夫圆检测和霍夫矩形检测,过滤特征图像集中的错误图片;
8、根据经过滤后的特征图像集判断排口是否出现了晴天流水现象;若是,则进行排口异常上报;若否,则进行排口信息上报。
9、可选的,所述构建河流排口数据集,将河流排口数据划分为训练集、验证集和测试集包括:
10、获取摄像头采集的岸线视频数据;
11、对岸线视频数据进行抽帧构建原始图像集;
12、对原始图像集中的原始图像用labelimg图像标注工具进行标注,将完成标注的原始图像数据分成若干类别,将每个类别的原始图像以7:2:1的比例,划分为训练集、验证集和测试集。
13、可选的,还包括若排口检测模型不符合预设条件;
14、则重新构建河流排口数据集,将河流排口数据划分为训练集、验证集和测试集;
15、基于yolov5模型构建排口检测模型,利用训练集对排口检测模型进行训练,利用测试集对排口检测模型进行测试。
16、可选的,所述基于yolov5模型构建排口检测模型包括:
17、构建yolov5模型,在yolov5模型的anchors部分增加对小目标的备选检测框;在yolov5模型的head提取了来自p3/8层的大尺寸图像的信息,并将该部分的信息合并到了head信息融合部分;在yolov5模型的head部分新融合进的内容在最终生成检测结果的阶段进行再次融合。
18、可选的,所述对实时原始图像进行图像滑动窗口处理生成待检测图像集包括:
19、对实时原始图像均分成3*3的子块,将每个2*2的子块都裁剪生成子块图像信息,将子块图像信息放大到原始图像的大小,将子块图像信息和实时原始图像作为待检测图像集。
20、可选的,所述对特征图像集进行霍夫矩形检测包括:
21、记录特征图像中所有坐标值为预设值的坐标,记为集合
22、points=[(x0,y0),...(xn,yn)];
23、创建一个高度为h,宽度为0到180度,初始值为0的累加矩阵m,h为图像的高度的预设倍数,所述预设倍数大于等于倍;
24、对于points中每一个坐标点从0度遍历到180度,基于下列公式计算给定的θi所对应的ρi,并将计算结果填充到累加矩阵m的相应位置;
25、x0cosθ+y0sinθ=ρ其中,x0,y0是各坐标点的坐标值;
26、获取矩阵m中每一列的最大值,记为向量p;
27、对p进行均值滤波(kernel_size=10),使曲线更加平滑,得到的新向量记为q;
28、对q进行nms滤波,主要目的是找到区域范围内的最大值,得到的的新向量记为qnms;
29、将qnms和q进行逐位对比,q中比较结果相同的值保留,不同则置为0;
30、确定q中最大值为疑似矩形的某个顶点p1。寻找θ间隔恰好为90的邻域内是否存在点p2作为矩形的另一个顶点。如果不存在就放弃;
31、已知p1,p2是m矩阵中指定列的最大值,因此再从m矩阵同一列找到第二大的值作为矩形的另外两个顶点;
32、将四个顶点的坐标映射回笛卡尔坐标系并通过计算直线方程和焦点绘制出矩形;判断该矩形面积占比是否达到全图50%以上,如果满足则认为通过了矩形检测。
33、可选的,所述对特征图像集进行霍夫圆检测包括:
34、将原图img0进行目标检测,得到若干检测框(b0...bn);
35、基于检测框进行裁剪,得到裁剪后的图像(c0...cn);
36、对裁剪后的图像ci分别进行如下处理:
37、对该图像进行中值滤波,从而去除背景中包含的噪声;
38、对滤波后的图片进行边缘检测,提取检测主体的轮廓;
39、对图像中的白色点进行遍历,计算其邻域内该点的法线方程;。在该法线上的所有点累加一次;
40、根据设定好的阈值下限找到所有可能的圆心;
41、遍历每一个圆心pi计算所有点到该圆心的距离,从而选取合适的半径;对于合适的半径,在累加器中加1;
42、挑选出所有符合要求的圆心,以及其半径累加器中最高的半径值的圆;
43、将这些圆分别与目标检测的检测框进行校对,圆心与检测框中心偏移度小于阈值threshold1,并且圆的面积占检测框面积大于阈值threshold2,则认为检测符合要求。
44、本发明第二方面提供了一种搭载于船艇的入河入海水上排口的智能检测装置,包括:
45、河流排口数据集构建模块,用于构建河流排口数据集,将河流排口数据划分为训练集、验证集和测试集;
46、排口检测模型构建模块,用于基于yolov5模型构建排口检测模型,利用训练集对排口检测模型进行训练,利用测试集对排口检测模型进行测试,判断排口检测模型是否符合预设条件,若是,则完成排口检测模型建立;
47、待检测图像集生成模块,用于获取摄像头采集的实时视频数据,对实时视频数据进行抽帧生成实时原始图像;对实时原始图像进行图像滑动窗口处理生成待检测图像集;
48、特征图像集生成模块,用于利用排口检测模型对待检测图像集进行检测,生成特征图像集;
49、错误图片过滤模块,用于对特征图像集进行霍夫圆检测和霍夫矩形检测,过滤特征图像集中的错误图片;
50、晴天流水现象判断模块,用于根据经过滤后的特征图像集判断排口是否出现了晴天流水现象;若是,则进行排口异常上报;若否,则进行排口信息上报。
51、本发明第三方面提供了一种电子设备,所述电子设备包括存储器和至少一个处理器,所述存储器中存储有指令;
52、所述至少一个处理器调用所述存储器中的所述指令,以使得所述电子设备执行如上所述的搭载于船艇的入河入海水上排口的智能检测方法的各个步骤。
53、本发明第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如上所述的搭载于船艇的入河入海水上排口的智能检测方法的各个步骤。
54、本发明的技术方案中,能够客观、高效地进行排口排查,在降低成本的同时保证了巡查的标准规范性;本发明提供了完备的从船艇作业的图像数据采集到最终检测结果上报的流程方法,易于实现整套系统的搭建;本发明的检测系统基于排口排查的实际场景提出了霍夫圆与霍夫矩形检测的优化方法,以及基于小排口的yolov5模型改进方法,提高了基于该场景下检测的查全能力与准确度;相比于人工巡查能够做到更快地预警与管理。
1.一种搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,所述搭载于船艇的入河入海水上排口的智能检测方法包括:
2.根据权利要求1所述的搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,所述构建河流排口数据集,将河流排口数据划分为训练集、验证集和测试集包括:
3.根据权利要求2所述的搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,还包括若排口检测模型不符合预设条件;
4.根据权利要求1所述的搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,所述基于yolov5模型构建排口检测模型包括:
5.根据权利要求1所述的搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,所述对实时原始图像进行图像滑动窗口处理生成待检测图像集包括:
6.根据权利要求1所述的搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,所述对特征图像集进行霍夫矩形检测包括:
7.根据权利要求1所述的搭载于船艇的入河入海水上排口的智能检测方法,其特征在于,所述对特征图像集进行霍夫圆检测包括:
8.一种搭载于船艇的入河入海水上排口的智能检测装置,其特征在于,包括:
9.一种电子设备,所述电子设备包括存储器和至少一个处理器,所述存储器中存储有指令;
10.一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-7中任一项的搭载于船艇的入河入海水上排口的智能检测方法的各个步骤。
