本发明属于智能巡河,具体涉及一种基于无人机的智能巡河方法。
背景技术:
1、随着科技的不断进步,无人机(unmanned aerial vehicle, uav)技术在多个领域得到了广泛应用,其中之一便是河湖的监测与管理。无人机巡河技术以其高效性、灵活性和成本效益逐渐成为河湖巡河的重要手段。河湖管理范围是指为保障河湖行洪畅通、河势湖岸稳定、生态健康和水利工程安全而划定的限制非水事活动的管理区域。河湖管理范围线是指河湖和水利工程管理范围的外边界线,通过测绘技术,由沿着外边界线,划定的控制点地理坐标组成。
2、巡河事件一般包括河湖管理范围内违章建筑物、乱堆垃圾、河面漂浮物、人员监管、非法采砂、非法排污等。当前无人机巡河应用,有的是通过播放视频,人工逐帧查看,截图巡河事件和记录地理坐标。有的采用人工智能算法,智能识别部分巡河事件,如河面漂浮物、非法采砂、非法排污等。上述现有技术存在如下问题:
3、1、人工巡河,效率低下,且需要对照遥感图像,确定河湖管理范围线,操作繁琐;
4、2、人工智能算法巡河,同样无法确定河湖管理范围线,所以对于违章建筑物、乱堆垃圾等不能精确生成巡河事件。
技术实现思路
1、本发明提供了一种基于无人机的智能巡河方法解决上述提到的技术问题,具体采用如下的技术方案:
2、一种基于无人机的智能巡河方法,包含:
3、通过无人机采集目标区域的视频数据;
4、解析所述视频数据得到若干图像帧;
5、识别每个所述图像帧中的识别目标;
6、确定每个所述图像帧中的河道管理范围区域;
7、过滤位于所述河道管理范围区域外的识别目标;
8、将过滤后的目标识别结果标注在每个所述图像帧中再生成无人机巡河视频;
9、确定每个所述图像帧中的河道管理范围区域的具体方法为:
10、获取河道管理范围线,将所述河道管理线映射至每个所述图像帧中,从而将每个所述图像帧分割为所述河道管理范围区域和非河道管理范围区域;
11、所述获取河道管理范围线的具体方法为:
12、将河道管理范围线地理坐标转化为高斯-克吕格投影坐标,转换后的河道管理范围线投影坐标由若干线段组成;
13、对转换后的河道管理范围线投影坐标进行合并线段处理得到分布于河道两侧的两条线段。
14、进一步地,所述将所述河道管理线映射至每个所述图像帧中的具体方法为:
15、获取无人机飞行数据和无人机参数;
16、建立三维相机坐标系;
17、将转换后的投影坐标转换为相机坐标系坐标;
18、将转换后的相机坐标系坐标转换为图像帧上的像素坐标;
19、根据得到的图像帧上的像素坐标将图像帧分割为所述河道管理范围区域和所述非河道管理范围区域。
20、进一步地,获取的无人机飞行数据包含取所述图像帧对应的无人机经纬度坐标、飞行高度、俯仰角和偏航角,获取的无人机参数包含相机像元尺寸、毫米焦距、像主点坐标、图像宽度和图像高度;
21、基于所述无人机经纬度坐标和所述飞行高度建立所述三维相机坐标系;
22、基于所述无人机经纬度坐标、所述飞行高度、所述俯仰角和所述偏航角将转换后的投影坐标转换为相机坐标系坐标;
23、基于所述相机像元尺寸、所述毫米焦距、所述像主点坐标、所述图像宽度和所述图像高度将转换后的相机坐标系坐标转换为图像帧上的像素坐标。
24、进一步地,在所述确定每个所述图像帧中的河道管理范围区域之前,所述基于无人机的智能巡河方法还包含:
25、通过畸变参数对每个所述图像帧进行图像校正。
26、进一步地,所述识别每个所述图像帧中的识别目标的具体方法为:
27、所述识别目标包含建筑物、垃圾堆、水体、水体颜色、船舶、人员和漂浮物;
28、通过语义分割模型识别建筑物、垃圾堆和水体;
29、通过目标检测模型识别船舶、人员和漂浮物;
30、通过目标分类模型识别水体颜色。
31、进一步地,对于船舶和人员检测目标,进行目标跟踪处理,输出第一检测结果;
32、对于建筑物、垃圾堆、漂浮物和水体颜色检测结果,根据无人机移动距离和移动角度,如果移动距离和角度超过一定阈值,且图像帧内有新增的检测目标,则输出第二检测结果。
33、进一步地,对于船舶和人员检测目标,输出第一检测结果的具体方法为:
34、遍历每一图像帧的目标检测结果,采用sort多目标跟踪算法,提取目标轨迹中,目标边界框中心点坐标距离理想显示位置最近,且尺寸完整的图像帧作为当前目标的第一检测结果。
35、进一步地,对于建筑物、垃圾堆、漂浮物和水体颜色检测结果,输出第二检测结果的具体方法为:
36、遍历每一所述图像帧,如果所述图像帧中新增上述检测目标,判断其有无历史抓拍帧,如果无历史抓拍帧,则直接保存所述图像帧作为事件抓拍帧,如果有历史抓拍帧,则计算当前所述图像帧的无人机地理坐标位置和上一历史抓拍帧的地理坐标位置距离,若移动距离大于1/3幅高,或移动角度大于12度,则保存所述图像帧作为事件抓拍帧,作为当前目标的第二检测结果。
37、本发明的有益之处在于所提供的基于无人机的智能巡河方法,通过投影的方式,将河道管理线映射至每个所述图像帧中,从而识别出图像帧中的河道管理范围区域,从而过滤掉河道管理范围区域以外的目标,从而提高了智能巡河的目标事件的识别准确性。
1.一种基于无人机的智能巡河方法,其特征在于,包含:
2.根据权利要求1所述的基于无人机的智能巡河方法,其特征在于,
3.根据权利要求2所述的基于无人机的智能巡河方法,其特征在于,
4.根据权利要求1所述的基于无人机的智能巡河方法,其特征在于,
5.根据权利要求1所述的基于无人机的智能巡河方法,其特征在于,
6.根据权利要求5所述的基于无人机的智能巡河方法,其特征在于,
7.根据权利要求6所述的基于无人机的智能巡河方法,其特征在于,
8.根据权利要求6所述的基于无人机的智能巡河方法,其特征在于,