本发明涉及无人机控制领域,尤其涉及一种ai与机器视觉结合的无人机控制系统。
背景技术:
1、无人机控制系统是用来管理无人机飞行的软件和硬件系统;该系统由无人机飞行控制器、传感器、通信设备以及地面控制站组成;无人机飞行控制器是系统的核心,它负责接收指令并控制无人机的动作;传感器能够收集飞行中产生的各种数据,例如高度、速度和位置等;这些数据通过通信设备传输给地面控制站,地面控制站通过解析数据来监控和控制无人机的飞行;通过无人机控制系统,操作员可以实时获取无人机的状态,并进行必要的调整和控制;该系统的重要性在于它能够确保无人机飞行的安全和稳定性;在无人机的智能控制系统中,利用机器视觉技术对无人机的周边环境数据进行分析,由于无人机的飞行轨迹为空间三轴结构,因此需要多组摄像头才能够对无人机周边环境进行完全覆盖,处理系统在对多组摄像头的数据进行处理时,容易出现障碍物重复检测的情况发生,影响无人机的正常控制。
技术实现思路
1、为了克服在无人机的智能控制系统中,利用机器视觉技术对无人机的周边环境数据进行分析,由于无人机的飞行轨迹为空间三轴结构,因此需要多组摄像头才能够对无人机周边环境进行完全覆盖,处理系统在对多组摄像头的数据进行处理时,容易出现障碍物重复检测的情况发生,影响无人机的正常控制的问题。
2、本发明的技术方案为:一种ai与机器视觉结合的无人机控制系统,包括有:
3、数据采集模块,用于对无人机周围的环境数据进行实时采集,其中,无人机周围的环境数据包括有图像数据、风速数据以及空气湿度数据等;
4、数据处理模块,用于对数据采集模块所采集到的数据进行处理和优化,增加数据的可辨识度;
5、ai智能分析模块,用于对数据处理模块对处理后的数据进行分析和识别,得到无人机所处环境的环境信息;
6、信号传输模块,用于实现无人机与无人机以及无人机与控制终端之间数据传输和实时通信;
7、控制模块,用于根据ai智能分析模块的分析结果,对无人机的飞行轨迹以及飞行参数进行实时控制。
8、优选的,通过设置数据采集模块可以对无人机周边的环境数据进行采集,且通过数据处理模块可以对数据采集模块所采集到的数据进行处理,再通过ai智能分析模块可以根据数据处理模块的处理结果,识别到无人机的周边环境,从而可以通过控制模块对无人机进行控制,保证无人机的安全稳定飞行。
9、作为优选,数据采集模块包括有图像数据采集模块和环境数据数据采集模块,图像数据采集模块用于采集无人机周边物以及环境的图像数据,环境数据采集模块用于采集无人机所处环境的温度、湿度、光照强度、风速、颗粒物浓度、降雨量以及可见度等多种环境数据。
10、作为优选,图像数据采集模块包括有多组高清摄像头,多组高清摄像头分别设置于无人机的不同方向,环境数据采集模块包括有风速传感器、加速度传感器、温湿度传感器、光照强度传感器、颗粒物浓度传感器以及雨量传感器中的一组或多组,其中,环境数据采集模块的功能以及传感器种类组成可更改,且境数据采集模块的功能以及传感器种类组成由无人机的工作要求以及工作环境决定。
11、作为优选,数据采集模块还包括有辅助障碍物检测模块,辅助障碍物检测模块包括有毫米波雷达,毫米波雷达设置为多组,多组毫米波雷达分别设置于无人机的不同方向,毫米波雷达用于应急检测无人机的周边是否有障碍物。
12、作为优选,数据处理模块在对图像数据采集模块所采集到的数据进行处理和优化,增加数据的可辨识度时,包括有以下步骤:
13、s11:对多组高清摄像头所采集到的图像进行畸变矫正,去除由于摄像头透镜结构引起的图像畸变;
14、s12:提取多组高清摄像头所采集到的图像中的sift特征点;
15、s13:对相邻的两组高清摄像头所采集到的图像的sift特征点进行匹配,并在匹配完成后利用ransac算法进行特征点对的筛选,排除特征点对中的错误特征点对;
16、s14:使用dlt算法,将剩下的特征点对进行透视变化矩阵的估计;
17、s15:利用seam finding算法进行最佳拼接缝寻找,寻找相邻的两组高清摄像头所采集到的图像的最佳拼接缝;
18、s16:采用拉普拉斯金字塔,通过对相邻两层的高斯金字塔进行差分,将原图分解成不同尺度的子图,对每一个之图进行加权平均,得到每一层的融合结果,最后进行金字塔的反向重建,得到最终融合效果图像;
19、s17:重复步骤s16,直至将所有高清摄像头所拍摄到的图像融合成一张融合图像。
20、优选的,通过设置数据处理模块,可以对多组高清摄像头所采集到的图像进行融合,通过对图像进行融合,一方面可以对可以减少障碍物以及其他物体在图像中的重复,从而避免ai智能分析模块多次重复检测到障碍物和其他物体的信息,导致检测结果出错且检测效率低的情况发生,另一方面可以使得无人机周边环境图像呈现在一张图像内部,可以有效防止由于障碍物或其他物体体积过大,无法完成呈现在一张图像中,导致检测结果出错的情况发生。
21、作为优选,数据处理模块在对环境数据采集模块所采集到的数据进行处理和优化,增加数据的可辨识度时,包括有以下方法:
22、a11:对环境数据采集模块中的传感器所采集到的数据进行数据清理,其中,数据清理包括有缺失值填补、光滑噪声数据、平滑离群点和删除离群点;
23、a12:对环境数据采集模块中的传感器所采集到的数据进行数据集成,将多个数据源中的数据结合并存放在一个一致的数据存储内;
24、a13:对环境数据采集模块中的传感器所采集到的数据进行数据规约,其中数据规约包括有维度规约和维度变换;
25、a14:对环境数据采集模块中的传感器所采集到的数据进行数据变化,其中,数据变换包括有数据规范化处理、数据离散化处理和数据稀疏化处理。
26、作为优选,ai智能分析模块对数据处理模块对处理后的数据进行分析和识别,得到无人机所处环境的环境信息时,包括有以下步骤:
27、s21:实时对环境数据采集模块的数据进行综合分析,判断无人机是否需要采用降低高度、减速、停止作业、增加高度或者加速等操作;
28、s22:采用基于轮廓的图像识别算法,对数据处理模块处理后得到的融合图像中的异常物体进行检测和追踪;
29、s23:采用基于ai的图像识别技术对步骤s12中检测出来的异常物体进行识别,其中,包括有通过特征对比识别异常物体的种类、通过双多目摄像头技术识别异常物体的位置以及通过计算得到异常物体与无人机的相对运动速度等。
30、优选的,通过采用机器视觉技术和ai智能技术融合,可通过摄像头或传感器捕捉到的图像数据,实现对无人机周边环境中的障碍物信息进行智能高效分析和检测,从而可以实现无人机控制系统控制无人机进行自主躲避障碍物,有效防止由于人工观察不仔细导致的无人机损坏,保证无人机的稳定作业。
31、作为优选,信号传输模块包括有蓝牙短距通信模块和4g信号传输模块,蓝牙短距通信模块用于无人机与无人机之间编队飞行时的短距通信,4g信号传输模块用于无人机与无人机控制终端之间的无线通信,还包括有gps定位模块,其中,无人机在进行飞行时,通过以下步骤进行精准定位:
32、s31:无人机与无人机之间通过蓝牙短距通信模块结合多点蓝牙定位技术,确定无人机编队中每一台无人机之间的相对位置;
33、s32:利用gps定位模块确定每一台无人机之间的gps定位;
34、s33:随机选定一台无人机作为中心无人机,并根据无人机之间的相对位置,对所有无人机的gps定位进行融合,得到中心无人机的融合gps定位;
35、s34:根据中心无人机的融合gps定位反推每一台无人机的精准定位。
36、优选的,无人机具有多种用途,当无人机在信号强度较弱的区域进行作业时,由于信号强度较弱,导致gps定位不准确,容易发生无人机失控或者无人机自主巡航系统紊乱的情况发生,通过设置利用蓝牙定位确定无人机之间的相对位置,并利用确定的相对位置对gps信号进行融合,可以有效消除信号较弱导致的gps定位误差较大的情况发生,保证无人机的稳定作业。
37、作为优选,还包括有紧急避障模块,紧急避障模块用于根据毫米波雷达所采集到的数据判断无人机周围是否存在距离较近的障碍物,并向控制模块发送控制指令,控制无人机进行紧急避障。
38、作为优选,紧急避障模块在根据毫米波雷达的数据,控制无人机进行紧急避障时,包括有以下步骤:
39、s41:实时读取多组毫米波雷达的数据,确定无人机各方位是否有障碍物靠近;
40、s42:在多组毫米波雷达中的一组或者多组识别到无人机周边有障碍物靠近时,根据毫米波雷达的安装位置,确定障碍物的范围;
41、s43:根据检测到障碍物的毫米波雷达的个数,估计障碍物的最大体积;
42、s44:按照障碍物的最大体积,生成避障方案,并发送给控制模块,控制无人机进行紧急避障。
43、本发明的有益效果:
44、1、相对于现有技术在无人机的智能控制系统中,利用机器视觉技术对无人机的周边环境数据进行分析,由于无人机的飞行轨迹为空间三轴结构,因此需要多组摄像头才能够对无人机周边环境进行完全覆盖,处理系统在对多组摄像头的数据进行处理时,容易出现障碍物重复检测的情况发生,影响无人机的正常控制;该控制系统通过设置基于图像融合的图像分析处理方法,可以将多组摄像头采集到的画面进行融合,避免处理系统对障碍物进行多次重复检测,且可以有效避免障碍物过大导致的分析识别结果不全面,从而有效增加控制系统的可靠性和稳定性;
45、2、通过设置数据处理模块,可以对多组高清摄像头所采集到的图像进行融合,通过对图像进行融合,一方面可以对可以减少障碍物以及其他物体在图像中的重复,从而避免ai智能分析模块多次重复检测到障碍物和其他物体的信息,导致检测结果出错且检测效率低的情况发生,另一方面可以使得无人机周边环境图像呈现在一张图像内部,可以有效防止由于障碍物或其他物体体积过大,无法完成呈现在一张图像中,导致检测结果出错的情况发生;
46、3、通过采用机器视觉技术和ai智能技术融合,可通过摄像头或传感器捕捉到的图像数据,实现对无人机周边环境中的障碍物信息进行智能高效分析和检测,从而可以实现无人机控制系统控制无人机进行自主躲避障碍物,有效防止由于人工观察不仔细导致的无人机损坏,保证无人机的稳定作业;
47、4、无人机具有多种用途,当无人机在信号强度较弱的区域进行作业时,由于信号强度较弱,导致gps定位不准确,容易发生无人机失控或者无人机自主巡航系统紊乱的情况发生,通过设置利用蓝牙定位确定无人机之间的相对位置,并利用确定的相对位置对gps信号进行融合,可以有效消除信号较弱导致的gps定位误差较大的情况发生,保证无人机的稳定作业。
1.一种ai与机器视觉结合的无人机控制系统;其特征在于:包括有:
2.根据权利要求1所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:数据采集模块包括有图像数据采集模块和环境数据数据采集模块,图像数据采集模块用于采集无人机周边物以及环境的图像数据,环境数据采集模块用于采集无人机所处环境的温度、湿度、光照强度、风速、颗粒物浓度、降雨量以及可见度等多种环境数据。
3.根据权利要求2所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:图像数据采集模块包括有多组高清摄像头,多组高清摄像头分别设置于无人机的不同方向,环境数据采集模块包括有风速传感器、加速度传感器、温湿度传感器、光照强度传感器、颗粒物浓度传感器以及雨量传感器中的一组或多组,其中,环境数据采集模块的功能以及传感器种类组成可更改,且境数据采集模块的功能以及传感器种类组成由无人机的工作要求以及工作环境决定。
4.根据权利要求3所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:数据采集模块还包括有辅助障碍物检测模块,辅助障碍物检测模块包括有毫米波雷达,毫米波雷达设置为多组,多组毫米波雷达分别设置于无人机的不同方向,毫米波雷达用于应急检测无人机的周边是否有障碍物。
5.根据权利要求4所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:数据处理模块在对图像数据采集模块所采集到的数据进行处理和优化,增加数据的可辨识度时,包括有以下步骤:
6.根据权利要求5所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:数据处理模块在对环境数据采集模块所采集到的数据进行处理和优化,增加数据的可辨识度时,包括有以下方法:
7.根据权利要求6所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:ai智能分析模块对数据处理模块对处理后的数据进行分析和识别,得到无人机所处环境的环境信息时,包括有以下步骤:
8.根据权利要求7所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:信号传输模块包括有蓝牙短距通信模块和4g信号传输模块,蓝牙短距通信模块用于无人机与无人机之间编队飞行时的短距通信,4g信号传输模块用于无人机与无人机控制终端之间的无线通信,还包括有gps定位模块,其中,无人机在进行飞行时,通过以下步骤进行精准定位:
9.根据权利要求8所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:还包括有紧急避障模块,紧急避障模块用于根据毫米波雷达所采集到的数据判断无人机周围是否存在距离较近的障碍物,并向控制模块发送控制指令,控制无人机进行紧急避障。
10.根据权利要求9所述的一种ai与机器视觉结合的无人机控制系统,其特征在于:紧急避障模块在根据毫米波雷达的数据,控制无人机进行紧急避障时,包括有以下步骤:
