一种基于深度学习的玉米行间立体病害检测装置及方法

1.本发明涉及目标检测及图像分割方法技术领域，特别是涉及一种基于深度学习的玉米行间立体病害检测装置及方法。


背景技术：

2.病害是影响作物生长的重要因素，病害检测一直是农业生产中的一个重要任务。传统农业生产中对病害的检测一直为人工检测，但是随着现代化农业的发展，这种依附于人工的检测方式不再适用于现代农业，暴露出了作业时间长，人工成本高，效率低下的特点。而基于人工智能的智能检测系统避免了人工检测的弊端，在现代农业生产管理过程中起到了至关重要的作用。
3.相对于深度学习图像分类来说，目标检测不仅能够对于图像定位出目标的具体坐标位置，而且能够对于图像中目标的类别进行识别。图像分割能够精确分割出病害的具体形状，展现病害的细节。因此，目标检测和图像分割应用于农业病害检测领域有利于病害区域的精准定位和分割，从而提高农业生产率，鉴于上述原因，本发明提出了一种基于深度学习的玉米行间立体病害检测装置及方法。


技术实现要素：

4.本发明的目的在于解决传统的农业生产中落后的人工预防方式，节省人力成本，提高工作效率而提出的一种基于深度学习的玉米行间立体病害检测装置及方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于深度学习的玉米行间立体病害检测装置，包括有装载平台和摄像装置，所述装载平台包括有第一车架和第二车架，所述第一车架上表面中央位置固定安装有gnss天线，所述gnss天线的两侧设置有电池和摄像装置，所述电池和摄像装置均固定安装在第一车架上表面，所述摄像装置包括有上侧摄像头、左侧摄像头、右侧摄像头，所述摄像装置一侧还固定安装有jetson nano边缘服务器；所述第二车架固定连接在第一车架的底端，所述第二车架的前端固定连接有激光雷达，所述第二车架的底面四角上固定连接有直杆，所述直杆的底端固定安装有转向电机，所述转向电机的底端固定连接有连接轴承，所述连接轴承上固定连接有直流电机，所述直流电机的输出轴上固定连接有车轮。
7.一种基于深度学习的玉米行间立体病害检测方法，具体包括以下步骤：
8.s1、使用摄像装置拍摄玉米图片；
9.s2、对s1中所拍摄的玉米图片进行标注，分为训练集和测试集；
10.s3、将s2中所得的训练集和测试集输入目标检测网络中，获取目标检测的权重文件；
11.s4、使用s3中所得的目标检测网络的权重文件训练图像分割网络的权重文件；
12.s5、将训练好的图像分割网络的权重文件加载到深度学习算法中用于视频检测；
13.s6、通过摄像装置的上侧摄像头、左侧摄像头、右侧摄像头获取玉米行间全方位、
各角度视频图像信息，将视频图像信息发送给三个jetson nano边缘服务器，在jetson nano边缘服务器上运行深度学习算法，对视频图像信息进行病害检测；
14.s7、将s6中所得检测结果传输至对应的移动端应用中，对检测结果进行分析，划分病害等级并制定所需喷洒的农药浓度。
15.优选地，所述s1中提到的拍摄玉米图片，采集图片时，为了更好适应现实环境，具体包括如下要求：
16.a1、采集不同光照条件下的图片信息，包含过曝、正常、昏暗；
17.a2、拍摄的图片需包含玉米的各个部位；
18.a3、拍摄的图片中健康与病害的比例分布均衡。
19.优选地，所述s2中提到的图片标注，具体包括以下步骤：
20.b1、使用图像增强方法对训练集进行裁剪，翻转，镜等操作，扩充数据；
21.b2、使用labelimg软件进行数据标注，包括粗粒度的目标框标注和细粒度的图像分割像素标注；所述目标框标注为对病害区域进行标注，生成.xml文件，所述.xml文件中包含：类别、标注物体横坐标中心、标注物体纵坐标中心、宽度、高度；所述细粒度的图像像素标注为对目标检测产生的目标框进行标注，生成.json文件；
22.b3、将图像分为训练集，验证集和测试集，具体比例为7：2：1。
23.优选地，所述s3中提到的获取目标检测的权重文件，具体包括以下步骤：
24.c1、将训练集图片批量放入目标检测算法中训练，得到训练的权重文件和训练过程中各参数的变化曲线；
25.c2、训练过程中通过调整学习率，批次大小等超参数提高模型收敛速度；
26.c3、将权重文件放入目标检测算法中对测试集进行检测，观察检测情况；
27.c4、若权重文件检测不合格，则重新制作和扩充训练集，重复c1～c3操作，直至权重文件检测合格为止。
28.优选地，所述s4中提到的图像分割网络权重文件的训练，具体包括以下步骤：
29.d1、将训练集经过目标检测网络得到病害区域的目标框；
30.d2、将d1中所得的目标框送入图像分割网络进行训练，得到训练的权重文件和训练过程中各参数的变化曲线；
31.d3、观察d2中所得变化曲线是否符合训练的规律，训练精度是否达到要求；
32.d4、将权重文件放入图像分割网络中对测试集数据进行检测，观察检测情况；
33.d5、若权重文件检测不合格，则重新制作和扩充训练集，重复d1～d4操作，直至权重文件检测合格为止。
34.优选地，所述s5中提到的图像分割网络的权重文件加载，具体包括以下步骤：
35.e1、在jeston nano边缘服务器上安装linux系统，配置深度学习算法所需要的环境；
36.e2、将权重文件和深度学习算法导入到jeston nano边缘服务器，并通过远程服务控制算法的运行。
37.优选地，所述s6中提到的视频图像信息获取及病害检测，具体包括以下步骤:
38.f1、通过配置在探测小车上的高清摄像头拍摄玉米视频。摄像头与jeston nano边缘服务器通过usb接口连接，实现jeston nano边缘服务器对摄像头的控制和视频传回
jeston nano边缘服务器；
39.f2:在jeston nano边缘服务器上运行目标检测网络和图像分割网络，得到视频中病害区域的检测。
40.与现有技术相比，本发明提供了一种基于深度学习的玉米行间立体病害检测装置及方法，具备以下有益效果：
41.本发明能够自动检测，识别出病害种类，细致分割出病害具体区域；提供了从数据获得，到病害检测，最后在安卓应用端可视化并分析结果的一体化服务。本发明基于深度学习算法，使用深度学习框架实现，易于用户的扩展和应用，解决了传统农业生产中落后的人工预防方式，节省了人力成本，提高了工作效率。
附图说明
42.图1为本发明提出的一种基于深度学习的玉米行间立体病害检测方法的玉米行间病害识别流程示意图；
43.图2为本发明提出的一种基于深度学习的玉米行间立体病害检测方法的玉米病害检测流程示意图；
44.图3为本发明提出的一种基于深度学习的玉米行间立体病害检测方法的移动端应用界面示意图；
45.图4为本发明提出的一种基于深度学习的玉米行间立体病害检测装置的结构示意图；
46.图5为本发明提出的一种基于深度学习的玉米行间立体病害检测装置的正视图；
47.图6为本发明提出的一种基于深度学习的玉米行间立体病害检测装置的俯视图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
49.实施例1：
50.请参阅图1-6，一种基于深度学习的玉米行间立体病害检测装置，包括有装载平台3和摄像装置9，装载平台3包括有第一车架31和第二车架32，第一车架31上表面中央位置固定安装有gnss天线2，gnss天线2的两侧设置有电池1和摄像装置9，电池1和摄像装置9均固定安装在第一车架31上表面，摄像装置9包括有上侧摄像头91、左侧摄像头92、右侧摄像头93，摄像装置9一侧还固定安装有jetson nano边缘服务器10；第二车架32固定连接在第一车架31的底端，第二车架32的前端固定连接有激光雷达4，第二车架32的底面四角上固定连接有直杆8，直杆8的底端固定安装有转向电机7，转向电机7的底端固定连接有连接轴承，连接轴承上固定连接有直流电机，直流电机的输出轴上固定连接有车轮6。
51.一种基于深度学习的玉米行间立体病害检测方法，具体包括以下步骤：
52.s1、使用摄像装置9拍摄玉米图片；
53.s1中提到的拍摄玉米图片，采集图片时，为了更好适应现实环境，具体包括如下要求：
54.a1、采集不同光照条件下的图片信息，包含过曝、正常、昏暗；
55.a2、拍摄的图片需包含玉米的各个部位；
56.a3、拍摄的图片中健康与病害的比例分布均衡；
57.s2、对s1中所拍摄的玉米图片进行标注，分为训练集和测试集；
58.s2中提到的图片标注，具体包括以下步骤：
59.b1、使用图像增强方法对训练集进行裁剪，翻转，镜等操作，扩充数据；
60.b2、使用labelimg软件进行数据标注，包括粗粒度的目标框标注和细粒度的图像分割像素标注；目标框标注为对病害区域进行标注，生成.xml文件，.xml文件中包含：类别、标注物体横坐标中心、标注物体纵坐标中心、宽度、高度；细粒度的图像像素标注为对目标检测产生的目标框进行标注，生成.json文件；
61.b3、将图像分为训练集，验证集和测试集，具体比例为7：2：1；
62.s3、将s2中所得的训练集和测试集输入目标检测网络中，获取目标检测的权重文件；
63.s3中提到的获取目标检测的权重文件，具体包括以下步骤：
64.c1、将训练集图片批量放入目标检测算法中训练，得到训练的权重文件和训练过程中各参数的变化曲线；
65.c2、训练过程中通过调整学习率，批次大小等超参数提高模型收敛速度；
66.c3、将权重文件放入目标检测算法中对测试集进行检测，观察检测情况；
67.c4、若权重文件检测不合格，则重新制作和扩充训练集，重复c1～c3操作，直至权重文件检测合格为止；
68.s4、使用s3中所得的目标检测网络的权重文件训练图像分割网络的权重文件；
69.s4中提到的图像分割网络权重文件的训练，具体包括以下步骤：
70.d1、将训练集经过目标检测网络得到病害区域的目标框；
71.d2、将d1中所得的目标框送入图像分割网络进行训练，得到训练的权重文件和训练过程中各参数的变化曲线；
72.d3、观察d2中所得变化曲线是否符合训练的规律，训练精度是否达到要求；
73.d4、将权重文件放入图像分割网络中对测试集数据进行检测，观察检测情况；
74.d5、若权重文件检测不合格，则重新制作和扩充训练集，重复d1～d4操作，直至权重文件检测合格为止；
75.s5、将训练好的图像分割网络的权重文件加载到深度学习算法中用于视频检测；
76.s5中提到的图像分割网络的权重文件加载，具体包括以下步骤：
77.e1、在jeston nano边缘服务器上安装linux系统，配置深度学习算法所需要的环境；
78.e2、将权重文件和深度学习算法导入到jeston nano边缘服务器，并通过远程服务控制算法的运行；
79.s6、通过摄像装置9的上侧摄像头91、左侧摄像头92、右侧摄像头93获取玉米行间全方位、各角度视频图像信息，将视频图像信息发送给三个jetson nano边缘服务器10，在jetson nano边缘服务器10上运行深度学习算法，对视频图像信息进行病害检测；
80.s6中提到的视频图像信息获取及病害检测，具体包括以下步骤:
81.f1、通过配置在探测小车上的高清摄像头拍摄玉米视频。摄像头与jeston nano边
缘服务器通过usb接口连接，实现jeston nano边缘服务器对摄像头的控制和视频传回jeston nano边缘服务器；
82.f2:在jeston nano边缘服务器上运行目标检测网络和图像分割网络，得到视频中病害区域的检测；
83.s7、将s6中所得检测结果传输至对应的移动端应用中，对检测结果进行分析，划分病害等级并制定所需喷洒的农药浓度。
84.本发明能够自动检测，识别出病害种类，细致分割出病害具体区域；提供了从数据获得，到病害检测，最后在安卓应用端可视化并分析结果的一体化服务。本发明基于深度学习算法，使用深度学习框架实现，易于用户的扩展和应用，解决了传统农业生产中落后的人工预防方式，节省了人力成本，提高了工作效率。
85.以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。