本发明涉及激光除草，具体为一种基于视觉引导的激光除草方法。
背景技术：
1、农业生产是一个国家经济发展不可缺少的组成部分。但杂草问题仍然困扰着农民，杂草会与农作物争夺光、水、养分和空间，影响作物生长和产量。此外杂草作为病原菌和害虫的寄主，传播病虫害，并通过释放化学物质抑制作物生长。因此农业生产需要一种更高效，更可持续的方式。当前存在的传统除草方法主要包括化学除草、机械除草和人工除草。尽管这些方法在一定程度上有效，但都存在一些不足。
2、激光技术在多个领域(如医疗、工业加工、通讯等)已经广泛应用，其具有高能量密度、精确度高、非接触加工等优点。这些优势使其在除草领域同样具有潜力。激光除草机器人能够避免对农作物造成损伤和对环境造成污染，并能有效减少农药的使用量。这一技术不仅有助于降低农业生产成本，还能提升农产品的质量和安全性。激光除草的效果取决于激光照射的杂草部位。因为激光束的光强分布通常呈现出一个中心较强、四周较弱的球对称分布形态，这种分布形态被称为激光束的高斯光束形态。只有当激光照射到杂草的分生组织时，才能实现良好的除草效果。现有激光除草并未针对分生组织进行，而是仅针对杂草位置进行除草，因此导致除草准确率低、效果差。
技术实现思路
1、本发明的目的是：针对现有激光除草并未针对分生组织进行，而是仅针对杂草位置进行除草，因此导致除草准确率低、效果差的问题，提出一种基于视觉引导的激光除草方法。
2、本发明为了解决上述技术问题采取的技术方案是：
3、一种基于视觉引导的激光除草方法，所述除草方法基于激光除草机器人实现，所述激光除草机器人包括前置相机3、同轴相机1以及激光振镜2；
4、所述方法包括以下步骤：
5、步骤一：将前置相机3和激光振镜2进行标定，得到前置相机3和激光振镜2之间的坐标变换矩阵；
6、步骤二：将同轴相机1和激光振镜2进行标定，得到同轴相机1和激光振镜2之间的坐标变换矩阵；
7、步骤三：利用前置相机3获取视频数据，并将视频数据中每一帧图像输入预先训练的第一神经网络，得到输出的杂草的预测框和置信度，之后选取置信度高于阈值的杂草预测框，作为杂草目标；
8、步骤四：基于杂草目标，利用多目标跟踪算法对视频数据中杂草目标进行跟踪，并基于每个杂草目标的检测框，确定该检测框的中心点坐标，之后，以杂草目标对应的中心点坐标的y轴坐标由大至小进行排序，并将排序结果作为处理队列；
9、步骤五：根据处理队列中的排序依次选取杂草目标，并获取该杂草目标对应的中心点坐标，之后，利用前置相机3和激光振镜2之间的坐标变换矩阵，得到该中心点坐标在激光振镜2坐标系下对应的坐标，并使激光振镜2偏转至该坐标；
10、步骤六：激光振镜2偏转后触发同轴相机1获取视野内图像；
11、步骤七：将检测框中杂草目标进行裁剪，得到裁剪图像；
12、步骤八：基于同轴相机1获取的图像，将该图像和裁剪图像输入预先训练的第二神经网络，得到输出的分生组织目标点位置坐标；
13、步骤九：利用同轴相机1和激光振镜2之间的坐标变换矩阵，将分生组织目标点位置转换到激光振镜2坐标系下对应的坐标，使激光振镜2偏转至该坐标，并发出激光；
14、步骤十：重复步骤五至步骤九，直至处理队列中杂草目标选取完毕，完成激光除草。
15、进一步的，所述预先训练的第一神经网络通过以下步骤得到：
16、获取包含杂草的田间图像，并对田间图像中农作物和杂草分别进行标注，以此构建训练数据，并利用训练数据训练第一神经网络。
17、进一步的，所述步骤三的具体步骤为：利用前置相机3获取视频数据，并将视频数据中每一帧图像输入预先训练的第一神经网络，得到输出的农作物的预测框和置信度，以及杂草的预测框和置信度，之后选取置信度高于阈值的杂草预测框，作为杂草目标。
18、进一步的，所述步骤四中利用多目标跟踪算法对视频数据中杂草目标进行跟踪的步骤包括：
19、步骤四一：在视频数据中选取一帧，作为当前帧，之后，使用匀速运动模型估计上一帧杂草目标在当前帧内的位置和大小，再将当前帧内检测到的杂草目标预测框与上一帧的杂草目标进行匹配，匹配使用iou度量进行；
20、步骤四二：将匹配成功的目标输入卡尔曼滤波器，得到杂草目标的最优状态估计，所述目标的最优状态估计包括杂草目标的位置和速度，最后将杂草目标的速度作为下一帧匀速运动模型的速度参数。
21、进一步的，所述预先训练的第二神经网络通过以下步骤得到：
22、将杂草目标中分生组织关键点位置进行标注，之后利用裁剪图像以及归一化处理后的图像作为输入，标注的分生组织关键点位置作为输出，训练第二神经网络。
23、进一步的，所述第二神经网络具体执行如下步骤：
24、第二神经网络对输入的裁剪图像以及同轴相机1图像分别进行特征提取，得到尺寸为n×1的杂草特征向量以及尺寸为m×1的包含杂草特征和分生组织关键点特征的特征向量，并将杂草特征向量和包含杂草特征和分生组织关键点特征的特征向量进行拼接后，作为最终特征，最终特征通过多层感知机后，回归得到杂草分生组织的关键点。
25、进一步的，所述方法还包括对前置相机获取视频数据的时间t0与步骤五中激光振镜偏转开始时刻t1之间时延的位置补偿步骤，补偿表示为：
26、
27、
28、
29、其中，dt1为t1与t0的时间间隔，δx1为(t1-t0)时间内x方向上的偏移量，δy1为(t1-t0)时间内y方向上的偏移量，分别表示图像中像素点的灰度沿x、y、t方向的偏导数，u、v分别为光流沿x轴与y轴的速度矢量。
30、进一步的，所述方法还包括对前置相机获取视频数据的时间t0与步骤六中同轴相机触发时刻t2之间时延的位置补偿步骤，补偿表示为：
31、
32、
33、
34、其中，dt2为t2与t0的时间间隔，δx2为(t2-t0)时间内x方向上的偏移量，δy2为(t2-t0)时间内y方向上的偏移量。
35、进一步的，所述方法还包括对步骤六中同轴相机触发时刻t2与步骤九中激光发出时刻t3之间时延的位置补偿步骤，补偿表示为：
36、
37、
38、
39、其中，dt3为t3与t2的时间间隔，δx3为(t3-t2)时间内x方向上的偏移量，δy3为(t3-t2)时间内y方向上的偏移量。
40、进一步的，所述第一神经网络和第二神经网络为yolo模型，所述多目标跟踪算法为sort。
41、本发明的有益效果是：
42、本技术可以对杂草进行识别，并识别杂草分生组织中心点，将杂草的分生组织中心点位置发送给激光装置，确保对杂草的分生组织进行精确的照射，为激光除草机器人提供可以实际应用的精确除草方案。减少对农作物的伤害，提升了除草效果。本技术可以在短时间内覆盖大面积农田，每小时能够处理数公顷土地，大幅提升除草效率。
1.一种基于视觉引导的激光除草方法，其特征在于所述除草方法基于激光除草机器人实现，所述激光除草机器人包括前置相机(3)、同轴相机(1)以及激光振镜(2)；
2.根据权利要求1所述的一种基于视觉引导的激光除草方法，其特征在于所述预先训练的第一神经网络通过以下步骤得到：
3.根据权利要求1所述的一种基于视觉引导的激光除草方法，其特征在于所述步骤三的具体步骤为：利用前置相机(3)获取视频数据，并将视频数据中每一帧图像输入预先训练的第一神经网络，得到输出的农作物的预测框和置信度，以及杂草的预测框和置信度，之后选取置信度高于阈值的杂草预测框，作为杂草目标。
4.根据权利要求1所述的一种基于视觉引导的激光除草方法，其特征在于所述步骤四中利用多目标跟踪算法对视频数据中杂草目标进行跟踪的步骤包括：
5.根据权利要求1所述的一种基于视觉引导的激光除草方法，其特征在于所述预先训练的第二神经网络通过以下步骤得到：
6.根据权利要求5所述的一种基于视觉引导的激光除草方法，其特征在于所述第二神经网络具体执行如下步骤：
7.根据权利要求1所述的一种基于视觉引导的激光除草方法，其特征在于所述方法还包括对前置相机获取视频数据的时间t0与步骤五中激光振镜偏转开始时刻t1之间时延的位置补偿步骤，补偿表示为：
8.根据权利要求7所述的一种基于视觉引导的激光除草方法，其特征在于所述方法还包括对前置相机获取视频数据的时间t0与步骤六中同轴相机触发时刻t2之间时延的位置补偿步骤，补偿表示为：
9.根据权利要求8所述的一种基于视觉引导的激光除草方法，其特征在于所述方法还包括对步骤六中同轴相机触发时刻t2与步骤九中激光发出时刻t3之间时延的位置补偿步骤，补偿表示为：
10.根据权利要求1所述的一种基于视觉引导的激光除草方法，其特征在于所述第一神经网络和第二神经网络为yolo模型，所述多目标跟踪算法为sort。
