本发明涉及机器视觉领域，具体涉及一种多模态融合的移动目标检测装置及检测方法。
背景技术：
1、环境感知作为自动驾驶车辆的重要组成部分，扮演着确保车辆安全行驶的关键角色。目标检测技术作为环境感知层的核心模块，一直备受国内外自动驾驶技术领域的关注和研究。通过目标检测，自动驾驶车辆能够实时识别和跟踪道路上的各种障碍物、交通参与者以及路标标识，从而做出相应的决策和规避措施，确保安全、高效地完成驾驶任务。因此，环境感知一直是国内外自动驾驶技术领域的研究重点。
2、目前，自动驾驶车辆目标检测方法主要分为两类：相机图像检测和激光雷达点云检测。相机图像检测通过分析车载相机拍摄到的实时图像，利用计算机视觉和深度学习算法识别道路上的行人、车辆、标识等目标物体。激光雷达点云检测则是利用激光雷达传感器采集的三维点云数据，通过几何特征和距离信息来识别周围目标的位置和形状。但在光照不均的移动检测场景下，激光雷达会因为移动和旋转等操作导致获取的点云位置不准确，同时图像受光照不均影响较大，导致目标检测易错检或漏检，这种情况对于车辆的目标检测尤为关键，因为准确的目标检测是实现安全导航和有效避障的基础。出现以上情况会对后续的工作产生较大的影响。
3、通过研究一种合适且高效的方法来实现移动检测中对目标的高精度识别与定位，可以更加准确的指导相关任务的后续工作。目前，基于图像的目标识别与定位，通过特征匹配计算特征之间的相似性度量来实现。定位方法通过边界框、关键点或姿态估计等方式确定目标物体的位置。基于图像的目标识别与定位中的定位方法，在复杂场景下可能存在准确性不足的问题。特别是在背景因素干扰、光照条件变化较大的条件下，导致拍摄的图片质量较差，从而影响目标识别的准确性与定位的精度。
4、基于点云的目标识别与定位算法，是一种在三维空间中进行目标检测和定位的方法。它基于点云数据，即由三维空间中的点组成的集合，来描述目标物体的形状和结构。利用机器学习或深度学习方法，将提取到的特征与预先训练好的目标类别模型进行匹配和分类，从而实现目标物体的识别。通过点云的空间信息，可以估计目标物体在三维空间中的位置。但在移动检测中，由于激光雷达平动旋转的变换，会导致对目标定位不准确。
5、以上方法的限制条件较多，尤其是在针对光照不均的移动检测中。因此，需要寻找一种更稳定、准确且鲁棒的方法，以克服当前存在的问题。这将有助于在光照不均的移动检测中对目标识别与定位的可靠性，并为后续的操作提供可靠的数据支持。
技术实现思路
1、本发明为了解决现有移动目标检测时存在采集图像不清楚以及定位不准确的问题，进而提供一种多模态融合的移动目标检测装置及检测方法；
2、一种多模态融合的移动目标检测装置，移动目标检测装置包括运动组件、雷达组件、拍摄组件、转动组件和升降组件，转动组件嵌装在运动组件的顶部，升降组件安装在转动组件的转动端上，升降组件由转动组件驱动，可在运动组件的顶部实现转动，拍摄组件安装在升降组件的升降部上，拍摄组件由升降组件驱动，可在运动组件的顶部实现上下移动，雷达组件固接在运动组件的顶部，雷达组件的发射和接收端位于升降组件的上方；
3、进一步地，运动组件包括小车车体、电池、单片机、驱动模块、四个驱动编码电机和四个驱动轮，电池、单片机、驱动模块均集成在小车车体中，四个驱动编码电机平均分为两个驱动编码电机组，两个驱动编码电机组分别设置在小车车体的首尾两端，且每个驱动编码电机组中的两个驱动编码电机相背设置，每个驱动编码电机的壳体与小车车体固定连接，每个驱动轮对应套装在一个驱动编码电机的动力输出轴上，每个驱动编码电机的电力输入端、单片机的电力输入端和驱动模块的电力输入端均通过导线与电池的电力输出端相连，外部输入信号通过单片机处理后输出至驱动模块，驱动模块基于单片机输出的信号控制驱动编码电机的转向和转速；
4、进一步地，转动组件包括旋转平台驱动电机、旋转平台、主动齿轮和从动齿轮，旋转平台驱动电机延竖直方向嵌装在小车车体的顶部，且旋转平台驱动电机的动力输出轴延伸至小车车体的上方，主动齿轮套装在旋转平台驱动电机的动力输出轴上，从动齿轮与主动齿轮齿啮合设置，从动齿轮套设在小车车体顶部的支撑轴上，且从动齿轮通过轴承与支撑轴转动连接，旋转平台固接在从动齿轮上，且旋转平台驱动电机通过主动齿轮和从动齿轮组成的齿轮副驱动旋转平台转动，升降组件固接在旋转平台上，且升降组件随旋转平台同步转动；
5、进一步地，升降组件包括升降驱动电机、支撑槽体、升降齿轮、随动齿条和固定齿条，支撑槽体沿竖直方向立设在旋转平台上，且支撑槽体的底部与旋转平台固定连接，支撑槽体中的一个内侧壁上加工有沿竖直方向延伸的齿轮容纳槽，支撑槽体中与加工有齿轮容纳槽的内侧壁对应设置的外侧壁上加工有沿竖直方向延伸的升降电机导向槽，且齿轮容纳槽与升降电机导向槽连通设置，齿轮容纳槽中一个内侧壁上固接有沿竖直方向延伸的导向滑道，随动齿条安装在导向滑道上，且随动齿条与导向滑道阻尼滑动连接，齿轮容纳槽中另一个内侧壁上嵌装有固定齿条，且随动齿条的齿形部与固定齿条的齿形部相对设置，升降驱动电机设置在支撑槽体的外侧，升降驱动电机的电机输出轴依次穿过升降电机导向槽和齿轮容纳槽并延伸至支撑槽体中，升降齿轮设置齿轮容纳槽中，且升降齿轮套装在升降驱动电机的电机输出轴上，升降齿轮与随动齿条和固定齿条均为齿啮合设置，拍摄组件设置在支撑槽体中，拍摄组件套设在升降驱动电机的电机输出轴上，且拍摄组件与升降驱动电机的电机输出轴间隙配合设置，拍摄组件随升降齿轮沿固定齿条的上下移动而同步动作；
6、进一步地，拍摄组件包括俯仰驱动电机、俯仰曲柄摇杆机构、rgb相机和安装框，安装框的底部设有插装套，安装框通过插装套套设在升降驱动电机的电机输出轴上，且插装套与升降驱动电机的电机输出轴间隙配合设置，支撑槽体中另一个内侧壁上加工有沿竖直方向延伸的俯仰电机导向槽，俯仰驱动电机设置在支撑槽体的外侧，且俯仰驱动电机的动力输出轴穿过俯仰电机导向槽和安装框侧壁并延伸至安装框中，俯仰驱动电机的动力输出轴与安装框侧壁之间设有转动轴承，俯仰驱动电机的动力输出轴通过转动轴承与安装框转动连接，俯仰曲柄摇杆机构包括转盘和连杆两部分，转盘套装在俯仰驱动电机的动力输出轴上并随动力输出轴的转动而同步转动，连杆的一端与转盘铰接，rgb相机设置在安装框中，且rgb相机的底部与安装框铰接，连杆的另一端与rgb相机的顶部铰接，俯仰曲柄摇杆机构由俯仰驱动电机驱动，并带动rgb相机相对于安装框进行俯仰动作；
7、进一步地，雷达组件包括激光雷达和雷达支架，雷达支架设置在小车车体的顶部，且雷达支架的每个支脚通过螺栓与小车车体的顶部紧固连接，激光雷达安装在雷达支架的外顶部，且激光雷达位于升降组件的上方：
8、一项多模态融合的移动目标检测方法，所述方法是通过以下步骤实现的：
9、步骤1：对目标区域进行图像采集并进行点云运动补偿；
10、步骤2：将步骤1中在目标区域中采集的图像进行二维目标检测，采用yolov5算法进行目标检测，并生成二维目标检测框；
11、步骤3：将步骤1中经过点云运动补偿后得到的aabb包围盒投影至相机坐标系中，获得一个在相机坐标系下的二维投影框；
12、步骤4：计算aabb包围盒在相机坐标系下的二维投影框与二维目标检测框的交并比i，计算公式如下：
13、
14、其中，a为点云运动补偿后的结果在相机坐标系下的投影面积，b为二维目标检测框的面积，a∩b为矩形框a与b重叠的面积，a∪b为矩形框a与b的面积之和减去它们重叠之后的面积；
15、步骤5：判定目标的位置与类别，当交并比大于90％时，将对应的二维目标与三维目标判定为同一类别，并输出目标的类别信息与其对应点云的位置信息，当交并比小于90％时，则重新进行采集；
16、步骤6：重复以上操作，直至小车遍历完整个地图，完成对目标的检测；
17、进一步地，步骤1中对目标区域进行图像采集工作和点云运动补偿工作同步进行；
18、进一步地，步骤1中对目标区域进行图像采集工作的具体步骤如下：
19、步骤a：首先对rgb相机3与激光雷达5进行联合标定，在标定完成后，小车利用这些数据来精确地定位自身在地图中的位置，小车在地图中进行自主导航；
20、步骤b：通过rgb相机3获取二维图像，对二维图像进行灰度化、阈值分割以及去噪等预处理操作，然后进行自适应直方图均衡化，增强图像的质量。
21、进一步地，步骤1中点云运动补偿工作的具体步骤如下：
22、步骤a：通过小车车体7上车轮的驱动编码电机8，获得小车车体7的运动位置；
23、步骤b：激光雷达5发射并接收点云，由于小车车体7与激光雷达5的连接为刚性连接，从而根据车轮的参数得到当前帧小车位姿，来代替激光雷达5的运动位姿为{t1,...,tn}；
24、步骤c：设定前后两帧激光雷达位移变化的判断阈值为10°,根据激光雷达的空间运动轨迹拟合曲线，当前后两帧激光雷达位置的法向量夹角大于10°时，则判定为非水平路况，否则判定为水平路况，当车辆标定过程满足水平路况时，才进行多帧点云地面的提取和拼接，同时，引入平面约束对俯仰角和横摆角进行补偿；
25、步骤d：根据拟合的直线方程，在xoy平面内，当两帧内直线的斜率变换大于0.2时，认为轨迹不为直线，引入直线约束对偏航角进行补偿；当判定系数小于0.1时，认为轨迹为直线；
26、步骤e：对补偿后的点云采用半径滤波的方法，去除离群点云，设定半径为8cm，设置查询点半径范围内的数量为2，当数量大于2时，则保留该点，数量小于2时，则剔除该点；
27、步骤f：水平路况下，采用ransac算法对补偿后的点云的平面结构进行拟合，拟合出的平面中，选取最大的平面为地面，进行去除。设置距离阈值为3cm，迭代次数阈值为100，用点云数据估计平面模型，计算结果误差，将误差与设定的误差阈值进行比较，小于阈值的设置为内点，若当前模型的内点数量大于已经保存的最大内点数量，则更新模型参数，使模型参数始终为内点数量最多的，重复上述操作，直到达到迭代次数阈值；
28、步骤g；将去除地面后剩余的点云采用改进的区域生长算法对点云进行分割，根据点云密度来确定区域生长算法的搜索邻域k，这样可以有效的对不同聚类进行分割，同时设置邻域点的曲率值的阈值为0.3，小于阈值的邻域点加入到当前区域，点云搜索邻域k的表达式如下：
29、
30、其中，q为点云的数量，v为点云空间的体积，dmax为点云数据间的最大距离；
31、步骤h：分割后的点云赋予不同颜色，对分割出的不同目标生成aabb包围盒。
32、本技术相对于现有技术所产生的有益效果：
33、本技术提出的一种多模态融合的移动目标检测装置，是一种简易的多模态融合的移动目标检测的构造模型，通过对小车车体、旋转平台、升降平台和摄像头俯仰机构的精准协同控制，实现rgb相机在各种复杂环境下的灵活运动，从而满足任何需求的信息采集位置，确保信息采集过程高效完备，为进一步的数据分析和处理提供可靠的基础。
34、本技术提出的一种多模态融合的移动目标检测方法，为了实现目标物体精准定位，在方法中提出了一种实时的自适应点云运动补偿方法，首先利用四元数法解算点云坐标系相对于车辆坐标系的旋转矩阵，然后再拟合出激光雷达空间运动轨迹曲线，引入平面约束与直线约束，最后对激光雷达进行运动补偿；
35、本技术提出的一种多模态融合的移动目标检测方法，为了实现目标物体准确识别，在方法中提出了一种点云与图像融合的目标检测方法，首先进行图像增强，以减少光照不均对基于图像的目标识别的影响，具体操作为对rgb相机获取的二维图像信息进行灰度化、阈值分割以及去噪等预处理操作，然后进行自适应直方图均衡化，增强图像的质量，同时对点云进行去地面、滤波等操作，提出一种改进的区域生长算法，根据点云密度对搜索范围进行调节，从而更好的对点云进行聚类，对不同的聚类生成aabb包围盒，计算aabb包围盒在二维平面的投影和二维检测框的交并比，来获取目标物体的类别与位姿信息。
1.一种多模态融合的移动目标检测装置，其特征在于：移动目标检测装置包括运动组件、雷达组件、拍摄组件、转动组件和升降组件，转动组件嵌装在运动组件的顶部，升降组件安装在转动组件的转动端上，升降组件由转动组件驱动，可在运动组件的顶部实现转动，拍摄组件安装在升降组件的升降部上，拍摄组件由升降组件驱动，可在运动组件的顶部实现上下移动，雷达组件固接在运动组件的顶部，雷达组件的发射和接收端位于升降组件的上方。
2.根据权利要求1所述的一种多模态融合的移动目标检测装置，其特征在于：运动组件包括小车车体(7)、电池(9)、单片机(11)、驱动模块(12)、四个驱动编码电机(8)和四个驱动轮(23)，电池(9)、单片机(11)、驱动模块(12)均集成在小车车体(7)中，四个驱动编码电机(8)平均分为两个驱动编码电机组，两个驱动编码电机组分别设置在小车车体(7)的首尾两端，且每个驱动编码电机组中的两个驱动编码电机(8)相背设置，每个驱动编码电机(8)的壳体与小车车体(7)固定连接，每个驱动轮(23)对应套装在一个驱动编码电机(8)的动力输出轴上，每个驱动编码电机(8)的电力输入端、单片机(11)的电力输入端和驱动模块(12)的电力输入端均通过导线与电池(9)的电力输出端相连，外部输入信号通过单片机(11)处理后输出至驱动模块(12)，驱动模块(12)基于单片机(11)输出的信号控制驱动编码电机(8)的转向和转速。
3.根据权利要求2所述的一种多模态融合的移动目标检测装置，其特征在于：转动组件包括旋转平台驱动电机(4)、旋转平台(13)、主动齿轮(15)和从动齿轮(16)，旋转平台驱动电机(4)延竖直方向嵌装在小车车体(7)的顶部，且旋转平台驱动电机(4)的动力输出轴延伸至小车车体(7)的上方，主动齿轮(15)套装在旋转平台驱动电机(4)的动力输出轴上，从动齿轮(16)与主动齿轮(15)齿啮合设置，从动齿轮(16)套设在小车车体(7)顶部的支撑轴上，且从动齿轮(16)通过轴承与支撑轴转动连接，旋转平台(13)固接在从动齿轮(16)上，且旋转平台驱动电机(4)通过主动齿轮(15)和从动齿轮(16)组成的齿轮副驱动旋转平台(13)转动，升降组件固接在旋转平台(13)上，且升降组件随旋转平台(13)同步转动。
4.根据权利要求3所述的一种多模态融合的移动目标检测装置，其特征在于：升降组件包括升降驱动电机(10)、支撑槽体(14)、升降齿轮(17)、随动齿条(18)和固定齿条(19)，支撑槽体(14)沿竖直方向立设在旋转平台(13)上，且支撑槽体(14)的底部与旋转平台(13)固定连接，支撑槽体(14)中的一个内侧壁上加工有沿竖直方向延伸的齿轮容纳槽，支撑槽体(14)中与加工有齿轮容纳槽的内侧壁对应设置的外侧壁上加工有沿竖直方向延伸的升降电机导向槽(21)，且齿轮容纳槽与升降电机导向槽(21)连通设置，齿轮容纳槽中一个内侧壁上固接有沿竖直方向延伸的导向滑道(20)，随动齿条(18)安装在导向滑道(20)上，且随动齿条(18)与导向滑道(20)阻尼滑动连接，齿轮容纳槽中另一个内侧壁上嵌装有固定齿条(19)，且随动齿条(18)的齿形部与固定齿条(19)的齿形部相对设置，升降驱动电机(10)设置在支撑槽体(14)的外侧，升降驱动电机(10)的电机输出轴依次穿过升降电机导向槽(21)和齿轮容纳槽并延伸至支撑槽体(14)中，升降齿轮(17)设置齿轮容纳槽中，且升降齿轮(17)套装在升降驱动电机(10)的电机输出轴上，升降齿轮(17)与随动齿条(18)和固定齿条(19)均为齿啮合设置，拍摄组件设置在支撑槽体(14)中，拍摄组件套设在升降驱动电机(10)的电机输出轴上，且拍摄组件与升降驱动电机(10)的电机输出轴间隙配合设置，拍摄组件随升降齿轮(17)沿固定齿条(19)的上下移动而同步动作。
5.根据权利要求4所述的一种多模态融合的移动目标检测装置，其特征在于：拍摄组件包括俯仰驱动电机(1)、俯仰曲柄摇杆机构(2)、rgb相机(3)和安装框，安装框的底部设有插装套，安装框通过插装套套设在升降驱动电机(10)的电机输出轴上，且插装套与升降驱动电机(10)的电机输出轴间隙配合设置，支撑槽体(14)中另一个内侧壁上加工有沿竖直方向延伸的俯仰电机导向槽(22)，俯仰驱动电机(1)设置在支撑槽体(14)的外侧，且俯仰驱动电机(1)的动力输出轴穿过俯仰电机导向槽(22)和安装框侧壁并延伸至安装框中，俯仰驱动电机(1)的动力输出轴与安装框侧壁之间设有转动轴承，俯仰驱动电机(1)的动力输出轴通过转动轴承与安装框转动连接，俯仰曲柄摇杆机构(2)包括转盘和连杆两部分，转盘套装在俯仰驱动电机(1)的动力输出轴上并随动力输出轴的转动而同步转动，连杆的一端与转盘铰接，rgb相机(3)设置在安装框中，且rgb相机(3)的底部与安装框铰接，连杆的另一端与rgb相机(3)的顶部铰接，俯仰曲柄摇杆机构(2)由俯仰驱动电机(1)驱动，并带动rgb相机(3)相对于安装框进行俯仰动作。
6.根据权利要求5所述的一种多模态融合的移动目标检测装置，其特征在于：雷达组件包括激光雷达(5)和雷达支架(6)，雷达支架(6)设置在小车车体(7)的顶部，且雷达支架(6)的每个支脚通过螺栓与小车车体(7)的顶部紧固连接，激光雷达(5)安装在雷达支架(6)的外顶部，且激光雷达(5)位于升降组件的上方。
7.一种基于权利要求1至6中任意一项多模态融合的移动目标检测装置实现的目标检测方法，其特征在于：所述方法是通过以下步骤实现的：
8.根据权利要求7所述的一种多模态融合的移动目标检测方法，其特征在于：步骤1中对目标区域进行图像采集工作和点云运动补偿工作同步进行。
9.根据权利要求8所述的一种多模态融合的移动目标检测方法，其特征在于：步骤1中对目标区域进行图像采集工作的具体步骤如下：
10.根据权利要求8所述的一种多模态融合的移动目标检测方法，其特征在于：步骤1中点云运动补偿工作的具体步骤如下：
