本发明涉及机器视觉，具体而言，涉及一种适用于非结构环境的ai异构立体视觉目标检测方法和系统。
背景技术：
1、人工智能技术作为一种新兴的技术类型，已然成为当今社会发展的重要驱动力，其中，计算机视觉作为人工智能领域的一个分支，应用非常广泛，包括图像处理、机器学习、深度学习等领域。计算机视觉就是使用计算机或者摄像头等设备来模拟生物视觉，通过采集周围环境图像或视频信息，来识别测量相应场景下的三维信息。其研究目标是使计算机能够识别、理解和控制现实世界中的图像、视频和其它数据信息，为计算机和机器人研究开发出可以与人类比肩的视觉分析能力，让计算机或者机器人拥有视觉和大脑，能够像人一样准确感知周围环境。早期的计算机视觉技术是通过单目相机对目标物进行识别测量，通过分析和处理单个相机采集的图像信息，实现目标物识别的功能，单目视觉可以完成目标物识别，但会存在较大的测量误差且无法消除相机角度带来的干扰，导致丢失部分目标物的深度信息，无法获取目标物位置信息，随着计算机技术的不断发展以及应用需求的不断提高，单目视觉的识别精度已经无法满足实际应用需求。由此产生由两个类型参数均相同的相机组成的双目立体视觉，利用视差原理模拟人类双眼来观察测量周围环境信息。同种类型的相机构成双目立体视觉系统结构简单、测量成本低、算法成熟度高，是近年来的研究热点，但在大范围下无法满足目标物的识别和定位，且随着人们对于机器视觉的需求提出更高的要求，常将机器视觉应用于非结构环境中，无法提前获取目标物的位置及姿态信息，只能通过视觉识别种类、位置和姿态均不固定的目标物，且工作环境复杂多变，只能通过视觉主动感知周围环境信息，因此对大视场中目标物的精确采集提出了更高的要求。采用固定在工作环境中场域相机分析视场信息时，视场范围相对较大但采集到的图像分辨率较低，导致目标物定位识别结果会存在较大误差，采用局部相机分析目标物信息时，可以获得细节清晰的图像信息，但视野范围会受到极大的限制，随着实际应用场景中对相机视场大小和高精度的双重要求越来越高，许多专家学者提出可以将上述两种相机结合，将全景相机和传统透视相机组合固定在刚性结构上，利用两种相机联合采集视场范围大的场域工作图像和局部高分辨率的图像，将两种图像所呈现出来的优势信息联合，可以获得较大工作范围空间中局部高分辨率图像，同时，两个相机所构成的异构立体视觉系统可以获取更丰富的环境感知数据，提高对环境变化的识别和预测能力。
2、近年来，机器视觉凭借其高精度、高稳定性的优势，被广泛应用在各个领域，其作业环境也日趋复杂，在非结构环境下，视觉系统无法提前获取目标物的位姿信息，只能通过视觉主动感知周围动态环境，当视觉系统由两个规格参数一致的同构相机组成时，其可视范围易被障碍物遮挡，无法满足大视场下的目标识别与定位需求。因此，如何提高视觉系统在非结构环境下目标识别与定位的精确性成为亟待解决的技术问题。
技术实现思路
1、本发明旨在至少解决现有技术或相关技术中存在的技术问题之一，公开了一种适用于非结构环境的ai异构立体视觉目标检测方法和系统，提高了目标识别与定位的精确性，尤其针对性解决了在物流仓储这种较大视场领域无法精确感知定位目标物的问题。
2、本发明的第一方面公开了一种适用于非结构环境的ai异构立体视觉目标检测方法，包括：基于光轴非平行式双目系统，获取目标图像，其中，光轴非平行式双目系统包括固定位置的场域相机和机器人搭载的臂载相机；将场域相机图像和臂载相机图像统一至同一尺寸同一分辨率；根据张正友标定法进行异构立体视觉单相机标定和视觉联合标定，构建初始异构相机模型；在非结构环境下，根据目标位置姿态信息变换臂载相机位姿后，通过手眼标定结果进行相机在线标定，最后根据相机内外参数，将二维图像点重投影到三维空间中，利用极线约束实现同名匹配点的水平对齐，以实现异构立体视觉联合标定，获取异构立体视觉模型；根据异构立体视觉模型对上述臂载相机进行路径规划，以便臂载相机能够采集到目标物的精确图像；在yolov5模型的主干网络中增加小目标检测层，并用ciou损失函数替换giou损失函数，形成改进的yolov5模型；基于改进的yolov5模型对目标图像进行检测，获取目标物的特征点和位置信息。
3、在该技术方案中，传统的yolov5算法中会使用三种尺度特征图分别对三种尺寸的目标进行特征检测，分别对输入的图像设置32倍、16倍和8倍的下采样倍数，经过多次卷积层后，特征图的感受野逐渐增大，会获得丰富的语义信息，但会造成较小目标的特征信息丢失，以致模型无法学习到较小目标物的特征信息，出现漏检或者误检的情况。但在异构立体视觉中，目标物在图像对中的视角尺度相差较大且目标在场域相机图像中的尺寸较小，为了提高较小目标的检测精度，本发明在现有的三个特征尺度上增加4倍下采样的特征图，作为小目标检测层。对于场域相机图像中的较小目标，获得的特征图感受野较小，可以保留丰富的小目标特征信息，对于臂载相机图像中的大尺寸目标，可以获得丰富的位置信息。将较小目标检测层与其他层特征图相融合，以便更好地检测多尺度目标，提高较小目标检测的准确率。
4、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，yolov5模型包括：输入端、主干网络、颈网络以及预测端；其中，输入端采用mosaic数据增强算法对训练集图像进行处理；主干网络以focus网络为基础结合cspdarknet53骨干网络，通过cspdarknet53提取特征信息，通过focus网络进行切片，将输入的图像转为多层特征图，以增强模型对特征信息的提取能力；颈网络位于主干网络和预测端之间，通过fpn-pan结构，将主干网络中获得的特征信息进行多尺度特征融合处理；预测端用于对目标物进行位置和分类预测，针对不同尺度的目标，预测端选用相对应的检测模块进行特征图预测，然后计算特征图中可能存在目标的位置、类别以及置信度信息，在得到预测结果之后，根据预测框的置信度和类别置信度信息，判断是否为目标物并进行筛选，最终筛选重复预测框后输出检测到的目标物信息。
5、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，在yolov5模型的主干网络中增加小目标检测层的步骤，具体包括：在现有的yolov5模型的三个特征尺度上增加4倍下采样的特征图，作为小目标检测层，与其它特征图相融合。
6、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，将二维图像点重投影到三维空间中的步骤，具体包括：以场域相机坐标系为世界坐标系，则空间中任意三维点p(x,y,z)投影到二维图像的映射过程表示为：
7、
8、其中，u和v为投影到图像坐标系下的坐标，u0和v0为图像中心点的坐标，z为三维点的深度值，内参矩阵和外参矩阵共同构成投影矩阵；
9、根据相机的内外参数和视觉成像原理计算得到重投影矩阵q，表示为：
10、
11、其中，tx为图像对立体校正后两个相机光心的距离，u'0为主点坐标在臂载相机像素坐标系中的横坐标；
12、计算任意三维点在场域相机坐标系中的三维坐标：
13、
14、其中，d为二维图像中投影点的视差值，f为两个相机焦距的均值；
15、异构立体视觉空间任意一点pw(xw,yw,zw)投影到场域相机成像面和臂载相机成像面的坐标分别为pl(xl,yl)和pr(xr,yr)，两个相机的焦距分别为fl和fr，两个相机的光心距离为b；
16、当目标点位于相机光轴中间时，目标点的三维坐标通过下式求解：
17、
18、当目标点位于相机光轴左侧时，目标点的三维坐标通过下式求解：
19、
20、当目标点位于相机光轴右侧时，目标点的三维坐标通过下式求解：
21、
22、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，ciou损失函数具体包括：ciou损失函数在giou损失函数的基础上考虑了边界框的长宽比的约束，表达式为：
23、
24、其中，iou为交并比，r1为包含预测框和真实框的最小矩形框的对角线长度，p1与p2分别为预测框与真实框中心点的坐标，d(p1,p2)为两个中心点坐标的欧氏距离，v为边界框的归一化。
25、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，边界框的归一化步骤具体包括：
26、
27、其中，w1和w2分别表示预测框与真实框的宽度，h1和h2分别表示预测框与真实框的高度。
28、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，改进的yolov5模型的训练过程包括：通过模拟实验环境、改变拍摄距离、改变环境光线和障碍物遮挡的方式采集训练图像数据；将原始训练图像进行水平翻转、垂直翻转、旋转90°、亮度对比度变换处理，将原始训练图像集扩充到3000张，其中训练集图像2400张，测试集图像600张；依次对3000张图像进行标注，标注格式为yolo格式，用标记框将目标物表示出来，存储目标物的图像信息和类别信息，类别信息包括目标物的位置信息、标签信息和标记框的尺寸信息。
29、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测方法，优选地，yolov5模型具体为yolov5s模型。
30、本发明的第二方面公开了一种适用于非结构环境的ai异构立体视觉目标检测系统，包括：存储器，用于存储程序指令；处理器，用于调用存储器中存储的程序指令以实现如上述任一技术方案的适用于非结构环境的ai异构立体视觉目标检测方法。
31、根据本发明公开的适用于非结构环境的ai异构立体视觉目标检测系统，优选地，还包括：场域相机，设置在固定位置，用于俯瞰采集整个工作区域的图像；臂载相机，由机器人机械臂搭载，用于移动至精确位置提供视觉支持。
32、本发明的有益效果至少包括：基于物流仓储领域对智能视觉系统的需求，以固定在工作环境中的工业相机和搭载在机械臂末端的臂载相机为基础，提出了一种异构立体视觉系统的构建方法，可以为自动化仓储系统带来多重优势。相较于固定在刚性结构中的全景相机和传统透视相机，选用位置固定的工业相机和可变换位姿的臂载相机，可以适应非结构环境的变化，保证目标物处于两个相机的公共视场中，工业相机能够固定在合适的位置，对整个仓储环境进行全局监控和识别，能够高效地实现货物分类、库存管理等任务。而搭载在机械臂末端的臂载相机则能够实现精细的物体定位、抓取和放置，提供精准的视觉支持。通过异构立体视觉系统，工业相机和臂载相机可以协同工作，及时获取全局信息并对局部细节进行精准处理。例如在仓库中，工业相机可以监控整个货架区域，识别库存情况和周围工具位置信息；臂载相机可以在具体的图像信息中进行物体识别，这样的联合操作使得物流仓储系统的自动化程度和系统智能分析的能力得以提高。
1.一种适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，包括：
2.根据权利要求1所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述yolov5模型包括：输入端、主干网络、颈网络以及预测端；其中，所述输入端采用mosaic数据增强算法对训练集图像进行处理；所述主干网络以focus网络为基础结合cspdarknet53骨干网络，通过cspdarknet53提取特征信息，通过focus网络进行切片，将输入的图像转为多层特征图，以增强模型对特征信息的提取能力；所述颈网络位于所述主干网络和所述预测端之间，通过fpn-pan结构，将所述主干网络中获得的特征信息进行多尺度特征融合处理；所述预测端用于对目标物进行位置和分类预测，针对不同尺度的目标，预测端选用相对应的检测模块进行特征图预测，然后计算特征图中可能存在目标的位置、类别以及置信度信息，在得到预测结果之后，根据预测框的置信度和类别置信度信息，判断是否为目标物并进行筛选，最终筛选重复预测框后输出检测到的目标物信息。
3.根据权利要求1所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述在yolov5模型的主干网络中增加小目标检测层的步骤，具体包括：
4.根据权利要求1所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述将二维图像点重投影到三维空间中的步骤，具体包括：
5.根据权利要求1所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述ciou损失函数具体包括：
6.根据权利要求5所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述边界框的归一化步骤具体包括：
7.根据权利要求1所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述改进的yolov5模型的训练过程包括：
8.根据权利要求1至7中任一项所述的适用于非结构环境的ai异构立体视觉目标检测方法，其特征在于，所述yolov5模型具体为yolov5s模型。
9.一种适用于非结构环境的ai异构立体视觉目标检测系统，其特征在于，包括：
10.根据权利要求9项所述的适用于非结构环境的ai异构立体视觉目标检测系统，其特征在于，还包括：
