本发明属于计算机视觉，具体涉及一种基于周视相机的前融合检测模型的方法。
背景技术：
1、在无人车自动技术过程中，一般采用周视相机采集车身周围环境，获得当前的道路信息，便于无人车对下一步决策进行规划。而采用周视相机采集车身周围环境，一般有两种方式，一种是后融合检测模型，但是后融合检测通常将深度学习模型的检测结果基于周视相机内外参转换至bev空间中，由于目标的深度难以估计，相机外参的抖动，路面的高低不平等因素，后融合检测的精度是难以保证，从而难以保证跨相机的目标不会在多个相机的视野交界范围内出现错位，并且该方法难以识别复杂的道路结构，如十字路口、环岛等。因此，现有技术中，采用周视相机采集车身周围环境大多采用另一种方式，前融合检测模型。前融合检测模型是基于数据驱动的思想，即输入周视图像集后输出bev下的感知结果，前融合检测模型不但能够有效解决跨相机的融合问题，也能够清晰的展示道路结构。但是在现有的前融合检测模型是bev空间中，是以车身所在的水平面为基准，将图像像素值投射至水平面上，但是，对有高度的物体而言，这种方式会将图像中的该物体拉长，导致其变形，影响无人车对道路信息的识别，严重影响无人车的决策。
技术实现思路
1、针对上述存在的问题，本发明提供一种基于周视相机的前融合检测模型的方法，它通过获得各周视图像的图像特征图及特征偏移量，对各周视图像进行偏移，保证偏移后的图像中的物体高度不会被拉长变形。
2、本发明的技术方案为：一种基于周视相机的前融合检测模型的方法，包括以下步骤：
3、1)通过多个周视相机获得无人车车身周围环境的多个周视图像，并将多个周视图像输入卷积神经网络模型；
4、2)卷积神经网络模型依次提取各周视图像的图像特征图及特征偏移量；
5、3)根据各周视图像的特征偏移量对各周视图像的图像特征图进行偏移，形成各周视图像的图像特征图的偏移特征图，根据各周视图像的图像特征图的偏移特征图映射出各周视相机的bev特征图；
6、4)将各周视相机的bev特征图沿着通道方向堆叠，并将堆叠后的bev特征图进行卷积并输出多视角融合后的目标特征图。
7、优选地；所述卷积神经网络模型包括骨干模型、颈部模型、头部模型，所述骨干模型的输入为多个周视图像，输出为各周视图像的不同特征尺寸的图像，所述颈部模型的输入为骨干模型的输出，输出为各周视图像的宽高缩小1/4的特征图像，所述头部模型的输入为颈部模型的输出，输出为各周视图像的图像特征图及特征偏移量。
8、进一步地，所述骨干模型输出包括各周视图像的宽高缩小1/2、1/4、1/8、1/16、1/32的特征尺寸图像。
9、进一步地，所述头部模型有两个，两个头部模型的输入均为颈部模型的输出，其中一个头部模型的输出为各周视图像的图像特征图，另一个头部模型的输出为各周视图像的特征偏移量。
10、优选地，所述步骤3)中，形成各周视图像的图像特征图的偏移特征图的步骤为：
11、(1)根据特征偏移量，将卷积神经网络模型输出的各周视图像的图像特征图沿着通道方向进行拆分，拆分为图像尺寸不变的图像宽度方向偏移量的特征图以及图像尺寸不变的图像高度方向偏移量的特征图；
12、(2)在bev空间建立一特征图，并将该特征图的偏移量初始化为0；
13、(3)从各周视图像的图像特征图的第一处索引位置获得该索引位置的图像特征值、图像宽度方向偏移量、图像高度方向偏移量，并根据图像宽度方向偏移量、图像高度方向偏移量对该图像特征值进行偏移，最后将偏移后的图像特征值赋值到特征图上的对应位置；
14、(4)对各周视图像的图像特征图的所有索引位置进行遍历，各索引位置根据该索引位置的图像宽度方向偏移量、图像高度方向偏移量对该索引位置进行偏移，再将偏移后的各索引位置赋值到特征图上的对应位置，形成各周视图像的图像特征图的偏移特征图。
15、进一步地，所述步骤(4)中，若偏移后的多个索引位置赋值到特征图上的相同位置，则特征图上的该位置取多次赋值的均值。
16、优选地，所述步骤3)中，根据各周视图像的图像特征图的偏移特征图映射出各周视相机的bev特征图的步骤为：
17、①在bev空间内，以地平面为参考建立一个bev网格，并将bev网格内的每个值初始化为0；
18、②将bev网格内的所有位置坐标转为车辆坐标系下的位置坐标；
19、③根据周视相机外参，将车辆坐标系下的位置坐标转化为相机坐标系下的位置坐标；
20、④根据周视相机内参，获得该相机坐标系下的位置坐标对应的索引位置，建立各图像特征图的偏移特征图与各周视相机的bev特征图的映射关系。
21、本发明的优点在于：本发明通过将各周视相机采集的周视图像输入卷积神经网络模型获得各周视图像的图像特征图及特征偏移量，再根据各图像的特征偏移量将各图像的图像特征图进行偏移形成特征图，并基于相机内外参将特征图变换至bev空间中，形成最终的目标特征图，通过增设特征偏移量对各周视图像进行偏移，保证偏移后的特征图变换至bev空间中时，使特征图内的物体高度不会发生变化，避免了现有技术中特征图内的物体高度被拉长变形的问题，保证了无人车对道路信息的识别，使无人车能够做出更加精准的决策。
1.一种基于周视相机的前融合检测模型的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于周视相机的前融合检测模型的方法，其特征在于：所述卷积神经网络模型包括骨干模型、颈部模型、头部模型，所述骨干模型的输入为多个周视图像，输出为各周视图像的不同特征尺寸的图像，所述颈部模型的输入为骨干模型的输出，输出为各周视图像的宽高缩小1/4的特征图像，所述头部模型的输入为颈部模型的输出，输出为各周视图像的图像特征图及特征偏移量。
3.根据权利要求2所述的一种基于周视相机的前融合检测模型的方法，其特征在于：所述骨干模型输出包括各周视图像的宽高缩小1/2、1/4、1/8、1/16、1/32的特征尺寸图像。
4.根据权利要求2所述的一种基于周视相机的前融合检测模型的方法，其特征在于：所述头部模型有两个，两个头部模型的输入均为颈部模型的输出，其中一个头部模型的输出为各周视图像的图像特征图，另一个头部模型的输出为各周视图像的特征偏移量。
5.根据权利要求1所述的一种基于周视相机的前融合检测模型的方法，其特征在于：所述步骤3)中，形成各周视图像的图像特征图的偏移特征图的步骤为：
6.根据权利要求5所述的一种基于周视相机的前融合检测模型的方法，其特征在于：所述步骤(4)中，若偏移后的多个索引位置赋值到特征图上的相同位置，则特征图上的该位置取多次赋值的均值。
7.根据权利要求1所述的一种基于周视相机的前融合检测模型的方法，其特征在于：所述步骤3)中，根据各周视图像的图像特征图的偏移特征图映射出各周视相机的bev特征图的步骤为：
