本发明属于复杂背景下的图像分割和目标检测，具体涉及一种基于边缘引导的多损失驾驶感知方法。
背景技术：
1、在自动驾驶领域中，驾驶感知的目的是为了模仿人眼采集相关信息，为后续做决策提供必要的信息。根据所做决策的任务不同，驾驶感知可以分为很多子任务：如车道线检测、目标检测、障碍物检测、驾驶区域分割等。为了能够获取足够的信息，汽车往往需要很多设备，如雷达、传感器等，成本高并且设备所占空间大。而基于计算机视觉的方法以其体型小巧、功能强大、价格便宜等优势得到了很多研究人员的青睐。主要选取两个任务：可行驶区域分割和车道线检测。可行驶区域分割和车道线检测对于规划车辆的行驶路线至关重要。
2、实现上述两个任务的目的可以利用很多模型，例如：mask r-cnn，segnet，pspnet，bifnet，eevou-net，aglnet用于图像分割，scnn，clrnet，laneaf，lanenet用于车道线检测。虽然这些方法实现了优异的性能，但是在现实中，为每个单独的任务运行独立的模型是不切实际的。而且，现有的模型通常只关注图像本身，忽略了图像的边缘信息在这两个任务中的作用，交通场景理解中的不同任务之间往往有很多相关信息，例如可驾驶区域的边界往往是车道，现有的模型不能实现多个任务的同时处理。
技术实现思路
1、本发明的目的在于提供一种基于边缘引导的多损失驾驶感知方法，用于解决现有的驾驶感知方法中存在的分割边缘不清晰、误检率高、检测速度慢的技术问题。
2、为了达到上述目的，本发明采用以下技术方案予以实现：
3、本发明公开了一种基于边缘引导的多损失驾驶感知方法，包括以下步骤：
4、将编码器提取到的多尺度特征输入到解码器，得到特征向量；将得到的特征向量输入到特征融合模块进行特征融合，得到融合信息；
5、将得到的融合信息分别输入到多尺度特征聚合模块和边缘提取模块中，分别得到融合了多尺度特征信息的边缘信息和边缘特征信息；
6、通过边缘感知优化模块将融合了多尺度特征信息的边缘信息和边缘特征信息进行结合，生成预测信息。
7、进一步地，所述编码器包括依次设置的五个卷积块；五个卷积块都包含有二维卷积、batch norm2d和relu；其中，第二个、第三个、第四个和第五个卷积块还包括池化层。
8、进一步地，所述二维卷积的大小为3×3，padding＝1；所述池化层的卷积核大小为2×2。
9、进一步地，提取得到多尺度特征的过程，通过下列公式表示：
10、
11、其中，fe表示一个卷积核大小为3×3的卷积层，一个batchnorm层和一个relu激活函数；maxpool表示最大池化操作；表示输入到编码器中的特征向量；表示得到的多尺度特征。
12、进一步地，所述多尺度特征融合模块由用于特征融合的卷积块组成；
13、所述将得到的特征向量输入到特征融合模块进行特征融合，得到融合信息的过程，如下列公式所示：
14、xi＝fs([(fi),up×2(fi+1)]),i＝1,2,3,4；
15、
16、其中，fs(*)表示一个卷积核大小为3×3的卷积层、一个bn层、一个relu函数和一个反卷积块；[.,.,.,.]表示concatenation操作；+代表元素相加操作；up×2表示上采样到原图大小的两倍；表示得到的融合信息。
17、进一步地，所述包括x和
18、其中，x表示融合后得到的特征信息；表示融合后得到的边缘信息；
19、其中x用于生成预测图p；用于分别输入到多尺度特征聚合模块和边缘提取模块中，分别得到融合了多尺度特征信息的边缘信息和边缘特征信息。
20、进一步地，将输入到多尺度特征聚合模块中的过程为：先将通过下采样操作，然后分别通过1×1的卷积操作使得中的特征向量处于同一维度，得到处理后的特征向量；将处理后的特征向量采样到原始信息大小，随后通过元素相加方法的进行多尺度特征聚合，得到融合了多尺度特征信息的边缘信息。
21、进一步地，权利要求7所述的过程由以下公式表示：
22、
23、其中，conv1×1(*)表示卷积核大小为1×1的卷积操作；表示对第i个特征向量上采样到原始信息大小的两倍；+表示元素相加方法；为经过msfa融合后得到的处理后的特征向量；c*为融合了多尺度特征信息的边缘信息。
24、进一步地，将得到的融合信息输入到边缘提取模块中，得到边缘特征信息的过程为：
25、从一个u型网络中挖掘融合后得到的边缘信息的边缘细节，通过渐进的方式获取边缘边缘特征信息，上述过程由以下公式表示：
26、
27、其中，表示一个卷积核大小为1×1的卷积加上一个sigmoid操作和一个平均池化操作；表示边缘特征信息。
28、进一步地，通过边缘感知优化模块将融合了多尺度特征信息的边缘信息和边缘特征信息进行结合的过程，由以下公式表示：
29、
30、其中，fs(*)表示一个卷积核大小为3×3的卷积层和一个sigmoid函数；e4表示边缘提取模块中得到的一个边缘特征信息；为融合了多尺度特征信息的边缘信息；表示生成的精准的预测信息。
31、与现有技术相比，本发明具有以下有益效果：
32、本发明公开了一种基于边缘引导的多损失驾驶感知方法，采用编码器、解码器、特征融合模块、多尺度特征聚合模块、边缘提取模块和边缘感知优化模块，从基于共享的主干编码器中获得了多尺度的特征，传达了丰富的对象线索，随后输入解码器得到特征向量；通过将特征向量输入到特征融合模块进行特征融合，将得到的融合信息分别输入到多尺度特征聚合模块和边缘提取模块中，最后用边缘感知优化模块对图像边缘进行优化，相对于其他方法，本发明的方法实现了高准确率、低误检率、高检测速度、图像边缘锐化的效果。
1.一种基于边缘引导的多损失驾驶感知方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，所述编码器包括依次设置的五个卷积块；五个卷积块都包含有二维卷积、batchnorm2d和relu；其中，第二个、第三个、第四个和第五个卷积块还包括池化层。
3.根据权利要求2所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，所述二维卷积的大小为3×3，padding＝1；所述池化层的卷积核大小为2×2。
4.根据权利要求3所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，提取得到多尺度特征的过程，通过下列公式表示：
5.根据权利要求1所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，所述多尺度特征融合模块由用于特征融合的卷积块组成；
6.根据权利要求5所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，所述包括x和
7.根据权利要求6所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，将输入到多尺度特征聚合模块中的过程为：先将通过下采样操作，然后分别通过1×1的卷积操作使得中的特征向量处于同一维度，得到处理后的特征向量；将处理后的特征向量采样到原始信息大小，随后通过元素相加方法的进行多尺度特征聚合，得到融合了多尺度特征信息的边缘信息。
8.根据权利要求7所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，权利要求7所述的过程由以下公式表示：
9.根据权利要求8所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，将得到的融合信息输入到边缘提取模块中，得到边缘特征信息的过程为：
10.根据权利要求9所述的一种基于边缘引导的多损失驾驶感知方法，其特征在于，通过边缘感知优化模块将融合了多尺度特征信息的边缘信息和边缘特征信息进行结合的过程，由以下公式表示：
