本发明涉及交通安全和驾驶辅助,尤其涉及一种多目标检测与智能响应的方法、装置、设备及存储介质。
背景技术:
1、智能辅助驾驶技术是近年来智能交通领域的重要发展方向之一。随着汽车智能化水平的提升,车载传感器和摄像头等设备的广泛应用,以及深度学习算法的不断发展,车辆识别和多目标检测技术已经取得了长足的进步。在现有技术中,智能车载系统通常采用预设的目标检测模型进行车辆和行人识别,然后根据识别结果进行相应的智能响应,如警报、自动控制等措施。然而,现有的智能辅助驾驶系统在多目标检测和智能响应方面仍然存在一些挑战和局限性。首先,对于复杂的交通环境和不同类型的目标,现有的目标检测模型可能存在识别准确性不高的问题;其次,智能响应的实时性和准确性也需要进一步提升,以确保系统能够及时有效地应对各种交通情况。因此,有必要提出一种新的智能响应与多目标检测识别方法,通过对环境数据和目标信息的实时采集和分析,结合先进的目标检测算法,实现对多个目标的快速准确识别,并根据识别结果进行相应的智能响应,从而提高智能辅助驾驶系统的安全性和效率。
2、上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本发明的目的是提供一种多目标检测与智能响应的方法、装置、设备及存储介质,旨在提高实现对多个目标的快速准确识别,并根据识别结果进行相应的智能响应,从而提高智能辅助驾驶系统的安全性和效率。
2、为实现上述目的,本发明提供一种多目标检测与智能响应的方法,所述的方法包括:
3、s1、获取模块:
4、用于获取多目标样本数据集;
5、通过样本数据集训练基于csef_yolo模型来进行多目标检测与识别;
6、s2、建模模块:
7、s21、利用conv模块、adownoptimized模块、rep模块、dcs模块和sppelan模块构建特征提取主干网络;
8、s22、利用rep模块、concat模块、upsample模块se_cbam模块和conv模块进行构建特征融合颈部网络;
9、s23、将目标检测模型中的head部分引入一个额外的特征检测层,包含四个分支输出检测头和两个辅助分支的检测头;
10、s24、根据所述特征提取主干网络、所述特征融合颈部网络和所述六个的检测头构建csef_yolo目标检测模型。
11、可选地,利用conv模块、adownoptimized模块、rep模块、dcs模块和sppelan模块构建特征提取主干网络,包括:
12、s211、利用conv模块、adownoptimized模块提取初步特征,构建低层次特征图结构;利用残差结构和跨层连接策略的组合模块(rep模块),增强特征的深度和复杂性,将低层次特征图映射到高层次空间;通过sppelan模块,将深层低分辨率的特征图上采样,使其分辨率与浅层高分辨率的特征图相匹配;
13、s212、通过concat模块,结合不同分辨率的特征图,在通道维度上进行融合,以充分利用多尺度的信息;通过rep模块继续对融合后的特征进行优化,提升特征的质量和复杂度;使用dcs模块、se_cbam模块和额外的特征检测层,提升所述csef_yolo目标检测模型的小目标检测能力;同样在主干网络后,使用辅助可逆分支结构帮助网络建立可靠的梯度。
14、可选的根据上所述的adownoptimized模块、dcs模块对减少参数量以及小目标检测的能力,包括:
15、adownoptimized模块使用进一步轻量化的深度可分离卷积;
16、adownoptimized模块采用了深度可分离卷积,分别处理输入的每个通道,并通过逐点卷积合并,此外去除了卷积层的偏置参数,减少了模型的参数和计算量;
17、通过在深度卷积和逐点卷积之间增加通道洗牌操作,改善了特征在各组之间的信息流,增强了网络的表达能力;
18、同时相对于传统的se模块,litese使用1x1的卷积替代全连接层,进一步减少参数数量,并提升了操作的效率;
19、通过自适应平均池化和卷积层结合,实现了对特征通道的动态重标定,强化了重要特征,抑制了次要特征,而且实现更加简洁;
20、在前向传播中,通过结合平均池化和最大池化处理不同的数据分支,该设计有助于捕获不同类型的边缘特征,从而提供更全面的特征表示。
21、同时利用分块处理的方式,将输入特征图分成两部分,各自通过不同的卷积处理,然后再合并,这种多尺度方式可以有效地平衡处理速度和模型性能。
22、dcs模块先利用三个不同扩张率的卷积层,能够更好的增加感受野而不增加参数数量;
23、利用concat整合不同尺度的特征信息,使网络能在后续层中同时考虑到多个不同尺度的特征;
24、利用sppfcspc模块从不同区域和尺度提取特征,能够有效捕获图像的空间层级信息;
25、利用可学习的参数,进行不同的权重分配,最后进行加权求和。
26、此外,可以选择先通过coco数据集对csef_yolo模型进行预训练,以提升其性能参数;然后,用这些增强后的权重参数作为csef_yolo目标检测模型的预训练权重。
27、可选地,通过所述s2步骤后,还包括:
28、将所述csef_yolo目标检测模型嵌入车载控制器系统;
29、通过车载控制器系统调用车载摄像头,对当前道路路况进行采集实际路况数据;
30、识别所述采集到的实际路况数据中的多目标样本数据集;
31、通过csef_yolo目标检测模型后输出对实时环境情况分析;
32、s3、智能响应系统融合决策模块:
33、s31、从多目标检测结果中提取关键特征,如检测结果包括行人、车辆、障碍物等的数量、位置坐标、相对距离等信息;
34、s32、对上述检测到的数据进行预处理,包括滤波、去噪、归一化等操作,以保证数据的准确性和稳定性;
35、s33、根据环境因子(如光照强度、雨量)的影响,动态调整检测数据的权重wpd,公式为:
36、
37、这里,μ和σ是调整曲线的位置和宽度参数,这个公式将在低光照或恶劣天气条件下减少wpd的值;
38、s34、利用系统输出一个风险评分rpd,基于检测到的目标数量、位置、速度等。
39、通过公式r=wpd(e)×rpd计算总风险评分;基于总风险评分利用阈值自动调整机制,根据风险评分r,执行不同的决策措施;阈值自动调整机制公式为:
40、rsafe=mean(r)-β×std(r)
41、rwarn=mean(r)+β×std(r)
42、其中β是调整敏感性的参数,mean(r)和std(r)分别是平均风险评分和标准差。
43、根据上述的阈值逻辑后执行实际决策执行;低风险(r<rsafe),维持当前驾驶模式,无需干预;中等风险(rsafe≤r<rwarn),系统发出警告,提示驾驶员注意潜在风险,建议减速或增加警觉;高风险(r≥rwarn),自动启动紧急制动或其他安全措施,以防止事故发生。
44、可选地,所述通过所述多样本数据集对预设检测模型进行训练,得到目标检测模型之后,还包括:将所述csef_yolo目标检测模型、嵌入车载控制器系统;
45、采集当前车辆前方和内部多样本数据集;
46、使用车载摄像头和传感器实时采集行人、车辆等多样本的位置和移动信息;
47、将样本数据集输入至多样本识别的csef_yolo目标检测模型,并获取基于当前路况数据输出的多样本识别结果;
48、综合多样本识别结果和环境分析,通过数据融合决策模块实时调整车辆的驾驶行为;
49、为了实现上述目的,本发明提出了一种csef_yolo多目标检测模型,所述多目标检测实现如上文所述的多目标检测与智能响应的方法;
50、此外,为实现上述目的,本发明还提出一种智能响应系统融合决策模块,所述智能响应系统融合决策模块实现如上文所述的多目标检测与智能响应的方法;
51、此外,为实现上述目的,本发明还提出一种多目标识别设备,所述设备包括:存储器、处理器及存储在所述存储器上并在所述处理器上运行的行人、车辆等多目标检测识别程序,所述多目标检测识别程序配置为实现如上文所述的多目标检测与智能响应的方法。
52、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有车辆、行人等多目标检测识别程序以及智能响应程序,所述行人、车辆等多目标检测识别程序以及智能响应程序被处理器执行时实现如上文所述的多目标检测识别方法和智能响应的方法。
53、本发明公开了一种多目标检测与智能响应的方法、装置、设备及存储介质。该方法包括:采集环境数据和目标信息数据集;通过所述样本数据集对预设检测模型进行训练,得到目标检测模型;通过csef_yolo目标检测算法对实时采集到的数据进行分析,实现对多个目标的识别;基于识别结果,结合智能响应模块方法,触发相应的智能响应警报、自动控制等措施。
1.一种多目标检测与智能响应的方法,其特征在于,所述的步骤包括:
2.根据权利要求1所述方法,其特征在于,所述s1步骤包括:
3.根据权利要求1所述的方法,其特征在于,所述s2步骤包括:
4.根据权利要求3所述的方法,其特征在于,所述s21步骤包括:
5.根据权利要求4所述的方法,其特征在于,所述s211、s212步骤包括:
6.根据权利要求1所述的方法,其特征在于,所述s3步骤包括:
7.根据权利要求1所述的方法,其特征在于,所述通过得到目标检测模型之后还包括:
8.一种多目标检测与智能响应的方法、装置,其特征在于,所述多目标检测与智能响应的方法、装置包括:
9.一种多目标检测与智能响应设备,其特征在于,所述多目标检测与智能响应设备包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的多目标检测程序与智能响应程序,所述多目标检测程序配置与响应程序配置为实现权利要求1至权利7要求中任一项所述的多目标检测与智能响应的方法。
10.一种存储介质,所述存储介质上存储有多目标检测识别程序以及智能响应程序,所述多目标检测识别程序以及智能响应程序被处理器执行时实现权利要求1至权利要求7中任一项所述的多目标检测与智能响应的方法。