本说明书涉及计算机,尤其涉及一种模型训练及轨迹预测方法、装置、介质及设备。
背景技术:
1、目前,在视频分析系统中,目标检测与轨迹预测是十分重要的研究方向,在智能监控、自动驾驶以及机器人导航等领域具有重要应用价值。其中,目标检测用于识别视频流中的目标对象并确定目标对象的位置。轨迹预测用于根据目标对象一段时间的位置预测目标对象在下一段时间的位置与运动轨迹。
2、以自动驾驶为例,车辆可利用目标检测技术确定周围车辆和行人的位置与运动轨迹,以此基于轨迹预测技术来预测周围车辆和行人可能发生的运动轨迹与到达的位置,从而实现车辆安全导航。
3、由于,目标检测技术是基于已经发生的事件对目标对象进行检测,对于目标检测技术的研究已存在较为成熟的方法,可以准确对目标对象进行检测。但是,轨迹预测技术是对与目标对象相关的还未发生的事件进行预测,现有的轨迹预测技术,如基于卡尔曼滤波器或粒子滤波器进行轨迹预测,预测得到的预测结果并不理想。
4、为此,本说明书提供了一种模型训练及轨迹预测方法、装置、介质及设备。
技术实现思路
1、本说明书提供一种模型训练及轨迹预测方法、装置、介质及设备,以部分的解决现有技术存在的上述问题。
2、本说明书采用下述技术方案:
3、本说明书提供了一种模型训练方法,包括:
4、获取预设历史时段的历史视频数据,并在所述历史视频数据中,确定轨迹预测的目标物;
5、针对所述历史视频数据中每一帧图像,确定所述目标物在该帧图像中的坐标,作为所述目标物在该帧图像中对应的坐标;
6、根据所述目标物在所述历史视频数据中各帧图像对应的坐标,确定所述目标物的初始坐标序列;
7、根据预设的扰动参数以及所述初始坐标序列,确定扰动后的初始坐标序列;
8、针对每轮训练,将所述扰动后的初始坐标序列输入待训练的预测模型,得到所述预测模型输出的所述目标物在所述预设历史时段之后的设定时段的预测坐标序列,并根据所述预测坐标序列与所述目标物在所述设定时段的实际坐标序列之间的第一差异,确定第一损失值,所述第一差异与所述第一损失值之间呈正相关,以及根据所述初始坐标序列和所述扰动后的初始坐标序列,确定第二损失值;
9、根据所述第一损失值与所述第二损失值,确定该轮训练对应的综合损失值,以根据该轮训练对应的综合损失值,对所述待训练的预测模型进行训练,以及根据所述第二损失值调整下一轮训练所使用的扰动参数,直至达到预设训练结束条件为止。
10、可选的,根据所述初始坐标序列和所述扰动后的初始坐标序列,确定第二损失值,具体包括:
11、根据所述预测坐标序列与所述初始坐标序列,确定第一距离值;
12、根据所述预测坐标序列与所述扰动后的初始坐标序列,确定第二距离值;
13、根据所述第一距离值与所述第二距离值之间的第二差异,确定第二损失值,所述第二损失值与所述第二差异呈正相关。
14、可选的,根据所述第二损失值调整下一轮训练所使用的扰动参数,具体包括:
15、根据预设的扰动参数界限值与所述第二损失值,确定下一轮训练所要使用的扰动参数,其中,所述第二损失值的导数的方向与所述下一轮所要使用的扰动参数的方向相同。
16、可选的,确定所述目标物在该帧图像中的坐标,具体包括:
17、根据预设的目标检测算法,确定所述目标物在该帧图像中的边界框坐标,作为所述目标物在该帧图像中的坐标。
18、可选的,根据所述目标物在所述历史视频数据中各帧图像对应的坐标,确定所述目标物的初始坐标序列,具体包括:
19、根据所述目标物在所述历史视频数据中各帧图像对应的边界框坐标,确定所述目标物在所述历史视频数据中各帧图像对应的中心坐标;
20、按照所述历史视频数据中各帧图像的时间顺序,根据所述目标物的各中心坐标,构建所述目标物的初始坐标序列。
21、本说明书提供了一种轨迹预测方法,包括:
22、获取预设时段的时序视频数据,并在所述时序视频数据中,确定轨迹预测的目标物;
23、针对所述时序视频数据中每一帧图像,确定所述目标物在该帧图像中的坐标,作为所述目标物在该帧图像中对应的坐标;
24、根据所述目标物在所述时序视频数据中各帧图像对应的坐标,确定所述目标物的初始坐标序列;
25、将所述初始坐标序列输入训练完成的预测模型,得到所述预测模型输出的所述目标物在所述预设时段之后的设定时段的预测坐标序列,其中,所述预测模型是通过上述模型训练方法训练得到的;
26、根据所述预测坐标序列,确定所述目标物在所述设定时段的运动轨迹。
27、本说明书提供了一种模型训练装置,包括:
28、训练获取模块,用于获取预设历史时段的历史视频数据,并在所述历史视频数据中,确定轨迹预测的目标物;
29、第一确定模块,用于针对所述历史视频数据中每一帧图像,确定所述目标物在该帧图像中的坐标,作为所述目标物在该帧图像中对应的坐标;
30、第二确定模块,用于根据所述目标物在所述历史视频数据中各帧图像对应的坐标,确定所述目标物的初始坐标序列;
31、扰动模块,用于根据预设的扰动参数以及所述初始坐标序列,确定扰动后的初始坐标序列;
32、第三确定模块,用于针对每轮训练,将所述扰动后的初始坐标序列输入待训练的预测模型,得到所述预测模型输出的所述目标物在所述预设历史时段之后的设定时段的预测坐标序列,并根据所述预测坐标序列与所述目标物在所述设定时段的实际坐标序列之间的第一差异,确定第一损失值,所述第一差异与所述第一损失值之间呈正相关,以及根据所述初始坐标序列和所述扰动后的初始坐标序列,确定第二损失值;
33、训练模块,用于根据所述第一损失值与所述第二损失值,确定该轮训练对应的综合损失值,以根据该轮训练对应的综合损失值,对所述待训练的预测模型进行训练,以及根据所述第二损失值调整下一轮训练所使用的扰动参数,直至达到预设训练结束条件为止。
34、本说明书提供了一种轨迹预测装置,包括:
35、获取模块,用于获取预设时段的时序视频数据,并在所述时序视频数据中,确定轨迹预测的目标物;
36、坐标确定模块,用于针对所述时序视频数据中每一帧图像,确定所述目标物在该帧图像中的坐标,作为所述目标物在该帧图像中对应的坐标;
37、序列确定模块,用于根据所述目标物在所述时序视频数据中各帧图像对应的坐标,确定所述目标物的初始坐标序列;
38、预测模块,用于将所述初始坐标序列输入训练完成的预测模型,得到所述预测模型输出的所述目标物在所述预设时段之后的设定时段的预测坐标序列,其中,所述预测模型是通过上述模型训练方法训练得到的;
39、轨迹确定模块,用于根据所述预测坐标序列,确定所述目标物在所述设定时段的运动轨迹。
40、本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练及轨迹预测方法。
41、本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现模型训练及轨迹预测方法。
42、本说明书采用的上述至少一个技术方案能够达到以下有益效果:
43、本说明书提供的模型训练方法,获取预设历史时段的历史视频数据,并在历史视频数据中,确定轨迹预测的目标物。针对历史视频数据中每一帧图像,确定目标物在该帧图像中的坐标,作为目标物在该帧图像中对应的坐标。根据目标物在历史视频数据中各帧图像对应的坐标,确定目标物的初始坐标序列。根据预设的扰动参数以及初始坐标序列,确定扰动后的初始坐标序列。针对每轮训练,将扰动后的初始坐标序列输入待训练的预测模型,得到预测模型输出的目标物在预设历史时段之后的设定时段的预测坐标序列,并根据预测坐标序列与目标物在设定时段的实际坐标序列之间的第一差异,确定第一损失值,第一差异与第一损失值之间呈正相关,以及根据初始坐标序列和扰动后的初始坐标序列,确定第二损失值。根据第一损失值与第二损失值,确定该轮训练对应的综合损失值,以根据该轮训练对应的综合损失值,对待训练的预测模型进行训练,以及根据第二损失值调整下一轮训练所使用的扰动参数,直至达到预设训练结束条件为止。
44、在预测模型的训练过程中,通过对目标物的初始坐标序列添加额外的扰动,对预测模型进行虚拟对抗训练,使得预测模型在预测轨迹的过程中,即使受到干扰,也能够对目标物的运动轨迹进行准确预测。并通过对每一轮模型训练中添加的扰动参数进行调整,增强扰动参数带来的扰动,进一步使得训练出的预测模型在扰动变化情况下准确预测的能力更强,提升预测模型的性能。
1.一种模型训练方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,根据所述初始坐标序列和所述扰动后的初始坐标序列,确定第二损失值,具体包括:
3.如权利要求1所述的方法,其特征在于,根据所述第二损失值调整下一轮训练所使用的扰动参数,具体包括:
4.如权利要求1所述的方法,其特征在于,确定所述目标物在该帧图像中的坐标,具体包括:
5.如权利要求4所述的方法,其特征在于,根据所述目标物在所述历史视频数据中各帧图像对应的坐标,确定所述目标物的初始坐标序列,具体包括:
6.一种轨迹预测方法,其特征在于,包括:
7.一种模型训练装置,其特征在于,包括:
8.一种轨迹预测装置,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~6任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~6任一项所述的方法。