本发明涉及轨道监控,尤其涉及一种轨道入侵监控方法。
背景技术:
1、随着中国高速铁路网络的迅猛发展,截至2024年初,全国铁路总里程已超15万公里,高速铁路运营长度突破4万公里,凸显其全球领导地位。此庞大交通网在促进社会经济发展和区域一体化中扮演着核心角色,但其规模扩增也对安全性能提出了更高要求,如何平衡运输效率与安全成为紧迫课题。
2、高速铁路系统复杂,安全考量多元且层次丰富,其中环境因素尤为关键。极端气候、地质灾害构成自然环境威胁,而外部环境中的异物入侵(如公跨铁桥梁坠物、山体落石)则因突发性成为监控难点。鉴于此,开发实时高效的异物入侵监测系统,搭配快速响应机制,对于提升铁路对环境与人为安全风险的应对能力至关重要。
3、我国铁路监控系统已展现强大效能,依托其广域覆盖、持续运行的优势,对沿线安全威胁实施有效监控。但面对监控视频数据的指数级增长,依赖人力审查的传统模式面临效率低下、易漏检的问题,特别是在铁路监控节点数量激增的现状下。
4、机器视觉与深度学习技术的融合为此提供了创新解法,通过自动化的高效检测与深入的数据分析能力,不仅提升了监控效率,还增强了对复杂环境的适应性与安全防护水平。目前,现有技术中的基于视觉的轨道入侵检测方法包括基于传统视觉的方法和基于深度学习的方法。
5、基于传统视觉的轨道异物入侵检测技术涵盖了多种方法,包括但不限于运动差分或背景建模方法、结合场景先验和运动模式的加权分类方法以及特征描述与多尺度分析的方法等。这些方法的缺点包括:检测精度较低,应用场景单一。
6、基于视觉深度学习的轨道异物入侵检测技术在国内外研究中展现出了多元化的发展趋势。这一领域目前的核心分支可概括为基于2d图像的检测技术与基于3d视觉的检测技术两大类别。对于基于2d图像的检测领域,依据处理数据的不同特性,进一步细分为静态图像分析和视频序列分析两个方向。在静态图像处理方面,研究着重于应用图像分割或目标检测算法,如faster r-cnn或yolo系列,来精准描绘和定位轨道上的异物形态与位置。而在视频序列分析方面,研究采用了诸如光流法、背景差分法以及视频异常检测等技术,通过对连续视频帧的深入分析,有效捕捉到轨道区域内出现的瞬态异物入侵事件。另一方面,基于3d视觉的检测领域则涵盖了点云处理技术和立体视觉技术两大部分。在点云处理中,科研人员结合3d激光雷达及其他三维传感设备,收集点云数据,利用pointnet或pointcnn等专为三维点云设计的深度学习架构,实现对轨道立体空间内异物的高精度定位。立体视觉技术则是利用双目或多目相机系统构建立体视觉模型,通过计算视差以生成深度图像,进而结合深度学习技术,精准辨识出嵌入立体图像中的异物入侵现象。
7、现有技术中的基于视觉的深度学习技术的轨道异物入侵检测方法的缺点包括:异物类型的多样性和形态变化要求模型具有高度泛化性,而实际中全面覆盖难度大;深度学习模型的资源消耗高,不仅增加硬件成本,还可能制约实时处理效能;缺乏充足且精确的标注数据限制了模型的培训效果;此外,平衡检测精准度与减少误报、漏报问题,如自然物体或非威胁物的误识别,仍是实践中的难点。这些问题共同构成了技术实施中的主要障碍。
技术实现思路
1、本发明的实施例提供了一种轨道入侵监控方法,以实现有效地对轨道入侵进行监控。
2、为了实现上述目的,本发明采取了如下技术方案。
3、一种轨道入侵监控方法,包括:
4、通过安装在轨道旁的监控设备采集轨道的监控视频数据,对监控视频数据进行预处理,获取输入视频数据;
5、对所述输入视频数据进行弱监督异常特征检测,获取异常数据;
6、对所述异常数据进行异常目标定位,获取轨道入侵检测结果。
7、优选地,所述的通过安装在轨道旁的监控设备采集轨道的监控视频数据,对监控视频数据进行预处理,获取输入视频数据,包括:
8、通过安装在轨道旁的监控摄像头采集轨道入侵视频,从采集的监控视频数据图像中选取一半的正样本和一半的负样本,所述正样本为正常情况下的视频帧,所述负样本为异常情况下的视频帧,将选取的监控视频数据进行预处理,该预处理包括图像掩码裁剪和远点信息放大过程,将预处理后的监控视频数据作为输入视频数据。
9、优选地,所述的将选取的监控视频数据进行预处理,该预处理包括图像掩码裁剪和远点信息放大过程,包括:
10、设置轨道之间的轨道间距是1435mm,设置轨道区域检测范围是轨道中心到两侧的2500mm,通过轨道检测算法获取轨道线,绘制轨道线的中间线,通过2500/(1435/2)的比例,将两侧轨道线平移到外侧,形成限界线,根据限界线绘制得到掩码,根据感兴趣区域roi将其他局部区域裁剪掉,将轨道远点区域的局部图像单独裁剪,并与未经过裁剪的完整图像合并为一组互补的图像样本,得到最终输入的图像视频。
11、优选地,所述的对所述输入视频数据进行弱监督异常特征检测,获取异常数据,包括:
12、采用kinetics-400对x3d模型进行预训练,通过训练好的x3d模型对所述输入视频数据进行特征提取,得到特征向量,对所述特征向量进行non-local和多尺度时域注意力机制强化后,得到优化后的特征向量,通过分类器对所述优化后的特征向量进行评分,从正常与异常两类视频帧的评分中分别筛选出绝对值最高的k个得分,依据k个最高得分对应的帧索引,提取相应的k个特征向量;
13、根据选择出的k个分数以及对应的特征向量进行幅值分数损失函数、幅值特征损失函数和时间平滑损失函数的计算,幅值分数损失函数的计算方法如下:
14、
15、其中x表示正常类或者异常类的视频帧,y表示视频帧所在视频的标签,f表示模型运算;
16、对正常类和异常类的k个视频帧分数求取l2范数,并进行求和:
17、
18、其中,n表示视频帧的数量,ωk(x)是包含k个视频帧的集合,||f(xi)||2表示第i个视频帧分数的l2范数;
19、将正常类k个视频帧的特征范数和与异常k个视频帧的特征范数和做差,如下面公式所示:
20、d(x+,x-)=gk(x+)-gk(x-)
21、其中,gk(x+)表示正常视频帧分数的l2范数和,gk(x-)表示异常视频帧分数的l2范数和,此函数表示了正常和异常视频帧之间的区分程度;
22、则幅值特征损失函数的计算方法如下:
23、ls=max(0,m-d(xi,xj))
24、m为实现定义的阈值,保证损失函数是一个正数;d(xi,xj)即上述中表示正常和异常视频帧区分程度的函数;
25、通过添加时间平滑损失函数使得多次训练后,一个视频中的相邻正常帧和异常帧之间的分数比较接近,时间平滑损失函数的计算方法如下;
26、
27、其中,λ是预先设置的超参数,i表示当前帧在该视频内的索引顺序,f(xi)表示第i个视频帧得分,f(xi+1)表示第i+1个视频帧得分,n表示视频帧的数量;
28、总损失函数的具体公式如下所示:
29、
30、将总损失函数的值超过设定阈值的视频帧判断为异常的视频帧,将总损失函数的值不超过设定阈值的视频帧判断为正常的视频帧。
31、优选地,所述的对所述异常数据进行异常目标定位,获取轨道入侵检测结果,包括:
32、构建基于参数共享机制的多尺度轨道异常定位模型架构,该多尺度轨道异常定位模型架构将编码器和解码器结构划分为三个递进层次,在首两个层级内各配置了两层下/上采样单元,在第三层级整合了一层常规的上/下采样模块以及一层根据需要动态启用的上/下采样模块;
33、将判断为异常的视频帧输入到所述多尺度轨道异常定位模型架构中,多尺度轨道异常定位模型架构中的编码器与解码器结构包含了五个连续的下采样或上采样单元,每个采样模块内部集成了空间位置编码机制,在编码阶段为下采样操作,在解码阶段相应地转为上采样操作,捕获局部到全局的空间信息,点式卷积或反卷积层增强了特征映射的表达力,所有卷积运算后均辅以批标准化步骤,各个模块的核心计算环节采用了激活函数,根据不同尺寸的输入图像配置相应数量的采样层;
34、在所述多尺度轨道异常定位模型架构中设置有效通道注意力eca机制,多尺度的vae架构包含多个尺度的潜变量,每个尺度的潜变量都有对应的均值和方差,总的kl散度可以通过以下方式定义:
35、
36、这里,zl表示第l个尺度层级的潜变量,l是总尺度层级的数量,q(zl|x,z<l)是给定观测数据x和低层潜变量z<l时,高层潜变量z的近似后验分布,而p(zl|z<l)是对应的先验分布;
37、多尺度轨道异常定位模型架构接收由异常检测算法筛选出的异常视频帧作为输入,运用深度神经网络架构预测构成视频背景的背景图像,通过将所述异常视频帧与所述背景图像进行像素级对比,计算出所述异常视频帧与所述背景图像之间的差异图,即前景掩码,所述前景掩码高亮显示了相对于背景预期变化较大的异常活动区域,所述前景掩码上不同位置的激活对应于视频中多个独立的异常目标。
38、由上述本发明的实施例提供的技术方案可以看出,本发明实施例针对现有方式对大规模标注数据的高度依赖,采用弱监督和无监督方式,减少数据标注的复杂度,提高算法模型的适用范围。针对现有方式无法实时处理与资源无法高效利用的困境,本发明通过精心设计的模型轻量化策略,大幅度削减了模型参数规模与计算负担,极大提升了在计算资源有限的移动部署场景下的应用可行性与效率。
39、本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种轨道入侵监控方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述的通过安装在轨道旁的监控设备采集轨道的监控视频数据,对监控视频数据进行预处理,获取输入视频数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述的将选取的监控视频数据进行预处理,该预处理包括图像掩码裁剪和远点信息放大过程,包括:
4.根据权利要求2或者3所述的方法,其特征在于,所述的对所述输入视频数据进行弱监督异常特征检测,获取异常数据,包括:
5.根据权利要求4所述的方法,其特征在于,所述的对所述异常数据进行异常目标定位,获取轨道入侵检测结果,包括:
