一种城市轨道异物侵限检测方法、装置、系统及存储介质

1.本发明涉及城市轨道安全领域，尤其涉及一种城市轨道异物侵限检测方法、装置、系统及存储介质。


背景技术：

2.随着城市化进程的推进，交通问题日益凸显，为了进一步提高城市交通承载力，许多城市不断加大地铁建设的力度，由此所衍生的地铁运行安全问题也开始备受关注。地铁限界是保证地铁安全运行的空间范围，当有异物侵入限界时，就会对地铁车辆的运行安全产生很大的威胁。地铁异物侵限检测系统作为地铁安全运营的重要保障，需要对在不同地铁的场景中出现的落石、坠物、遗撒、行人穿越等异物进行检测，并判断是否有异物侵入地铁安全限界事件的发生。
3.目前我国对地铁限界内异物的监测仍为人工巡检，虽然此方法简单直接，但由于异物侵限事件具有突发性、无规律性和不可预测性等特点，其可能发生在路轨的任何时间任何地方，此方法只能在巡检人员通过时间内发现侵限异物，无法做到时刻确保安全无异物，实际的人工巡检可靠性差、工作量大、漏检率高。传统的hog或者是颜色直方图进行异物检测容易受到相似背景、姿态变化、光照突变、遮挡、目标交叉运动等干扰，导致特征的鲁棒性急剧下降，进而导致跟踪出现误差等情况。国内的铁路灾害检测系统已经应用在多条已建成的高速铁路中，如京津铁路、京沪铁路和武广铁路等。然而大多是都是基于传感器网络，属于接触式监控，需要沿铁路沿线大密度铺设，且维护成本又高，部分传感器的损坏还容易造成虚假的监测结果。随着光学传感器和计算技术的发展，基于图像视频采集和处理的铁路异物侵限检测技术逐渐发展起来。
4.国内已开展了基于各类传感器进行异物侵限判别的实验研究。
5.中国专利“cn107172388b”采用基站+声音传感器采集装置的方式进行异物侵限检测，当某个基站区域内的半数采集装置检测到有异物时，才确认有异物侵限，对小目标检测效果不好；
6.中国专利“cn110133669a”采用三维激光传感器进行检测，稳定性高、响应速度快、误报漏报率低，但是成本较为高昂，且检测区域受限；
7.中国专利“cn107097810b”采用无人机智能识别检测异物，但是需要无人机同列车保持同方向速度飞行，对无人机控制算法性能要求过高；
8.论文“level crossings obstacle detection system using stereo cameras”提出了一种基于双目立体视觉技术的异物检测方法，系统采用双目摄像机对轨道区域进行拍摄，通过立体匹配和三维重建，检测区域内是否存在侵限异物，由于目前基于立体视觉的稠密三维重建技术尚不成熟，所以误检情况时有发生；
9.论文“基于双背景建模与差分图像的轨道异物识别”，采用双背景+图像差分技术进行异物侵限检测，实施简单，实时性高，但可靠性以及通用性不足。
10.现有技术分类：
11.第一类方法检测区域固定，包括中国专利“cn110133669a”公开的“一种三维激光异物侵限监测方法及系统”，中国专利“cn103112479a”公开的“面向铁路防灾的并行异物侵限监测系统”，论文“vision based platform monitoring system for railway station safety”，中国专利“cn111398990a”公开的“基于多线三维雷达的轨道异物侵限检测装置系统及方法”等。该类方法将传感器放置在事故多发的路段上以扫描铁轨，自动检测异物的存在而无需人工防护。该技术价格昂贵、智力低，实用性差、且只能检测一小段区域。
12.第二类方法检测列车行驶过的区域，包括中国专利“cn107097810b”公开的“一种铁路沿线异物侵限无人机智能辨识和预警方法及系统”，论文“基于双背景建模与差分图像的轨道异物识别”、“vision based platform monitoring system for railway station safety”、“fast detection study of foreign object intrusion on railway track”。该类方法主要基于传统图像信息处理技术或雷达技术，如caddy边缘检测、hog直方图变换等方法来进行异物检测、侵限判定，较容易受到光照、天气、复杂场景的影响。


技术实现要素：

13.本发明提供了一种城市轨道异物侵限检测方法、装置、系统及存储介质，以解决现有的异物侵限检测难以实现全路段实时检测的同时保证检测效果的问题。
14.第一方面，提供了一种城市轨道异物侵限检测方法，包括：
15.实时获取待检测轨道图像；
16.将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框；其中，异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到；
17.基于异物位置框和轨道轮廓生成限界截面；
18.判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在界限截面内，则发生了异物侵限。
19.进一步地，所述待检测轨道图像和若干历史轨道图像均通过设置于列车前端的摄像头采集得到。
20.进一步地，所述异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到，包括：
21.获取若干历史轨道图像；
22.对若干历史轨道图像中的轨道和异物进行标注，以每张历史轨道图像及其标注作为一个训练样本，构建训练样本数据集；其中，在对轨道进行标注时，将两个钢轨及两个钢轨之间囊括的区域统一划分为轨道；
23.基于训练样本数据集进行模型训练，得到异物/轨道检测模型。
24.进一步地，所述基于训练样本数据集进行模型训练，得到异物/轨道检测模型，包括：
25.将训练样本数据集划分为训练集和测试集；
26.定义轨道异物目标视觉任务；
27.利用训练集及测试集对基于mask r-cnn网络结构构建的检测模型进行训练和测试，得到异物/轨道检测模型。
28.进一步地，所述对若干历史轨道图像中的轨道和异物进行标注，包括：
29.标注每张历史轨道图像中轨道和异物的轮廓及各自对应的类型。
30.进一步地，所述基于异物位置框和轨道轮廓生成限界截面，包括：
31.以得到的异物位置框的最下端做一条水平直线，将该直线与轨道轮廓的两个边界交点视为限界截面的两个下顶点，依据这两个下顶点及车辆限界等比例生成限界截面。
32.进一步地，还包括：
33.在判定发生了异物侵限后，发出预警信号；
34.将异物的信息及侵限时间进行存储。
35.第二方面，提供了一种城市轨道异物侵限检测装置，包括：
36.图像获取模块，用于实时获取待检测轨道图像；
37.轨道及异物检测模块，用于将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框；其中，异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到；
38.限界截面生成模块，用于基于异物位置框和轨道轮廓生成限界截面；
39.侵限判定模块，用于判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在界限截面内，则发生了异物侵限。
40.第三方面，提供了一种城市轨道异物侵限检测系统，包括摄像头、上位机、报警装置；
41.所述摄像头用于设置在列车前端，采集列车前方的轨道图像并发送至上位机；
42.所述上位机用于在接收所述摄像头发送的轨道图像后，执行如上所述的城市轨道异物侵限检测方法，在判定发生了异物侵限后，发出预警信号给报警装置；
43.所述报警装置用于在接收到预警信号时进行报警。
44.第四方面，提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序适于被处理器加载并执行如上所述的城市轨道异物侵限检测方法。
45.有益效果
46.本发明提出了一种城市轨道异物侵限检测方法、装置、系统及存储介质，首先采用异物/轨道检测模型来对轨道和异物进行识别，得到轨道轮廓和异物位置框；然后基于轨道轮廓和异物位置框生成限界截面，依据异物位置框是否有顶点在限界截面内来判定是否发生异物侵限。采用基于深度学习的异物/轨道检测模型来进行轨道和异物的识别，能够保证优良的特征提取能力和良好的特征表达能力，识别性能强，效率高；基于轨道轮廓和异物位置框进行侵限判定，能更好的避免侵限误判。因此能够保证检测效率及检测精度，实现全路段实时检测。而且，基于图像可感知距离更远，在发现危机情况时能给予列车员更多的应对时间，安全性更高。
附图说明
47.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本发明实施例提供的一种城市轨道异物侵限检测方法流程图；
49.图2是本发明实施例提供的异物/轨道检测模型训练流程图；
50.图3是本发明实施例提供的车辆限界结构示意图；
51.图4是本发明实施例提供的一实例的原始图；
52.图5是图4提供的一实例的标注效果图；
53.图6是图4提供的一实例的侵限判定状态图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
55.实施例1
56.如图1所示，本实施例提供了一种城市轨道异物侵限检测方法，包括：
57.s1：实时获取待检测轨道图像；所述待检测轨道图像可通过设置于列车前端的摄像头采集得到。具体的，根据列车限界规范，在列车限界内放置典型异物，要求异物尽量真实且侵入限界方式真实自然。可通过与地铁安监部门和运营部门沟通，确定放置异物的种类、尺寸、放置位置等，在列车静止和行驶状态下分别对异物进行数据采集。
58.s2：将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框。其中，异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到，具体过程包括：
59.s2.1：获取若干历史轨道图像；所述若干历史轨道图像可通过设置于列车前端的摄像头采集得到。
60.s2.2：对若干历史轨道图像中的轨道和异物进行标注，包括标注每张历史轨道图像中轨道和异物的轮廓及各自对应的类型，以每张历史轨道图像及其标注作为一个训练样本，构建训练样本数据集；其中，在对轨道进行标注时，将两个钢轨及两个钢轨之间囊括的区域统一划分为轨道，这样可以避免多轨道场景下左右钢轨对应的麻烦。
61.s2.3：基于训练样本数据集进行模型训练，得到异物/轨道检测模型。具体包括：
62.将训练样本数据集划分为训练集和测试集；
63.定义轨道异物目标视觉任务；
64.利用训练集及测试集对基于mask r-cnn网络结构构建的检测模型进行训练和测试，得到异物/轨道检测模型。
65.更具体地，本发明将轨道以及异物检测视为实例分割任务，采用基于mask r-cnn网络结构构建的检测模型进行检测；如图2所示，模型训练过程包括：
66.定义轨道异物目标视觉任务；
67.利用rpn(region proposal network)网络对样本中的图像进行网络提取，得到rp(候选区域)；
68.选定cnn网络结构，利用imagenet数据集进行预训练，得到预训练参数，进而得到预训练模型；
69.将训练集，其对应的标注，以及rp作为输入，通过mask r-cnn对预训练模型进行二
次训练，得到异物/轨道检测模型；
70.利用测试集对异物/轨道检测模型进行测试调优，得到最终的异物/轨道检测模型。
71.具体而言，首先使用待检测轨道图像定义视觉任务。利用选择性搜索算法获得样本图像的候选区域，将候选区域坐标与视觉任务示例轨道图像一起输入网络学习。示例轨道图像经过深度卷积神经网络中的卷积层，池化层计算，最终得到深度卷积特征。然后，基于mask r-cnn网络结构，通过感兴趣区域池化层规格化特征，最后将特征输入不同的全连接分支，并行回归计算特征分类，以及检测框坐标值。经过多次迭代训练，最后得到与指定视觉任务强相关的异物/轨道检测模型，具有训练好的权重参数。
72.s3：基于异物位置框和轨道轮廓生成限界截面。具体包括：以得到的异物位置框的最下端做一条水平直线，将该直线与轨道轮廓的两个边界交点视为限界截面的两个下顶点，依据这两个下顶点及车辆限界等比例生成限界截面。其中，车辆限界是根据列车横剖面包络而成，结构如图3所示。
73.s4：判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在界限截面内，则发生了异物侵限。
74.s5：在判定发生了异物侵限后，发出预警信号；并将异物的信息及侵限时间进行存储，以便事后进行责任追究，其中异物的信息包括位置、类型、尺寸。
75.实施例2
76.本实施例提供了一种城市轨道异物侵限检测装置，包括：
77.图像获取模块，用于实时获取待检测轨道图像；
78.轨道及异物检测模块，用于将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框；其中，异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到；
79.限界截面生成模块，用于基于异物位置框和轨道轮廓生成限界截面；
80.侵限判定模块，用于判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在界限截面内，则发生了异物侵限。
81.其他具体实现参见实施例1提供的一种城市轨道异物侵限检测方法，在此不再赘述。
82.实施例3
83.本实施例提供了一种城市轨道异物侵限检测系统，包括摄像头、上位机、报警装置；
84.所述摄像头用于设置在列车前端，采集列车前方的轨道图像并发送至上位机；摄像头可采用双目摄像头，摄像头固定在列车上，能更好的抵抗恶劣天气的影响；
85.所述上位机用于在接收所述摄像头发送的轨道图像后，执行如上所述的城市轨道异物侵限检测方法，在判定发生了异物侵限后，发出预警信号给报警装置；上位机还用于在发生了异物侵限后将异物的信息及侵限时间进行存储；
86.所述报警装置用于在接收到预警信号时进行报警；具体实施时，报警装置可以选择声光报警器，也可选择直接用显示屏进行报警。
87.其他具体实现参见实施例1提供的一种城市轨道异物侵限检测方法，在此不再赘
述。
88.实施例4
89.本实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序适于被处理器加载并执行如上所述的城市轨道异物侵限检测方法。
90.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
91.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
92.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
93.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
94.可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
95.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
96.本发明还提供了一具体实例，如图4至6所示，图4所示为一轨道图像，图5所示为进行标注后的轨道图像，图6所示为该轨道图像中异物侵限判定状态图，如图所示，异物位置框有顶点位于限界截面内，故发生了异物侵限。
97.本发明提出了一种城市轨道异物侵限检测方法、装置、系统及存储介质，首先采用异物/轨道检测模型来对轨道和异物进行识别，得到轨道轮廓和异物位置框；然后基于轨道轮廓和异物位置框生成限界截面，依据异物位置框是否有顶点在限界截面内来判定是否发生异物侵限。本发明将轨道及异物检测视为实例分割任务，采用基于深度学习的实例分割模型，能够保证优良的特征提取能力和良好的特征表达能力，能获得更好的检测效果和性能；基于轨道轮廓和异物位置框进行侵限判定，能更好的避免侵限误判。因此能够保证检测
效率及检测精度，实现全路段实时检测。而且，基于图像可感知距离更远，在发现危机情况时能给予列车员更多的应对时间，安全性更高。
98.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种城市轨道异物侵限检测方法，其特征在于，包括：实时获取待检测轨道图像；将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框；其中，异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到；基于异物位置框和轨道轮廓生成限界截面；判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在界限截面内，则发生了异物侵限。2.根据权利要求1所述的城市轨道异物侵限检测方法，其特征在于，所述待检测轨道图像和若干历史轨道图像均通过设置于列车前端的摄像头采集得到。3.根据权利要求1所述的城市轨道异物侵限检测方法，其特征在于，所述异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到，包括：获取若干历史轨道图像；对若干历史轨道图像中的轨道和异物进行标注，以每张历史轨道图像及其标注作为一个训练样本，构建训练样本数据集；其中，在对轨道进行标注时，将两个钢轨及两个钢轨之间囊括的区域统一划分为轨道；基于训练样本数据集进行模型训练，得到异物/轨道检测模型。4.根据权利要求3所述的城市轨道异物侵限检测方法，其特征在于，所述基于训练样本数据集进行模型训练，得到异物/轨道检测模型，包括：将训练样本数据集划分为训练集和测试集；定义轨道异物目标视觉任务；利用训练集及测试集对基于mask r-cnn网络结构构建的检测模型进行训练和测试，得到异物/轨道检测模型。5.根据权利要求3所述的城市轨道异物侵限检测方法，其特征在于，所述对若干历史轨道图像中的轨道和异物进行标注，包括：标注每张历史轨道图像中轨道和异物的轮廓及各自对应的类型。6.根据权利要求1至5任一项所述的城市轨道异物侵限检测方法，其特征在于，所述基于异物位置框和轨道轮廓生成限界截面，包括：以得到的异物位置框的最下端做一条水平直线，将该直线与轨道轮廓的两个边界交点视为限界截面的两个下顶点，依据这两个下顶点及车辆限界等比例生成限界截面。7.根据权利要求1所述的城市轨道异物侵限检测方法，其特征在于，还包括：在判定发生了异物侵限后，发出预警信号；将异物的信息及侵限时间进行存储。8.一种城市轨道异物侵限检测装置，其特征在于，包括：图像获取模块，用于实时获取待检测轨道图像；轨道及异物检测模块，用于将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框；其中，异物/轨道检测模型为基于若干历史轨道图像进行模型训练得到；限界截面生成模块，用于基于异物位置框和轨道轮廓生成限界截面；侵限判定模块，用于判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在
界限截面内，则发生了异物侵限。9.一种城市轨道异物侵限检测系统，其特征在于，包括摄像头、上位机、报警装置；所述摄像头用于设置在列车前端，采集列车前方的轨道图像并发送至上位机；所述上位机用于在接收所述摄像头发送的轨道图像后，执行如权利要求1至7任一项所述的城市轨道异物侵限检测方法，在判定发生了异物侵限后，发出预警信号给报警装置；所述报警装置用于在接收到预警信号时进行报警。10.一种计算机可读存储介质，其存储有计算机程序，其特征在于，所述计算机程序适于被处理器加载并执行如权利要求1至7任一项所述的城市轨道异物侵限检测方法。

技术总结
本发明公开了一种城市轨道异物侵限检测方法、装置、系统及存储介质，其中方法包括：实时获取待检测轨道图像；将待检测轨道图像输入预先训练好的异物/轨道检测模型中，得到轨道轮廓和异物位置框；基于异物位置框和轨道轮廓生成限界截面；判定异物位置框是否有顶点在限界截面内，若至少有一个顶点在界限截面内，则发生了异物侵限。采用基于深度学习的异物/轨道检测模型来进行轨道和异物的识别，能够保证优良的特征提取能力和良好的特征表达能力，识别性能强，效率高；基于轨道轮廓和异物位置框进行侵限判定，能更好的避免侵限误判。因此能够保证检测效率及检测精度，实现全路段实时检测。测。测。


技术研发人员：雷文太 许孟迪 侯斐斐
受保护的技术使用者：中南大学
技术研发日：2020.11.09
技术公布日：2022/5/25