基于视频分析的施工电梯规范运行监控告警系统及其方法

1.本发明属于图像分析技术领域，具体涉及基于视频分析的施工电梯规范运行监控告警系统及其方法。


背景技术：

2.近年来，随着我国建筑行业的持续扩张，安全事故多发，建筑工地的安全性受到极大的重视。由于目前建筑行业中涉及大量高空作业，如高层房屋的建设、桥梁等立体交叉工程的建设等，用于施工现场载人、货的施工电梯应用十分广泛。与普通电梯相比，施工电梯的运行目的和运行环境并不理想，一旦发生坠落等异常行为，极易酿成重大安全事故。为保障建筑工地的正常秩序，避免伤害的发生，施工电梯在运行过程中，对轿厢载人和载物的数量及种类有着严格的控制。根据载荷数量或种类异常，施工电梯规范运行状况的监控告警可以分为超载告警和违规告警两类。
3.目前，超载告警的常用做法是采用重量传感器对电梯的实时载荷进行监控，在超重时发出告警信号。这种方法能够实现简单，能够取得良好的效果。但其无法监控构成超载的客观因素，如人员超载或是物品超载等。为解决人员超载的问题，可以通过为人员配备射频卡等方式对电梯载荷中的人员数量进行统计，如中国专利cn103708315所述。但其需要相关硬件的支持，难以做到对工地上所有可能的载荷进行铺开，同时难以应对未佩戴射频模块的违规乘员等突发状况。而对于违规告警，当前主要依赖于现场人员的监管控制，包括在施工电梯的载物现场进行巡查及通过人工调阅监控摄像头拍摄的视频进行检查等。人工方法的可靠性依赖于监管人员的执行力度，存在工作量大，易出现漏洞等问题。也有方法提出可以通过图像识别技术进行施工电梯的智能预警，如中国专利cn202414916u所述。但该实用新型专利仅提出了一个施工升降机智能预警系统的整体结构，对其实现预警所需的各个模块进行了功能描述，并未对视频分析模块所采用的具体图像分析方法进行详述。
4.综上，当前的施工电梯监控告警技术难以对除超载外的其他违规运行状态进行告警，如运载违规物品等。同时，当前技术处理超载告警比较初级，难以直接溯源造成超载的直接原因。通过对当前已经授权或公开的专利进行检索，尚未发现可以同时解决上述问题的自动化解决方案。


技术实现要素：

5.针对现有技术的不足，本发明提出基于视频分析的施工电梯规范运行监控告警系统及其方法，本发明的目的是克服现有施工电梯告警技术的缺陷，利用计算机视觉技术对施工电梯监控视频进行分析，对载荷类别和数量进行自动识别，判断当前运行状态是否符合施工电梯安全运行规范，并产生相关的告警信号。
6.具体的技术方案为：
7.基于视频分析的施工电梯规范运行监控告警系统，包括布设于施工电梯轿厢内的网络摄像头，视频流传输模块及服务器，视频分析平台及告警接口；
8.施工电梯轿厢内的网络摄像头为电梯监控视频的采集装置；
9.视频流传输模块，主要由wifi通信模块构成，将网络摄像头采集到的数据传到服务器；
10.服务器，位于项目现场或者云端，主要用于运行视频分析平台及提供告警接口；
11.视频分析平台，主要功能为对采集的视频流进行实时分析，自动识别拍摄视野中的人员及典型物体。
12.采用所述的基于视频分析的施工电梯规范运行监控告警系统，包括以下步骤：
13.s1、视频分析平台对输入视频流进行分帧，采用等间隔采样提取图像帧，对上述图像帧预处理操作为颜色空间对齐得到预处理图像帧；
14.s2、采用跨级融合ssd检测框架对分帧采样所得的预处理图像帧进行目标检测，所述目标检测环境为施工电梯，检测目标包括不属于施工电梯准入物品、乘电梯人员等；
15.s3、根据判定条件判断是否出现违反安全规范的异常行为；
16.所述判定条件为：基于s2步骤目标检测到的物体不属于施工电梯准入物品；检测到的乘员超过准入数量；若满足上述条件，则判定出现违规行为，调用告警接口，输出告警信号，否则返回步骤s1，进行下一次检测。
17.优选的，s1具体做法为：将部分预处理图像帧作为训练集图像帧，首先将训练集图像帧从rgb图像空间转换到lab空间，分别计算出训练集图像帧在lab空间三个通道上的均值和方差m
l
，ma和mb分别指l通道，a通道和b通道的像素值均值，var
l
，vara和varb分别指的是l通道，a通道和b通道的像素值方差；
18.然后，将训练集图像帧按l，a和b三个通道进行逐像素计算i∈{l，a，b},其中p
i，x
，,m
i，x
和var
i，x
分别代表当前图像的像素点x在i通道的像素点值，均值及方差；为像素点x在i通道的调整后的像素值；
19.最后将调整后的像素值构成的图像从lab空间反变换回rgb空间得到预处理图像帧。
20.优选的，s2中的跨级融合ssd检测框架的检测方法，具体步骤为：
21.(1)提取目标的特征
22.针对权利要求2中的目标，对训练集图像帧，采用跨级融合ssd的算法进行特征提取，所述跨级融合ssd算法不仅包括传统ssd算法提取深层特征图，还在其基础上增加了两个浅层特征图的提取，新增的两个所述浅层特征图的尺寸为150
×
150和76
×
76；
23.(2)特征融合
24.首先基于双流卷积模型对多组跨级特征图进行融合，每组待融合的两个跨级特征图分别记为浅层特征图f
shallow
和深层特征图f
deep
，所述浅层特征图f
shallow
为步骤(1)中的两个浅层特征图，深层特征图f
deep
为步骤(1)中的深层特征图；其中f
shallow
的尺寸较大，携带更多的局部特征，f
deep
的尺寸较小，携带更多的全局特征；所述融合的步骤具体为：首先通过反卷积操作将深层特征图f
deep
的尺寸变换为与浅层特征图f
shallow
一致；再计算深层特征图f
deep
通道外积b(f
shallow
，transconv(f
deep
))＝f
shallowt
transconv(f
deep
)得到双线性映射的结果f；将f通过基于差值监督的多级密集卷积和池化操作压缩融合特征的维度，获得尺寸合适的融合特征图；所述方法为采用了三级串联的卷积池化模块对通道外积的结果进行维度
压缩；采用差值监督方法，将高级卷积池化模块的输出进行反卷积，尺寸对齐到紧邻的低一级卷积池化模块，求取两级模块的输出之差，再将该差值进行空洞卷积使得尺寸对齐到拟输出的融合特征图；对三级串联的卷积池化模块分别进行级间差值监督，输出为融合特征；
25.(3)密集先验框生成
26.采用步骤(2)得到的融合特征图用于先验框的生成，其中的六个尺寸为：38
×
38，19
×
19，10
×
10，5
×
5，3
×
3及1
×
1。每个n
×
n的特征图中有n
×
n个中心点，每个中心点产生k个先验框，上述六个尺寸所代表的六层中每层特征图的每个中心点产生的k分别为4、6、6、6、4、4；
27.(4)获取图像中目标的种类和数量
28.依据步骤(3)得到的先验框进行分类和检测，获取当前输入图像中目标的种类和数量；每个先验框将用于执行如下任务：通过softmax函数对该先验框进行分类，判断先验框中是否包含权利要求2中的目标，若存在首先判定目标的种类，然后对不同的种类确定目标的数量；通过回归分析的方式对先验框的大小和位置进行调整，提高目标分类与检测的精度和效率；
29.(5)训练
30.对提出的跨级融合ssd检测框架，输入训练集图像帧循环(1)-(4)步骤进行模型训练，直到目标检测的准确率实现实际工程要求的准确率结束循环，输出训练结束的跨级融合ssd检测模型。
31.其中，步骤(2)中，具体的特征图融合为：将150
×
150的浅层特征图与19
×
19的深层特征图融合，将76
×
76的浅层特征图与38
×
38的深层特征图融合。
32.其中，步骤(5)包括以下子步骤：
33.(a)项目现场施工电梯监控视频数据库构建；首先构建基于项目的监控数据库，主要包括施工电梯内安装的监控摄像头拍摄的现场视频数据，数据大小10g以上，包含各类目标的数量应尽量均衡；具体方法为连续采集1周左右的电梯监控视频，划分出不低于20000张的图像帧；通过人工方式进行标定，画出目标在图像中的位置及给出目标所属的类别；
34.(b)对所提出的跨级融合ssd检测框架进行训练，目标函数由先验框置信度损失和位置损失加权得到，具体形式为采用adam优化器训练；当训练过程完全收敛后，保存检测框架；
35.(c)在多个项目工地进行部署时，根据具体项目重复(a)-(b)步，通过微调方式训练得到针对特定项目工地的检测框架参数。
36.与现有技术相比，本发明所具有的有益效果为：
37.(1)减小特征图的尺寸，从而减少先验框的数量。该操作有助于提高特征提取网络对小目标的表达能力；
38.(2)通过卷积和池化操作将融合特征图的尺寸对齐到与其融合的深层特征图一致。避免引入太多的计算负荷；
39.(3)在图像预处理阶段实施该操作，解决了在工业电梯中光照波动较大对图像目标识别的影响，提高了目标检测框架的准确性；
40.(4)为了实现检测器学习到更多的工程实际中工业电梯遇到的实际场景，使用了
目前世界上应用最广泛的人脸检测基准数据集wider fice；工程帽数据集包含1万张左右不同的实际情况下佩戴工程帽的照片；工程木棒数据集包含5千张左右以及工程中推泥的手推车数据集包含5千张左右。以上所述，本发明能够较好的适应施工电梯目标识别的要求。
附图说明
41.图1为本发明的系统框架图；
42.图2为本发明的视频分析平台工作流程；
43.图3为本发明使用的跨级融合ssd检测框架结构图；
44.图4本发明基于差值监督的特征跨级融合方法；
45.图5本发明颜色归一化流程图。
具体实施方式
46.结合实施例说明本发明的具体技术方案。
47.如图1所示，基于视频分析的施工电梯规范运行监控告警系统，包括布设于施工电梯轿厢内的网络摄像头，视频流传输模块及服务器，视频分析平台及告警接口；
48.施工电梯轿厢内的网络摄像头为电梯监控视频的采集装置，可以选择市面上任意一种品牌。
49.视频流传输模块，主要由wifi通信模块构成，将网络摄像头采集到的数据传到服务器；
50.服务器，位于项目现场或者云端，主要用于运行视频分析平台及提供告警接口；
51.视频分析平台，主要功能为对采集的视频流进行实时分析，自动识别拍摄视野中的人员及典型物体。
52.基于视频分析的施工电梯规范运行监控告警系统的工作流程如图2所示，步骤为：
53.s1、对输入视频流进行分帧，采用等间隔采样提取图像帧，预处理操作为颜色空间对齐；
54.如图5所示，具体做法为：首先将训练集中所有图片从rgb图像空间转换到lab空间，分别计算出训练集中图像在lab空间三个通道上的均值和方差
55.然后，将所有图像按通道进行逐像素计算其中p
i，x
，,m
i，x
和var
i，x
分别代表当前图像的像素点值和均值及方差为调整后的像素值；
56.最后将图像从lab空间反变换回rgb空间；该操作可以保证后续检测的有效性。
57.s2、采用如图3所示的跨级融合ssd检测框架对分帧采样所得的视频帧进行目标检测。
58.s3、判断是否出现违反安全规范的异常行为；
59.判定条件为：检测到的物体不属于施工电梯准入物品；检测到的乘员超过准入数量。若满足上述条件，则判定出现违规行为，调用告警接口，输出告警信号，否则返回步骤
s1，进行下一次检测。
60.本发明所采用的视频分析平台的核心算法跨级融合ssd检测框架。为了提高检测精度，本发明对原始ssd进行了改进，通过融合浅层特征图对小目标进行更好的描述。跨级融合ssd检测框架如图3所示，具体步骤可描述为：
61.(1)提取目标的浅层特征
62.传统ssd所采用的是vgg模型作为特征提取骨干网络，具体采用的特征图如图3中浅色箭头所示，尺寸为38
×
38，19
×
19，10
×
10，5
×
5，3
×
3及1
×
1。为提高检测多尺度目标的能力，尤其是小目标检测的能力，在此基础上，本发明的改进手段主要是增加浅层特征图，通过对深浅层特征的融合，提高模型的表达能力，如图3中深色箭头所示，新增特征图的尺寸为150
×
150和76
×
76。
63.(2)特征融合。如前所述，本发明所提出的跨级融合ssd检测中引入了尺寸较大的浅层特征，如果直接生成先验框，将极大的增加计算负担，影响算法的执行速度。考虑计算量和检测效果的平衡，本方案首先基于双流卷积模型对多个跨级特征图进行融合，融合方法如图4所示。待融合的两个特征图分别记为浅层特征f
shallow
和深层特征f
deep
,其中f
shallow
的尺寸较大，携带更多的局部特征，f
deep
的尺寸较小，携带更多的全局特征。首先通过反卷积操作将f
deep
的尺寸变换为与f
shallow
一致。再计算其通道外积b(f
shallow
，transconv(f
deep
))＝f
shallowt
transconv(f
deep
),该操作能够从二阶统计量上对特征进行描述，从而增加模型的表达能力。然而，其本质为矩阵外积，会扩增特征维度，为了提高模型的计算效率，通过基于差值监督的多级密集卷积和池化操作压缩融合特征的维度，获得尺寸合适的融合特征图。如图4所示，采用了三级串联的卷积池化模块对通道外积的结果进行维度压缩。为了保证压缩后特征的质量，采用了差值监督方法，将高级卷积池化模块的输出进行反卷积，尺寸对齐到紧邻的低一级卷积池化模块，求取两级模块的输出之差，再将该差值进行空洞卷积使得尺寸对齐到拟输出的融合特征图。对三级串联的卷积池化模块进行级间差值监督，输出为融合特征。
64.本发明中，具体的融合层次为：将150
×
150的浅层特征图与19
×
19的深层特征图融合，将76
×
76的浅层特征图与38
×
38的深层特征图融合，融合特征图的尺寸对齐到相应的深层特征图上，从而减小特征图的尺寸，从而减少先验框的数量。该操作有助于提高特征提取网络对小目标的表达能力。
65.(3)密集先验框生成。如图3所示，本改进框架中最终用于先验框生成的特征图仍然为六个尺寸：38
×
38，19
×
19，10
×
10，5
×
5，3
×
3及1
×
1，由于增加了特征融合模块，38
×
38和19
×
19和这两个尺寸对应的通道数与原框架有不同。每个n
×
n的特征图中有n
×
n个中心点，每个中心点产生k个先验框，六层中每层的每个中心点产生的k分别为4、6、6、6、4、4。
66.(4)依据先验框进行分类和检测，获取当前输入图像中目标的种类和数量。每个先验框将用于执行如下任务：通过softmax函数对该先验框进行分类，判断其是否包含目标；通过回归分析对该先验框的大小和位置进行调整。
67.(5)训练，步骤可描述为：(a)项目现场施工电梯监控视频数据库构建。考虑不同项目工地的轿厢、光照条件、环境因素等各有不同，首先构建基于项目的监控数据库，主要包括施工电梯内安装的监控摄像头拍摄的现场视频数据，数据大小10g以上，包含各类目标的数量应尽量均衡。具体方法为连续采集1周左右的电梯监控视频，划分出不低于20000张的
图像帧。通过人工方式进行标定，画出目标在图像中的位置及给出目标所属的类别。(b)对所提出的跨级融合ssd检测框架进行训练，目标函数由先验框置信度损失和位置损失加权得到，具体形式为采用adam优化器训练。当训练过程完全收敛后，保存检测框架。(c)在多个项目工地进行部署时，根据具体项目重复(a)-(b)步，通过微调方式训练得到针对特定项目工地的检测框架参数。
68.本发明中，对传统的ssd框架进行了改进，采用跨级融合方法引入了浅层特征图，尤其是提出基于差值监督的深浅层特征图融合方法，从而增强了系统对于小目标的表达能力，具有良好的检测精度，能够对施工电梯中的常见载荷，乘员和物品进行检测，对尺度变化较大的物体、狭小的轿厢空间中不可避免的遮挡问题等均具有良好的鲁棒性。
69.该系统提出的视频分析平台中，核心算法基于ssd目标检测框架。传统的ssd检测框架由特征提取骨干网络、密集先验框生成及预测三部分组成。其中，特征提取骨干网络的具体架构基于vgg网络，并对深层特征图进行了特征融合操作。然而，根据卷积神经网络的原理，深层特征图的感知区域大，能够较好的包含目标的全局位置信息，但描述小目标的能力有限。考虑到浅层特征图对小目标识别的重要作用，目前的改进ssd算法在融合深浅层特征图时，常用的方法是对齐尺寸后直接对特征图进行级联或者相加的操作，该类方法实际上只针对特征的一阶统计量进行描述，所获模型的表达能力有限。本发明提出通过对特征图进行基于差值监督的融合，能够有效解决上述问题，提升模型对小目标的特征提取能力。此外，原始ssd目标框架采用的是密集先验框生成策略，具体做法为在所选取的特征图上逐点生成先验框。在此策略下，特征图的大小将直接影响生成的先验框数量，从而影响后续的分类检测任务需要处理的对象数量。为了适应当前的密集先验框生成方法，本发明对融合特征图的尺寸进行了向下对齐，即通过卷积和池化操作将融合特征图的尺寸对齐到与其融合的深层特征图一致。避免引入太多的计算负荷。
70.考虑到施工电梯轿厢通常采用网状结构进行半封闭处理，轿厢内监控视频受到外部光照的影响，阴雨天和晴天的图像质量差别较大，颜色空间不统一。而检测模型依赖于图像的颜色、纹理等特征，故颜色空间的差异会影响到后续检测准确性。为解决该问题，本发明将所有图像进行颜色空间转换，对齐到标准值，标准值的选择具体而言就是选择训练集中所有图像的均值。在图像预处理阶段实施该操作，能够提高目标检测框架的准确性。具体流程图如图5所示。
71.在施工电梯中，常见的载荷包括乘员、木方、线缆及手持器械等。目标的尺寸和形状差别较大，既包括了大尺寸的物体如木方,推泥车等，又包括了小尺寸的物体如手持式电转等。
72.本发明首先利用工业相机实时采集视频流图像，该摄像头被安装在工业电梯中距离开门最远的顶角位置以实现最全视角。接下来将采集的视频流信息通过视频信号转发模块通过wifi传输信道传输到后端服务器中。服务器端运行视频分析平台，首先对视频流信息进行分帧处理，采用7帧/s等间隔采样的方式提取图像帧，进行后续的颜色空间校正，跨级融合ssd目标检测，异常检测等。其中在目标检测的时候，应用本文提出的于差值监督的特征跨级融合方法进行目标检测。为了实现检测器学习到更多的工程实际中工业电梯遇到的实际场景，使用了目前世界上应用最广泛的人脸检测基准数据集wider fice；工程帽数
据集包含1万张左右不同的实际情况下佩戴工程帽的照片；工程木棒数据集包含5千张左右以及工程中推泥的手推车数据集包含5千张左右。以上所述，本发明能够较好的适应施工电梯目标识别的要求。