违章动火检测模型的训练方法及利用该模型的检测方法与流程

    专利查询2022-08-31  74



    1.本发明专利属于动火作业现场违章动火检测技术领域,具体涉及违章动火检测模型的训练方法及利用该模型的检测方法。


    背景技术:

    2.动火作业是指进行可能产生火花、火焰和炽热表面的临时性作业。常见的动火作业包括电焊、气焊(热切割)等。动火作业如不规范管理,极易导致火灾甚至是爆炸事故。因此安全是首先要保障的因素。安全保障既要保障动火作业人员和监护人员的人身安全,也要保障财产的安全。在动火作业管理工作上,“利用先进的科学技术提高安全预警”已经成为一种趋势。其中利用作业现场拍摄的视频图像信息和人工智能自动对现场动火作业进行违章分析和违章人员识别,并及时告警,可在一定程度上保障动火作业的规范和安全,避免事故的发生。
    3.目前,已有一些自动检测火焰或烟雾的先进方法,如基于深度学习的单阶段检测目标算法如yolo系列检测算法和两阶段检测目标算法如r-cnn系列算法等,可实现对火焰或烟雾的智能检测。两阶段检测目标算法需要利用区域候选框方法产生一系列样本候选框,再通过卷积神经网络进行样本分类,检测精度较高;单阶段检测目标算法将提取候选框和分类两个任务融合到一个网络中,直接将目标边框定位问题转化为回归问题进行处理,因此提高了算法的实时性。
    4.但是违章动火检测主要检测动火现场是否符合动火要求、动火作业是否违章,不仅仅需要检测大小形态变幻无常的火焰,还需要同时检测动火人员是否有防护措施(如是否佩戴防护面罩)以及是否有监护人、现场是否有灭火器等。上述基于深度学习的两种检测目标算法并不能实现作业现场违章动火的检测。在作业现场违章动火检测过程中,由于检测目标大小形态差异大,比如,动火操作人员的姿势多样,有站立作业的,有蹲下作业的;焊接时飞溅的火花有时只有一个高亮火点,有时则是喷溅出的大面积区域高亮火花,再加上作业现场背景的影响、光线的影响等,这些均导致了出现目标对象的漏检和误检问题,从而影响了违章动火行为的判断准确性。


    技术实现要素:

    5.本发明的一个目的在于提供一种提升现场动火图像检测结果准确性的违章动火检测模型的训练方法。
    6.本发明的另一个目的在于提供一种准确判断违章动火行为的违章动火检测方法。
    7.本发明的技术方案一方面公开了违章动火检测模型的训练方法,其包括以下步骤:
    8.s1:将动火作业现场场景图像整理成图像数据集,并对所述图像中的火焰、灭火器、人员以及防护面罩目标进行真实边界框标注和真实类别标注;上述标注过的所述图像形成训练集;
    9.s2:利用步骤s1中的所述训练集对预先构建的faster r-cnn目标检测模型进行训练,得到违章动火检测模型;其中预先构建的faster r-cnn目标检测模型所使用的损失函数l为:
    10.l=λ1l
    rpn
    λ2l
    fast rcnn
    λ3l
    dist
    11.其中l
    rpn
    是区域建议网络推荐候选区域产生的损失;l
    fast rcnn
    是检测产生的损失;l
    dist
    是本发明根据动火场景中动火操作人员、防护面罩以及火焰的位置先验知识,引入的对火焰和防护面罩的检测框位置的约束项,用以指导训练过程中模型在更合理的区域内提取火焰和防护面罩的特征,同时优化检测框的位置,使训练的模型权重更优;λ1、λ2和λ3是三个超参数,用于对l
    rpn
    、l
    fast rcnn
    和l
    dist
    三个函数的权重进行调整。
    12.进一步的,所述步骤s2中,l
    rpn
    定义为:
    [0013][0014]
    其中n
    cls
    表示一个最小批取值中的所有样本数量,λ
    11
    表示平衡权重参数,n
    reg
    表示每个特征图的像素点个数;i表示一个批处理中锚点anchor的索引;pi为锚点anchor预测为前景目标的概率;表示真实值的标注;表示预测值和真实的标注值之间的对数损失,用来计算;是回归损失,用来计算,r是smooth l1损失函数:
    [0015][0016]
    ti={t
    x
    ,ty,tw,th}是一个向量,表示预测检测框的四个参数,(t
    x
    ,ty)表示预测检测框的中心点坐标,tw和th分别表示预测检测框的宽度和高度;是与ti维度相同的向量,表示真实边界框的中心点坐标、宽度和高度值。
    [0017]
    进一步的,所述步骤s2中,l
    fast rcnn
    定义为:
    [0018]
    l
    fast rcnn
    =l
    cls
    (p,u) λ
    22
    [u≥1]l
    ioc
    (tu,v)
    [0019]
    其中,p是预测的所有目标类别概率;u是所有目标的真实类别概率,λ
    22
    表示平衡权重参数;l
    cls
    (p,u)是多分类的交叉熵损失函数:
    [0020][0021]
    其中,n为检测出的实例个数,m为类别个数,u
    ij
    表示第i个实例属于类别j的真实概率,是一个二值指标;p
    ij
    为模型预测的第i个实例属于类别j的概率;
    [0022]
    l
    ioc
    表示回归损失,用来计算,其中其中tu表示预测目标框的位置值;v表示目标框的真实位置值;(x,y)是目标框的中心点坐标,w和h分别是目标框的宽度和高度。
    [0023]
    进一步的,所述步骤s2中,l
    dist
    定义为:
    [0024]
    l
    dist
    =u
    k1
    ·um2
    [(x
    k-xm)2 (y
    k-ym)2] u
    k1
    ·uh3
    [(x
    k-xh)2 (y
    k-yh)2]
    [0025]
    其中设人员类别值为1,防护面罩类别值为2,火焰类别值为3,灭火器类别值为4;u
    k1
    表示第k个检测实例为人员类别且为动火操作人员的真实概率值,u
    m2
    表示第m个检测实例为防护面罩类别的真实概率,u
    h3
    表示第h个检测实例为火焰类别的真实概率;(xk,yk)、(xm,ym)、(xh,yh)分别代表预测的动火操作人员、防护面罩以及火焰实例的中心点坐标;其中u
    k1
    ·um2
    [(x
    k-xm)2 (y
    k-ym)2]是指动火操作人员和防护面罩检测框位置的距离,u
    k1
    ·uh3
    [(x
    k-xh)2 (y
    k-yh)2]是指动火操作人员和火焰的检测框位置的距离。
    [0026]
    进一步的,其中u
    i1
    表示第i个检测实例为人员类别的真实概率值,(xi,yi)、(xm,ym)分别代表预测的人员以及防护面罩的中心点坐标。
    [0027]
    本发明的技术方案另一方面公开了违章动火检测方法,其包括以下步骤:
    [0028]
    s1:利用违章动火检测模型对输入的动火作业现场视频图像进行检测,得到图像中各目标的类别及其检测框结果;
    [0029]
    s2:对步骤s1中的所述图像中各目标的类别及其检测框结果进行综合判断,得出是否存在违章动火行为。
    [0030]
    进一步的,步骤s1中,将实时动火作业现场视频图像输入至使用违章动火检测模型的faster rcnn检测算法中,对所述动火作业现场视频图像中的人员、灭火器、防护面罩和火焰进行检测,得到图像中各目标的类别及其检测框结果。
    [0031]
    进一步的,步骤s2的具体判断的方法如下:
    [0032]
    s21:若所述图像中检测出人员类别和火焰类别的目标同时存在,则判断为动火作业现场;
    [0033]
    s22:在步骤s21的基础上判断是否检测出防护面罩类别的目标同时存在,如果没有,则报警提示未戴防护面罩;如果存在,进一步判断防护面罩是否戴在检测出的人员实例的面部,如果没有,属于违规操作并报警,如果有,表示有人员实例佩戴有防护面罩;
    [0034]
    s23:在步骤s22中检测出有人员实例佩戴有防护面罩的基础上,判断除了该人员实例外,是否还有其他人员实例,如果没有,说明现场缺少监护人员,也属于违规操作并报警,如果有,说明现场有监护人员;
    [0035]
    s24:在步骤s23中检测到有监护人员的基础上,判断是否检测出灭火器目标类别,如果没有,就被视为违章动火行为并报警;如果有,就视为正常动火行为。
    [0036]
    进一步的,步骤s22中,判断防护面罩是否戴在检测出的人员实例面部的方法:根据防护面罩的检测位置和检测出的所有人员实例的检测框上部分依次进行相交面积φ计算,如果每个φ=0,说明所有人员实例均未佩戴防护面罩,属于违规操作并报警,如果有任意一个φ>0,表示检测出有人员实例佩戴有防护面罩。
    [0037]
    进一步的,φ=sa∩sb;其中sa为某个人员实例的检测框上半部分区域面积,sb为检测出的防护面罩的边界框区域面积。
    [0038]
    本发明的优点:
    [0039]
    1、本发明中公开的违章动火检测模型的训练方法,根据动火作业现场动火操作人员、防护面罩以及火焰之间的位置先验知识,在模型的损失函数中加入先验知识约束l
    dist

    指导faster r-cnn目标检测模型的训练过程,使得本发明中的违章动火模型能有效检测动火操作人员、防护面罩、火焰以及灭火器目标,从而克服了漏检、误检的问题,充分提升了现场动火图像检测结果准确性。
    [0040]
    2、本发明中公开的违章动火检测方法,充分利用了违章动火检测模型所检测出的图像中各目标的类别及其检测框结果进行逻辑判断,进而判断出动火作业现场是否存在违章动火行为,充分提升了违章动火行为的判断准确性。
    附图说明:
    [0041]
    图1为本发明实施例1的违章动火检测模型的训练方法的流程图。
    [0042]
    图2为本发明实施例1中faster r-cnn目标检测模型训练框架图。
    [0043]
    图3为本发明实施例2的违章动火检测方法的流程图。
    [0044]
    图4为本发明实施例2的违章动火检测方法的逻辑推理图。
    具体实施方式:
    [0045]
    下面将结合附图通过实施例对本发明作进一步的详细说明。
    [0046]
    实施例1:如图1-2所示,违章动火检测模型的训练方法,其包括以下步骤:
    [0047]
    s1:按照预设的时间间隔提取动火作业现场的监控视频数据中的图像帧并保存为所述动火作业现场场景图像;将动火作业现场场景图像整理成图像数据集,并采用lableme对所述图像中的火焰、灭火器、人员以及防护面罩目标进行真实边界框标注和真实类别标注;上述标注过的所述图像形成训练集。
    [0048]
    s2:利用步骤s1中的所述训练集对预先构建的faster r-cnn目标检测模型进行训练,得到违章动火检测模型。
    [0049]
    s21:使用resnet-50网络模型对步骤s1中的训练集进行特征提取,生成特征图。
    [0050]
    s22:将步骤s21中的所述特征图输入到rpn网络中得到一组区域建议,其中包括在特征图上逐点滑动一个3
    ×
    3的窗口,特征图中的每个点,即每次滑动窗口位置的中心点位置映射到原始图像中,分别产生三种不同尺度(128、256、512)和三种不同长宽比(1:1、0.5:1、1:0.5)的候选感兴趣目标区域,再通过softmax层判断anchors属于前景或者背景,最后利用边界框修正anchors获得精确的候选区域建议。
    [0051]
    s23:以步骤s21中的所述特征图和步骤s22中的所述候选区域建议作为输入,将所述候选区域建议映射到所述特征图的对应位置,对映射后的所述特征图进行roi pooling池化操作得到建议特征图。
    [0052]
    roi pooling池化操作具体实现方法为:将映射后的特征图划分为相同大小的块(块的数量与输出特征图的维度相同),然后对每个块进行最大池化操作,从而将一组大小不一的候选区域特征图转化为固定统一尺寸的特征图,即建议特征图。
    [0053]
    s24:利用步骤s23中的所述建议特征图,通过检测网络的全连接层及softmax函数计算每个所述建议特征图所属的类别(如人员、灭火器、防护面罩和火焰),输出预测类别概率;同时再次利用边框回归获得每个区域建议的位置偏移量,以获得更加精确的预测检测框。
    [0054]
    其中预先构建的faster r-cnn目标检测模型所使用的损失函数l为:
    [0055]
    l=λ1l
    rpn
    λ2l
    fast rcnn
    λ3l
    dist
    [0056]
    其中l
    rpn
    是区域建议网络推荐候选区域产生的损失;l
    fast rcnn
    是检测产生的损失;l
    dist
    是本发明根据动火场景中动火操作人员和防护面罩以及火焰的位置先验知识,引入的对火焰和防护面罩的检测框位置的约束项,用以指导训练过程中模型在更合理的区域内提取火焰和防护面罩的特征,同时优化检测框的位置,使训练的违章动火检测模型权重更优;λ1、λ2和λ3是三个超参数,用于对l
    rpn
    、l
    fast rcnn
    和l
    dist
    三个函数的权重进行调整;其中本实施例中根据经验确定λ1、λ2和λ3三个超参数具体值,然后经过实验判断,并修改,最后得到λ1=λ2=1,λ3=0.1。
    [0057]
    其中l
    rpn
    定义为:
    [0058][0059]
    其中n
    cls
    表示一个最小批取值中的所有样本数量,本实施例中n
    cls
    =256,λ
    11
    表示平衡权重参数,本实施例中λ
    11
    =10,n
    reg
    表示每个特征图的像素点个数,本实施例中n
    reg
    ~2400;i表示一个批处理中锚点anchor的索引;pi为锚点anchor预测为前景目标的概率;表示真实值的标注;当标注为背景时,取值为0,当标注为前景时,取值为1;表示预测值和真实的标注值之间的对数损失,用来计算;是回归损失,用来计算,r是smooth l1损失函数:
    [0060][0061]
    ti={t
    x
    ,ty,tw,th}是一个向量,表示预测检测框的四个参数,(t
    x
    ,ty)表示预测检测框的中心点坐标,tw和th分别表示预测检测框的宽度和高度;是与ti维度相同的向量,表示真实边界框的中心点坐标、宽度和高度值。
    [0062]
    其中l
    fast rcnn
    定义为:
    [0063]
    l
    fast rcnn
    =l
    cls
    (p,u) λ
    22
    [u≥1]l
    ioc
    (tu,v)
    [0064]
    其中,p是预测的所有目标类别概率;u是所有目标的真实类别概率,λ
    22
    表示平衡权重参数,本实施例中λ
    22
    =10;l
    cls
    (p,u)是多分类的交叉熵损失函数:
    [0065][0066]
    其中,n为检测出的实例个数,m为类别个数,u
    ij
    表示第i个实例属于类别j的真实概率,是一个二值指标,根据训练集中的标注,当第i个实例属于类别j时,u
    ij
    =1,否则u
    ij
    =0;p
    ij
    为模型预测的第i个实例属于类别j的概率,也就是通过全连接层及softmax函数计算每个所述建议特征图所属的类别,输出的预测类别概率。
    [0067]
    l
    ioc
    表示回归损失,用来计算,其中
    其中tu表示预测目标框的位置值;v表示目标框的真实位置值;(x,y)是目标框的中心点坐标,w和h分别是目标框的宽度和高度。
    [0068]
    其中l
    dist
    定义为:
    [0069]
    l
    dist
    =u
    k1
    ·um2
    [(x
    k-xm)2 (y
    k-ym)2] u
    k1
    ·uh3
    [(x
    k-xh)2 (y
    k-yh)2]
    [0070]
    其中设人员类别值为1,防护面罩类别值为2,火焰类别值为3,灭火器类别值为4。
    [0071]uk1
    表示第k个检测实例为人员类别且为动火操作人员的真实概率值,本实例中由于动火现场除了动火操作人员外,还有监护人等,所以需要找出哪个是动火操作人员实例,根据先验知识,动火操作人员位置应该和防护面罩的检测位置框重合,所以用现场人员实例的检测位置与防护面罩的检测位置的距离最小值来锁定哪个人员实例是动火操作人员,即以排除监护人员实例的影响,其中u
    i1
    表示第i个检测实例为人员类别的真实概率值,本实施例中,根据训练集中标注的真实类别,当第i个检测实例为人员类别时,u
    i1
    =1,否则u
    i1
    =0;(xi,yi)、(xm,ym)分别代表预测的人员以及防护面罩的中心点坐标;距离u
    i1
    ·um2
    [(x
    i-xm)2 (y
    i-ym)2]取最小值时,k=i,此时第i(k)个检测实例为动火操作人员,因此u
    k1
    =1。
    [0072]um2
    表示第m个检测实例为防护面罩类别的真实概率,本实施例中,根据训练集中标注的真实类别,当第m个检测实例为防护面罩类别时,u
    m2
    =1,否则u
    m2
    =0。
    [0073]uh3
    表示第h个检测实例为火焰类别的真实概率,本实施例中,根据训练集中标注的真实类别,当第h个检测实例为火焰类别时,u
    h3
    =1,否则u
    h3
    =0。
    [0074]
    (xk,yk)、(xm,ym)、(xh,yh)分别代表预测的动火操作人员、防护面罩以及火焰实例的中心点坐标;其中u
    k1
    ·um2
    [(x
    k-xm)2 (y
    k-ym)2]是指动火操作人员和防护面罩检测框位置的距离,u
    k1
    ·uh3
    [(x
    k-xh)2 (y
    k-yh)2]是指动火操作人员和火焰的检测框位置的距离。
    [0075]
    使用训练集按照步骤s2的方法进行100000次迭代训练,在每次迭代训练的过程中,依据所述模型损失函数l,采用反向传播算法计算隐含层的误差,采用梯度下降算法更新所述faster r-cnn模型的参数(也就是步骤s22中rpn网络的参数以及步骤s24中检测网络的全连接层的参数),具体更新公式如下:其中为模型中的wj更新后的结果,wj为模型中第j个权重参数;η为学习率,初始化为0.0004,每10000次迭代后学习率衰减为原始学习率的一半;表示求导操作。
    [0076]
    本发明中公开的违章动火检测模型的训练方法,根据动火作业现场动火操作人员、防护面罩以及火焰之间的位置先验知识,在模型的损失函数中加入先验知识约束l
    dist
    ,指导faster r-cnn目标检测模型的训练过程,使得本发明中的违章动火模型能有效检测动火操作人员、防护面罩、火焰以及灭火器目标,从而克服了漏检、误检的问题,充分提升了现场动火图像检测结果准确性。
    [0077]
    实施例2:如图3所示,利用实施例1的违章动火检测模型进行的违章动火检测方法:其包括以下步骤:
    [0078]
    s1:将实时动火作业现场视频图像输入至使用违章动火检测模型的faster rcnn检测算法中,对所述动火作业现场视频图像中的人员、灭火器、防护面罩和火焰进行检测,
    得到图像中各目标的类别及其检测框结果。
    [0079]
    s2:对步骤s1中的所述图像中各目标的类别及其检测框结果进行综合判断,得出是否存在违章动火行为,如图4所示,具体判断的步骤如下:
    [0080]
    s21:若所述图像中检测出人员类别和火焰类别的目标同时存在,则判断为动火作业现场。
    [0081]
    s22:在步骤s21的基础上判断是否检测出防护面罩类别的目标同时存在,如果没有,则报警提示未戴防护面罩;如果存在,则根据防护面罩的检测位置和检测出的所有人员实例的检测框上部分依次进行相交面积φ计算,φ=sa∩sb,其中sa为某个人员实例的检测框上半部分区域面积,sb为检测出的防护面罩的边界框区域面积;如果每个φ=0,说明防护面罩未戴在脸部,也属于违规操作并报警,如果有任意一个φ>0,表示检测出有人员实例佩戴有防护面罩。
    [0082]
    s23:在步骤s22中检测出有人员实例佩戴有防护面罩的基础上,判断除了该人员实例外,是否还有其他人员实例,如果没有,说明现场缺少监护人员,也属于违规操作并报警,如果有,说明现场有监护人员。
    [0083]
    s24:在步骤s23中检测到有监护人员的基础上,判断是否检测出灭火器目标类别,如果没有,就被视为违章动火行为并报警;如果有,就视为正常动火行为。
    [0084]
    本发明中公开的违章动火检测方法,充分利用了违章动火检测模型所检测出的图像中各目标的类别及其检测框结果进行逻辑判断,进而判断出动火作业现场是否存在违章动火行为,充分提升了违章动火行为的判断准确性。
    [0085]
    以上是本发明的优选实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

    技术特征:
    1.违章动火检测模型的训练方法,其特征在于,其包括以下步骤:s1:将动火作业现场场景图像整理成图像数据集,并对所述图像中的火焰、灭火器、人员以及防护面罩目标进行真实边界框标注和真实类别标注;上述标注过的所述图像形成训练集;s2:利用步骤s1中的所述训练集对预先构建的faster r-cnn目标检测模型进行训练,得到违章动火检测模型;其中预先构建的faster r-cnn目标检测模型所使用的损失函数l为:l=λ1l
    rpn
    λ2l
    fastrcnn
    λ3l
    dist
    其中l
    rpn
    是区域建议网络推荐候选区域产生的损失;l
    fastrcnn
    是检测产生的损失;l
    dist
    是本发明根据动火场景中动火操作人员、防护面罩以及火焰的位置先验知识,引入的对火焰和防护面罩的检测框位置的约束项;λ1、λ2和λ3是三个超参数。2.根据权利要求1所述的违章动火检测模型的训练方法,其特征在于,所述步骤s2中,l
    rpn
    定义为:其中n
    cls
    表示一个最小批取值中的所有样本数量,λ
    11
    表示平衡权重参数,n
    reg
    表示每个特征图的像素点个数;i表示一个批处理中锚点anchor的索引;p
    i
    为锚点anchor预测为前景目标的概率;表示真实值的标注;表示预测值和真实的标注值之间的对数损失,用来计算;是回归损失,用来计算,r是smooth l1损失函数:t
    i
    ={t
    x
    ,t
    y
    ,t
    w
    ,t
    h
    }是一个向量,表示预测检测框的四个参数,(t
    x
    ,t
    y
    )表示预测检测框的中心点坐标,t
    w
    和t
    h
    分别表示预测检测框的宽度和高度;是与t
    i
    维度相同的向量,表示真实边界框的中心点坐标、宽度和高度值。3.根据权利要求1所述的违章动火检测模型的训练方法,其特征在于,所述步骤s2中,l
    fastrcnn
    定义为:l
    fastrcnn
    =l
    cls
    (p,u) λ
    22
    [u≥1]l
    ioc
    (t
    u
    ,v)其中,p是预测的所有目标类别概率;u是所有目标的真实类别概率,λ
    22
    表示平衡权重参数;l
    cls
    (p,u)是多分类的交叉熵损失函数:其中,n为检测出的实例个数,m为类别个数,u
    ij
    表示第i个实例属于类别j的真实概率,是一个二值指标;p
    ij
    为模型预测的第i个实例属于类别j的概率;
    l
    ioc
    表示回归损失,用来计算,其中其中t
    u
    表示预测目标框的位置值;v表示目标框的真实位置值;(x,y)是目标框的中心点坐标,w和h分别是目标框的宽度和高度。4.根据权利要求1所述的违章动火检测模型的训练方法,其特征在于,所述步骤s2中,l
    dist
    定义为:l
    dist
    =u
    k1
    ·
    u
    m2
    [(x
    k-x
    m
    )2 (y
    k-y
    m
    )2] u
    k1
    ·
    u
    h3
    [(x
    k-x
    h
    )2 (y
    k-y
    h
    )2]其中设人员类别值为1,防护面罩类别值为2,火焰类别值为3,灭火器类别值为4;u
    k1
    表示第k个检测实例为人员类别且为动火操作人员的真实概率值;u
    m2
    表示第m个检测实例为防护面罩类别的真实概率,u
    h3
    表示第h个检测实例为火焰类别的真实概率;(x
    k
    ,y
    k
    )、(x
    m
    ,y
    m
    )、(x
    h
    ,y
    h
    )分别代表预测的动火操作人员、防护面罩以及火焰实例的中心点坐标。5.根据权利要求4所述的违章动火检测模型的训练方法,其特征在于,其中u
    i1
    表示第i个检测实例为人员类别的真实概率值,(x
    i
    ,y
    i
    )、(x
    m
    ,y
    m
    )分别代表预测的人员以及防护面罩的中心点坐标。6.利用权利要求1-5任一所述的违章动火检测模型的训练方法得到的违章动火检测模型进行的违章动火检测方法,其特征在于,其包括以下步骤:s1:利用违章动火检测模型对输入的动火作业现场视频图像进行检测,得到图像中各目标的类别及其检测框结果;s2:对步骤s1中的所述图像中各目标的类别及其检测框结果进行综合判断,得出是否存在违章动火行为。7.根据权利要求6所述的违章动火检测方法,其特征在于,步骤s1中,将实时动火作业现场视频图像输入至使用违章动火检测模型的faster rcnn检测算法中,对所述动火作业现场视频图像中的人员、灭火器、防护面罩和火焰进行检测,得到图像中各目标的类别及其检测框结果。8.根据权利要求6所述的违章动火检测方法,其特征在于,步骤s2的具体判断的方法如下:s21:若所述图像中检测出人员类别和火焰类别的目标同时存在,则判断为动火作业现场;s22:在步骤s21的基础上判断是否检测出防护面罩类别的目标同时存在,如果没有,则报警提示未戴防护面罩;如果存在,进一步判断防护面罩是否戴在检测出的人员实例的面部,如果没有,属于违规操作并报警,如果有,表示有人员实例佩戴有防护面罩;s23:在步骤s22中检测出有人员实例佩戴有防护面罩的基础上,判断除了该人员实例外,是否还有其他人员实例,如果没有,说明现场缺少监护人员,也属于违规操作并报警,如果有,说明现场有监护人员;s24:在步骤s23中检测到有监护人员的基础上,判断是否检测出灭火器目标类别,如果没有,就被视为违章动火行为并报警;如果有,就视为正常动火行为。
    9.根据权利要求8所述的违章动火检测方法,其特征在于,步骤s22中,判断防护面罩是否戴在检测出的人员实例面部的方法:根据防护面罩的检测位置和检测出的所有人员实例的检测框上部分依次进行相交面积φ计算,如果每个φ=0,说明所有人员实例均未佩戴防护面罩,属于违规操作并报警,如果有任意一个φ>0,表示检测出有人员实例佩戴有防护面罩。10.根据权利要求9所述的违章动火检测方法,其特征在于,φ=s
    a
    ∩s
    b
    其中s
    a
    为某个人员实例的检测框上半部分区域面积,s
    b
    为检测出的防护面罩的边界框区域面积。

    技术总结
    本发明公开了违章动火检测模型的训练方法及利用该模型的检测方法,训练方法包括以下步骤:S1图像形成训练集;S2得到违章动火检测模型;检测方法包括以下步骤:S1得到图像中各目标的类别及其检测框结果;S2得出是否存在违章动火行为。有益效果:本发明中公开的违章动火检测模型的训练方法克服了漏检、误检的问题,充分提升了现场动火图像检测结果准确性;本发明中公开的违章动火检测方法,充分提升了违章动火行为的判断准确性。违章动火行为的判断准确性。违章动火行为的判断准确性。


    技术研发人员:王富河 孙志强 丁建兵 何川 潘作为 张宏元 付福军 石彦鹏 李大明 崔斌 樊树森 张宏宇 强景云 张勇飞 卢鑫 丁维栋 李云龙 刘凤超
    受保护的技术使用者:内蒙古京宁热电有限责任公司
    技术研发日:2022.02.16
    技术公布日:2022/5/25
    转载请注明原文地址:https://tc.8miu.com/read-11995.html

    最新回复(0)