一种道路交通护栏识别方法及装置与流程

1.本技术涉及图像识别技术领域与交通技术领域相结合的技术领域，尤其涉及一种道路交通护栏识别方法及装置。


背景技术：

2.随着交通道路的发展，在车辆出行过程中，道路上的交通护栏有着重要作用。比如，能够阻止车辆驶出道路外，或阻止失控车辆穿越中央分隔带驶入对向车道；再比如，在夜间、大雨、大雾等条件下，还能够诱导司机正确把握方向的设施；再比如，当车辆失控与交通护栏碰撞时，还可起到缓冲的作用，能够有效地减小冲击力，降低车与人的损伤。
3.由于，交通护栏一般安置在交通道路上(路的转弯处、路及高架路的进出口等)，受自然环境(如刮风下雨)及人为因素(例如护栏与车相撞)的影响，难免会出现褪色、变形、倾倒等现象。目前，在复杂的交通场景下，判断交通护栏的状态，一般安排专人专岗，工作量大且难保实时性和准确性。
4.因此，如何识别交通护栏以及得到交通护栏的状态是目前亟需解决的问题。


技术实现要素：

5.本技术提供一种道路交通护栏识别方法及装置，用以识别交通护栏以及得到交通护栏的状态。
6.第一方面，提供一种道路交通护栏识别方法，包括：
7.获取待识别的图像；基于可变形卷积神经网络，对所述图像进行任意形状框的特征提取，识别得到所述图像中的交通护栏；其中，所述可变形卷积神经网络包括五组残差块，每一个残差块都由两层卷积神经网络组成，所述五组残差块中第一至第三组残差块中的每个残差块依次采用1＊1的卷积核和3＊3的卷积核对输入的特征图进行正常卷积，第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积；基于二分类交叉熵损失函数，对所述交通护栏进行状态检测，得到所述交通护栏的状态；所述交通护栏的状态包括倾倒、正常状态中的一种。
8.在一种可能实现的方式中，所述采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积，包括：
9.基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量；根据所述1＊1卷积核和3＊5卷积核中每个采样点的偏移量，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的采样位置。
10.在一种可能实现的方式中，所述基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量，包括：
11.根据第一采样点的位置，确定与所述第一采样点位置相近的四个采样点的位置，所述第一采样点为卷积核中任意一个采样点；根据所述四个采样点的位置，计算所述第一采样点的偏移量。
12.在一种可能实现的方式中，所述二分类交叉熵损失函数的表达式为：
[0013][0014]
其中，n的取值为2，yi为样本i的标签，pi表示样本i预测为交通护栏倾倒的概率。
[0015]
在一种可能实现的方式中，所述可变形卷积神经网络为cspdarknet 53网络。
[0016]
第二方面，提供一种道路交通护栏识别装置，包括：
[0017]
获取模块，被配置为获取待识别的图像；特征提取模块，被配置为基于可变形卷积神经网络，对所述图像进行任意形状框的特征提取，识别得到所述图像中的交通护栏；其中，所述可变形卷积神经网络包括五组残差块，每一个残差块都由两层卷积神经网络组成，所述五组残差块中第一至第三组残差块中的每个残差块依次采用1＊1的卷积核和3＊3的卷积核对输入的特征图进行正常卷积，第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积；检测模块，被配置为基于二分类交叉熵损失函数，对所述交通护栏进行状态检测，得到所述交通护栏的状态；所述交通护栏的状态包括倾倒、正常状态中的一种。
[0018]
在一种可能实现的方式中，所述特征提取模块被具体配置为：基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量；根据所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的采样位置。
[0019]
在一种可能实现的方式中，所述特征提取模块被具体配置为：
[0020]
根据第一采样点的位置，确定与所述第一采样点位置相近的四个采样点的位置，所述第一采样点为卷积核中任意一个采样点；根据所述四个采样点的位置，计算所述第一采样点的偏移量。
[0021]
在一种可能实现的方式中，所述二分类交叉熵损失函数的表达式为：
[0022][0023]
其中，l为，n为yi为样本i的标签，pi表示样本i预测为交通护栏倾倒的概率。
[0024]
在一种可能实现的方式中，所述可变形卷积神经网络为cspdarknet 53网络。
[0025]
本技术实施例中，基于可变形卷积神经网络(比如改进的cspdarknet 53网络)，对输入的图像进行任意形状框的特征提取，从而提高了对交通护栏非刚性形变的特征表达；再将提取到的特征通过二分类交叉熵损失函数算法，扩大交通护栏未倾倒和护栏倾倒之间的区别，通过限制输出的方式，减少了误检情况，从而提高了对交通护栏倾倒检测的准确率。
[0026]
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本技术各较佳实施例。
附图说明
[0027]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以
根据这些附图获得其他的附图。
[0028]
图1为本技术实施例改进的yolo v4算法的结构示意图；
[0029]
图2为目前cspdarknet53网络的结构示意图；
[0030]
图3为正常卷积与可变形卷积的采样方式对比图；
[0031]
图4为本技术实施例改进的cspdarknet53网络的结构示意图；
[0032]
图5为基于3＊5卷积核对输入的特征图进行可变形卷积的过程图；
[0033]
图6为本技术实施例提供的一种道路交通护栏识别的效果图；
[0034]
图7为本技术实施例提供的一种道路交通护栏识别方法的流程图；
[0035]
图8为本技术实施例提供的一种道路交通标线识别装置的结构示意图；
[0036]
图9为本技术实施例提供的一种通信装置的结构示意图。
具体实施方式
[0037]
下面将结合附图对本技术实施例中的技术方案进行清楚、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，
″
/
″
表示或的意思，例如，a/b可以表示a或b；文本中的
″
和/或
″
仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，
″
多个
″
是指两个或多于两个。
[0038]
以下，术语
″
第一
″
、
″
第二
″
仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐合指明所指示的技术特征的数量。由此，限定有
″
第一
″
、
″
第二
″
的特征可以明示或者隐合地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，
″
多个
″
的含义是两个或两个以上。
[0039]
通常情况下，交通护栏一般为浅色，会导致实际应用场景下检测识别的效果差；且交通护栏往往随着道路走向会发生非刚性形变，也为对道路上的交通护栏进行检测进一步增加了难度。
[0040]
基于上述问题，本技术实施例中，基于改进的目标检测算法(比如yolo v4算法)实现对交通护栏的准确识别与分类，该算法的整体框架如图1所示。主要由可实现可变形卷积的cspdarknet 53网络、二分类交叉熵损失函数所构成。cspdarknet 53网络用于对待识别的图像进行特征提取，二分类交叉熵损失函数用于对cspdarknet 53网络提取到的特征状态进行分类(例如区分提取到的特征是倾倒还是正常)。
[0041]
目前，基于卷积神经网络(例如spdarknet53网络)对图像进行特征提取时，一般进行上下层特征图的融合，高层的网络特征可提供复杂场景下的高级语义信息，底层的网络特征可提供复杂场景下的目标位置、多尺度特征信息等，最终可提取到3个不同尺度的特征图。举例来说，当该网络输入的图像尺寸规格为608＊608时，经过cspdarknet53网络进行特征提取后，可输出三个特征图，尺寸分别为76
×
76，38
×
38，19
×
19。此外，该网络还可在每组残差块(residual block)中加上一个交叉阶段部分(cross stage partial)结构。该cspdarknet53网络结构可如图2所示，以输入的图像规格为256x256为例，首先经过一个3x3x32的卷积层输出的规格为256x256x32；接着经过一个3x3x64、步长(stride)＝2的卷积层输出的规格为128x128x64；接着经过一个残差块，输出的规格为128x128x64；再经过一个3x3x128、stride＝2的卷积层输出的规格为64x64x128；经过2个残差块后输出规格为
64x64x64；接着经过一个3x3x256、stride＝2的卷积层输出的规格为32x32x256接着经过8个残差块，输出的规格为32x32x128；再经过一个3x3x512、stride＝2的卷积层输出的规格为16x16x512；接着经过8个残差块后输出的规格为16x16x256；接着经过一个3x3x1024、stride＝2的卷积层输出的规格为8x8x1024；接着经过4个残差块后输出的规格为8x8x512；最后经过池化全连接层以及最大分类器(softmax)输出。
[0042]
但是在复杂的应用场景下，基于cspdarknet 53网络进行特征提取到的常规正方形感受野，无法适应智能交通场景下交通护栏的外形变化。基于该cspdarknet 53网络结构进行特征提取，虽然该网络中的正方形卷积核可获取较多语义信息，但是对道路护栏的扭曲形变信息获取有限。由于该网络其构建的模块中固定了几何结构，因此固有的局限性在于模型的几何变换。
[0043]
本技术实施例中为了打破卷积的局限性，在该网络中引入新的模块来提高该网络对变换的建模能力，可在不需要额外监视的情况下，使用附加偏移量来增加模块中的空间采样位置，并从目标任务中学习偏移量。该新的模块可以很容易地取代现有卷积神经网络中(例如cspdarknet 53)的模块，并且可以通过标准的反向传播进行端到端的简单训练，从而产生可变形卷积神经网络。可变形卷积的本质就是卷积的位置是可变的，并非在的n
×
n的网格上做标准卷积，输出的特征图可为任意形状框的特征图(例如与交通护栏形状拟合)。如图3所示，示出了卷积核大小为3x3的正常卷积和可变形卷积的采样方式，(a)所示了正常卷积规律的采样9个点，(b)(c)(d)为可变形卷积，在正常的采样坐标上加上一个位移量(箭头)，其中，(c)(d)作为(b)的特殊情况，展示了可变形卷积可以作为尺度变换，比例变换和旋转变换的特殊情况。该可变形卷积是对空洞卷积(atrous convolution)的一种泛化。
[0044]
本技术实施例中，在cspdarknet 53网络中增加可变形卷积后，该网络对不同的物体(例如交通护栏)，卷积层提取的特征点是不一样的，可以根据交通护栏的大小形状适应性的提取不同的特征。同时感受野会随交通护栏大小适应性的变化，且对大型交通护栏的感受野可以有效的覆盖该交通护栏。对小型交通护栏的感受野可以集中在该交通护栏周围，而不会过多的采集背景信息。由于该过程可以很方便地替换cspdarknet 53网络中现有的卷积层，并可使用返向传播进行重复训练，无需额外训练和标注，相较于原cspdarknet 53网络，仅增加轻微的网络参数和返向传播时间，却显著提高了识别交通护栏的精度。
[0045]
图4为本技术实施例改进的cspdarknet 53网络的结构示意图。如图所示，基于图2中cspdarknet 53网络结构，图2中第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核(也可称交通护栏拟合卷积)，对输入的特征图进行可变形卷积，其目的是为了学习偏移量，从而可以有效针对交通护栏的扭曲形变进行表征。
[0046]
可选的，基于3＊5的卷积核对输入的特征图进行可变形卷积的过程可如图5所示。如图所示，该过程可预先通过一个作用在输入特征图的卷积操作中得到一组卷积核偏移的预测结果。可选的，基于双线性插值法，确定卷积核中每个采样点的偏移量，根据该卷积核中每个采样点的偏移量，确定该卷积核中每个采样点的采样位置。可选的，偏移量的计算，以卷积核中任意一个采样点为例，根据该采样点的位置，确定与该采样点位置相近的四个采样点的位置，根据该四个采样点的位置，计算该采样点的偏移量。最终，这个偏移特征图的尺寸和输入特征图的尺寸保持相同。偏移特征图的通道数为2n(其中，2是指每个偏移是
(x，y)两个值，n是卷积核的像素个数)。例如，当卷积核的大小为3＊5，n＝9时。从这里可以看出，该可变形卷积神经网络是为输入特征图的每个像素点学习一组偏移(做一个偏移插值操作)，同一个特征图的不同通道数使用相同的预测偏移。
[0047]
通过上述方式在网络中cspdarknet 53网络中增加交通护栏拟合卷积，以增强该网络学习偏移量的过程，从而提高对道路上交通护栏非刚性形变的特征表达，也增加了该网络对交通护栏的识别能力。如图6所示，示出了道路上交通护栏的识别效果图。从图中可知，在进行可变形卷积地过程中，采样的位置集中于交通护栏所在的位置，从而使感受野更倾向于交通护栏区域。
[0048]
可选的，在一些实施例中，智能交通场景下，交通护栏的倾倒检测，常常基于yolo v4算法中的多分类损失函数。为了提升检测结果的准确性，可将基于yolo v4算法的多分类损失函数修改为二分类交叉熵损失函数，从而提升检测结果的准确性。
[0049]
以区分交通护栏正常(未倾倒)和倾倒两个大类为例，在二分类的情况下，交通护栏检测算法模型(比如二分类交叉熵损失函数算法)最后的检测结果一般只有这两种情况，对于每个类别得到的概率为p和1-p。可选的，二分类交叉熵损失函数的公式为：
[0050][0051]
其中，n的取值为2，yi为样本i的标签，正类(可代表交通护栏未倾倒)为1，负类(可代表交通护栏倾倒)为0；pi表示样本i预测为正类的概率。
[0052]
本技术实施例中，将基于cspdarknet 53网络提取到的特征，再通过二分类交叉熵损失函数的算法，扩大了交通护栏未倾倒和护栏倾倒之间的区别，通过限制输出的方式，减少了误检情况，从而提高了对交通护栏倾倒检测的准确率。
[0053]
图7为本技术实施例提供的一种道路交通护栏识别方法的流程图。该方法可由交通护栏识别装置所执行。该装置可通过软件方式实现，也可通过硬件方式实现，还可通过软件和硬件结合的方式实现。
[0054]
701：获取待识别的图像。
[0055]
该步骤中，获取待识别的图像可以是基于交通道路上配置的摄像头，接通实时流画面，逐帧获取图像地址并解码重编码成所需的格式图像。
[0056]
702：基于可变形卷积神经网络(比如cspdarknet 53网络)，对获取到的图像进行任意形状框的特征提取，识别得到图像中的交通护栏。
[0057]
该步骤中，对获取到的图像进行特征提取可参照上文描述，在此不再重复。
[0058]
703：基于二分类交叉熵损失函数，对交通护栏进行状态检测。其中，交通护栏的状态包括正常、倾倒中的一种。
[0059]
可选的，通过上述方法，可将检测到的结果推送至平台，便于相关人员进行有效查询和管理，当检测到交通护栏倾倒时，便于及时的采取相应措施，提高交通安全性。
[0060]
本技术实施例中，基于可变形卷积神经网络(比如改进的cspdarknet 53网络)，对输入的图像进行任意形状框的特征提取，从而提高了对交通护栏非刚性形变的特征表达；再将提取到的特征通过二分类交叉熵损失函数算法，扩大了交通护栏未倾倒和护栏倾倒之间的区别，通过限制输出的方式，减少了误检情况，从而提高了对交通护栏倾倒检测的准确率。
[0061]
基于相同的技术构思，本技术实施例还提供了一种装置，该装置可实现本技术实
施例中上述道路交通护栏识别的方法流程。
[0062]
图8为本技术实施例提供的一种道路交通标线识别装置的结构示意图。如图所示，该装置包括：获取模块801、特征提取模块802、检测模块803。
[0063]
获取模块801，被配置为获取待识别的图像。
[0064]
特征提取模块802，被配置为基于可变形卷积神经网络，对所述图像进行任意形状框的特征提取，识别得到所述图像中的交通护栏；其中，所述可变形卷积神经网络包括五组残差块，每一个残差块都由两层卷积神经网络组成，所述五组残差块中第一至第三组残差块中的每个残差块依次采用1＊1的卷积核和3＊3的卷积核对输入的特征图进行正常卷积，第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积。
[0065]
在一种可能实现的方式中，所述特征提取模块802被具体配置为：基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量；根据所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的采样位置。
[0066]
在一种可能实现的方式中，所述特征提取模块802被具体配置为：根据第一采样点的位置，确定与所述第一采样点位置相近的四个采样点的位置，所述第一采样点为卷积核中任意一个采样点；根据所述四个采样点的位置，计算所述第一采样点的偏移量。
[0067]
检测模块803，被配置为基于二分类交叉熵损失函数，对所述交通护栏进行状态检测，得到所述交通护栏的状态；所述交通护栏的状态包括倾倒、正常状态中的一种。
[0068]
在此需要说明的是，本技术实施例提供的上述装置，能够实现上述道路交通护栏识别方法实施例中的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0069]
图9示例性示出了本技术实施例提供的通信装置的结构示意图。
[0070]
如图所示，该装置可包括：处理器901、存储器902以及总线接口903。
[0071]
处理器901负责管理总线架构和通常的处理，存储器902可以存储处理器901在执行操作时所使用的数据。
[0072]
总线架构可以包括任意数量的互联的总线和桥，具体由处理器901代表的一个或多个处理器和存储器902代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器901负责管理总线架构和通常的处理，存储器902可以存储处理器901在执行操作时所使用的数据。
[0073]
本技术实施例揭示的流程，可以应用于处理器901中，或者由处理器901实现。在实现过程中，信号处理流程的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。处理器901可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所申请的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领
域成熟的存储介质中。该存储介质位于存储器902，处理器901读取存储器902中的信息，结合其硬件完成信息处理流程的步骤。
[0074]
具体地，处理器901，用于读取存储器902中的计算机指令并执行本技术实施例中的一种道路交通护栏识别方法。
[0075]
在此需要说明的是，申请本技术实施例提供的上述通信装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0076]
本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的一种道路交通护栏识别方法。
[0077]
本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行上述实施例中的一种道路交通护栏识别方法。
[0078]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0079]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0080]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0081]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种道路交通护栏识别方法，其特征在于，包括：获取待识别的图像；基于可变形卷积神经网络，对所述图像进行任意形状框的特征提取，识别得到所述图像中的交通护栏；其中，所述可变形卷积神经网络包括五组残差块，每一个残差块都由两层卷积神经网络组成，所述五组残差块中第一至第三组残差块中的每个残差块依次采用1＊1的卷积核和3＊3的卷积核对输入的特征图进行正常卷积，第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积；基于二分类交叉熵损失函数，对所述交通护栏进行状态检测，得到所述交通护栏的状态；所述交通护栏的状态包括倾倒、正常状态中的一种。2.如权利要求1所述的方法，其特征在于，所述采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积，包括：基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量；根据所述1＊1卷积核和3＊5卷积核中每个采样点的偏移量，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的采样位置。3.如权利要求2所述的方法，其特征在于，所述基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量，包括：根据第一采样点的位置，确定与所述第一采样点位置相近的四个采样点的位置，所述第一采样点为卷积核中任意一个采样点；根据所述四个采样点的位置，计算所述第一采样点的偏移量。4.如权利要求1所述的方法，其特征在于，所述二分类交叉熵损失函数的表达式为：其中，n的取值为2，y
i
为样本i的标签，p
i
表示样本i预测为交通护栏倾倒的概率。5.如权利要求1-4任一项所述的方法，其特征在于，所述可变形卷积神经网络为cspdarknet 53网络。6.一种道路交通护栏识别装置，其特征在于，包括：获取模块，被配置为获取待识别的图像；特征提取模块，被配置为基于可变形卷积神经网络，对所述图像进行任意形状框的特征提取，识别得到所述图像中的交通护栏；其中，所述可变形卷积神经网络包括五组残差块，每一个残差块都由两层卷积神经网络组成，所述五组残差块中第一至第三组残差块中的每个残差块依次采用1＊1的卷积核和3＊3的卷积核对输入的特征图进行正常卷积，第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积；检测模块，被配置为基于二分类交叉熵损失函数，对所述交通护栏进行状态检测，得到所述交通护栏的状态；所述交通护栏的状态包括倾倒、正常状态中的一种。7.如权利要求6所述的装置，其特征在于，所述特征提取模块被具体配置为：基于双线性插值法，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量；根据所述1＊1的卷积核和3＊5的卷积核中每个采样点的偏移量，确定所述1＊1的卷积核和3＊5的卷积核中每个采样点的采样位置。
8.如权利要求7所述的装置，其特征在于，所述特征提取模块被具体配置为：根据第一采样点的位置，确定与所述第一采样点位置相近的四个采样点的位置，所述第一采样点为卷积核中任意一个采样点；根据所述四个采样点的位置，计算所述第一采样点的偏移量。9.如权利要求6所述的装置，其特征在于，所述二分类交叉熵损失函数的表达式为：其中，n的取值为2，y
i
为样本i的标签，p
i
表示样本i预测为交通护栏倾倒的概率。10.如权利要求7-9任一项所述的装置，其特征在于，所述可变形卷积神经网络为cspdarknet 53网络。

技术总结
本申请公开了一种道路交通护栏识别方法及装置，图像识别技术领域与交通技术领域相结合的技术领域。该方法包括：获取待识别的图像；基于可变形卷积神经网络，对所述图像进行任意形状框的特征提取，识别得到所述图像中的交通护栏；其中，所述可变形卷积神经网络包括五组残差块，每一个残差块都由两层卷积神经网络组成，所述五组残差块中第一至第三组残差块中的每个残差块依次采用1＊1的卷积核和3＊3的卷积核对输入的特征图进行正常卷积，第四组残差块与第五组残差块中的每个残差块依次采用1＊1的卷积核和3＊5的卷积核对输入的特征图进行可变形卷积；基于二分类交叉熵损失函数，对所述交通护栏进行状态检测，得到所述交通护栏的状态。状态。状态。


技术研发人员：陈维强 王雯雯 冯远宏 刘爱华
受保护的技术使用者：青岛海信网络科技股份有限公司
技术研发日：2022.03.08
技术公布日：2022/5/25