一种基于LBP特征的卷积神经网络地面材质图像分类方法

一种基于lbp特征的卷积神经网络地面材质图像分类方法
技术领域
1.本发明涉及图像处理的技术领域，特别是一种基于lbp特征的卷积神经网 络地面材质图像分类方法。


背景技术：

2.目前主流的地面材质识别方法是基于地面图像进行分类，对相机获取的地 面图像提取主要特征后选用合适的分类方法进行判别。无人驾驶控制领域大多 是基于单一路面状况进行决策，但实际应用场景往往要比理想场景更为复杂。 这时由于地面材质差异导致的误差将会影响车辆的控制精度。近年来，随着深 度学习算法在计算机视觉领域的应用研究发展，基于反向传播的各类神经网络 模型不断涌现，越来越多新模型在图像识别方面展现出比传统特征工程更大的 潜力。2012年krizhevsky等人提出alexnet模型，首次提出relu激活函数、 dropout稀疏连接方法等，极大地促进了深度学习在图像领域的发展。随后出 现的vggnet、googlelenet等不断地提高深度学习模型在图像识别方面的精 准度和可靠性，逐渐开始代替发展了数十年的特征工程方法。地面材质识别方 法也有了新的可能性。
3.在汽车行驶时，影响行驶情况的除了路况、障碍物等因素外，地面的材质、 纹理、光滑度等也会影响车辆和地面之间的摩擦系数。以至于影响车辆的启动、 运行和刹车情况。这时地面材质差异导致的误差将会影响车辆的控制精度。在 数据量充足的情况下，使用当前深度学习领域主流的神经网络模型如vgg、 resnet对地面材质识别能达到不错的准确率，但由于路面状况复杂，即使相 同类型的地面在不同地域也存在一定的差异，模型在实际用于无人驾驶路面检 测时往往和训练验证时有一定的差距。这时运用迁移学习的策略，使用实时采 集的数据继续对模型进行训练可以解决此问题。由于迁移学习需要一定量的新 数据对模型进行微调，无人车行驶又具有一定的实时性，这导致迁移学习不能 在现场采集足够的数据用来微调模型。因此给实时路面检测带来了困难和挑战。
4.基于深度学习方法的图像材质识别方法近年来非常火热，材质识别旨在识 别自然材质图像中的主要对象及其所属材料类别。
5.公开号为cn107341518a的发明专利申请公开了一种基于卷积神经网络的 图像分类方法，所述方法包括如下步骤：深层卷积神经网络的构建，深层卷积 神经网络的改进，深层卷积神经网络的训练及测试，优化网络参数。该方法的 缺点是网络深度不够，一般适用于图像中主体目标色彩、形状等差异较大的图 像分类，而对于地面材质、纹理等特征不敏感，识别效果较差。


技术实现要素：

6.为了解决上述的技术问题，本发明提出了一种基于lbp特征的卷积神经 网络地面材质图像分类方法，根据先验知识提出使用传统lbp特征描述子和 深度学习模型法相结合的分类方法，即在训练卷积神经网络模型时，除了使用 采集的原始图片进行训练，还使用
了lbp描述子对地面材质图像进行特征工 程-提取图像的纹理特征加入到模型中，达到使模型快速拟合实际路面数据的 目的。
7.本发明提供一种基于lbp特征的卷积神经网络地面材质图像分类方法，包 括提取地表材质数据集，还包括以下步骤：
8.步骤1：生成基于lbp算子的地面材质识别模型；
9.步骤2：使用所述训练集中的图像对所述地面材质识别模型进行训练，生 成优化后的地面材质识别模型；
10.步骤3：使用所述测试集中的图像对所述优化后的地面材质识别模型进行 测试，并输出测试结果。
11.优选的是，所述地表材质数据集包含5类地形，从每一类地形中选取n 张图像作为训练集，其余图像作为测试集。
12.在上述任一方案中优选的是，所述地面材质识别模型是以mobilenet v2 网络为基础，使用lbp算子与cnn网络相结合的模型。
13.在上述任一方案中优选的是，在所述地面材质识别模型中增加注意力模块， 所述注意力模块作为神经网络的辅助分类模块。
14.在上述任一方案中优选的是，所述注意力模块使用lbp算子从原始图像 中提取图像的纹理特征，经过提取纹理特征的卷积层后，使用特征图大小的卷 积核做卷积计算而对特征图进行空间整合，再通过门结构的激活层得到特征向 量。
15.在上述任一方案中优选的是，所述注意力模块的工作方法为主干网络使用 mobilenet的卷积层提取图像特征，得到7*7大小的特征图，随后使用深度卷 积对输入图像的特征图进行注意力激活，得到注意力特征图，再输入到后续分 类层进行图像分类。
16.在上述任一方案中优选的是，所述步骤2中的模型训练包括以下子步骤：
17.步骤21：求出平均像素值及方差；
18.步骤22：图片训练前进行标准化处理。
19.在上述任一方案中优选的是，所述步骤21包括对所有图片数据归一化到 0～1之间，按照rgb三通道分别计算像素值的大小及图像方差。
20.在上述任一方案中优选的是，所述步骤22包括将图像数据减去均值后除 以方差，公式为
21.x＝x-mean_value
[0022][0023]
其中，x表示图像数据，mean_calue表示图像的均值，std_value表示图像 的方差。
[0024]
在上述任一方案中优选的是，所述步骤3中的模型测试分为数据性能测试 和部署在线测试。
[0025]
在上述任一方案中优选的是，所述数据性能测试包括把多张图像和对应的 标签作为测试集输入到网络中，模型输出识别的准确率，代表图像识别正确的 数量占总数的比例。
[0026]
在上述任一方案中优选的是，所述部署在线测试包括像头采集图像后输入 到嵌入式设备中先进行预处理，随后通过网络计算输出识别结果，识别结果为 该图像所属地面
材质类型。
[0027]
本发明提出了一种基于lbp特征的卷积神经网络地面材质图像分类方法， 采用更适合工业边缘计算设备的mobilenet网络为主要方法，在边缘设备的推 理速度更快，更符合辅助无人驾驶的应用场景下。
附图说明
[0028]
图1为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的流程图。
[0029]
图2为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的几种lbp算子的一实施例的不同邻域示意图。
[0030]
图3为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的地表材质数据集例示意图。
[0031]
图4为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的lbp分支结构示意图。
[0032]
图5为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的mobilenet-lbp模型结构示意图。
[0033]
图6为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的模型评估结果示意图。
[0034]
图7为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的道路裂缝图像数据集示意图。
[0035]
图8为按照本发明的基于lbp特征的卷积神经网络地面材质图像分类方法 的一优选实施例的路面材质检测流程图。
具体实施方式
[0036]
下面结合附图和具体的实施例对本发明做进一步的阐述。
[0037]
实施例一
[0038]
如图1所示，执行步骤100，提取地表材质数据集。
[0039]
执行步骤110，生成基于lbp算子的地面材质识别模型。所述地表材质数 据集包含5类地形，从每一类地形中选取n张图像作为训练集，其余图像作为 测试集。
[0040]
执行步骤120，使用所述训练集中的图像对所述地面材质识别模型进行训 练，生成优化后的地面材质识别模型。所述地面材质识别模型是以mobilenetv2网络为基础，使用lbp算子与cnn网络相结合的模型。在所述地面材质识 别模型中增加注意力模块，所述注意力模块作为神经网络的辅助分类模块。所 述注意力模块使用lbp算子从原始图像中提取图像的纹理特征，经过提取纹 理特征的卷积层后，使用特征图大小的卷积核做卷积计算而对特征图进行空间 整合，再通过门结构的激活层得到特征向量。所述注意力模块的工作方法为主 干网络使用mobilenet的卷积层提取图像特征，得到7*7大小的特征图，随后 使用深度卷积对输入图像的特征图进行注意力激活，得到注意力特征图，再输 入到后续分类层进行图像分类。
[0041]
模型训练包括以下子步骤：
[0042]
步骤21：求出平均像素值及方差；对所有图片数据归一化到0～1之间， 按照rgb三通道分别计算像素值的大小及图像方差。
[0043]
步骤22：图片训练前进行标准化处理，将图像数据减去均值后除以方差， 公式为
[0044]
x＝x-mean_value
[0045][0046]
其中，x表示图像数据，mean_calue表示图像的均值，std_value表示图像 的方差。
[0047]
执行步骤130，使用所述测试集中的图像对所述优化后的地面材质识别模 型进行测试，并输出测试结果。
[0048]
模型测试分为数据性能测试和部署在线测试。所述数据性能测试包括把多 张图像和对应的标签作为测试集输入到网络中，模型输出识别的准确率，代表 图像识别正确的数量占总数的比例。所述部署在线测试包括像头采集图像后输 入到嵌入式设备中先进行预处理，随后通过网络计算输出识别结果，识别结果 为该图像所属地面材质类型。
[0049]
实施例二
[0050]
本发明针对材质图像数据集通常数据量少、人工标注局部纹理区域困难所 导致的材质识别准确率低的问题，提出了一种基于注意力机制和深度卷积神经 网络的材质识别方法，该方法的核心是材质识别深度卷积神经网络 (materialnet)。materialnet利用深度残差网络对图像进行特征提取，采用所提 出的级联空洞空间金字塔池化的方式引入注意力机制，使网络可以通过端到端 训练自适应地关注包含纹理特征的关键区域，从而有效识别材质的局部纹理特 征。在fmd材质数据集上进行实验，materialnet的总体识别准确率可达到 82.3％。
[0051]
1、lbp特征
[0052]
lbp(local binary patterns)首先由t.ojala,m.和d.harwood在 1994年提出，是一种表述灰度图像某像素点与周围像素点大小关系的二进制 描述，是一种用来描述图像局部纹理特征的算子。它具有旋转不变性和灰度不 变性等显著的优点，本发明采用lbp特征子采集图像局部的纹理特征。
[0053]
原始的lbp算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相 邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像 素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经过比较可产 生8位二进制数(通常转换为十进制数即lbp码，共256种)，即得到该窗口 中心像素点的lbp值，并用这个值来反映该区域的纹理信息。
[0054]
ojala等为了使lbp算子适应不同尺度的纹理特征,将3
×
3邻域扩展到了任 意邻域,并把正方形邻域用圆形邻域替代,且对于没有完全落在像素点位置上的 灰度值采用双线性插值算法进行计算。改进后的lbp算子半径和像素点个数 可以是任意的,用半径为r,采样点为p来表示采样方式,不同邻域如图2所示， 其中，左侧参数r＝1，p＝8，中间为r＝2，p＝16，右侧为r＝2，p＝8。
[0055]
2、基于lbp算子的地面材质识别模型
[0056]
卷积神经网络方法对于复杂场景下的识别任务表现良好，但需要大量的标 注数
据才能训练出性能较好的模型，且由于不同地区地形差异导致训练集和实 测图像特征分布不同，解决这个问题可采用迁移学习和领域自适应(domainadaptation)方法。这需要在面临新场景时给定一些标定数据和额外的计算， 而无监督领域自适应(unsupervised domain adaptation)方法则需要更大的计 算量。这些条件在无人车实际运行场景制约了其识别的速度和精度。经过一些 研究和测试后，我们发现使用传统的lbp算子与cnn结合的模型在地形识别 (数据示例如图3所示，从左到右依次为石头地、水泥地、沼泽地、泥土地、 草地)任务中具有更强的鲁棒性，并且在相同条件下使用迁移学习方法需要的 计算量也更少。
[0057]
3、mobilenet v2
[0058]
mobilenet网络系列在近几年被广泛应用，更是轻量级网络的典型代表。 mobilenet网络结构如表1所示，在经典的cnn网络结构基础上，将池化层、 部分全连接层用卷积层来代替，其突出特点是引入了深度可分离卷积的卷积形 式。标准卷积是将一组卷积核与输入数据作用后组合成单通道特征的输出。而 深度可分离卷积是因式分解的卷积形式，将标准卷积分解为深度卷积和1
×
1 逐点卷积两部分，深度卷积是把单个固定大小的卷积核作用到每个输入通道， 然后逐点卷积通过1
×
1的卷积核来进行通道信息融合并输出。当使用3
×
3 的深度可分离卷积时，其计算量比标准卷积少8～9倍，而精度只有很小的损 失。mobilenetv2在mobilenetv1的基础上进一步优化，融合resnet的残差连 接思想并在模型结构上进行了改进，在参数量降低的同时使模型性能进一步提 升。使用mobilenetv2对图像进行分类，计算量和计算时间相较于vgg、resnet 等网络大大降低，即使用cpu进行运算也能达到15fps，可以满足无人驾驶 便携设备的识别任务要求。
[0059][0060][0061]
表1 mobilenetv2网络结构
[0062]
4、lbp-attention分支
[0063]
attention机制源自于人类视觉注意力机制：将有限的注意力集中在重点信 息上，从关注全部到关注重点，从而节省资源，快速获得最有效的信息。对于 attention而言，就是一种权重参数的分配机制，目标是协助模型捕捉重要信息。 注意力机制中的计算过程可以理解为带权求和，在不同的上下文情况下将会使 图像获得不同的激励，使网络分类时聚焦所关注的特征。本方法在先验知识的 基础上，通过attention机制将图像的lbp特征用于辅助材质图像分类。
[0064]
在cnn模型的基础上，我们通过添加lbp算子提取图像的纹理特征构建 注意力模块(lbp-attention)，如图4所示，该模块由一个简单的全卷积网络构 成,对提取的feature map进行筛选进而改善模型的分类效果。
[0065]
lbp-attention结构如图，该分支作为网络的辅助分类模块，使用lbp算 子从原始图像中提取图像的纹理特征，经过提取纹理特征的卷积层后，使用特 征图大小的卷积核做卷积计算而对特征图进行空间整合，再通过门结构的激活 层得到特征向量。主干网络使用mobilenet的卷积层提取图像特征，得到7*7 大小的特征图，随后使用深度卷积(depthwise convolution)对输入图像的特征图 进行注意力激活，得到注意力特征图，再输入到后续分类层进行图像分类，整 体结构如图5所示。
[0066]
5、具体实施方案
[0067]
模型训练
[0068]
训练数据准备：收集不同地面材质图像若干张，按文件夹进行分类，同种 图像放入相同文件夹，图像大小可任意，若不同类别图像色差过大则需进行数 据标准化处理，方法如下：
[0069]
步骤一：对所有图片数据归一化到0～1之间，按照rgb三通道分别计算 像素值的大小及图像方差，求出平均像素值及方差；
[0070]
步骤二：图片训练前进行标准化处理，即将图像数据减去均值后除以方差：
[0071]
x＝x-mean_value
[0072][0073]
本方法是基于mobilenet v2图像分类网络改进，训练测试方法依照正常分 类网络进行。分别使用mobilenet v2和基于先验知识改进的lbp-mobilenet在 地表材质数据集上进行测试。地表材质数据集共包含5类地形合计676张图像， 在实验中每类取20张图像作为训练集，剩余部分图像作为测试集。模型输入 图像采用经缩放后大小为224*224白化后的rgb图像；lbp分支输入为图像 使用lbp算子提取纹理特征后的灰度图，在训练和推理阶段使用不同的采样 策略：模型训练时使用随机裁剪，将灰度图裁剪为大小56*56的图像，推理验 证时则使用中心裁剪策略。训练的初始阶段学习率为0.001，正则化项衰减系 数为0.0001；训练时使用随机梯度下降法优化，每迭代50次进行一次学习率 衰减，衰减系数为0.9，使模型参数进一步收敛。我们分别使用多种主流的神 经网络对数据进行分类预测，预测结果对比如图6所示。
[0074]
训练软件环境为：操作系统为ubuntu20.04；深度学习框架为pytorch1.7.0；。 硬件信息可根据现有环境经行调整，以下给出参考：cpu为xeon(r)silver 4114， 内存为64g，gpu为nvidia quadro p5000。
[0075]
模型测试阶段分为数据性能测试和部署在线测试，模型性能测试:把多张 图像和对应的标签作为测试集输入到网络中，模型输出识别的准确率，代表图 像识别正确的数量占总数的比例。在线测试：摄像头采集图像后输入到嵌入式 设备中先进行预处理，随后通过网络计算输出识别结果，识别结果为该图像所 属地面材质类型。
[0076]
模型评估结果如图6所示，与mobilenet v2相比，改进的lbp-mobilenet 模型在数据集上的测试准确率从86.2％提高到89.1％，推理速度仅降低了约 0.5％。
[0077]
除了在地面材质数据集上测试了lbp-mobilenet模型的有效性，我们还在 道路裂缝图像数据集[8]上进行了验证。道路裂缝图像数据集包含155张道路 图像(如图7所示)，其中部分为有裂纹的地面图像，在此基础上我们采集整 理了200张正常道路图像对数据集进行扩充。使用mobilenet-v2模型在数据 集上的准确率为91.7％，基于先验知识改进的lbp-mobilenet模型测试准确率 为94.3％。
[0078]
6、结果分析
[0079]
mobilenet在移动设备图像处理领域有结构简单、计算量小、精确度较高 的优势，相比于vgg、googlenet等网络其参数量较少，且在少量样本的情况 下更容易拟合数据，测试效果相对较好。从表2可以看出mobilenet在地面材 质数据集上的识别准确率比vgg、resnet等模型高。因此将所提的改进 mobilenet算法与mobilenet-v2分类算法进行比较，实验结果见表2下方。在 加入了带lbp算子的attention模块后，改进的lbp-mobilenet算法在地面材 质数据集上的识别错误率降低至10.9％，较改进前降低了约20％。
[0080][0081]
表2六种网络结构在地表材质数据集上的错误率和推理速度统计
[0082]
为了验证基于先验知识添加的lbp分支对模型分类效果提升的有效性， 我们也将基础模型替换为resnet50、vgg-19，网络经过部分调整后添加lbp
‑ꢀ
分支进行模型微调和验证，在地面材质数据集上的测试准确率分别提高了4.1％ 和1.6％。这证明基于先验知识添加lbp分支辅助模型分类的方法具有鲁棒性， 神经网络用于提取特征的主干网络并不局限于mobilenet-v2。
[0083]
实验采用的是圆形lbp算子，该算法基于传统lbp改进了半径覆盖范围 的局限性，将3
×
3领域扩展到了任意邻域，圆形lbp算子使用半径为r的圆 形覆盖范围作为邻域，针对实际应用场景选择不同采样点数量。对于lbp特 征描述子不同半径和采样点进行测试，实验结果如表3所示。实验结果证明采 用lbp半径为2且在周围取8个采样点时得到的测试准确率最高。实际应用 场景中可根据地面材质情况及图像大小进行微调，采样点增加在一定程度上提 高准确率的同时，会带来推理时间的增加，需要在调整模型时进行权衡。
[0084] p＝8p＝16r＝112.111.4r＝210.911.7
[0085]
表2不同半径和采样点lbp特征实验结果
[0086]
如图8所示，在推理阶段摄像头采集图像送入边缘计算设备、图像预处理 及经过网络后输出识别结果，获取到识别结果后可进行后续开发，网络结构简 洁易于拓展。
[0087]
为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但 并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何 简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明 的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见 即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较 简单，相关之处参见方法实施例的部分说明即可。