森林场景分割模型的训练方法、分割方法、介质及设备与流程

1.属于深度学习技术领域，具体涉及一种森林场景分割模型的训练方法、分割方法、介质及设备。


背景技术：

2.森林场景分割对于进行与森林相关的任务，例如火灾检测，野生动物检测，都有着重要的作用。错误地划分森林范围会让后续检测任务的精确度大打折扣，造成漏检或者错检，增加了人工工作量。在传统的机器学习中，人们主要采用灰度阈值法、支持向量机或者k类聚集法来完成森林场景分割，但只能做到森林类及其他类的2类场景的准确分割。随着深度学习的发展，计算机视觉领域有了长足的发展，特别地，卷积网络的广泛应用使得目标检测，语义分割等领域都得到了大幅提升，运用深度学习技术来解决森林场景分割也得到了学术界和工业界的广泛关注。
3.但森林场景分割区别于其他场景分割，森林场景中大部分的物体都是森林，湖泊、道路等类别罕见或者这些类别在图像中面积小，导致对于除森林外的类别分割结果都不太准确。同时，森林场景因为常常存在雾气，导致实测时采集距离远，画面比较模糊，增加了分割的难度。因此，目前很多的森林场景分割方法都利用大容量模型，用大模型的容量来提升分割精度，不能做到实时分割，而且模型部署成本较高。


技术实现要素：

4.技术问题：本发明提供了一种能够提高森林场景分割模型准确率和泛化能力的训练方法，以及一种利用该方法训练出的模型进行森林场景分割的方法，以及相应的存储介质和电子设备。
5.技术方案：第一方面，本发明提供一种森林场景分割模型的训练方法，包括：
6.将输入图像输入第一特征提取模块进行特征提取，得到第一特征表示；
7.将所述第一特征表示输入分类头，得到分类掩码和分类置信度；
8.将第一特征表示输入第一映射模块，得到第一映射特征；
9.将所述第一映射特征作用采样策略，得到采样映射特征；
10.特征向量库中的特征经过中心距离排序，给特征向量库中各特征赋予不同权重，所述采样映射特征与特征向量库中各类别特征进行比对，计算对比相似度；
11.将所述第一映射特征输入预测模块，得到预测特征表示；
12.将输入图像进行特征增强后输入第二特征提取模块进行特征提取，得到第二特征表示；
13.将第二特征表示输入第二映射模块，得到第二映射特征；
14.计算所述预测特征表示与第二映射特征的相似性。
15.进一步地，将所述第一映射特征作用采样策略，得到采样映射特征的方法为：
16.根据所述分类掩码和参考分类掩码进行比对，筛选出分类结果错误以及分类结果
对但分类置信度低于阈值的像素对应特征。
17.进一步地，所述特征向量库中的特征经过中心距离排序，给向量库中各特征赋予不同权重的方法为：
18.特征向量库中，各类别进行求和平均，得到各类别的特征中心；
19.对每个类别中的每个特征，根据离类别的特征中心的归一化l2距离由近到远进行排序；
20.将每个类别中的离中心距离最大值减去每个特征的距离，指数化并除以同类距离均值后，得到每个特征的权重。
21.进一步地，所述采样映射特征与特征向量库中各类别特征进行比对，计算对比相似度的方法为：
[0022][0023]
其中，e表示某个采样映射特征，e

表示与该特征属于同类别的特征，称为正样本；e-表示与该特征属于不同类别的特征，称为负样本；表示正样本的特征权重，表示负样本的特征权重；是正样本特征集合，表示正样本特征的个数；z表示采样映射特征集合，n表示其个数，contr是表示了采样后的特征与特征库中各类特征的对比相似度综合值；τ表示温度系数。
[0024]
进一步地，计算所述预测特征表示与第二映射特征的相似性的方法：
[0025][0026]
其中，z1为预测特征表示，y2为第二映射特征，||
·
||2表示欧氏距离，cons表示二者的余弦相似性。
[0027]
进一步地，还包括利用特征向量库，保存森林场景中各种类别的特征表示，将第一映射特征经过过滤器过滤，将过滤后的特征放入特征向量库中，进行实时更新。
[0028]
进一步地，对根据特征置信度实时更新特征向量库的方法为：
[0029]
从第一映射特征中取出分类正确和置信度大于阈值的特征，加入到特征向量库中，进行向量库的更新。
[0030]
第二方面，本发明提供了一种森林场景分割方法，采用本发明所提出的森林场景分割模型的训练方法训练出的森林场景分割模型对森林场景进行分割，所述森林场景分割模型包括训练好的第一特征提取模块；包括：
[0031]
获取森林场景图像；
[0032]
将所述森林场景图像输入训练好的森林场景分割模型中，输出分割结果。
[0033]
第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的森林场景分割模型的训练方法；或所提供的森林场景分割方法。
[0034]
第四方面，本发明提供一种电子设备，包括所提供的计算机可读存储介质，以及处理器，所述处理器能够执行存储于计算机可读存储介质中的计算机程序指令。
[0035]
有益效果：本发明与现有技术相比，具有以下优点：
[0036]
(1)利用本发明的森林场景分割模型的训练方法在训练时，具有主支路和辅助支
路，训练过程中，主支路的输入图像是未经过特征增强的样本，辅助支路的输入图像是经过特征增强的样本，训练时对两者的输出特征计算余弦相似度。要求两者特征的一致性，能够增加模型的抗噪声能力，从而训练出的模型对在工程应用时，能在不同的环境光线中得到一致的分割结果。
[0037]
此外，利用本发明的森林场景分割模型的训练方法在训练时，还运用了对比学习和特征向量库。利用采样策略，在主支路所得到的特征中选取出部分特征，与特征向量库中的同类特征和不同类特征进行相似度和非相似度比对，使得同类的特征表征一致，而各类别的特征表征各异，同时对特征向量库进行更新，从而提高各类别的分割准确度。同时，特征选取时利用了采样策略，大幅度减少了模型训练过程中的不必要计算成本，保证了模型训练保持在低计算成本水平。
[0038]
(2)本发明的森林场景分割方法，利用了本发明所提出的森林场景分割模型训练方法训练出的森林场景分割模型，由从而能够更加准确地对森林场景进行分割。此外，因为森林场景分割模型仅是第一特征提取模块和分类头，模型在落地部署时不仅计算成本相比于训练过程大幅度降低，而且分割准确度保持一致，使得该方法的应用和部署相较于传统方法都不需要额外付出成本。
[0039]
(3)利用本发明所提出的森林场景分割电子设备，能够更加准确地分割森林场景，当部署在具体的应用场景中时，能够准确地分割森林场景，从而更好地辅助森林烟火检测等任务，大量减少了人工工作量。
附图说明
[0040]
图1为本发明的实施例中森林场景分割模型的训练方法的网络结构框架图；
[0041]
图2为本发明的实施例中森林场景分割模型的训练方法的流程图；
[0042]
图3为本发明的实施例中森林场景分割方法的流程图。
具体实施方式
[0043]
下面结合实施例和说明书附图对本发明作进一步的说明。说明的是，实施例中的术语“第一”、“第二”等仅出于便于描述的目的，并不能理解为对数量、性质等的限定。
[0044]
首先对本发明的实施例中所涉及的森林场景分割模型的结构进行说明，本发明的实施例中，森林场景分割模型为现有的卷积神经网络模型，包括一个特征提取模块和分类头，将森林场景图像输入到训练好的森林场景分割模型，首先特征提取模块中进行特征提取，然后分类头进行分类预测。而目前常规的训练方法就是利用数据集对森林场景分割模型直接进行训练，然后得到训练好的森林场景分割模型，然而这样的方式训练出的模型，精度和泛化能力都会有所不足。而本发明的主要目的之一就是提供一种新的训练方法对森林场景分割模型进行训练，以提高精度和泛化能力。为此，在本发明的实施例中，构建了训练时的网络结构，如图1所示，森林场景分割模型在训练时是一个双路模型，分别是用于预测分割结果的主支路、用于增强模型泛化能力的辅助支路以及一个用于增强模型的分辨能力的特征向量库，其中主支路包括图中的第一特征提取模块、第一映射模块和预测模块；辅助支路包括第二特征提取模块和第二映射模块。
[0045]
其中，在本发明的一个实施例中，第一特征提取模块和第二特征提取模块是相同
的，采用的是deeplabv3plus的网络结构，并采用mobilenetv2作为特征提取前置模块。第一映射模块和第二映射模块也是相同的，连同预测模块，三者都为全卷积模块。说明的是，在其他的实施例中，对于deeplabv3plus的网络结构和mobilenetv2的特征提取模块，本领域技术人员可以利用现有的其他网络结构和其他的特征提取前置模块进行替换。
[0046]
图2示出了本发明的实施例中森林场景分割模型的训练方法的流程图。结合图1所示，实施例中，该训练方法包括步骤s100～s180：
[0047]
步骤s100：将输入图像输入第一特征提取模块进行特征提取，得到第一特征表示。在本发明的一个实施例中，第一特征提取模块采用deeplabv3plus的网络结构，同时采用了mobilenetv2作为特征提取前置模块，用公式表示如下：
[0048]
(f
low
，f
high
)＝f
ac
(if)
[0049]
其中，f
low
，f
high
为输入图像if经过mobilenetv2网络得到的特征表示。输入图像的尺寸为3
×h×
w，彩色图像通道数为3，h和w分别为输入图像的高和宽，f
low
，f
high
分别为低维特征和高维特征。在该实施例中，mobilenetv2对输入图像进行特征提取后，得到了两个尺度的特征表示，然后通过空洞空间卷积池化金字塔aspp将高维特征f
high
进行变换，与经过上采样的低维特征融合为总特征fa，表示为：
[0050]
fa＝aspp(f
high
) upsample(f
low
)
[0051]
在本发明的实施例中，通过第一特征提取模块提取输入图像的特征表示，高维特征经过空洞空间卷积池化金字塔，低维特征经过上采样，将两种特征表示进行融合，从而提取到输入图像的总特征fa，并且，总特征fa的尺寸为
[0052]
步骤s110：将第一特征表示输入分类头，得到分类掩码和分类置信度。
[0053]
步骤s120：将第一特征表示输入第一映射模块，得到第一映射特征。在本发明的实施例中，第一映射模块由全卷积网络fcn组成，表示为：
[0054]fproj
＝fcn(fa)
[0055]
其中，fa为输入图像经过mobilenetv2和空洞空间卷积池化金字塔得到的总特征，fcn为全卷积网络，f
proj
为映射特征，尺寸为
[0056]
步骤s130：将第一映射特征作用采样策略，得到采样映射特征。具体是根据分类掩码和参考分类掩码进行比对，筛选出分类结果错误以及分类结果对但分类置信度低于阈值的像素对应特征。
[0057]
步骤s140：特征向量库中的特征经过中心距离排序，给特征向量库中各特征赋予不同权重，采样映射特征与特征向量库中各类别特征进行比对，计算对比相似度。具体包括步骤s141～s144，其中步骤s141～s143是用于特征向量库中的特征经过中心距离排序，给特征向量库中各特征赋予不同权重，步骤s144是用于采样映射特征与特征向量库中各类别特征进行比对，计算对比相似度。
[0058]
步骤s141：特征向量库中，各类别进行求和平均，得到各类别的特征中心
[0059][0060]
其中，fi表示特征库中第i个类别的特征，n为其数量。
[0061]
步骤s142：对每个类别中的每个特征，根据离类别的特征中心的归一化l2距离由近到远进行排序，公式为：
[0062][0063]
其中，l
2-norm.(*)代表归一化的l2距离，表示第i个类别的第j个特征，表示该特征离同类中心的距离。
[0064]
步骤s143：将每个类别中的离中心距离最大值减去每个特征的距离，指数化并除以同类距离均值后，得到每个特征的权重，公式为：
[0065][0066]
其中，disti表示每个类别中的距离集合，k表示其数量。
[0067]
s144：所述采样映射特征与特征向量库中各类别特征进行比对，计算对比相似度。在本发明的一个实施例中，对比相似度的方法表示为：
[0068][0069]
其中，e表示f
proj
经过采样策略所得到的某个特征，e

表示特征向量库中与该特征属于同类别的特征，称为正样本；e-表示特征向量库中与该特征属于不同类别的特征，称为负样本；表示正样本的特征权重，表示负样本的特征权重，是正样本特征集合，表示正样本特征的个数，z表示f
proj
经过采样策略所得到的特征集合，n表示其个数；contr是表示了采样后的特征与特征库中各类特征的对比相似度综合值；τ表示温度系数。运用以上的公式，拉进同类特征之间的相似性，扩大不同类别特征之间的非相似性。
[0070]
在本发明的一个优选的实施例中，在步骤s140后，还可以利用特征向量库，保存森林场景中各种类别的特征表示，将第一映射特征经过过滤器过滤，将过滤后的特征放入特征向量库中，进行实时更新。具体的方法是从第一映射特征f
proj
中取出分类正确和置信度大于阈值的特征，加入到特征向量库中，进行向量库的更新。
[0071]
步骤s150：将所述第一映射特征输入预测模块，得到预测特征表示。
[0072]
步骤s160：将输入图像进行特征增强后输入第二特征提取模块进行特征提取，得到第二特征表示。在本发明的实施例中，辅助支路中的第二特征提取模块的特征提取方法与主支路第一特征提取模块中的特征提取方法是一致的，具体为：
[0073][0074]
其中，if
aug
表示输入图像，为输入图像经过mobilenetv2网络得到的特征表示。输入图像的尺寸为3
×h×
w，彩色图像通道数为3，h和w分别为输入图像的高和宽，f
low
，f
high
分别为低维特征和高维特征。在该实施例中，mobilenetv2对输入图像进行特征提取后，得到了两个尺度的特征表示，然后通过空洞空间卷积池化金字塔aspp将高维特征f
high
进行变换，与经过上采样的低维特征融合为总特征表示为：
[0075]
[0076]
总特征的尺寸为
[0077]
步骤s170：将第二特征表示输入第二映射模块，得到第二映射特征。
[0078]
步骤s180：计算预测特征表示与第二映射特征的相似性。具体的，在本发明的一个实例中，计算的是预测特征表示与第二映射特征的余弦相似性，余弦相似性的方法表示为：
[0079][0080]
其中，z1表示预测特征表示，y2表示第二映射特征，||
·
||2表示欧氏距离，cons代表着两个支路的余弦相似性。
[0081]
在本发明的实施例中，辅助支路输出的特征是经过了特征增强的输入图像的特征，而主支路输出的特征是原始输入图像的特征，保持两者的余弦相似度，能增加模型的鲁棒性，在不同光度对比度的情况下，都能正确预测出所属类型。
[0082]
利用本发明的森林场景分割模型的训练方法训练出的模型，在训练的时候具有双路模型。在训练的过程中，因为增加了特征向量库，使得需要分类的特征可以和特征向量库中的各类别特征进行比对，拉近了同类别特征的距离，也使得不同类别分布得更加分散，增加各类别的识别范围，使得模型的精度得到提高，从而能够解决森林场景中的难分辨样本分割的问题。
[0083]
此外，辅助支路的加入，约束主支路特征和辅助支路特征的余弦相似度，可以使得模型能增强同一场景在不同天气，不同时间的预测结果的一致性，提升了模型的鲁棒性以及扩宽了模型的使用场景。而且，训练出的模型在进行检测时，会将主支路的映射模块和预测模块，辅助支路以及特征向量库全部去除，仅保留主支路中的第一特征提取模块，即可完成森林场景的准确分割，保证了模型具有较低的计算成本，从而便于工程部署。
[0084]
下表示出了利用本发明实施例中的森林场景分割模型的训练方法训练出的森林场景分割模型与利用常规方法训练出的森林场景分割模型的精度比较，以平均交并比miou作为评价指标。
[0085][0086]
表中fssnet表示本发明的实施例中训练的模型队森林场景进行分割的结果，从表中可以看出，利用本发明所提出的训练方法，训练出的森林场景分割模型的平均交并比miou的值相对较大，表明训练出的森林场景分割模型的精度和泛化能力都相对较好。
[0087]
第二方面，本发明的实施例中提供了一种森林场景分割方法，该方法采用本发明所提出的森林场景分割模型的训练方法训练出的森林场景分割模型对森林场景进行分割，其中，森林场景分割模型包括训练好的第一特征提取模块，该方法包括：
[0088]
步骤s200：获取森林场景图像，例如可以用摄像头等拍摄森林场景。
[0089]
步骤s210：将所述森林场景图像输入训练好的森林场景分割模型中，输出分割结果。具体的是森林场景图像输入训练好的第一特征提取模块后提取第一图像特征，然后经
过分类头得到分类掩码，根据特征掩码将森林场景分割。
[0090]
通过上表也可以看出，该森林场景分割方法能够对森林场景进行更准确的分割。
[0091]
第三方面，本发明的实施例中提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书中记载的森林场景分割模型的训练方法或者森林场景分割方法。
[0092]
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0093]
第四方面，本发明的实施例中提供一种电子设备，具体包括上述的计算机可读存储介质以及处理器，处理器能够执行存储于计算机可读存储介质中的计算机指令，当计算机指令被执行时，能够按本发明所提出的方法对森林场景分割模型进行训练，或者对森林场景进行分割。
[0094]
上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。