基于特征原型的半监督域适应语义分割方法和系统

1.本发明涉及一种计算机视觉和图像处理领域的方法，特别涉及一种基于特征原型的半监督域适应语义分割方法及系统。


背景技术：

2.图像域适应技术，旨在于提升深度模型的泛化能力，模型可以在一种数据分布上进行学习，然后通过域适应技术提升在另一种数据分布上的泛化性，改善模型在另一种数据分布上的任务表现效果。
3.图像分割任务，是计算机视觉领域的基本问题，语义分割是一种像素级的分类问题，旨在于根据预先定义的目标类别，将给定图像的每个像素点进行分类。
4.半监督域适应语义分割技术则是利用了前述两项技术，通过域适应手段实现更精确的语义分割，模型从大量有标注的源域数据以及少量有标注的目标域数据，和大量无标注的目标域数据中学习，实现在目标域数据上较好的分割。如今神经网络在各种计算机视觉任务上都有不错的表现，然而绝大多数模型是数据驱动型的，是需要进行有监督训练的，现实中数据的收集以及标注过程成本非常高，这个困难在医疗图像领域更加突出，因为需要有专业医生的参与才能保证标注的准确性，这个人力成本是非常大的，而当前普遍存在的情况是一个域存在大量有标注的数据，而另一个域也有少量有标注的数据，因此域适应技术十分具有意义，在减少对数据标注依赖的同时，还能提升模型的泛化性能。图像语义分割作为很多应用的基础，也具有重要意义，将这两种技术结合起来的域适应语义分割技术已经成为学术界和工业界的研究热点。


技术实现要素：

5.针对现有技术中的缺陷，本发明的目的是提供一种基于特征原型的半监督域适应语义分割方法和系统。
6.根据本发明的一个方面，提供一种基于特征原型的半监督域适应语义分割方法，包括：
7.获取训练数据集，所述训练数据集包括带标注源域图像、带标注目标域图像和无标注目标域图像；
8.构建模型，所述模型包括编码器、解码器、分类器和风格转换网络；
9.利用所述带标注源域图像和所述带标注目标域图像，进行有监督训练分割模型，所述分割模型包括编码器和分类器；
10.利用所述分类器中间层的特征计算特征原型；
11.利用所述目标域图像和源域图像，进行无监督训练所述风格转换网络；
12.对所述解码器和所述风格转换网络各自的转换图像，分别进行图像级对齐；
13.利用所述特征原型改善特征级对齐；
14.将所述特征原型按照获取来源分别进行处理。
15.优选地，所述图像级对齐，包括：
16.所述目标域图像通过所述解码器转换成源域风格图像，与所述源域图像进行图像级对齐；
17.所述源域图像通过所述风格转换网络转换成目标域风格图像，与所述目标域图像进行图像级对齐；
18.所述特征级对齐包括：
19.利用对比学习，将来自有标注源域和目标域的特征原型进行对齐；
20.利用对比学习，将来自有标注和无标注目标域的特征原型进行对齐；
21.所述无标注目标域图像的特征和源域特征进行了对齐。
22.优选地，所述有监督训练分割模型基于所述分类器的预测分割结果进行，所述编码器和分类器的损失函数为带权重交叉熵损失和dice损失的叠加：
[0023][0024]
其中，加号前面为带权重交叉熵损失，加号后面为dice损失，它们被一起用于对分割结果进行监督，式中y表示真实标注，表示网络的输出结果，yc表示在真实标注中前景类为c的区域。
[0025]
优选地，所述特征原型的计算基于所述分类器的中间层特征进行；
[0026]
所述特征原型的计算包括两类：
[0027]
对于带标注源域图像和带标注目标域图像，利用真实标注计算模型输出分割中预测正确的区域；选取所述区域的特征在长宽维度进行平均，获得带标注特征原型；
[0028]
对于不带标注的目标域图像，设置概率阈值；根据所述模型分割预测中每一点的概率，将大于所述概率阈值的区域挑选出来作为计算特征原型的区域；计算所述区域的语义特征获得特征原型。
[0029]
优选地，所述风格迁移网络选用cyclegan式的编解码结构，训练方式则是和判别网络一起进行对抗学习，过程是无监督的，需要使得判别网络无法区分输入图像是真实的还是网络生成的。
[0030]
优选地，所述特征级对齐是通过特征原型进行的；
[0031]
对于从有标注输入图像中提取到的特征原型ps→
t
或令pm表示第m个语义类别的特征原型；
[0032]
将pm和特征字典中各个语义区间存储的全部原型进行余弦相似度的计算；
[0033]
将所述相似度从小到大进行排序，选前k个最大值计算平均相似度；
[0034]
利用pm和各个语义类别的相似度进行对比学习；
[0035]
对于从目标域无标注数据中提取到的特征原型则需要被用来和通过指数滑动平均更新的目标域语义原型进行对比学习；
[0036]
优选地，所述特征原型通过相关处理被从分类器中间层特征提取出来；
[0037]
若原型是从有标注源域或目标域提取的，则需要被存进特征字典，同时从后者提取的特征原型还需要被用于滑动平均更新目标域语义特征原型；
[0038]
若原型是从无标注目标域提取的，则不需要存进特征字典，仅被用于对比学习。
[0039]
优选地，来自有标注数据的特征原型会按照是从目标域或源域提取的，以及它们代表的是何种语义类别被存储进特征字典中，特征字典按照语义类别来分区存储来自有标注数据的原型，同时字典被设置了长度，里面的数据会随着神经网络的更新而更新；当字典存储满的时候，旧的特征原型会被优先删除。
[0040]
此外，来自有标注目标域的原型会被用来单独更新维护目标域语义原型，所述更新方式采用指数滑动平均；以pi表示目标域某个语义类别在第i次迭代更新得到的原型，用表示在第i次迭代中从有标注目标域数据中得到的该类别特征原型，则滑动更新过程如下：
[0041][0042]
根据本发明的第二个方面，提供一种基于特征原型的半监督域适应语义分割系统，包括：
[0043]
编码器模块:该模块对目标域风格的图像进行特征提取；
[0044]
解码器模块:该模块利用编码器提取的特征生成或者重建出源域风格的图像；
[0045]
分类器模块:该模块利用编码器提取的特征来预测分割结果，同时其中间层的特征也被用于计算特征原型；
[0046]
风格转换模块：该模块接受源域风格的图像作为输入，输出则是被转换成目标域风格的图像；
[0047]
特征原型模块：该模块用于从分类器中间层特征计算特征原型，并更新维护特征字典，以及通过滑动平均方法更新目标域语义原型。
[0048]
与现有技术相比，本发明具有如下的有益效果：
[0049]
本发明实施例通过特征原型对比学习，对卷积神经网络提取特征的过程进行了约束，增强了网络提取语义特征的能力，改善了模型的泛化性能，使模型能在新的数据分布上取得较好的分割效果。
[0050]
本发明实施例基于特征原型的半监督域适应语义分割方法及系统，通过利用少量有标注的目标域数据样本和大量有标注的源域数据样本进行模型训练，利用卷积神经网络提取了包含丰富语义信息的特征原型，并用它们创建并更新维护一个特征字典，其按照不同语义类别划分区间，并存储了来自不同训练图片的特征原型，供后续的特征原型对比学习的计算过程使用。这种方式使得训练过程中利用到多样本的信息成为了可能。
[0051]
本发明实施例从少量有标注的目标域数据样本中提取的特征原型，会被用来通过指数滑动平均方法单独更新目标域语义原型，该原型被用于和无标注目标域数据中提取的特征原型一起进行对比学习，从而拉近目标域有标注和无标注数据的特征分布。由于之前的从有标注数据中提取的原型和特征字典中存储的原型进行了对比学习，拉近了不同域有标注数据之间的语义特征分布，而现在拉近了相同域有标注和无标注数据之间的特征分布，所以特征层面得到了更好的对齐效果，模型的泛化性能得以加强，在目标域分布上的分割效果进一步改善。
附图说明
[0052]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、
目的和优点将会变得更明显：
[0053]
图1为本发明一实施例的基于特征原型的半监督域适应分割方法的流程图；
[0054]
图2为本发明一实施例的基于特征原型的半监督域适应分割方法的框图。
具体实施方式
[0055]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0056]
如图1所示，本发明一实施例的基于的半监督域适应语义分割方法，包括如下过程：
[0057]
s11,训练数据数据是大量带标注源域图像、少量带标注目标域图像、大量无标注目标域图像；卷积网络主要由编码器、解码器、分类器和风格迁移这四个网络组成，从这些不同域的图像中提取特征；
[0058]
s12,有标注源域和目标域图像被用于有监督训练分割模型，以及利用分类器中间层的特征计算特征原型；
[0059]
s13,无标注目标域图像被用于通过对抗方式无监督训练风格转换网络，利用网络生成的风格迁移图像进行图像级对齐，利用源域图像的风格转换结果提取特征原型，并通过相关操作改善特征级对齐。
[0060]
s14,特征原型经过相关处理被从分类器中间层特征提取出来，若原型是从有标注源域或目标域提取的，则需要被存进特征字典，同时从后者提取的特征原型还需要被用于滑动平均更新目标域语义特征原型；若原型是从无标注目标域提取的，则不需要存进特征字典，而仅被用于对比学习。
[0061]
本实施例中，图像级对齐的目的是通过风格转换，使得两个域的图像风格尽可能相似，这被称之为对齐，也可以理解成减小两个域(数据分布)之间的差异。特征级对齐则是在特征层面进行处理，使得模型从两个域图像中提取出的特征尽可能相似。获取特征原型的目的为了扩充并更新特征字典的内容，后续的相关计算会用到特征字典；但其更是为了利用特征原型来改善不同域之间语义特征分布对齐的效果，减小从不同域数据中提取出语义特征的差异。
[0062]
本发明提供的s11的较佳实施例中，源域图像全部包含像素级标注，目标域图像大量都是无标注的，少量带标注目标域图像不到目标域图像总数的四分之一,，甚至可以更少至5％的带标注数据。风格迁移网络用于将源域风格图像转换成目标域风格图像，编码器仅用于从目标域风格的图像中提取特征，随后解码器将生成源域风格图像，而分类器也将利用编码器提取的特征预测分割结果，同时分类器中间层特征也被用于提取特征原型。
[0063]
本发明提供的s12的较佳实施例中，有监督的训练仅在分类器的预测分割结果上进行，训练编码器和分类器的损失函数为带权重交叉熵损失和dice损失的叠加，如下所示：
[0064][0065]
上式加号前面为带权重交叉熵损失，加号后面为dice损失，它们被一起用于对分
割结果进行监督，式中y表示真实标注，表示网络的输出结果，yc表示在真实标注中前景类为c的区域。
[0066]
本发明提供的s12较佳实施例中，特征原型的计算是在分类器中间层特征进行的，原因在于此时特征距离分割输出的位置更近，因此其中包含更多和语义相关的信息，非常适合提取特征原型。由于模型输入可以是带标注图像，也可以是无标注图像，针对这两种情况，本实施例设计了两种提取特征原型的方法，对于带标注的输入图像，不管其是来自源域还是目标域，特征原型的计算方式是一样的。
[0067]
首先利用真实标注计算出模型输出分割中预测正确的区域，然后选取这些区域的特征在长宽维度进行平均，即可得到带标注特征原型，过程可表示成如下：
[0068][0069][0070]
上式中，argmax表示在二维上选取值最大的通道的函数，y表示真实标注，表示模型分割预测，m表示预测正确区域的掩膜，y
c＝i
表示真实标注中类别为i 的区域，ni表示m中像素点的总数，f
latent
表示分类器中间层的特征，最终得到的是语义类别为i的特征原型(列向量)pi。
[0071]
如果输入是不带标注的目标域图像，则需要先设置一个概率阈值，然后根据模型分割预测中每一点的概率，将大于阈值的区域挑选出来作为计算特征原型的区域，概率越大则不确定性越低，说明模型对像素点的类别预测的越准，因此利用这些区域计算语义特征原型也会越有代表性，过程可表示成如下：
[0072][0073][0074]
上式中，p代表设置的阈值，softmax将分割预测的logits的取值范围归一化到[0,1]区间从而可以表示概率，表示无标注目标域图像语义类别为i的特征原型，其余符号代表意思则和前文一样。
[0075]
本发明提供的s13的较佳实施例中，无标注目标域图像的用途是训练一个风格迁移网络，目的是将源域风格图像转换成目标域风格图像，神经网络采用 cyclegan式的编解码结构，训练方式则是利用判别网络进行对抗学习，过程是无监督的，需要使得判别网络无法区分输入图像是真实的还是网络生成的。神经网络将源域图像转换成目标域风格，从而制造目标域风格图像，使得可以在分类器的训练过程中可以使用标签进行监督，使得源域图像和目标域图像的风格变得相似属于图像级别的数据分布对齐。
[0076]
本发明提供的s13的较佳实施例中，特征级对齐是通过特征原型进行的，有标注源域或目标域中提取的特征原型均被和特征字典中存储的原型一起进行对比学习，从而增加同类别语义特征的相似度，降低不同类别语义特征的相似度，同时因为字典中存储的是来自目标域图像x
t
和被转换成目标域风格的源域图像 xs→
t
的各个类别的特征原型，所以对比学习将这两个域带标注数据的语义特征分布进行了拉进。
[0077]
具体为：对于从有标注输入图像中提取到的特征原型ps→
t
或这里都用p 来表示，令pm表示第m个语义类别的特征原型。首先将pm和特征字典中各个语义区间存储的全部原型进行余弦相似度的计算，然后将相似度从小到大进行排序，选前k个最大值计算平均相似度，最后利用pm和各个语义类别的相似度进行对比学习。第一个过程可表示成如下：
[0078][0079]
上式中表示特征字典中存储的第k个语义类别区间的第i个特征原型，l 表示字典的长度。随后是将相似度排序进行平均，第二个过程可表示成如下：
[0080][0081]
得到pm和各个语义类别原型的相似度后，即可进行特征原型对比学习，第三个过程可表示成如下：
[0082][0083]
上式中c代表语义类别的个数，τ代表温度系数。
[0084]
为了充分利用少量有标注的目标域数据，本发明提供一个优选实施例，从其中提取的原型来单独更新维护目标域语义原型，用于对比学习拉近目标域有标注和无标注数据的特征对齐。
[0085]
具体的，如果特征原型是从目标域无标注数据中提取出来的，用来表示，则它需要被用来和通过指数滑动平均更新的目标域语义原型进行对比学习。给定一个来自无标注目标域且属于第m个语义类别的特征原型则对比损失计算如下：
[0086][0087]
上式中p
i,k
表示单独通过滑动平均方法更新的目标域语义原型，脚标表示第i 次迭代中类别为k的目标域语义原型。
[0088]
整体而言，针对两种不同情况利用了特征原型进行了对齐，第一种情况是在有标注的大量源域数据和少量目标域数据之间进行特征对齐，第二种情况是在有标注的少量目标域数据和无标注的大量目标域数据之间进行特征对齐。这种方式充分利用了目标域中少量带标注的样本，同时由于同域数据之间进行特征对齐的难度比不同域数据之间进行特征对齐的难度要小，所以提出的这种方法也可以被看作是递进式的对齐。
[0089]
为了能够充分利用到多样本中的信息，以及让特征原型对比学习成为可能，本发明提供实施例使用特征字典对来自有标注数据的特征原型进行了存储。在执行s14的较佳实施例中，特征原型是通过分类器中间层的特征进行计算得到的，分类器用于输出分割预测结果，其中间层的特征包含较多的语义特征，同时通道数相对而言也比较少，所以非常适合提取特征原型，关于有标注数据和无标注数据的特征原型过程已经在前文说明过了。来自有标注数据的特征原型会按照它们是从目标域还是源域提取的，以及它们代表的是何种语义类别被存储进特征字典中，特征字典按照语义类别来分区存储来自有标注数据的原
型，同时字典被设置了长度，里面的数据会随着神经网络的更新而不断更新，当字典存储满的时候，旧的特征原型会被优先删除。
[0090]
此外，来自有标注目标域的原型还会被用来单独更新维护目标域语义原型，更新方式采用指数滑动平均来充分利用这些少量有标注数据，以pi表示目标域某个语义类别在第i次迭代更新得到的原型，用表示在第i次迭代中从有标注目标域数据中得到的该类别特征原型，则滑动更新过程如下：
[0091][0092]
如图2所示为本发明一实施例的基于特征原型的半监督域适应语义分割系统的框图。
[0093]
请参考图2，本实施例的基于特征原型的半监督域适应语义分割系统用于实现上述实施例的基于特征原型的半监督域适应语义分割方法，其包括：编码器模块、解码器模块、分类器模块、风格转换模块和特征原型模块。
[0094]
编码器模块:该模块对目标域风格的图像进行特征提取；
[0095]
解码器模块:该模块利用编码器提取的特征生成或者重建出源域风格的图像；
[0096]
分类器模块:该模块利用编码器提取的特征来预测分割结果，同时其中间层的特征也被用于计算特征原型；
[0097]
风格转换模块：该模块接受源域风格的图像作为输入，输出则是被转换成目标域风格的图像；
[0098]
特征原型模块：该模块用于从分类器中间层特征计算特征原型，并更新维护特征字典，以及通过滑动平均方法更新目标域语义原型。
[0099]
上述各个模块所采用的技术可以基于特征原型的半监督域适应语义分割方法的说明，在此不再赘述。
[0100]
综上，上述实施例提供的基于特征原型的半监督域适应语义分割方法及系统，使用深度学习技术，并利用特征原型、特征字典来改善神经网络提取特征的能力，并对语义特征加以规则化，以进一步地提升特征对齐效果，使得模型能够在只有少量标注的目标域数据上学习，并输出较好的目标域分割预测结果。
[0101]
需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
[0102]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0103]
此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。

技术特征：
1.一种基于特征原型的半监督域适应语义分割方法，其特征在于，获取训练数据集，所述训练数据集包括带标注源域图像、带标注目标域图像和无标注目标域图像；构建模型，所述模型包括编码器、解码器、分类器和风格转换网络；利用所述带标注源域图像和所述带标注目标域图像，进行有监督训练分割模型，所述分割模型包括编码器和分类器；利用所述分类器中间层的特征计算特征原型；利用所述目标域图像和源域图像，进行无监督训练所述风格转换网络；对所述解码器和所述风格转换网络各自的转换图像，分别进行图像级对齐；利用所述特征原型改善特征级对齐；将所述特征原型按照获取来源分别进行处理。2.根据权利要求1所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所述图像级对齐，包括：所述目标域图像通过所述解码器转换成源域风格图像，与所述源域图像进行图像级对齐；所述源域图像通过所述风格转换网络转换成目标域风格图像，与所述目标域图像进行图像级对齐；所述特征级对齐包括：利用对比学习，将来自有标注源域和目标域的特征原型进行对齐；利用对比学习，将来自有标注和无标注目标域的特征原型进行对齐；所述无标注目标域图像的特征和源域特征进行了对齐。3.根据权利要求1所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所述有监督训练分割模型基于所述分类器的预测分割结果进行，所述编码器和分类器的损失函数为带权重交叉熵损失和dice损失的叠加：其中，加号前面为带权重交叉熵损失，加号后面为dice损失，式中y表示真实标注，表示分类器的输出结果，y
c
表示在真实标注中前景类为c的区域。4.根据权利要求1所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所述特征原型的计算包括两类：对于带标注源域图像和带标注目标域图像，利用真实标注计算模型输出分割中预测正确的区域；选取所述正确的区域的特征在长宽维度进行平均，获得带标注特征原型；对于不带标注的目标域图像，设置概率阈值；根据所述模型分割预测中每一点的概率，将大于所述概率阈值的区域挑选出来作为计算特征原型的区域；计算所述特征原型的区域的语义特征获得特征原型。5.根据权利要求1所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所
述风格迁移网络选用cyclegan式的编解码结构，训练方式为和判别网络一起进行对抗学习，过程是无监督的，需要使得判别网络无法区分输入图像是真实的还是网络生成的。6.根据权利要求2所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所述特征级对齐是基于所述特征原型进行的；对于从有标注输入图像中提取到的特征原型p
s
→
t
或令p
m
表示第m个语义类别的特征原型；将p
m
和特征字典中各个语义区间存储的全部原型进行余弦相似度的计算；将所述余弦相似度相似度从小到大进行排序，选前k个最大值计算平均相似度；利用p
m
和各个语义类别的平均相似度进行对比学习；对于从目标域无标注数据中提取到的特征原型则需要被用来和通过指数滑动平均更新的目标域语义原型进行对比学习。7.根据权利要求4所述的基于特征原型的半监督域适应语义分割方法，其特征在于，将所述特征原型按照获取来源进行分别处理，包括：若原型是从有标注源域或目标域提取的，则被存进特征字典；从所述目标域提取的特征原型被用于滑动平均更新目标域语义特征原型；若原型是从无标注目标域提取的，仅被用于对比学习。8.根据权利要求7所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所述特征字典按照语义类别来分区存储来自有标注数据的原型，字典被设置了长度，其内部的数据会随着神经网络的更新而更新；当所述特征字典存储满的时候，旧的特征原型被优先删除。9.根据权利要求7所述的基于特征原型的半监督域适应语义分割方法，其特征在于，所述滑动平均更新目标域语义特征原型，包括：以p
i
表示目标域某个语义类别在第i次迭代更新得到的原型，用表示在第i次迭代中从有标注目标域数据中得到的该类别特征原型，则滑动更新过程为：α是一个权重系数，取值范围是[0,1]，调节目标域类别特征原型的更新速度。10.一种基于特征原型的半监督域适应语义分割系统，其特征在于，包括：编码器模块，该模块对目标域风格的图像进行特征提取；解码器模块，该模块利用编码器提取的特征生成或者重建出源域风格的图像；分类器模块，该模块利用编码器提取的特征来预测分割结果，同时其中间层的特征被用于计算特征原型；风格转换模块，该模块接受源域风格的图像作为输入，输出为目标域风格的图像；特征原型模块，该模块用于从分类器中间层特征计算特征原型，并更新维护特征字典，以及通过滑动平均方法更新目标域语义原型。

技术总结
本发明公开基于特征原型的半监督域适应语义分割方法，包括:获取带标注源域图像、带标注目标域图像和无标注目标域图像；构建模型，模型包括编码器、解码器、分类器和风格转换网络；利用带标注源域图像和带标注目标域图像，进行有监督训练分割模型，利用分类器中间层的特征计算特征原型；利用目标域图像和源域图像，进行无监督训练风格转换网络；对解码器和风格转换网络各自的转换图像，进行图像级对齐；利用特征原型改善特征级对齐；将特征原型按照获取来源分别进行处理。本发明通过特征原型对比学习，对提取特征的过程进行了约束，增强了网络提取语义特征的能力，改善了模型的泛化性能，使能在目标域数据分布上取得较好的分割效果。割效果。割效果。


技术研发人员：张小云 叶子玉 张娅 王延峰
受保护的技术使用者：上海交通大学
技术研发日：2022.02.14
技术公布日：2022/5/25