一种跨模态单样本三维点云分割方法

1.本发明涉及计算机视觉技术领域，具体为一种跨模态单样本三维点云分割方法。


背景技术：

2.近年来，深度学习网络已经在二维图像分类、目标检测、语义分割等诸多任务上取得了巨大的成功，随着3d传感器的快速发展，一些实际的应用(如自动驾驶、机器导航、虚拟/增强现实等)引起了人们更多的关注，三维点云作为一种天然表示物体几何结构的数据形式被广泛应用，对其进行语义分割在现实中起着至关重要的作用，然而当前大部分的分割方法均依赖于全监督框架，它们需要昂贵且难以获得的逐点标注数据用来训练，且由于封闭集假设(closed set assumption)，这些方法在推理过程中只适用于可见类的预测，难以推广到新类的分割上，这大大限制了模型的泛化性能，少样本学习(few-shot learning)是一种解决这些问题的有前途的范式，因为其允许仅通过少量标注的样本作为支撑迁移到新类物体的识别上。
3.当前的少样本学习范式主要包括基于元学习(meta learning)和基于度量学习(metric learning)的两种框架，在传统的全监督学习框架中，随着数据量和标注的减少，数据将无法涵盖类别的完整分布，从而使得模型的表达能力显著下降，而对于少样本学习，其主要通过应用元学习算法或者非参数化/参数化的度量函数来完成少量数据下的知识迁移，但这些方法主要集中于二维图像的分类或分割任务上，难以处理复杂非规则化的三维点云数据。
4.最近的一些研究根据三维点云的数据特点设计了一些少样本分割方法，其主要通过学习同一模态的少量支撑样本中点云特征来帮助完成查询点云的识别，尽管这些方法取得了一定的进展，但是它们仍然依靠于完全逐点标注的支撑点云，这依然需要耗费大量的时间和精力，且无法适用于无新类视觉样本或视觉样本无法获得的极端情况下。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种跨模态单样本三维点云分割方法，采用更加容易获得的语义类级别单一文本描述作为支撑来构建情景任务(episodic task)，以此完成点云细粒度分割，称为跨模态单样本三维点云分割(cross-modal one-shot point cloud segmentation，即少样本的支撑集为单一文本描述)，本发明将点云和文本嵌入到各自的特征空间，设计跨模态特征增强方法来完成视觉点云和文本特征的模态内交互及模态间对齐，具备提升语义引导的跨模态单样本框架下点云分割模型性能，增强模型仅依靠背景知识对无视觉支撑的新类点云泛化能力等优点，解决了传统少样本学习依靠完全逐点标注支撑点云，且无法适用于无新类视觉样本的极端情况下的问题。
7.(二)技术方案
8.为实现上述目的，本发明提供如下技术方案：一种跨模态单样本三维点云分割方
法，所述方法包括：首先针对目标场景中的所有类别建立类级别的单一文本描述集，然后整体采用支撑-查询两分支架构，分别使用不同的嵌入网络将支撑文本和点云映射到各自的特征空间中，接着应用自注意力(针对点云特征)和双重注意力(针对文本特征)完成模态内的特征交互并设计视觉-语义变换器结构(visual-semantic transformer)在统一的空间中对齐模态间的特征，最后构建文本原型(prototype)，并采用非参数化的度量方法来对点云进行逐点匹配，从而完成分割任务，此外，本方法通过迁移经典的二维图像少样本学习方法于当前设定的三维点云单样本分割框架中形成额外的基线作为评估，采用设定的情景式学习范式进行训练，所述跨模态单样本三维点云分割方法的具体步骤如下所示：
9.s1、针对目标三维点云场景中出现的各个类别构建“类级别”单一描述，用以形成文本支撑集；
10.s2、构建支撑-查询双分支结构(two-branch structure)，采用文本嵌入网络将s1中的支撑文本嵌入到语义特征空间中得到单词特征，应用点云嵌入网络将目标查询点云嵌入到视觉特征空间中获取逐点特征；
11.s3、对于s2语义特征空间中的单词特征应用双重注意力(dual-attention)，视觉特征空间中的逐点特征使用自注意力(self-attention)以挖掘模态内特征关系，完成特征交互，从而得到交互后的逐点和单词特征，并对交互后的单词特征应用平均池化(mean pooling)得到类初始原型(包括背景类和前景类)；
12.s4、设计视觉-语义变换器结构(visual-semantic transformer)，将s3中得到的交互后逐点、单词特征及初始原型作为跨模态特征令牌(tokens)排列并拼接位置嵌入(position embedding)一同输入至变换器中用于在学习到的统一空间中进行模态间特征对齐，以消除模态间差异，得到对齐后的点云特征和文本原型；
13.s5、将s4中得到的查询点云特征与文本原型在相似度度量空间中进行逐点匹配，输出预测类别概率；
14.s6、构建整体预测损失函数并使用设定的情景式训练(episodic training)范式在可见类上对网络参数进行优化，并保存合适的模型参数用于未知类的预测测试；
15.s7、针对s3中的得到交互后的逐点和单词特征，可不遵循s4、s5操作而直接迁移经典少样本学习中的多种度量学习方法于当前设置框架中用于形成基线，并按照s6构建损失函数进行训练和评估。
16.优选的，所述s1中的“类级别”单一描述为一到两句英文文本，用来粗略地概括目标类别的基本通用属性(如形状、颜色、位置、用途等)。
17.优选的，所述s2中的文本嵌入网络使用预训练的bert模型输出文本表示作为先验知识，在其后接入双向门控循环单元(bi-gru)用于网络微调，以动态学习语义空间。
18.优选的，所述s3中对单词特征的双重注意力采用位置注意力(position attention)模块紧接自注意力模块构成，位置注意力将全连接层映射后的掩码单词特征通过softmax后得到的概率与输入单词特征进行矩阵相乘，用于聚焦到重要的单词表示上。
19.优选的，所述s4中定制设计的视觉-语义变换器使用标准化 多头注意力 多层感知机结构来处理按照规则排列输入的令牌。
20.优选的，所述s5中采用余弦相似度作为度量函数来对点云逐点和文本原型进行匹配输出概率。
21.优选的，所述s7中的迁移的经典度量学习方法包括孪生网络(siamese network)、关系网络(relation network)、匹配网络(matching network)及原型网络(prototypical network)。
22.与现有技术相比，本发明提供了一种跨模态单样本三维点云分割方法，具备以下有益效果：
23.1、该跨模态单样本三维点云分割方法，数据便于获取，极大减轻人力消耗且迁移扩展能力强，本方法仅通过使用容易获取的单一“类级别”文本描述作为支撑集引导查询点云完成单样本分割，无需大规模点云数据且完全避免对支撑点云的逐点标注，大大节省成本。
24.2、该跨模态单样本三维点云分割方法，精度高，在不同实验设置下(n-way1-shot，n为2～6)，本方法均取得显著优越的性能，2-way、3-way 1-shot设置下，在scannet数据集s0及s1划分上的平均miou性能分别为51.30和48.29，s3dis数据集s0及s1划分上平均miou性能分别为47.02和43.43，达到与原先使用大量标注的视觉样本作为支撑集方法效果可比甚至更好的结果。
25.3、该跨模态单样本三维点云分割方法，迁移扩展性强，由于网络采用跨模态单样本学习框架，当出现一个存在新类别的点云场景时，无需视觉样本对模型进行重新训练，仅需类别的单一文本描述作为支撑即可帮助完成推理，具有良好的迁移能力。
26.4、该跨模态单样本三维点云分割方法，发展前景好，本方法探索了三维视觉点云和文本语义的联合理解以完成对新概念知识的学习，为当前日益进步的机器理解、人机交互等领域研究打下基础，具有广阔的发展空间。
附图说明
27.图1为本发明原理图；
28.图2为本发明网络整体图；
29.图3为本发明步骤流程图；
30.图4为本发明实验效果图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.请参阅图1-4，一种跨模态单样本三维点云分割方法，方法包括：首先针对目标场景中的所有类别建立类级别的单一文本描述集，然后整体采用支撑-查询两分支架构，分别使用不同的嵌入网络将支撑文本和查询点云映射到各自的特征空间中，接着应用自注意力(针对点云特征)和双重注意力(针对文本特征)完成模态内的特征交互并设计视觉-语义变换器结构(visual-semantic transformer)在统一的空间中对齐模态间的特征，最后构建文本原型(prototype)，并采用非参数化的度量方法来对点云进行逐点匹配，从而完成分割任务，此外，本方法通过迁移经典的二维图像少样本学习方法于当前设定的三维点云单样
本分割框架中形成额外的基线作为评估，采用设定的情景式学习范式进行训练，跨模态单样本三维点云分割方法的具体步骤如下所示：
33.s1、针对目标三维点云场景中出现的各个类别构建“类级别”单一描述，用以形成文本支撑集；
34.s2、构建支撑-查询双分支结构(two-branch structure)，采用文本嵌入网络将s1中的支撑文本嵌入到语义特征空间中得到单词特征，应用点云嵌入网络将目标查询点云嵌入到视觉特征空间中获取逐点特征；
35.s3、对于s2语义特征空间中的单词特征应用双重注意力(dual-attention)，视觉特征空间中的逐点特征使用自注意力(self-attention)以挖掘模态内特征关系，完成特征交互，从而得到交互后的逐点和单词特征，并对交互后的单词特征应用平均池化(mean pooling)得到类初始原型(包括背景类和前景类)；
36.s4、设计视觉-语义变换器结构(visual-semantic transformer)，将s3中得到的交互后逐点、单词特征及初始原型作为跨模态特征令牌(tokens)排列并拼接位置嵌入(position embedding)一同输入至变换器中用于在学习到的统一空间中进行模态间特征对齐，用以消除模态间差异，得到对齐后的点云特征和文本原型；
37.s5、将s4中得到的查询点云特征与文本原型在相似度度量空间中进行逐点匹配，输出预测类别概率；
38.s6、构建整体预测损失函数并使用设定的情景式训练(episodic training)范式在可见类上对网络参数进行优化，并保存合适的模型参数用于未知类的预测测试；
39.s7、针对s3中的得到交互后的逐点和单词特征，可不遵循s4、s5操作而直接迁移经典少样本学习中的多种度量学习方法于当前设置框架中用于形成基线，并按照s6构建损失函数进行训练和评估。
40.s1中的“类级别”单一描述为一到两句英文文本，用来粗略地概括目标类别的基本通用属性(如形状、颜色、位置、用途等)，文本支撑集分为目标类描述构成的前景文本支撑集和剩余类描述构成的背景文本支撑集；s2中的文本嵌入网络使用预训练的bert模型输出文本表示作为先验知识，在其后接入双向门控循环单元(bi-gru)用于网络微调，以动态学习语义空间，s2中的点云嵌入网络采用dgcnn模型中边缘卷积edgeconv模块堆叠三层以编码全局特征，并使用多层感知机(multi-layer perceptron)将多层次拼接特征映射入视觉空间，点云嵌入网络需在目标场景上的可见类上进行预训练；s3中对单词特征的双重注意力采用位置注意力(position attention)模块紧接自注意力模块构成，位置注意力将全连接层映射后的掩码单词特征通过softmax后得到的概率与输入单词特征进行矩阵相乘，用于聚焦到重要的单词表示上，自注意力模块同s3中自注意力sa，定义如下式所示：
[0041][0042]
其中q为查询向量，k为键向量，v为值向量，d为缩放系数，在点云自注意力中q，k，v均为点特征，单词自注意力中q，k，v均为单词特征，其将原始输入特征作为残差拼接(对于点云特征)或直接加入(对于单词特征)到最终结果，s3中的类初始原型可表示为(背景原型为和前景原型为)；s4中定制设计的视觉-语义变换器使用标准化 多头注意力 多
层感知机结构来处理按照规则排列输入的令牌，具体过程如下所示：
[0043][0044]yl
＝mlp(norm(y'
l
)) y'
l
,
ꢀꢀꢀ
(3)
[0045]
y'
l
←
att(norm(y
l-1
)) y
l-1
,
ꢀꢀꢀ
(4)
[0046]
其中g为点云中点数目，w为文本单词数目(填充至同一长度)，n为n-way 1-shot设定下的类别数目，为查询点云嵌入特征，背景描述文本的嵌入单词特征为前景描述文本的嵌入单词特征为x
pos
代表令牌的位置嵌入，norm表示特征标准化，att为多头注意力，通过l层变换后，最终得到结果y
l
，其中对应位置包含对齐后的点云特征和文本原型s3和s4共同组成跨模态特征增强；s5中采用余弦相似度作为度量函数来对点云逐点和文本原型进行匹配输出概率，计算公式如下所示：
[0047][0048]
其中的α(.,.)表示余弦相似度，代表点云中每一个点属于n 1个类别的概率(n个前景类和1个背景类)；s6中的预测损失函数采用交叉熵损失(cross entropy loss)，整体损失函数如下式所示：
[0049][0050]
其中m表示m对查询点云，为查询点云中逐点标签值，训练过程中损失将会被最小化用于优化整体网络参数ψ，训练中背景类标签并不反向传播类信息，此外，s6中情景式训练范式不同于经典方法从支撑样本集中随机抽取一个或多个样本以构建一个情景任务(k-shot设置)，该方法对于一个具体的类仅包含一个单独的文本描述，即相同类在不同情景任务中使用同一个文本描述(1-shot)作为支撑进行训练；s7中的迁移的经典度量学习方法包括孪生网络(siamese network)、关系网络(relation network)、匹配网络(matching network)及原型网络(prototypical network)，此外可设计微调方法(fine tuning)，直接拉近预测掩码点云和对应类文本原型特征间距离，并接入分割器完成任务，其中孪生网络使用二值交叉熵损失(binary cross entropy loss)、关系网络使用均方损失(mean squared loss)、匹配网络和原型网络使用交叉熵损失(cross entropy loss)。
[0051]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。