意图识别方法、装置、电子设备及存储介质与流程

1.本公开涉及自然语言处理技术领域，尤其涉及一种意图识别方法、装置、电子设备及存储介质。


背景技术：

2.自然语言处理(nature language processing，nlp)是语言学、计算机科学，以及人工智能相互作用的领域，在nlp中，对消息文本进行意图识别，被广泛的应用在智能外呼、智能问答和搜索引擎等系统中，以支持对消息文本进行语义理解。
3.相关技术中的意图识别方法，通常是采用该消息文本所属的类别维度的表征，来辅助增强消息文本的表征效果，或者是基于消息文本的语句维度，来实现增强消息文本的表征效果。
4.这种方式下，表征信息的融合粒度较粗，表征信息的融合效果不佳，从而导致在实际意图识别模型的应用中，影响意图识别模型的意图识别准确性。


技术实现要素：

5.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本公开的目的在于提出一种意图识别方法、装置、电子设备及存储介质，能够实现细粒度的表征信息融合，有效地提升不同维度的表征信息的融合效果，当采用细粒度融合得到的融合表征信息训练意图识别模型时，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。
7.本公开第一方面实施例提出的意图识别方法，包括：获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记；根据多个类别标记，确定与类别信息对应的意图表征信息；根据多个词，确定与消息文本对应的文本表征信息；以及对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别。
8.本公开第一方面实施例提出的意图识别方法，通过获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，确定与类别信息对应的意图表征信息，再根据多个词，确定与消息文本对应的文本表征信息，以及对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别，由此，能够实现细粒度的表征信息融合，有效地提升不同维度的表征信息的融合效果，当采用细粒度融合得到的融合表征信息训练意图识别模型时，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。
9.本公开第二方面实施例提出的意图识别装置，包括：获取模块，用于获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记；第一确定模块，用于根据多个类别标记，确定与类别信息对应的意图表征信息；第二确定模块，用于根
据多个词，确定与消息文本对应的文本表征信息；以及第一处理模块，用于对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别。
10.本公开第二方面实施例提出的意图识别装置，通过获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，确定与类别信息对应的意图表征信息，再根据多个词，确定与消息文本对应的文本表征信息，以及对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别，由此，能够实现细粒度的表征信息融合，有效地提升不同维度的表征信息的融合效果，当采用细粒度融合得到的融合表征信息训练意图识别模型时，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。
11.本公开第三方面实施例提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开第一方面实施例提出的意图识别方法。
12.本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的意图识别方法。
13.本公开第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开第一方面实施例提出的意图识别方法。
14.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
15.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
16.图1是本公开一实施例提出的意图识别方法的流程示意图；
17.图2是本公开另一实施例提出的意图识别方法的流程示意图；
18.图3是本公开另一实施例提出的意图识别方法的流程示意图；
19.图4是本公开另一实施例提出的意图识别方法的流程示意图；
20.图5是根据本公开实施例提出的意图识别方法的架构示意图；
21.图6是本公开一实施例提出的意图识别装置的结构示意图；
22.图7是本公开另一实施例提出的意图识别装置的结构示意图；
23.图8示出了适于用来实现本公开实施方式的示例性电子设备的框图。
具体实施方式
24.下面详细描述本公开的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
25.图1是本公开一实施例提出的意图识别方法的流程示意图。
26.其中，需要说明的是，本实施例的意图识别方法的执行主体为意图识别装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
27.如图1所示，该意图识别方法，包括：
28.s101：获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记。
29.本公开实施例可以应用于对话场景下，对话场景可以具体例如为：用户向客服发起咨询对话，客服基于用户的咨询对话给予用户相应地答复。
30.其中，当在上述用户和客服之间的对话场景时，消息文本可以例如为用户和客服之间以对话形式传递的文字消息、语音消息、图片消息等，对此不做限制。
31.本实施例中，可以使用序列{q1，a1，...，qn，an}表示用户和客服之间的对话，其中，qi表示用户消息，ai表示客服消息，i表示当前对话轮次，n表示对话总轮次。
32.上述在获取用户和客服间对话的序列表示后，可以提取每个对话中的用户消息，得到用户消息的数据集{q1，...，qn}，而对各个用户消息进行相应的文本转换，得到的文本，即可以被称为消息文本。
33.也即是说，本公开实施例可以支持提取用户和客服对话场景中的用户消息，对各个用户消息进行相应的文本转换，以得到一个或者多个消息文本，而后，对消息文本进行意图识别，由此可以在对话场景中，快速捕捉用户意图。
34.其中，消息文本可以由多个词组成，即可以将消息文本视为是由多个词组成的序列，例如，如果消息文本为x，则可以将消息文本x表示为x＝{x1，...，xi}的序列，xi可以表示消息文本中的第i个词。
35.以消息文本x是“请求七天无理由退货”为例，可以将消息文本表示为由多个词组成的序列，即x＝{请求、七天、无理由、退货}。
36.其中，不同的消息文本可以对应不同的类别，用于描述该类别的信息即可以被称为类别信息，类别信息可以例如为询问发货的类别、请求退货的类别等，对此不做限制。
37.一些实施例中，对于一个n类别的意图识别任务，可以引入类别信息用于描述各个类别的意图识别任务，多个类别信息可以构成相应的类别信息集合c＝{c1，...，cn}。
38.一些实施例中，为了实现本公开实施例的意图识别方法，上述在构建得到类别信息集合c＝{c1,
…
,cn}后，可以将类别信息集合转换成在后续意图识别方法的执行过程中，可以被人工智能模型识别和处理的标记token数组的形式，每一个类别c1包含共mi个token，每一个token均可以被视为是与类别信息对应的类别标记，即类别信息包括多个类别标记(token)。
39.s102：根据多个类别标记，确定与类别信息对应的意图表征信息。
40.其中，意图即可以理解为相应的语义，则与类别信息对应的意图，可以例如该类别信息指示的具体的语义，而意图表征信息，可以是表达该意图的一些特征信息，意图表征信息可以具体例如，该意图对应的特征表示向量，而特征表示向量，可以是将该意图相关的一些特征信息映射至向量空间，得到的表示向量，对此不做限制。
41.其中，意图表征信息的数量可以是多个，各个意图表征信息分别与一个类别标记(token)相对应，相应地，根据多个类别标记(token)，确定与类别信息对应的意图表征信
息，可以是确定与多个类别标记(token)分别对应的多个意图表征信息。
42.一些实施例中，确定与多个类别标记(token)分别对应的多个意图表征信息，可以是将多个类别标记(token)输入预先训练好的意图表征确定模型中，以得到意图表征确定模型输出的与多个类别标记(token)分别对应的多个意图表征信息，或者也可以采用其它任意可能的方式确定与类别信息对应的意图表征信息，例如多层感知机的方式、循环神经网络的方式等，对此不做限制。
43.s103：根据多个词，确定与消息文本对应的文本表征信息。
44.其中的文本表征信息，可以是用于表达该文本的一些特征信息，文本表征信息可以具体例如，该文本对应的特征表示向量，而特征表示向量，可以是将文本相关的一些特征信息映射至向量空间，得到的表示向量，对此不做限制。。
45.一些实施例中，根据多个词，确定与消息文本对应的文本表征信息可以是，根据多个词，分别将多个词转化称为对应的多个词向量表示，再分别计算多个词向量相对于消息文本的多个权重，并对计算得到的多个权重进行加权求和，以得到相应的权重值，该权重值即可以作为消息文本对应的文本表征。
46.或者，也可以采用其它任意可能的方式，根据多个词，确定与消息文本对应的文本表征信息，例如特征提取的方式，模型解析的方式等，对此不做限制。
47.s104：对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别。
48.上述在确定与类别信息对应的意图表征信息及与消息文本对应的文本表征信息后，可以对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个处理后的表征信息，该表征信息即可以被称为融合表征信息。
49.一些实施例中，可以采用信息融合算法(例如：加权平均算法、贝叶斯估计法、卡尔曼滤波法等)，对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，或者，也可以采用其它任意可能的方式实现对文本表征信息和多个意图表征信息分别进行增强融合处理，例如模型融合的方式，特征融合的方式，对此不做限制。
50.上述在对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息后，可以采用多个融合表征信息训练意图识别模型，意图识别模型可以被用于进行意图识别。
51.其中的意图识别模型可以为人工智能模型中的任一项能够执行意图识别任务的模型，例如机器学习模型或者神经网络模型等，对此不做限制。
52.其中，关于训练意图识别模型的描述说明，可以具体参见后续实施例的具体描述说明，在此不再赘述。
53.本实施例中，通过获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，确定与类别信息对应的意图表征信息，再根据多个词，确定与消息文本对应的文本表征信息，以及对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别，由此，能够实现细粒度的表征信息融合，有效地提升不同维度的表征信息的融合效果，当采用细粒度融合得到的融合表征信息训练
意图识别模型时，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。
54.图2是本公开另一实施例提出的意图识别方法的流程示意图。
55.如图2所示，该意图识别方法，包括：
56.s201：获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记。
57.s201的描述说明可以具体参见上述实施例，在此不再赘述。
58.s202：根据多个类别标记，构建类别信息矩阵。
59.上述在确定类别信息中的多个类别标记后，可以根据多个类别标记，构建类别信息矩阵，类别信息矩阵可以在后续意图识别过程中，用于辅助确定意图表征信息。
60.可选地，一些实施例中，根据多个类别标记，构建类别信息矩阵，可以是确定与多个类别信息分别对应的多个类别标记数量，并从多个类别标记数量中确定出最大的目标类别标记数量，再参考目标类别标记数量，对第一类别信息对应的类别标记数量进行补零处理，得到多个零类别标记，第一类别信息对应的类别标记数量小于目标类别标记数量，后根据多个类别标记和多个零类别标记，构建类别信息矩阵，由此，能够有效地提升类别信息矩阵针对类别信息的表征能力，另外由于是参考了目标类别标记数量对对应的类别标记数量进行补零处理，可以在后续意图识别方法执行过程中，大幅提高运算性能。
61.其中，多个类别信息可以分别对应多个类别标记(token)数量，即不同的类别信息可以分别对应不同数量的类别标记(token)，多个类别标记(token)数量中最大的类别标记(token)数量即可以被称为目标类别标记(token)数量。
62.举例而言，上述在获得多个类别信息集合c＝{c1,
…
,cn}后，每个类别信息c1包含共mi个类别标记(token)，后可以确定多个类别标记数量中最大的类别标记数量，并将其表示为
63.上述在确定多个类别标记数量中最大的类别标记数量后，并将其作为目标类别标记数量后，可以参考目标类别标记数量，对第一类别信息对应的类别标记数量进行补零处理，以得到补零处理后的类别标记(token)，该类别标记(token)即可以被称为零类别标记。
64.其中，第一类别信息可以是上述类别信息集合c中的，任一项类别标记数量小于目标类别标记数量的信息，对此不做限制。
65.上述在得到多个类别标记(token)和多个零类别标记后，可以根据多个类别标记和多个零类别标记，构建类别信息矩阵h，类别信息矩阵h中的每一个元素就是一个类别标记(token)。
66.s203：确定与多个类别标记分别对应的多个字向量。
67.上述在构建得到类别信息矩阵后，可以确定类别信息矩阵中的每一个类别标记(token)分别对应的多个字向量。
68.本实施例中，可以使用预先训练好的字向量字典进行查找，以确定与多个类别标记(token)分别对应的多个字向量dc。
69.s204：根据多个类别信息分别对应的多个字向量，生成嵌入矩阵。
70.上述在确定与多个类别标记(token)分别对应的多个字向量dc后，可以根据多个
类别信息分别对应的多个字向量，生成嵌入矩阵其中n为类别信息数量，lc目标类别标记(token)数量，dc为与多个类别标记(token)分别对应的字向量。
71.s205：根据类别信息矩阵结合嵌入矩阵，确定与多个类别信息分别对应的多个意图表征信息。
72.上述在生成嵌入矩阵后，可以结合类别信息，确定与多个类别信息分别对应的多个意图表征信息，由此能够基于消息文本的类别维度确定多个意图表征信息，有效地提升意图表征信息的可参考性，从而可以基于意图表征信息，有效地辅助提升意图识别效果。
73.举例而言，可以采用池化处理、多层感知机、循环神经网络等方式确定与多个类别信息分别对应的意图表征信息，意图表征信息可以具体描述为：
74.s206：对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别。
75.s206的描述说明可以具体参见上述实施例，在此不再赘述。
76.本实施例中，通过获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，构建类别信息矩阵，再确定与多个类别标记分别对应的多个字向量后，根据多个类别信息分别对应的多个字向量，生成嵌入矩阵，再根据类别信息矩阵结合嵌入矩阵，确定与多个类别信息分别对应的多个意图表征信息，由此能够基于消息文本的类别维度确定多个意图表征信息，有效地提升意图表征信息的可参考性，从而可以基于意图表征信息，有效地辅助提升意图识别效果，再对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。
77.图3是本公开另一实施例提出的意图识别方法的流程示意图。
78.如图3所示，该意图识别方法，包括：
79.s301：获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记。
80.s302：根据多个类别标记，确定与类别信息对应的意图表征信息。
81.s301-s302的描述说明可以具体参见上述实施例，在此不再赘述。
82.s303：根据多个词，生成与消息文本对应的编号表示信息。
83.上述在获取消息文本后，可以根据消息文本中所包含的多个词，生成与消息文本对应的编号表示信息。
84.一些实施例中，在得到消息文本的词序列表示x＝{x1，...，x
l
}后，可以根据预训练的词向量字典，将消息文本x中的每个词转换成词向量字典中对应的标识(identification，id)信息，该id信息即可以视为是消息文本对应的编号表示信息，该编号表示信息可以具体表示为：w＝{w1，...，w
l
}。其中1可以用于表示消息文本x的长度。
85.举例而言，在得到消息文本的词序列表示x＝{x1，...，xi}后，可以使用双向编码器
表征向量(bidirectional encoder representations from transformers，bert)模型，结合预训练的词向量字典，将x＝{x1，...，x
l
}中的每个词，转换成词向量字典中对应的id序列，在此过程中，bert模型会在输出的id序列的头尾分别加入[cls]、[sep]字符，由此，可以得到最终输出的编号表示信息为w＝{w
cls
，w1，...，w
l
，w
sep
}。
[0086]
s304：根据多个词，生成与消息文本对应的掩码表示信息，掩码表示信息包括：与消息文本中的多个文本标记分别对应的多个掩码值。
[0087]
其中，文本标记可以例如是上述得到的与消息文本对应的编号表示信息，对此不做限制。
[0088]
一些实施例中，根据多个词，生成与消息文本对应的掩码表示信息，可以是采用bert模型自带的启发式截断方法，即优先截断最长消息文本的尾部，以得到对应的掩码表示信息序列mask＝{mask
l
，...，mask
l
}，其中，掩码表示信息序列mask中的每一个mask都可以被视为是与文本标记分别对应的掩码值。
[0089]
一些实施例中，如果多个词数量小于目标词数量，则掩码表示信息还包括：目标数量的掩码值，其中的目标词数量可以根据实际业务需求自适应配置，例如可以根据消息文本x的序列长度，将目标词数量设置为最大文本长度lw，相应地，目标数量可以是目标词数量和多个词总数量的数量差。
[0090]
也即是说，如果多个词数量小于目标词数量，可以对掩码表示信息序列mask进行目标数量的补零处理，以得到对应的掩码表示信息序列mask，其中，mask序列包含0，1两种元素，0表示目标数量的掩码值，1为消息文本中的多个文本标记对应的掩码值。
[0091]
本实施例中，在得到掩码表示信息序列mask＝{mask
l
，...，mask
l
}后，bert模型会在输出的mask序列的头尾分别加入[cls]、[sep]字符，以得到最终的mask序列：
[0092]
mask＝{mask
cls
，mask1，...，mask
l
，mask
sep
}。
[0093]
s305：根据编号表示信息和掩码表示信息，合成得到文本表征信息。
[0094]
上述在得到编号表示信息w＝{w
cls
，w1，...，w
l
，w
sep
}及掩码表示信息mask＝{mask
cls
，mask1，...，mask
l
，mask
sep
}后，可以对编号表示信息及掩码表示信息进行合成处理，以得到文本表征信息，由于是结合编号表示信息及掩码表示信息对文本表征信息进行确定，从而可以实现细粒度的文本表征，有效地提升文本表征信息的准确性和可参考性，以辅助提升意图识别效果。
[0095]
本实施例中，可以根据编号表示信息和掩码表示信息，结合预训练的bert模型实现对编号表示信息和掩码表示信息的合成处理，例如，可以将编号表示信息w＝{w
cls
，w1，...，w
l
，w
sep
}及掩码表示信息mask＝{mask
cls
，mask1，...，mask
l
，mask
sep
}共同作为bert模型的输入参数，以得到由bert模型输出的文本表征信息，文本表征信息可以具体表示为：
[0096][0097]
s306：确定文本表征信息分别与多个意图表征信息对应的多个注意力权重信息。
[0098]
上述在确定文本表征信息及与多个类别信息分别对应的多个意图表征信息后，可以确定文本表征信息分别与多个意图表征信息对应的多个注意力权重信息。
[0099]
其中，注意力权重信息可以具体例如为注意力权重值，注意力权重值可以用于描述文本表征信息和意图表征信息之间的关联程度，注意力权重值越大，则表明文本表征信息和意图表征信息之间的关联程度越强，反之，注意力权重值越小，则表明文本表征信息和
意图表征信息之间的关联程度越弱。
[0100]
其中，文本表征信息包括：与多个词分别对应的多个文本表征，意图表征信息包括：与多个类别标记分别对应的多个意图表征。
[0101]
可选地，一些实施例中，确定文本表征信息分别与多个意图表征信息对应的多个注意力权重信息，可以是确定文本表征和相应的意图表征之间的权重子信息，再根据与多个意图表征分别对应的多个权重子信息，确定多个意图表征所属意图表征信息对应的注意力权重信息，由于是根据多个子权重信息对注意力权重信息进行确定，能够有效地保障注意力权重信息的准确性和可靠性，从而可以基于注意力权重信息有效地辅助后续意图识别方法的进行。
[0102]
其中，某个词对应的文本表征和相应的意图表征之间的权重信息可以被称为权重子信息。
[0103]
可选地，一些实施例中，确定文本表征和相应意图表征之间的权重子信息可以是确定文本表征和相应意图表征之间的二阶交互信息，并将二阶交互信息作为权重子信息，由于是将文本表征相应的意图表征之间的二阶交互信息作为权重子信息，从而可以基于全新的维度对权重子信息进行确定，从而能够在有效地保障权重子信息准确度的同时，有效地提升权重子信息确定的灵活性。
[0104]
其中的二阶交互是指，对于文本表征序列中的第i个文本标记的表征对于意图表征序列中第j个类别标记(token)的表征二者的表征的维度是可以不一样的。其二阶交互为：
[0105]fi
＝x
twiy
；
[0106]
其中，fi是个标量，wi是的第i个矩阵。为了减少参数量，引入池化及低秩近似，即将w变成一个2维矩阵，并使用两个低秩的二维矩阵的矩阵相乘来代替，其中s≤min(dw,dc)，而后，使用池化矩阵去达到原来同样产生向量的效果，整个过程变为：
[0107][0108]
其中，表示对应元素相乘。
[0109]
相应地，可以按照上述二阶交互方式，确定文本表征和相应意图表征之间的二阶交互信息，以得到文本表征信息和意图表征信息间的权重子信息，具体计算方式如下：
[0110][0111]
其中，a
ij
是个标量。
[0112]
上述在计算得到多个权重子信息后，可以根据与多个意图表征分别对应的多个权重子信息，确定多个意图表征所属意图表征信息对应的注意力权重信息。
[0113]
本实施例中，可以对文本表征矩阵和意图表征矩阵二者之间的元素两两进行二阶交互，得到注意力权重将a的计算方式按照矩阵表示出来为：
[0114]
[0115]h′c＝u(hc；v，bv)
[0116][0117]
其中，g、u是两个函数，分别是逐元素的softmax，u(x；θ,b
θ
)＝σ(xθ b
θ
)，其中表示σ激活函数，b
θ
表示偏置项。
[0118]
s307：对文本表征信息和分别对应的多个意图表征信息进行融合处理，以得到多个待融合表征信息。
[0119]
其中，当前待对其进行融合处理的融合表征信息，即可以被称为待融合表征信息。
[0120]
可选地，一些实施例中，对文本表征信息和分别对应的多个意图表征信息进行融合处理，以得到多个待融合表征信息，可以是对文本表征信息和分别对应的多个意图表征信息进行二阶融合处理，以得到多个待融合表征信息，由于是采用二阶融合处理的方式，以得到多个待融合表征信息，从而可以为融合处理提供一个新维度，在保障融合处理效率的同时，有效地提升表征信息的融合效果。
[0121]
也即是说，可以采用上述描述的二阶交互的处理方式对文本表征信息和分别对应的多个意图表征信息进行融合处理，具体处理方式为：先使用u函数，对表征进行变化，即：
[0122]h″w＝u(hw；u
′
，b
′u)
[0123]h″c＝u(hc；y'，b
′v)；
[0124]
其中，此时对第i维特征，即二者的第i个列向量，进行二阶融合，即：
[0125][0126]
其中，fi′
是个标量。
[0127]
s308：根据多个注意力权重信息分别对多个待融合表征信息进行加权融合处理，以得到多个融合表征信息。
[0128]
上述在得到多个注意力权重信息后，可以根据多个注意力权重信息分别对多个待融合表征信息进行加权融合处理，以得到多个融合表征信息。
[0129]
本实施例中，可以引入池化矩阵以根据多个注意力权重信息分别对多个待融合表征信息进行加权融合处理，得到融合表征信息为：
[0130]ff
＝p
tf′
；
[0131]
其中，其每个元素即为fi′
，
[0132]
从而本实施例中，通过确定文本表征信息分别与多个意图表征信息对应的多个注意力权重信息，并对文本表征信息和分别对应的多个意图表征信息进行融合处理，以得到多个待融合表征信息，再根据多个注意力权重信息分别对多个待融合表征信息进行加权融合处理，以得到多个融合表征信息，由此可以有效地保障表征信息融合处理的合理性和适用性，由于是参考了注意力权重信息对不同维度的表征信息进行融合处理，从而可以基于注意力权重信息，对融合处理过程进行解释，有效地提升表征信息的融合效果。
[0133]
本实施例中，通过获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，确定与类别信息对应的意图表征信息，根据多个词，生成与消息文本对应的编号表示信息，根据多个词，生成与消息文本对应的掩
码表示信息，掩码表示信息包括：与消息文本中的多个文本标记分别对应的多个掩码值，由于是结合编号表示信息及掩码表示信息对文本表征信息进行确定，从而可以实现细粒度的文本表征，有效地提升文本表征信息的准确性和可参考性，以辅助提升意图识别效果，再确定文本表征信息分别与多个意图表征信息对应的多个注意力权重信息，并对文本表征信息和分别对应的多个意图表征信息进行融合处理，以得到多个待融合表征信息，再根据多个注意力权重信息分别对多个待融合表征信息进行加权融合处理，以得到多个融合表征信息，由此可以有效地保障表征信息融合处理的合理性和适用性，由于是参考了注意力权重信息对不同维度的表征信息进行融合处理，从而可以基于注意力权重信息，对融合处理过程进行解释，有效地提升表征信息的融合效果。
[0134]
图4是本公开另一实施例提出的意图识别方法的流程示意图。
[0135]
如图4所示，该意图识别方法，包括：
[0136]
s401：获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记。
[0137]
s402：根据多个类别标记，确定与类别信息对应的意图表征信息。
[0138]
s403：根据多个词，确定与消息文本对应的文本表征信息。
[0139]
s404：对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息。
[0140]
s401-s404的描述说明可以具体参见上述实施例，在此不再赘述。
[0141]
s405：对文本表征信息进行池化处理，以得到目标文本表征信息。
[0142]
上述在根据多个词，确定与消息文本对应的文本表征信息后，可以对文本表征信息进行池化处理，以得到处理后的文本表征信息，该文本表征信息即可以被称为目标文本表征信息。
[0143]
其中，池化是指通过压缩数据和参数的数量以实现特征降维的处理方式。
[0144]
上述在确定消息文本对应的文本表征信息后，可以对文本表征信息进行池化处理，将文本表征信息压缩成一个向量向量fd即可以被称为目标文本表征信息。
[0145]
s406：分别对多个融合表征信息和目标文本表征信息进行残差连接，以得到多个目标表征信息，多个目标表征信息被用于训练意图识别模型。
[0146]
上述在对文本表征信息进行池化处理，以得到目标文本表征信息后，可以对目标文本表征信息和上述得到的多个融合表征信息进行残差连接处理，以得到多个连接处理后的表征信息，该表征信息即可以被称为目标表征信息。
[0147]
本实施例中，由于是对目标文本表征信息和多个融合表征信息进行残差连接处理，并将处理得到的表征信息作为目标表征信息，可以有效地保障目标表征信息的准确性和可靠性，从而可以基于目标表征信息有效地提升意图识别模型的训练效果，有效地提升训练得到的意图识别模型的识别性能。
[0148]
本实施例中，上述在得到融合表征信息ff＝p
tf′
及目标文本表征信息后，可以对融合表征信息ff＝p
tf′
及目标文本表征信息进行残差连接处理，以得到目标表征信息fo，其中，具体处理方式可以表示为：
[0149][0150]
其中，表示逐元素相加，为了执行上述残差连接处理，可以设置o＝dw，或者还可以在或者在ff之后连接一个全连接层使得输出维度由o变为为dw，通过对fd和ff进行残差连接处理，可以得到目标表征信息
[0151]
进一步的，在得到目标表征信息后，可以结合分类器(分类器可以具体例如为线性分类器，对此不做限制)对目标表征信息进行处理，其对应的权重矩阵是由此可以得到最终的概率为：p＝softmax(wfo)。
[0152]
上述在得到最终概率p＝softmax(wfo)后，可以用交叉熵作为损失函数，即l＝ce(p,y)，其中，ce表示交叉熵函数，y为真实标签，监督意图识别模型的训练。
[0153]
也即是说，可以损失函数l＝ce(p,y)的输出的损失值，作为意图识别模型训练的监督信号，并结合adam的优化器对意图识别模型进行梯度下降训练，当在损失值满足设定条件(设定条件可以根据实际业务场景自适应配置，对此不做限制)时，则可以指示意图识别模型收敛(模型收敛则可以表征模型训练完成)，此时可以通过adam的优化器的梯度下降对意图识别模型的训练参数进行更新，以得到训练好的意图识别模型。
[0154]
本实施例中，通过获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，确定与类别信息对应的意图表征信息，再根据多个词，确定与消息文本对应的文本表征信息，以及对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，由于是对目标文本表征信息和多个融合表征信息进行残差连接处理，并将处理得到的表征信息作为目标表征信息，可以有效地保障目标表征信息的准确性和可靠性，从而可以基于目标表征信息有效地提升意图识别模型的训练效果，当采用细粒度融合得到的融合表征信息训练意图识别模型时，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。
[0155]
图5是根据本公开实施例提出的意图识别方法的架构示意图，如图5所示，可以将消息文本输入预先训练好的bert模型中，得到由bert模型输出的文本表征序列hw，同样可以根据类别信息序列c经由编码器，得到相应的与类别信息对应的意图表征序列hc，分别采用u函数和v函数对文本表征序列hw及文本表征序列hw进行处理，并对处理结果进行二阶交互，以得到注意力权重a，再根据注意力权重、文本表征序列hw、意图表征序列hc得到融合表征信息ff，相应地，可以采用池化处理方法处理文本表征序列hw，以得到目标文本表征信息fd，再将目标文本表征信息fd和上述融合表征信息ff进行残差连接，以得到目标表征信息fo，以及将目标表征信息fo输入分类器中，以得到相应的意图识别结果。
[0156]
图6是本公开一实施例提出的意图识别装置的结构示意图。
[0157]
如图6所示，该意图识别装置60，包括：
[0158]
获取模块601，用于获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记；
[0159]
第一确定模块602，用于根据多个类别标记，确定与类别信息对应的意图表征信息；
[0160]
第二确定模块603，用于根据多个词，确定与消息文本对应的文本表征信息；以及
[0161]
第一处理模块604，用于对文本表征信息和多个意图表征信息分别进行增强融合
处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别。
[0162]
在本公开的一些实施例中，如图7所示，图7是本公开另一实施例提出的意图识别装置的结构示意图，第一处理模块604，包括：
[0163]
第一确定子模块6041，用于确定文本表征信息分别与多个意图表征信息对应的多个注意力权重信息；
[0164]
第一处理子模块6042，用于对文本表征信息和分别对应的多个意图表征信息进行融合处理，以得到多个待融合表征信息；
[0165]
第二处理子模块6043，用于根据多个注意力权重信息分别对多个待融合表征信息进行加权融合处理，以得到多个融合表征信息。
[0166]
在本公开的一些实施例中，其特征在于，文本表征信息包括：与多个词分别对应的多个文本表征，意图表征信息包括：与多个类别标记分别对应的多个意图表征；
[0167]
其中，第一确定子模块6041，包括：
[0168]
第一确定单元60411，用于确定文本表征和相应意图表征之间的权重子信息；
[0169]
第二确定单元60412，用于根据与多个意图表征分别对应的多个权重子信息，确定多个意图表征所属意图表征信息对应的注意力权重信息。
[0170]
在本公开的一些实施例中，第一确定单元60411，具体用于：
[0171]
确定文本表征和相应意图表征之间的二阶交互信息，并将二阶交互信息作为权重子信息。
[0172]
在本公开的一些实施例中，第一处理子模块6042，具体用于：
[0173]
对文本表征信息和分别对应的多个意图表征信息进行二阶融合处理，以得到多个待融合表征信息。
[0174]
在本公开的一些实施例中，意图识别装置60，还包括：
[0175]
第二处理模块605，用于在对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息之后，对文本表征信息进行池化处理，以得到目标文本表征信息；
[0176]
连接模块606，用于分别对多个融合表征信息和目标文本表征信息进行残差连接，以得到多个目标表征信息，多个目标表征信息被用于训练意图识别模型。
[0177]
在本公开的一些实施例中，第一确定模块602，包括：
[0178]
构建子模块6021，用于根据多个类别标记，构建类别信息矩阵；
[0179]
第二确定子模块6022，用于确定与多个类别标记分别对应的多个字向量；
[0180]
生成子模块6023，用于根据多个类别信息分别对应的多个字向量，生成嵌入矩阵；
[0181]
第三确定子模块6024，用于根据类别信息矩阵结合嵌入矩阵，确定与多个类别信息分别对应的多个意图表征信息。
[0182]
在本公开的一些实施例中，构建子模块6021，具体用于：
[0183]
确定与多个类别信息分别对应的多个类别标记数量；
[0184]
从多个类别标记数量中确定出最大的目标类别标记数量；
[0185]
参考目标类别标记数量，对第一类别信息对应的类别标记数量进行补零处理，得到多个零类别标记，第一类别信息对应的类别标记数量小于目标类别标记数量；
interconnection；以下简称：pci)总线。
[0201]
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0202]
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory；以下简称：ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。
[0203]
尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compact disc read only memory；以下简称：cd-rom)、数字多功能只读光盘(digital video disc read only memory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
[0204]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
[0205]
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network；以下简称：lan)，广域网(wide area network；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0206]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的意图识别方法。
[0207]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0208]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
[0209]
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义
是两个或两个以上。
[0210]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
[0211]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0212]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0213]
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0214]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0215]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0216]
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种意图识别方法，其特征在于，所述方法包括：获取消息文本和多个类别信息，其中，所述消息文本包括：多个词，所述类别信息包括：多个类别标记；根据所述多个类别标记，确定与所述类别信息对应的意图表征信息；根据所述多个词，确定与所述消息文本对应的文本表征信息；以及对所述文本表征信息和多个所述意图表征信息分别进行增强融合处理，以得到多个融合表征信息，所述多个融合表征信息被用于训练意图识别模型，所述意图识别模型用于进行意图识别。2.如权利要求1所述的方法，其特征在于，所述对所述文本表征信息和多个所述意图表征信息分别进行增强融合处理，以得到多个融合表征信息，包括：确定所述文本表征信息分别与所述多个所述意图表征信息对应的多个注意力权重信息；对所述文本表征信息和分别对应的所述多个所述意图表征信息进行融合处理，以得到多个待融合表征信息；根据所述多个注意力权重信息分别对所述多个待融合表征信息进行加权融合处理，以得到所述多个融合表征信息。3.如权利要求2所述的方法，其特征在于，所述文本表征信息包括：与所述多个词分别对应的多个文本表征，所述意图表征信息包括：与所述多个类别标记分别对应的多个意图表征；其中，所述确定所述文本表征信息分别与所述多个所述意图表征信息对应的多个注意力权重信息，包括：确定所述文本表征和相应所述意图表征之间的权重子信息；根据与所述多个所述意图表征分别对应的多个权重子信息，确定所述多个意图表征所属意图表征信息对应的注意力权重信息。4.如权利要求3所述的方法，其特征在于，所述确定所述文本表征和相应所述意图表征之间的权重子信息，包括：确定所述文本表征和相应所述意图表征之间的二阶交互信息，并将所述二阶交互信息作为所述权重子信息。5.如权利要求2所述的方法，其特征在于，所述对所述文本表征信息和分别对应的所述多个所述意图表征信息进行融合处理，以得到多个待融合表征信息，包括：对所述文本表征信息和分别对应的所述多个所述意图表征信息进行二阶融合处理，以得到多个待融合表征信息。6.如权利要求1所述的方法，其特征在于，在所述对所述文本表征信息和多个所述意图表征信息分别进行增强融合处理，以得到多个融合表征信息之后，还包括：对所述文本表征信息进行池化处理，以得到目标文本表征信息；分别对所述多个融合表征信息和所述目标文本表征信息进行残差连接，以得到多个目标表征信息，所述多个目标表征信息被用于训练所述意图识别模型。7.如权利要求1所述的方法，其特征在于，所述根据所述多个类别标记，确定与所述类别信息对应的意图表征信息，包括：
根据所述多个类别标记，构建类别信息矩阵；确定与所述多个类别标记分别对应的多个字向量；根据所述多个类别信息分别对应的多个字向量，生成嵌入矩阵；根据所述类别信息矩阵结合所述嵌入矩阵，确定与所述多个类别信息分别对应的多个意图表征信息。8.如权利要求7所述的方法，其特征在于，所述根据所述多个类别标记，构建类别信息矩阵，包括：确定与所述多个类别信息分别对应的多个类别标记数量；从所述多个类别标记数量中确定出最大的目标类别标记数量；参考所述目标类别标记数量，对所述第一类别信息对应的类别标记数量进行补零处理，得到多个零类别标记，所述第一类别信息对应的类别标记数量小于所述目标类别标记数量；根据所述多个类别标记和所述多个零类别标记，构建所述类别信息矩阵。9.如权利要求1所述的方法，其特征在于，所述根据所述多个词，确定与所述消息文本对应的文本表征信息，包括：根据所述多个词，生成与所述消息文本对应的编号表示信息；根据所述多个词，生成与所述消息文本对应的掩码表示信息，所述掩码表示信息包括：与所述消息文本中的多个文本标记分别对应的多个掩码值；根据所述编号表示信息和所述掩码表示信息，合成得到所述文本表征信息。10.如权利要求9所述的方法，其特征在于，其中，如果所述多个词的总数量小于目标词数量，则所述掩码表示信息还包括：目标数量的补零掩码值，所述目标数量，是所述目标词数量和所述总数量之间的数量差。11.一种意图识别装置，其特征在于，所述装置包括：获取模块，用于获取消息文本和多个类别信息，其中，所述消息文本包括：多个词，所述类别信息包括：多个类别标记；第一确定模块，用于根据所述多个类别标记，确定与所述类别信息对应的意图表征信息；第二确定模块，用于根据所述多个词，确定与所述消息文本对应的文本表征信息；以及第一处理模块，用于对所述文本表征信息和多个所述意图表征信息分别进行增强融合处理，以得到多个融合表征信息，所述多个融合表征信息被用于训练意图识别模型，所述意图识别模型用于进行意图识别。12.如权利要求11所述的装置，其特征在于，所述第一处理模块，包括：第一确定子模块，用于确定所述文本表征信息分别与所述多个所述意图表征信息对应的多个注意力权重信息；第一处理子模块，用于对所述文本表征信息和分别对应的所述多个所述意图表征信息进行融合处理，以得到多个待融合表征信息；第二处理子模块，用于根据所述多个注意力权重信息分别对所述多个待融合表征信息进行加权融合处理，以得到所述多个融合表征信息。13.如权利要求12所述的装置，其特征在于，所述文本表征信息包括：与所述多个词分
别对应的多个文本表征，所述意图表征信息包括：与所述多个类别标记分别对应的多个意图表征；其中，所述第一确定子模块，包括：第一确定单元，用于确定所述文本表征和相应所述意图表征之间的权重子信息；第二确定单元，用于根据与所述多个所述意图表征分别对应的多个权重子信息，确定所述多个意图表征所属意图表征信息对应的注意力权重信息。14.如权利要求13所述的装置，其特征在于，所述第一确定单元，具体用于：确定所述文本表征和相应所述意图表征之间的二阶交互信息，并将所述二阶交互信息作为所述权重子信息。15.如权利要求12所述的装置，其特征在于，所述第一处理子模块，具体用于：对所述文本表征信息和分别对应的所述多个所述意图表征信息进行二阶融合处理，以得到多个待融合表征信息。16.如权利要求11所述的装置，其特征在于，还包括：第二处理模块，用于在所述对所述文本表征信息和多个所述意图表征信息分别进行增强融合处理，以得到多个融合表征信息之后，对所述文本表征信息进行池化处理，以得到目标文本表征信息；连接模块，用于分别对所述多个融合表征信息和所述目标文本表征信息进行残差连接，以得到多个目标表征信息，所述多个目标表征信息被用于训练所述意图识别模型。17.如权利要求11所述的装置，所述第一确定模块，包括：构建子模块，用于根据所述多个类别标记，构建类别信息矩阵；第二确定子模块，用于确定与所述多个类别标记分别对应的多个字向量；生成子模块，用于根据所述多个类别信息分别对应的多个字向量，生成嵌入矩阵；第三确定子模块，用于根据所述类别信息矩阵结合所述嵌入矩阵，确定与所述多个类别信息分别对应的多个意图表征信息。18.如权利要求17所述的装置，其特征在于，所述构建子模块，具体用于：确定与所述多个类别信息分别对应的多个类别标记数量；从所述多个类别标记数量中确定出最大的目标类别标记数量；参考所述目标类别标记数量，对所述第一类别信息对应的类别标记数量进行补零处理，得到多个零类别标记，所述第一类别信息对应的类别标记数量小于所述目标类别标记数量；根据所述多个类别标记和所述多个零类别标记，构建所述类别信息矩阵。19.如权利要求11所述的装置，其特征在于，所述第二确定模块，具体用于：根据所述多个词，生成与所述消息文本对应的编号表示信息；根据所述多个词，生成与所述消息文本对应的掩码表示信息，所述掩码表示信息包括：与所述消息文本中的多个文本标记分别对应的多个掩码值；根据所述编号表示信息和所述掩码表示信息，合成得到所述文本表征信息。20.如权利要求19所述的装置，其特征在于，所述第二确定模块，还用于：在所述多个词的总数量小于目标词数量时，配置所述掩码表示信息包括：目标数量的补零掩码值，所述目标数量，是所述目标词数量和所述总数量之间的数量差。
21.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。

技术总结
本公开提出一种意图识别方法、装置、电子设备及存储介质。具体方案为：获取消息文本和多个类别信息，其中，消息文本包括：多个词，类别信息包括：多个类别标记，并根据多个类别标记，确定与类别信息对应的意图表征信息，再根据多个词，确定与消息文本对应的文本表征信息，以及对文本表征信息和多个意图表征信息分别进行增强融合处理，以得到多个融合表征信息，多个融合表征信息被用于训练意图识别模型，意图识别模型用于进行意图识别。由此，能够实现细粒度的表征信息融合，有效地提升不同维度的表征信息的融合效果，当采用细粒度融合得到的融合表征信息训练意图识别模型时，能够有效地提升训练得到的意图识别模型针对消息文本的意图识别准确性。本的意图识别准确性。本的意图识别准确性。


技术研发人员：赵宇明 乐雨泉 陈蒙
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2022.02.17
技术公布日：2022/5/25