问答对评分模型的训练方法、装置、设备及存储介质与流程

1.本技术涉及人工智能领域，尤其涉及一种问答对评分模型的训练方法、装置、设备及存储介质。


背景技术：

2.检索式问答系统是常见的问答系统结构之一，是在原有问答库中通过查找与输入的问题最相似的问题为目标，返回该相似问题在现有问答库中的答案作为回答，具有稳定可控的提醒。但检索式问答系统的质量与检索式问答系统中问答库的质量息息相关，因此，需要对检索式问答系统中问答对的质量进行衡量。


技术实现要素：

3.本技术提供了一种问答对评分模型的训练方法、装置、设备及存储介质，以对问答库中的问答对进行评分。
4.第一方面，本技术提供了一种问答对评分模型的训练方法，所述方法包括：
5.获取样本问答对，所述样本问答对包括问题和所述问题对应的正确答案；
6.对所述正确答案进行数据增强，得到错误答案；
7.根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数；
8.对所述样本问答对进行语序评分，得到所述样本问答对的第二分数；
9.根据所述第一分数和所述第二分数对分类模型进行迭代训练，并将训练完成的所述分类模型作为问答对评分模型。
10.第二方面，本技术还提供了一种问答对评分模型的训练装置，所述装置包括：
11.样本获取模块，用于获取样本问答对，所述样本问答对包括问题和所述问题对应的正确答案；
12.数据增强模块，用于对所述正确答案进行数据增强，得到错误答案；
13.第一分数模块，用于根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数；
14.第二分数模块，用于对所述样本问答对进行语序评分，得到所述样本问答对的第二分数；
15.模型训练模块，用于根据所述第一分数和所述第二分数对分类模型进行迭代训练，并将训练完成的所述分类模型作为问答对评分模型。
16.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的问答对评分模型的训练方法。
17.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的问答对评分模型的训练方法。
18.本技术公开了一种问答对评分模型的训练方法、装置、设备及存储介质，通过获取样本问答对，样本问答对包括问题和问题对应的正确答案，然后对正确答案进行数据增强，得到错误答案，再根据问题、错误答案和正确答案确定样本问答对的第一分数，以及对样本问答对进行语序评分，得到样本问答对的第二分数，最后根据第一分数和第二分数对分类模型进行迭代训练，并将训练完成的分类模型作为问答对评分模型。在训练问答对评分模型时结合样本问答对中正确答案在该问题的所有答案中的顺序和样本问答对的语序合理化程度两方面，从而提高了得到的问答对评分模型在对问答对进行评分时的全面程度，提高评分结果的准确性。
附图说明
19.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的问答对评分模型的训练方法的步骤示意流程图；
21.图2是本技术实施例提供的确定样本问答对的第一分数的步骤示意流程图；
22.图3是本技术实施例提供的第一神经网络的结构示意图；
23.图4是本技术实施例提供的问答对评分模型的训练架构示意图；
24.图5是本技术实施例提供的一种问答对评分模型的训练装置的示意性框图；
25.图6为本技术实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
28.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
29.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
30.本技术的实施例提供了一种问答对评分模型的训练方法、装置、计算机设备及存储介质。
31.为维护检索式问答系统中问答库的健壮性与问答质量，需保证问答库中问答对的质量不能低于一定标准，若采用人力进行审核往往需耗费大量人力、时间，且审核标准会随着审核人员的认知而有所变动。
32.该问答对评分模型的训练方法可用于对于问答库中的问答对进行质量评分，从而
降低在管理问答库时的人力投入，并且能够对问答库中的问答对质量进行评分，以提升问答库中问答对的质量。
33.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
34.请参阅图1，图1是本技术实施例提供的一种问答对评分模型的训练方法的示意流程图。该问答对评分模型的训练方法通过从不同的角度对样本问答对进行评分，从而根据样本问答对在不同方面的评分训练问答对评分模型，使得训练出的问答对评分模型能够对问答对进行多方面的全面评价。
35.如图1所示，该问答对评分模型的训练方法，具体包括：步骤s101至步骤s105。
36.s101、获取样本问答对，所述样本问答对包括问题和所述问题对应的正确答案。
37.可以从现有的问答对中抽取出一部分问答对作为样本问答对，样本问答对中包括问题和问题所对应的正确答案。
38.s102、对所述正确答案进行数据增强，得到错误答案。
39.对样本问答对中的正确答案进行数据增强，并将经过数据增强后的正确答案作为错误答案。在一实施例中，所述数据增强包括同义词替换、停用词去除、插入词或删除词中的至少一种。
40.另外，数据增强也可以包括打乱句子顺序或者随机mask掉原始文本中的某些词等方式。
41.s103、根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数。
42.其中，第一分数表示正确答案在该问题所有答案中的排序情况。在得到错误答案后，可以通过神经网络分别得到问题、错误答案和正确答案各自对应的句向量，然后再根据各自的句向量确定样本问答对的第一分数。
43.在一实施例中，请参考图2，图2为本技术实施例提供的确定样本问答对的第一分数的步骤示意流程图。如图2所示，所述根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数的步骤可以包括：s1031、计算所述问题与所述正确答案的第一相似度以及所述问题和所述错误答案的第二相似度；s1032、根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数。
44.第一分数可以是根据样本问答对中的问题与正确答案之间的第一相似度，以及计算样本问答对中的问题和错误答案之间的第二相似度来确定的，分别计算第一相似度和第二相似度后，对正确答案和错误答案进行排序，根据正确答案在所有答案中的顺位来确定第一分数。
45.在一实施例中，所述计算所述问题与所述正确答案的第一相似度以及所述问题和所述错误答案的第二相似度的步骤可以包括：对所述问题、所述正确答案和所述错误答案进行分组，得到多个样本组；根据多个所述样本组对第一神经网络进行多次训练，以得到所述第一神经网络预测的所述问题对应的第一句向量、所述正确答案对应的第二句向量和所错误答案对应的第三句向量；计算所述第一句向量和所述第二句向量之间的余弦相似度，得到所述问题与所述正确答案的第一相似度；以及计算所述第一句向量和所述第三句向量之间的余弦相似度，得到所述问题与所述错误答案的第二相似度。
46.其中，由于问答对中的答案的长度一般不会太长，因此第一神经网络可以是双向长短期记忆网络，当然也可以根据数据情况使用其他类型的网络作为第一神经网络进行句向量的特征提取。
47.例如图3所示，为第一神经网络的结构示意图，第一神经网络可以包括输入层、第一隐藏层、第二隐藏层和输出层。其中，第一隐藏层为正向的计算，第二隐藏层为反向的计算，将第一隐藏层的输出和第二隐藏层的输出共同输入至输出层进行最大池化，即可得到句向量。
48.在具体实施过程中，可以使用样本问答对和进行数据增强得到的错误答案对第一神经网络进行训练。在使用样本问答对和错误答案对第一神经网络进行训练时，可以根据样本问答对中的问题将样本问答对和错误答案均分为多个样本组，使用其中一个样本组作为测试集，其他样本组作为训练集对第一神经网络进行训练。
49.例如，若样本问答对共有1000对，每一个样本问答对中都包括问题和正确答案，那么有1000个正确答案和1000个问题，对正确答案进行数据增强后得到错误答案1000个。那么根据问题进行均分时，可以分为abcde共5个样本组，每个样本组都包括200个问题以及问题所对应的正确答案和错误答案，那么第一神经网络的训练过程可以为：
50.首先将abcd四个样本组作为训练集对第一神经网络进行第一次训练，然后利用第一次训练得到的第一神经网络对e样本组进行预测，得到e样本组中问题所对应的第一句向量、正确答案所对应的第二句向量和错误答案所对应的第三句向量。
51.再对abce四个样本组作为训练集对第一神经网络进行第二次训练，然后利用第二次训练得到的第一神经网络对d样本组进行预测，得到d样本组中问题所对应的第一句向量、正确答案所对应的第二句向量和错误答案所对应的第三句向量。
52.再对abde四个样本组作为训练集对第一神经网络进行第三次训练，然后利用第三次训练得到的第一神经网络对c样本组进行预测，得到c样本组中问题所对应的第一句向量、正确答案所对应的第二句向量和错误答案所对应的第三句向量。
53.再对acde四个样本组作为训练集对第一神经网络进行第四次训练，然后利用第四次训练得到的第一神经网络对b样本组进行预测，得到b样本组中问题所对应的第一句向量、正确答案所对应的第二句向量和错误答案所对应的第三句向量。
54.再对bcde四个样本组作为训练集对第一神经网络进行第五次训练，然后利用第五次训练得到的第一神经网络对a样本组进行预测，得到a样本组中问题所对应的第一句向量、正确答案所对应的第二句向量和错误答案所对应的第三句向量。
55.将每次训练第一神经网络预测的各个样本组的预测值进行拼接，由此可以得到所有问题对应的第一句向量、正确答案对应的第二句向量和错误答案对应的第三句向量。
56.然后基于第一句向量、第二句向量和第三句向量来计算第一相似度和第二相似度。在具体实施过程中，可以通过余弦函数来分别计算第一相似度和第二相似度，也即可以通过句向量之间的cosine值来计算第一相似度和第二相似度。第一相似度的值越大，则说明问题与正确答案之间越相似，同样的，第二相似度的值越大，说明问题和错误答案之间越相似。
57.例如，q为问题的第一句向量表示，a 为正确答案的第二句向量表示，a-为错误答案的第三句向量表示，那么第一相似度可以表示为cosine(q,a )，第二相似度则可以表示
为cosine(q,a-)。
58.在一实施例中，所述根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数的步骤可以包括：
59.按照预设公式，根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数；所述预设公式包括：
60.l＝max{0,m-c0 c1}
61.其中，l表示第一分数，m表示常数，c0表示第一相似度，c1表示第二相似度。
62.在计算第一相似度和第二相似度时，可以通过句向量来计算问题与正确答案以及问题与错误答案之间的相似度。
63.第一相似度的值越大，则说明问题与正确答案之间越相似，而第二相似度的值越大，说明问题和错误答案之间越相似，因此，问题与正确答案之间越相似，那么第一分数就会越低，该正确答案在该问题的所有答案中的排序越靠前，反之，问题与错误答案之间越相似，那么第一分数就会越高，该错误答案在该问题的所有答案中的排序越靠前，正确答案在该问题的所有答案中的排序也会相对靠后。
64.s104、对所述样本问答对进行语序评分，得到所述样本问答对的第二分数。
65.其中，第二分数表示样本问答对中问题和/或正确答案的语序合理程度。在对样本问答对进行语序评分时，可以根据神经网络对样本问答对中问题和/或正确答案分别进行语序合理化的预测，从而得到第二分数。
66.在一实施例中，所述对所述样本问答对进行语序评分的步骤包括：对所述样本问答对的问题进行语序评分；和/或对所述样本问答对的正确答案进行语序评分。
67.在具体实施过程中，既可以对样本问答对中的问题进行语序评分，判断问题的语序是否合理，是否正确用词；也可以对样本问答对中得到正确答案进行语序评分，判断正确答案的语序是否合理，是否正确用词；也可以既对样本问答对中的问题进行语序评分，还对样本问答对中的正确答案进行语序评分。
68.可以理解的是，在使用神经网络对样本问答对进行语序评分时，对于样本问答对中的问题和正确答案，可以分别训练不同的神经网络来进行语序评分。
69.在一实施例中，所述对所述样本问答对进行语序评分的步骤可以包括：对所述样本问答对进行分组，得到多个样本组；根据多个所述样本组对第二神经网络进行多次训练，以得到所述第一神经网络预测的所述样本问答的语序评分。
70.在具体实施过程中，可以使用样本问答对对第二神经网络进行训练。在使用样本问答对第二神经网络进行训练时，可以将样本问答对均分为多个样本组，使用其中一个样本组作为测试集，其他样本组作为训练集对第二神经网络进行训练。
71.以训练能够对问答对中的问题进行语序评分的第二神经网络为例，若样本问答对共有1000对，那么可以将样本问答对均分为abcde共5个样本组，每个样本组都包括200个问题，那么第二神经网络的训练过程可以为：
72.首先将abcd四个样本组作为训练集对第二神经网络进行第一次训练，然后利用第一次训练得到的第二神经网络对e样本组进行预测，得到e样本组中问题所对应的语序评分。
73.再将abce四个样本组作为训练集对第二神经网络进行第二次训练，然后利用第二
次训练得到的第二神经网络对d样本组进行预测，得到d样本组中问题所对应的语序评分。
74.再将abde四个样本组作为训练集对第二神经网络进行第二次训练，然后利用第二次训练得到的第二神经网络对c样本组进行预测，得到c样本组中问题所对应的语序评分。
75.再将acde四个样本组作为训练集对第二神经网络进行第二次训练，然后利用第二次训练得到的第二神经网络对b样本组进行预测，得到b样本组中问题所对应的语序评分。
76.再将bcde四个样本组作为训练集对第二神经网络进行第二次训练，然后利用第二次训练得到的第二神经网络对a样本组进行预测，得到a样本组中问题所对应的语序评分。
77.将每次训练第二神经网络预测的各个样本组的预测值进行拼接，由此可以得到所有问题对应的语序评分。
78.在具体实施过程中，也可以对样本问答对中的部分问题进行乱序处理，并将训练问答对中的问题和经过乱序处理的问题分别作为正负样本输入第二神经网络中，对第二神经网络进行训练。
79.同样的，在对样本问答对中的正确答案进行语序评分时，也可以使用上述的训练过程来对第二神经网络进行训练，从而得到第二神经网络预测的正确答案的语序评分。
80.s105、根据所述第一分数和所述第二分数对分类模型进行迭代训练，并将训练完成的所述分类模型作为问答对评分模型。
81.然后将样本问答对的第一分数和第二分数共同作为训练集再输入至分类模型中进行训练，将训练完成的分类模型作为预先训练的问答对评分模型。其中，问答对评分模型是用于评估答案是否合规的二分类模型，通过问答对评分模型的输出对问答对的质量进行评价。
82.请参考图4，为本技术实施例提供的问答对评分模型的训练架构示意图。如图4所示，本技术中问答对评分模型的训练过程包括：
83.对样本问答对中的正确答案进行数据增强，得到错误答案。然后基于问题、正确答案和错误答案对第一神经网络进行训练，并得到第一神经网络输出的预测结果，也即第一分数。并且基于样本问答对对第二神经网络进行训练，并得到第二神经网络输出的预测结果，也即第二分数。
84.然后再将得到的第一分数和第二分数共同作为最后一个分类模型的输入来对该分类模型进行训练，从而在这个分类模型训练完成时，将训练完成的分类模型作为预先训练的问答对评分模型。
85.这种训练方式使得问答对评分模型在训练时是结合了第一分数和第二分数进行的二分类，考虑了样本问答对中正确答案在该问题的所有答案中的顺序和样本问答对的语序合理化程度，从而提高了得到的问答对评分模型在对问答对进行评分时的全面程度，提高评分结果的准确性。
86.上述实施例提供的问答对评分模型的训练方法，通过获取样本问答对，样本问答对包括问题和问题对应的正确答案，然后对正确答案进行数据增强，得到错误答案，再根据问题、错误答案和正确答案确定样本问答对的第一分数，以及对样本问答对进行语序评分，得到样本问答对的第二分数，最后根据第一分数和第二分数对分类模型进行迭代训练，并将训练完成的分类模型作为问答对评分模型。在训练问答对评分模型时结合样本问答对中正确答案在该问题的所有答案中的顺序和样本问答对的语序合理化程度两方面，从而提高
了得到的问答对评分模型在对问答对进行评分时的全面程度，提高评分结果的准确性。
87.请参阅图5，图5是本技术的实施例还提供一种问答对评分模型的训练装置的示意性框图，该问答对评分模型的训练装置用于执行前述的问答对评分模型的训练方法。其中，该问答对评分模型的训练装置可以配置于服务器或终端中。
88.其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
89.如图5所示，问答对评分模型的训练装置200包括：样本获取模块201、数据增强模块202、第一分数模块203、第二分数模块204和模型训练模块205。
90.样本获取模块201，用于获取样本问答对，所述样本问答对包括问题和所述问题对应的正确答案。
91.数据增强模块202，用于对所述正确答案进行数据增强，得到错误答案。
92.第一分数模块203，用于根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数。
93.在一实施例中，第一分数模块203包括相似计算子模块2031和分数计算子模块2032。
94.其中，相似计算子模块2031用于计算所述问题与所述正确答案的第一相似度以及所述问题和所述错误答案的第二相似度；分数计算子模块2032用于根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数。
95.第二分数模块204，用于对所述样本问答对进行语序评分，得到所述样本问答对的第二分数。
96.模型训练模块205，用于根据所述第一分数和所述第二分数对分类模型进行迭代训练，并将训练完成的所述分类模型作为问答对评分模型。
97.在一实施例中，相似计算子模块可以包括样本分组子模块、向量预测子模块和余弦计算子模块。
98.其中，样本分组子模块用于对所述问题、所述正确答案和所述错误答案进行分组，得到多个样本组；向量预测子模块用于根据多个所述样本组对第一神经网络进行多次训练，以得到所述第一神经网络预测的所述问题对应的第一句向量、所述正确答案对应的第二句向量和所错误答案对应的第三句向量；余弦计算子模块用于计算所述第一句向量和所述第二句向量之间的余弦相似度，得到所述问题与所述正确答案的第一相似度；以及计算所述第一句向量和所述第三句向量之间的余弦相似度，得到所述问题与所述错误答案的第二相似度。
99.在一实施例中，分数计算子模块包括预设计算子模块。
100.其中，预设计算子模块用于按照预设公式，根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数；
101.所述预设公式包括：
102.l＝max{0,m-c0 c1}
103.其中，l表示第一分数，m表示常数，c0表示第一相似度，c1表示第二相似度。
104.在一实施例中，第二分数模块包括问题评分子模块和/或答案评分子模块。
105.其中，问题评分子模块用于对所述样本问答对的问题进行语序评分；答案评分子
模块用于对所述样本问答对的正确答案进行语序评分。
106.在一实施例中，第二分数模块包括样本分组子模块和评分预测子模块。
107.其中，样本分组子模块用于对所述样本问答对进行分组，得到多个样本组；评分预测子模块用于根据多个所述样本组对第二神经网络进行多次训练，以得到所述第一神经网络预测的所述样本问答的语序评分。
108.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的问答对评分模型的训练装置和各模块的具体工作过程，可以参考前述问答对评分模型的训练方法实施例中的对应过程，在此不再赘述。
109.上述的问答对评分模型的训练装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
110.请参阅图6，图6是本技术实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。
111.参阅图6，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
112.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种问答对评分模型的训练方法。
113.处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
114.内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种问答对评分模型的训练方法。
115.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
116.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
117.其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
118.获取样本问答对，所述样本问答对包括问题和所述问题对应的正确答案；
119.对所述正确答案进行数据增强，得到错误答案；
120.根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数；
121.对所述样本问答对进行语序评分，得到所述样本问答对的第二分数；
122.根据所述第一分数和所述第二分数对分类模型进行迭代训练，并将训练完成的所述分类模型作为问答对评分模型。
123.在一个实施例中，所述处理器在实现所述根据所述问题、所述错误答案和所述正确答案确定所述样本问答对的第一分数时，用于实现：
124.计算所述问题与所述正确答案的第一相似度以及所述问题和所述错误答案的第二相似度；
125.根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数。
126.在一个实施例中，所述处理器在实现所述计算所述问题与所述正确答案的第一相似度以及所述问题和所述错误答案的第二相似度时，用于实现：
127.对所述问题、所述正确答案和所述错误答案进行分组，得到多个样本组；
128.根据多个所述样本组对第一神经网络进行多次训练，以得到所述第一神经网络预测的所述问题对应的第一句向量、所述正确答案对应的第二句向量和所错误答案对应的第三句向量；
129.计算所述第一句向量和所述第二句向量之间的余弦相似度，得到所述问题与所述正确答案的第一相似度；以及
130.计算所述第一句向量和所述第三句向量之间的余弦相似度，得到所述问题与所述错误答案的第二相似度。
131.在一个实施例中，所述处理器在实现所述根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数时，用于实现：
132.按照预设公式，根据所述第一相似度和所述第二相似度确定所述样本问答对的第一分数；
133.所述预设公式包括：
134.l＝max{0,m-c0 c1}
135.其中，l表示第一分数，m表示常数，c0表示第一相似度，c1表示第二相似度。
136.在一个实施例中，所述处理器在实现所述对所述样本问答对进行语序评分时，用于实现：
137.对所述样本问答对的问题进行语序评分；和/或
138.对所述样本问答对的正确答案进行语序评分。
139.在一个实施例中，所述处理器在实现所述对所述样本问答对进行语序评分时，用于实现：
140.对所述样本问答对进行分组，得到多个样本组；
141.根据多个所述样本组对第二神经网络进行多次训练，以得到所述第一神经网络预测的所述样本问答的语序评分。
142.在一个实施例中，所述数据增强包括同义词替换、停用词去除、插入词或删除词中的至少一种。
143.本技术的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项问答对评分模型的训练方法。
144.其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
145.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。