本技术涉及计算机，具体地涉及一种基于大语言模型的监督模型预测结果纠错方法、装置、设备、存储介质及产品。
背景技术：
1、事件是人类活动和交互的基本单元，包含对下游应用至关重要的丰富信息，一般分为事件检测(例如触发词识别、触发词分类)和论元抽取(例如论元识别、论元角色分类)两个子任务，其中，事件检测任务是指从非结构化文本中抽取出事件触发词和对应的事件类型，论元抽取是指抽取出事件论元及其对应角色。
2、然而，开发高度实用和灵活的事件抽取系统仍然具有挑战性。目前较为成熟的实现方法是使用监督模型完成抽取任务，主要分为四类：
3、(1)分类方法，例如dmcnn(参考文献：cheny,xu l,liu k,et al.eventextraction via dynamic multi-pooling convolutional neural networks[c]//proceedings ofthe 53rdannual meeting oftheassociation for computationallinguistics and the 7th international joint conference onnatural languageprocessing(volume 1:long papers).2015:167-176.)、dmbert(参考文献：wang x,han x,liuz,et al.adversarial training forweakly supervised event detection[c]//proceedings ofthe 2019conference ofthe north american chapteroftheassociation for computational linguistics:human language technologies,volume 1(long and shortpapers).2019:998-1008.)和cleve(参考文献：wang z,wang x,han x,et al.cleve:contrastive pre-training for event extraction[j].arxivpreprint arxiv:2105.14485,2021)，通过将事件及论元候选分类到适当的类型完成抽取；
4、(2)序列标记方法，例如bilstm+crf(参考文献：wang x,wang z,han x,etal.maven:amassive general domain event detection dataset[j].arxiv preprintarxiv:2004.13590,2020.)和bert+crf(参考文献：wang x,wang z,han x,et al.maven:amassive general domain event detection dataset[j].arxiv preprint arxiv:2004.13590,2020.)，用bio格式标记序列获取事件信息；
5、(3)跨度预测方法，包括eeqa(参考文献：du x,cardie c.event extractionbyanswering(almost)natural questions[j].arxiv preprint arxiv:2004.13625,2020.)，通过预测事件和论证跨度的边界完成事件抽取任务；
6、(4)条件生成方法，例如text2event(参考文献：luy,lin h,xu j,etal.text2event:controllable sequence-to-structure generation for end-to-endevent extraction[j].arxiv preprint arxiv:2106.09232,2021.)，直接生成事件抽取结果。
7、已有的最先进的模型即使在最常用的ace 2005数据集上，事件抽取任务的f1分数(f1分数被定义为精确率和召回率的调和平均数)仅达到57.9％，参考文献：lu,di,et al."event extraction as question generation and answering."arxiv preprint arxiv:2307.05567(2023).；远远不能满足实际需求。克服这一挑战的一种方法是探索利用强大的大语言模型，例如，通过将信息抽取任务转化成结构化的代码生成任务，结合检索增强策略引导大语言模型完成抽取(参考文献：guo,yucan,et al."retrieval-augmented codegeneration foruniversal information extraction."arxivpreprint arxiv:2311.02962(2023).)，虽然大语言模型具有指令学习和从反馈中学习的能力，但是在事件抽取任务上的表现远不及监督模型，目前的f1分数仅有21.3％；又如，通过结合标注指南的信息指导大语言模型更好地理解事件模式的定义，以提升事件抽取任务的效果(参考文献：pang c,caoy,ding q,et al.guideline learning for in-context informationextraction[j].arxivpreprint arxiv:2310.05066,2023.)等。
8、上述方法在事件抽取任务中带来了有希望的改进，但仍然显著落后于传统的监督模型。虽然监督模型具有更优良的性能，但监督模型主要通过微调来完成事件抽取任务，缺乏灵活性，无法根据用户反馈来调整预测结果，并且在性能方面仍有显著的改进空间。现有的研究已经证明，大语言模型可以基于反馈信息有效地调整它们的响应，这对于提高任务性能是有益的，例如通过提供简单的“correct”，“wrong”，“partially correct”反馈信息以改进问答系统(参考文献：gao g,chen h t,artziy,et al.continually improvingextractive qavia human feedback[j].arxivpreprint arxiv:2305.12473,2023.)；通过指令学习大语言模型能更好地完成自然语言处理领域的相关任务(参考文献：yinw,ye q,liu p,et al.llm-driven instruction following:progresses and concerns[c]//proceedings ofthe 2023conference on empirical methods innatural languageprocessing:tutorial abstracts.2023:19-25.)。
9、由于事件抽取任务本身的复杂性，目前在该方面仍未出现相关的研究。
10、本背景技术描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
技术实现思路
1、基于上述不足，本发明提供一种监督模型预测结果纠错方法、装置、设备、存储介质及产品，以解决传统监督模型缺乏灵活性，无法根据用户反馈调整预测结果而导致预测精度不高的问题。
2、在第一方面，本发明提供了一种监督模型预测结果纠错方法，包括：
3、获取规则库和触发词字典；其中，所述规则库包括不同事件类型的规则，所述规则用于生成反馈信息；
4、利用监督模型对测试集中的每个样本进行预测，得到第一预测结果；
5、根据所述测试集中的样本及其第一预测结果、触发词字典从所述规则库中选取合适规则；
6、将所述测试集中的样本及其第一预测结果、选取的规则输入至大语言模型中，得到最终的预测结果。
7、进一步地，所述规则库的生成过程，具体包括：
8、利用监督模型对样本数据集中的每个样本进行预测，得到第二预测结果和第三预测结果；其中，所述样本数据集包括训练集和验证集，所述第二预测结果是训练集中样本的预测结果，所述第三预测结果是验证集中样本的预测结果；
9、根据所述第二预测结果以及与所述第二预测结果对应的标签信息，从所述第二预测结果中选取不同事件类型的正确预测结果和错误预测结果；
10、设计任务说明，将每个事件类型的正确预测结果和错误预测结果、任务说明输入至大语言模型，得到用于生成反馈信息的规则；
11、根据所述规则和第三预测结果生成规则库。
12、进一步地，所述将每个事件类型的正确预测结果和错误预测结果、任务说明输入至大语言模型，得到用于生成反馈信息的规则，具体包括：
13、将每个事件类型的正确预测结果和错误预测结果、任务说明输入至大语言模型，得到初始规则；
14、获取初始规则中的错误信息；其中，所述初始规则中的错误信息是用户根据训练集的标注指南信息对初始规则进行分析得到；
15、将所述错误信息输入至大语言模型，利用所述错误信息对初始规则进行调整，得到调整后的规则；
16、重复获取错误信息和调整规则的步骤，直到得到的规则与所述标注指南信息相符。
17、进一步地，所述根据所述规则和第三预测结果生成规则库，具体包括：
18、将所述规则和第三预测结果输入至大语言模型，利用所述规则对第三预测结果进行纠正，得到纠正后的第三预测结果；
19、根据纠正后的所有第三预测结果计算第一f1分数，根据纠正前的所有第三预测结果计算第二f1分数；
20、若所述第一f1分数与第二f1分数之差大于零，则将对应的规则加入至规则库，进而生成规则库。
21、进一步地，利用所述规则对第三预测结果进行纠正，具体包括：
22、根据所述规则和第三预测结果得到反馈信息；
23、根据所述反馈信息判断所述第三预测结果是否正确，若是，则所述第三预测结果不需要纠正；若否，根据所述反馈信息对所述第三预测结果进行纠正。
24、进一步地，所述根据所述测试集中的样本及其第一预测结果、触发词字典从所述规则库中选取合适规则，具体包括：
25、根据所述第一预测结果的事件类型从所述规则库中选取m1条规则；
26、对所述测试集中的样本与触发词字典进行关键词匹配，得到所述测试集中的样本的候选触发词；
27、根据所述候选触发词对应的事件类型从所述规则库中选取m2条规则。
28、进一步地，将所述测试集中的样本及其第一预测结果、选取的规则输入至大语言模型中，得到最终的预测结果，具体包括：
29、将所述测试集中的样本及其第一预测结果、选取的第一条规则输入至大语言模型，得到一次纠正的预测结果；
30、将所述测试集中的样本及其一次纠正的预测结果、选取的第二条规则输入至大语言模型，得到二次纠正的预测结果；
31、依此类推，将测试集中的样本及其m-1次纠正的预测结果、选取的第m条规则输入至大语言模型，得到m次纠正的预测结果；其中，m表示选取的规则数量。
32、在第二方面，本发明还提供了一种监督模型预测结果纠错装置，包括：
33、获取模块，用于获取规则库和触发词字典；其中，所述规则库包括不同事件类型的规则，所述规则用于生成反馈信息；
34、第一预测模块，用于利用监督模型对测试集中的每个样本进行预测，得到第一预测结果；
35、第一选取模块，用于根据所述测试集中的样本及其第一预测结果、触发词字典从所述规则库中选取合适规则；
36、纠正模块，用于将所述测试集中的样本及其第一预测结果、选取的规则输入至大语言模型中，得到最终的预测结果。
37、在第三方面，本发明还提供一种终端设备，包括存储器、处理器以及存储在存储器上的计算机程序/指令，所述处理器执行所述计算机程序/指令以实现如第一方面所述的监督模型预测结果纠错方法。
38、在第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的监督模型预测结果纠错方法。
39、在第五方面，本发明还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面所述的监督模型预测结果纠错方法。
40、本发明提供的监督模型预测结果纠错方法，利用监督模型的预测结果及其标签信息得到用于生成反馈信息的规则，基于规则识别监督模型的预测结果中的错误，并自动生成错误反馈信息，再基于生成的错误反馈信息，利用大语言模型对监督模型的预测结果进行纠正，更好地发挥监督模型优良的预测性能和大语言模型指令学习和能够灵活接受反馈信息的能力，提高了预测结果的精度。
41、本发明在生成规则库时，用户通过结合数据集的标注指南信息对初始规则进行分析，利用分析结果和大语言模型对初始规则进行调整，指导大语言模型对规则进行迭代优化，使得到的规则更加准确，进而能够根据用户反馈调整预测结果。
42、本发明实施例的其他可选特征和技术效果一部分在下文描述，一部分可通过阅读本文而明白。
1.一种监督模型预测结果纠错方法，其特征在于，所述纠错方法包括：
2.根据权利要求1所述的监督模型预测结果纠错方法，其特征在于，所述规则库的生成过程，具体包括：
3.根据权利要求2所述的监督模型预测结果纠错方法，其特征在于，所述将每个事件类型的正确预测结果和错误预测结果、任务说明输入至大语言模型，得到用于生成反馈信息的规则，具体包括：
4.根据权利要求2所述的监督模型预测结果纠错方法，其特征在于，所述根据所述规则和第三预测结果生成规则库，具体包括：
5.根据权利要求4所述的监督模型预测结果纠错方法，其特征在于，利用所述规则对第三预测结果进行纠正，具体包括：
6.根据权利要求1所述的监督模型预测结果纠错方法，其特征在于，所述根据所述测试集中的样本及其第一预测结果、触发词字典从所述规则库中选取合适规则，具体包括：
7.根据权利要求1所述的监督模型预测结果纠错方法，其特征在于，将所述测试集中的样本及其第一预测结果、选取的规则输入至大语言模型中，得到最终的预测结果，具体包括：
8.一种监督模型预测结果纠错装置，其特征在于，所述纠错装置包括：
9.根据权利要求8所述的监督模型预测结果纠错装置，其特征在于，所述获取模块具体包括第二预测模块、第二选取模块、规则生成模块、规则库生成模块以及构建模块；
10.一种终端设备，包括存储器、处理器以及存储在存储器上的计算机程序/指令，其特征在于，所述处理器执行所述计算机程序/指令以实现如权利要求1～7中任一项所述的监督模型预测结果纠错方法。
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1～7中任一项所述的监督模型预测结果纠错方法。
12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1～7中任一项所述的监督模型预测结果纠错方法。
