本发明涉及人工智能,具体地说是基于大模型提取纠正文本中人名和职务的方法及系统。
背景技术:
1、随着大模型技术的发展,大模型被应用于各行各业,用户可以通过自己编写prompt来对大模型进行对话和提问,从而获取自己想要的结果。但是由于对话的字数限制,并不能将所有数据发送给大模型,导致返回数据也不准确。例如:需要对一段文本中的人名和职务进行校验和纠错,由于人名和职务关系数据较多无法全部发送给大模型,一般方法对人名和职务的提取也是比较困难,最终得到的纠正后的文本纠错率和正确性比较差。
2、如何基于大模型对用户输入的文本中的人名和职务进行准确的提取纠错、以提高文本的正确性,是需要解决的技术问题。
技术实现思路
1、本发明的技术任务是针对以上不足,提供基于大模型提取纠正文本中人名和职务的方法及系统,来解决如何基于大模型对用户输入的文本中的人名和职务进行准确的提取纠错、以提高文本的正确性的技术问题。
2、第一方面,本发明一种基于大模型提取纠正文本中人名和职务的方法,包括如下步骤:
3、编写大模型的prompt提示词,通过prompt提示词将需要校正人名和职务的原始文本输入到大模型中;
4、通过大模型对原始文本中人名和职务进行提取,并将包括人名、职务以及与人名和职务相关的原始语句作为检索结果返回;
5、基于大模型返回的检索结果,将检索结果中人名和职务与数据库中记录的人名和职务进行比对纠正,得到正确的人名和职务;
6、基于大模型返回的检索结果,基于正确的人名和职务、对检索结果中涉及的原始语句进行整体替换,得到人名和职务被纠正后的文本。
7、作为优选,检索结果以json的形式返回。
8、作为优选,将检索结果中人名和职务与数据库中记录的人名和职务进行比对纠正,包括如下步骤:
9、将检索结果中人名与数据库中记录的人名进行比对,从数据库中获取匹配的职务,并判断原始文本中职务是否正确;
10、基于检索结果中职务从数据库中查找匹配的人名作为正确的人名,并根据正确的人名比对原始文本中人名是否正确;
11、基于文字和人名的拼音匹配方式,获取人名或职务的匹配度,得到正确的人名和职务,通过正确的人名和职务、对原始文本中人名和职务进进行错字漏字纠正。
12、作为优选,基于正确的人名和职务、对检索结果中涉及的原始语句进行整体替换时,对于检索结果中原始语句,基于预定的格式对正确的人名和职务拼接后,将拼接后人名和职务对涉及到的原文语句进行整体替换。
13、第二方面,本发明一种基于大模型提取纠正文本中人名和职务的系统,用于通过如第一方面任一项所述的一种基于大模型提取纠正文本中人名和职务的方法对文本中人名和职务进行纠正,所述系统包括输入模块、提取模块、纠正模块以及替换模块;
14、所述输入模块用于编写大模型的prompt提示词,通过prompt提示词将需要校正人名和职务的原始文本输入到大模型中;
15、所述提取模块用于通过大模型对原始文本中人名和职务进行提取,并将包括人名、职务以及与人名和职务相关的原始语句作为检索结果返回;
16、所述纠正模块用于基于大模型返回的检索结果、将检索结果中人名和职务与数据库中记录的人名和职务进行比对纠正,得到正确的人名和职务;、苏搜所述替换模块用于基于大模型返回的检索结果,基于正确的人名和职务、对检索结果中涉及的原始语句进行整体替换,得到人名和职务被纠正后的文本。
17、作为优选,检索结果以json的形式返回。
18、作为优选,纠正模块用于执行如下将检索结果中人名和职务与数据库中记录的人名和职务进行比对纠正:
19、将检索结果中人名与数据库中记录的人名进行比对,从数据库中获取匹配的职务,并判断原始文本中职务是否正确;
20、基于检索结果中职务从数据库中查找匹配的人名作为正确的人名,并根据正确的人名比对原始文本中人名是否正确;
21、基于文字和人名的拼音匹配方式,获取人名或职务的匹配度,得到正确的人名和职务,通过正确的人名和职务、对原始文本中人名和职务进进行错字漏字纠正。
22、作为优选,基于正确的人名和职务、对检索结果中涉及的原始语句进行整体替换时,对于检索结果中原始语句,替换模块用于执行如下:基于预定的格式对正确的人名和职务拼接后,将拼接后人名和职务对涉及到的原文语句进行整体替换。
23、本发明的基于大模型提取纠正文本中人名和职务的方法及系统具有以下优点:基于大模型对自然语言文本中的人名和职务进行提取和纠正,可解决其他技术对自然文本人名和职务提取难度高、准确率不高的问题,同时通过大模型结合本地数据的方式进行文本纠正,即减少了发送给大模型的数据量,又可以使纠错更加灵活。
1.一种基于大模型提取纠正文本中人名和职务的方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于大模型提取纠正文本中人名和职务的方法,其特征在于,检索结果以json的形式返回。
3.根据权利要求1所述的基于大模型提取纠正文本中人名和职务的方法,其特征在于,将检索结果中人名和职务与数据库中记录的人名和职务进行比对纠正,包括如下步骤:
4.根据权利要求1所述的基于大模型提取纠正文本中人名和职务的方法,其特征在于,基于正确的人名和职务、对检索结果中涉及的原始语句进行整体替换时,对于检索结果中原始语句,基于预定的格式对正确的人名和职务拼接后,将拼接后人名和职务对涉及到的原文语句进行整体替换。
5.一种基于大模型提取纠正文本中人名和职务的系统,其特征在于,用于通过如权利要求1-4任一项所述的一种基于大模型提取纠正文本中人名和职务的方法对文本中人名和职务进行纠正,所述系统包括输入模块、提取模块、纠正模块以及替换模块;
6.根据权利要求5所述的基于大模型提取纠正文本中人名和职务的系统,其特征在于,检索结果以json的形式返回。
7.根据权利要求5所述的基于大模型提取纠正文本中人名和职务的系统,其特征在于,纠正模块用于执行如下将检索结果中人名和职务与数据库中记录的人名和职务进行比对纠正:
8.根据权利要求5所述的基于大模型提取纠正文本中人名和职务的系统,其特征在于,基于正确的人名和职务、对检索结果中涉及的原始语句进行整体替换时,对于检索结果中原始语句,替换模块用于执行如下:基于预定的格式对正确的人名和职务拼接后,将拼接后人名和职务对涉及到的原文语句进行整体替换。
