一种基于人工智能的煤矿综采工作面语音大数据处理系统的制作方法

1.本技术涉及语音识别处理技术领域，具体而言，涉及一种基于人工智能的煤矿综采工作面语音大数据处理系统。


背景技术：

2.目前选煤厂虽然保存了大量音频数据，但由于每段音频时常较长，并且数量很多，人工无法在事故发生时和发生后对事故原因进行有效的分析，因此设计了一种基于人工智能的煤矿综采工作面语音大数据处理系统。


技术实现要素：

3.为了弥补以上不足，本技术提供了一种基于人工智能的煤矿综采工作面语音大数据处理系统。
4.本技术实施例提供了一种基于人工智能的煤矿综采工作面语音大数据处理系统，包括网页端、后台端和信息管理模块，所述网页端包括语音识别模块、自然语言处理模块、说话人识别模块和识别模型模块；
5.所述信息管理模块用于对所述网页端和所述后台端的信息进行管理；
6.所述语音识别模块采用asr，所述语音识别模块通过asr自动识别煤矿综采工作面产生的电话记录语音；
7.所述自然语言处理模块采用nlp技术，所述自然语言处理模块用于对asr识别出来的文本进行纠错、情绪识别、命名实体识别，并结合文本分类来分析员工的工作状态；
8.所述说话人识别模块采用sr，所述说话人识别模块用于识别是哪位员工的语音导致的事故和隐患；
9.所述识别模型模块用于通过识别模型结果判断当前是否有事故、异常情况。
10.在上述实现过程中，基于人工智能的煤矿综采工作面语音大数据处理技术使用分为网页和后台两大部分，用户只需选择音频文件或音频所在文件夹便可得到各模型识别的结果，管理者便能根据识别结果来更好的分析综采工作面的生产状况和事故发生的原因。
11.在一种具体的实施方案中，所述信息管理模块在进行信息管理时采用swoft微服务架构进行实现，所述swoft微服务架构包含数据集管理、模型管理、识别记录管理等微服务。
12.在一种具体的实施方案中，所述后台端包括权限及用户管理模块、数据集管理模块、模型管理模块及识别记录管理模块，所述权限及用户管理模块用于提供用户基础的使用权限，并对用户进行管理，所述数据集管理模块用于对提供的数据集进行管理，所述模型管理模块用于对各类模型进行管理，所述识别记录管理模用于对识别记录进行管理。
13.在一种具体的实施方案中，所述识别模型模块通过开源机器学习库tensorflow训练完成，所述识别模型模块中的识别模型包含自动语音识别模型、文本纠错模型、对话情绪识别模型、命名实体识别模型及说话人识别模型。
14.在一种具体的实施方案中，所述识别模型模块中的识别模型还包括文本分类模型、事故检测模型和工作面异常检测模块。
15.在一种具体的实施方案中，所述自然语言处理模块中对文本进行纠错的方法包括以下步骤：
16.s101.对语音识别后文本进行预处理；
17.s102.对预处理后的文本进行搜索意图的识别；
18.s103.根据识别出的所述搜索意图，确定待抽取的属性信息，从所述预处理后的文本中抽取所述属性信息；
19.s104.计算所述属性信息与候选词库中任一候选词的相似度，根据所述相似度对抽取出的所述属性信息进行纠错。
20.在一种具体的实施方案中，所述s101中对语音识别后文本进行预处理包括文本数据降噪处理，所述文本数据降噪处理的方法包括以下步骤：
21.s1011.获取待降噪的文本数据的频谱数据，提取所述频谱数据的实部数据和虚部数据；
22.s1012.将所述频谱数据的实部数据和虚部数据，输入噪音修正模型，得到所述实部数据对应的第一修正数据和所述虚部数据对应的第二修正数据；
23.s1013.基于所述第一修正数据和所述第二修正数据，得到复数修正数据；
24.s1014.基于所述复数修正数据，对所述待降噪的文本数据进行降噪处理，得到降噪后的文本数据。
25.在一种具体的实施方案中，所述自然语言处理模块中对文本进行情绪识别的方法包括以下步骤：
26.s201.获取待识别文本；
27.s202.统计所述待识别文本中各词段的词频；
28.s203.基于各所述词段的词频提取所述待识别文本中与情绪关联的关键词；
29.s204.基于情绪词典库对所述待识别文本中的所述关键词进行情绪词替换，得到替换后文本；
30.s205.将所述替换后文本输入通过训练确定的情绪识别模型，获得所述情绪识别模型输出的情绪分类结果。
31.在一种具体的实施方案中，所述语音大数据处理系统的处理方法包括以下步骤：
32.s1.通话语音识别模块判断音频库是否有用户语音，若没有，进入s2，若有，进入s3；
33.s2.进行声纹录制；
34.s3.判断是否为单条音频，若没有，进入s4，若有，进入s5；
35.s4.进行批量识别流程，通过语音大数据处理pipline；
36.s5.通过识别模型模块，依次识别各模型；
37.s6.对综采工作各模型识别结构进行保存，并以列表显示。
38.有益效果：
39.本技术基于人工智能的煤矿综采工作面语音大数据处理技术使用分为网页和后台两大部分，且网页端包含语音识别、自然语言处理、说话人识别的科普和识别记录页面，
后台端包含基础的权限及用户管理，同时提供了数据集、模型及识别记录的管理，用户只需选择音频文件或音频所在文件夹便可得到各模型识别的结果，管理者便能根据识别结果来更好的分析综采工作面的生产状况和事故发生的原因。
附图说明
40.为了更清楚地说明本技术实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
41.图1是本技术实施方式提供的系统框图；
42.图2为本技术实施方式提供的流程图。
具体实施方式
43.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
44.为使本技术实施方式的目的、技术方案和优点更加清楚，下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本技术一部分实施方式，而不是全部的实施方式。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。
45.因此，以下对在附图中提供的本技术的实施方式的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施方式。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。
46.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
47.在本技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
48.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
49.在本技术中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
50.在本技术中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
51.请参阅图1，本技术提供一种基于人工智能的煤矿综采工作面语音大数据处理系统，包括网页端、后台端和信息管理模块，所述网页端包括语音识别模块、自然语言处理模块、说话人识别模块和识别模型模块；
52.所述信息管理模块用于对所述网页端和所述后台端的信息进行管理；
53.所述语音识别模块采用asr，所述语音识别模块通过asr自动识别煤矿综采工作面产生的电话记录语音；
54.所述自然语言处理模块采用nlp技术，所述自然语言处理模块用于对asr识别出来的文本进行纠错、情绪识别、命名实体识别，并结合文本分类来分析员工的工作状态；
55.所述说话人识别模块采用sr，所述说话人识别模块用于识别是哪位员工的语音导致的事故和隐患；
56.所述识别模型模块用于通过识别模型结果判断当前是否有事故、异常情况。
57.在本技术方案中，所述信息管理模块在进行信息管理时采用swoft微服务架构进行实现，所述swoft微服务架构包含数据集管理、模型管理、识别记录管理等微服务。
58.在本技术方案中，所述后台端包括权限及用户管理模块、数据集管理模块、模型管理模块及识别记录管理模块，所述权限及用户管理模块用于提供用户基础的使用权限，并对用户进行管理，所述数据集管理模块用于对提供的数据集进行管理，所述模型管理模块用于对各类模型进行管理，所述识别记录管理模用于对识别记录进行管理。
59.在本技术方案中，所述识别模型模块通过开源机器学习库tensorflow训练完成，所述识别模型模块中的识别模型包含自动语音识别模型、文本纠错模型、对话情绪识别模型、命名实体识别模型及说话人识别模型，所述识别模型模块中的识别模型还包括文本分类模型、事故检测模型和工作面异常检测模块。
60.在本技术方案中，所述自然语言处理模块中对文本进行纠错的方法包括以下步骤：
61.s101.对语音识别后文本进行预处理；
62.s102.对预处理后的文本进行搜索意图的识别；
63.s103.根据识别出的所述搜索意图，确定待抽取的属性信息，从所述预处理后的文本中抽取所述属性信息；
64.s104.计算所述属性信息与候选词库中任一候选词的相似度，根据所述相似度对抽取出的所述属性信息进行纠错。
65.在具体设置时，所述s101中对语音识别后文本进行预处理包括文本数据降噪处理，所述文本数据降噪处理的方法包括以下步骤：
66.s1011.获取待降噪的文本数据的频谱数据，提取所述频谱数据的实部数据和虚部数据；
67.s1012.将所述频谱数据的实部数据和虚部数据，输入噪音修正模型，得到所述实部数据对应的第一修正数据和所述虚部数据对应的第二修正数据；
68.s1013.基于所述第一修正数据和所述第二修正数据，得到复数修正数据；
69.s1014.基于所述复数修正数据，对所述待降噪的文本数据进行降噪处理，得到降噪后的文本数据。
70.在本技术方案中，所述自然语言处理模块中对文本进行情绪识别的方法包括以下步骤：
71.s201.获取待识别文本；
72.s202.统计所述待识别文本中各词段的词频；
73.s203.基于各所述词段的词频提取所述待识别文本中与情绪关联的关键词；
74.s204.基于情绪词典库对所述待识别文本中的所述关键词进行情绪词替换，得到替换后文本；
75.s205.将所述替换后文本输入通过训练确定的情绪识别模型，获得所述情绪识别模型输出的情绪分类结果。
76.在本技术方案中，所述语音大数据处理系统的处理方法包括以下步骤：
77.s1.通话语音识别模块判断音频库是否有用户语音，若没有，进入s2，若有，进入s3；
78.s2.进行声纹录制；
79.s3.判断是否为单条音频，若没有，进入s4，若有，进入s5；
80.s4.进行批量识别流程，通过语音大数据处理pipline；
81.s5.通过识别模型模块，依次识别各模型；
82.s6.对综采工作各模型识别结构进行保存，并以列表显示。
83.该一种基于人工智能的煤矿综采工作面语音大数据处理系统的原理：本技术基于人工智能的煤矿综采工作面语音大数据处理技术使用分为网页和后台两大部分，且网页端包含语音识别、自然语言处理、说话人识别的科普和识别记录页面，后台端包含基础的权限及用户管理，同时提供了数据集、模型及识别记录的管理，用户只需选择音频文件或音频所在文件夹便可得到各模型识别的结果，管理者便能根据识别结果来更好的分析综采工作面的生产状况和事故发生的原因。
84.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
85.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。