本发明属于语音识别领域,具体涉及一种基于多模型融合的测试仪器语音指令识别方法。
背景技术:
1、随着尖端科技及高危性工程发展的需要,对电子测量技术的智能化要求不断提高,利用人工智能技术赋能传统测试测量仪器,提升仪器智能化,拓展仪器智能交互能力是发展智能仪器的关键一步。目前仪器操作的交互界面主要有面板键盘操作和外协计算机操作两种形式,需要探索新的人与仪器交互方法。智能语音识别技术的出现,成为实现人与仪器使用语言通信的纽带,实现人机的语音指令识别,让原本一些复杂繁琐的工作变得简易,极大地简化了仪器的使用步骤,基于多模型融合的测试仪器语音指令识别技术为未来智能仪器研制奠定基础。
2、现阶段语音识别技术通常建立在实验环境基础之上,在面向应用实现落地时,尤其是测试测量仪器指令识别方面存在无法准确识别特定领域专有名词、读音相近词混淆等问题,这些问题极大的限制了语音识别技术在测试测量仪器中的应用。本发明以频谱测量仪器为典型验证对象,融合语音识别技术开展测试仪器指令语音识别、语义相似度计算、语义关键词提取等模型,实现测试仪器语音指令的智能识别功能。
3、专利“一种基于程控指令的语音控制方法及系统”(cn202111129109.1),该发明提供了一种基于程控指令的语音控制方法及系统,所描述的方法包括获取用户语音,语音识别及控制程序对scpi指令映射程序完成识别结果到scpi指令的转换;根据scpi指令完成仪器控制。本发明采用语音识别技术,具有优良的兼容性和灵活性,可适用于信号/频谱分析仪、信号分析软件及任意兼容scpi程控指令的测试仪器设备等。
4、专利“一种基于语音控制的测量仪器测试系统及方法”(cn201911088746.1),该发明公开了一种基于语音控制的测量仪器测试系统及方法,包括:语音识别模型客户端,语音识别模型通过客户端与测试仪器进行通信,客户端接收语音识别模型的指令解析后配置对应的测试仪器进行相关的操作,测量结果通过客户端进行显示并发送到语音识别模型,所述语音识别模型对反馈结果进行合成播报并进行下一步指令操作。基于测量仪器语音控制设计,可实现测试仪器的语音交互配置使用,实现测试业务逻辑的语音引导客户使用,代替人工手动操作。
5、到像人与人之间连续对话的水平。目前语音识别技术通常建立在实验环境基础之上,在面向应用实现落地时,尤其是测试测量仪器方面,存在无法准确识别特定领域专有名词、读音相近词混淆等缺点,这些缺点极大的限制了语音识别技术在测试测量仪器中的应用,具体表现在:
6、第一,现有语音识别技术稳定性不能满足测试仪器语音指令识别需要。理想条件下的语音识别准确率已经达到一定程度,然而在实际一些复杂语音环境中语音识别任务难以完成;
7、第二,测试仪器关键词相似性较强且数据资源匮乏。声学建模需要利用不充分的数据资源训练得到尽可能多的声学特征,急需针对测试仪器领域构建语料库和语句特征库;
8、第三,目前语音识别技术的识别模糊性缺陷。测试仪器各种指令语句中都存在相似发音的词语,测试仪器的语音交互指令存在大量专业名词、浮点小数类型词、单位名词,难以针对单独的口音构建模型。为此急需搭建测试仪器领域关键词提取模型,构建测试仪器专用关键词库,通过多任务学习将声学模型和关键词识别分类器联合,达到准确识别测试领域关键词,提取关键参数的目的。
技术实现思路
1、针对现有技术中存在的上述技术问题,本发明提出了一种基于多模型融合的测试仪器语音指令识别方法,设计合理,克服了现有技术的不足,具有良好的效果。
2、为了实现上述目的,本发明采用如下技术方案:
3、一种基于多模型融合的测试仪器语音指令识别方法,包括如下步骤:
4、步骤1:语音输入;
5、步骤2:语音预处理;
6、步骤3:语音识别;
7、通过语音识别模型进行语音识别;
8、步骤4:关键词提取;
9、通过关键词提取模型进行指令关键参数提取;
10、步骤5:文本特征提取;
11、通过文本特征提取模型进行文本特征提取;
12、步骤6:语义相似度匹配;
13、通过语义相似度匹配模型计算指令文本语义相似度进行语义相似度匹配;
14、步骤7:程控指令输出。
15、优选地,步骤3中的语音识别模型的构建具体包括如下步骤:
16、步骤s01:语音数据库;
17、步骤s02:特征提取;
18、步骤s03:声学模型训练。
19、优选地,步骤3中,具体包括如下步骤:
20、步骤3.1:语音消息队列;
21、步骤3.2:端点实时监测;
22、步骤3.3:语音实时识别;
23、时间戳预测和热词定制;
24、步骤3.4:得到文本结果消息。
25、优选地,步骤3中,语音识别模型包括编码器、预测器、采样器、解码器和损失函数共五个模块。
26、优选地,步骤5中的文本特征提取模型的构建具体包括如下步骤:
27、步骤s11:程控命令文本数据;
28、步骤s12:特征提取;
29、步骤s13:得到文本特征。
30、优选地,步骤5中,具体包括如下步骤:
31、步骤5.1:关键词提取;
32、步骤5.2:提取到关键词形成参数列表。
33、优选地,步骤6中的特征匹配模型的构建具体包括如下步骤:
34、步骤s21:载入特征数据库;
35、步骤s22:指令相似度匹配;
36、步骤s23:提取置信度最高指令。
37、优选地,步骤6中,具体包括如下步骤:
38、步骤6.1:载入程控指令库;
39、步骤6.2:根据匹配到指令查询程控代码;
40、步骤6.3:将关键词参数列表填入程控代码。
41、本发明所带来的有益技术效果:
42、本发明提出一种基于多模型融合的测试仪器语音指令识别技术,开展控制指令语音识别、语义相似度计算、语句关键词提取等方面的研究,构建测试测量仪器专用指令特征库,实现测试仪器指令精确匹配识别,为未来智能仪器研制奠定基础;本发明方案在标准的paraformer模型基础上增加了时间戳预测功能和热词定制能力,进一步提升识别准确率,解决了测试仪器语音指令的鲁棒性语音识别问题;关键词提取模型解决了测试仪器语音指令中量化数值和关键参数提取的问题;语义特征相似度匹配模型解决了测试指令识别后准确下发对应程控代码的问题。现有最好的技术方案着重实现整个流程框架的搭建,本发明申请从测试仪器语音识别的基础开展研究,实现当前多种主流语音识别模型的完美融合,从语义层面上实现测试仪器指令的识别,识别速度更快、准确性更好,同时语音识别方案能够针对不同测试仪器进行部署,灵活性更高。
1.一种基于多模型融合的测试仪器语音指令识别方法,其特征在于:包括如下步骤:
2.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤3中的语音识别模型的构建具体包括如下步骤:
3.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤3中,具体包括如下步骤:
4.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤3中,语音识别模型包括编码器、预测器、采样器、解码器和损失函数共五个模块。
5.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤5中的文本特征提取模型的构建具体包括如下步骤:
6.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤5中,具体包括如下步骤:
7.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤6中的特征匹配模型的构建具体包括如下步骤:
8.根据权利要求1所述的基于多模型融合的测试仪器语音指令识别方法,其特征在于:步骤6中,具体包括如下步骤:
