本发明涉及计算机,尤其涉及一种公式识别方法、装置、存储介质及电子设备。
背景技术:
1、目前,用于识别图像中公式的公式识别技术受到广泛关注,可将印刷或手写等公式图像转换为数字化、可编辑的文本格式;但相关技术通常通过模板匹配等方式进行公式识别,适用于结构简单的公式,但对于复杂公式等适应性较差,导致公式识别的准确性较低。基于此,如何提高公式识别的准确性目前暂未具有较好的解决方案。
技术实现思路
1、有鉴于此,本发明实施例提供了一种公式识别方法、装置、存储介质及电子设备,以解决相关技术的公式识别的准确性较低等问题;也就是说,本发明实施例可通过各个待识别公式的公式检测类别组确定出相应待识别公式对应的目标公式识别模型,从而采用更加适合的目标公式识别模型对相应待识别公式的公式图像进行公式识别,可有效提高公式识别的准确性,以有效提高公式识别性能,进而提高对于复杂公式的适应性。
2、根据本发明实施例的一方面,提供了一种公式识别方法,所述方法包括:
3、获取目标文档图像;
4、调用目标公式检测模型,对所述目标文档图像进行公式检测,得到所述目标文档图像包括的至少一个待识别公式中各个待识别公式的位置信息和公式检测类别组;
5、分别基于所述各个待识别公式的位置信息,从所述目标文档图像中裁剪出相应待识别公式的裁剪公式图像;并分别基于所述各个待识别公式的裁剪公式图像,确定相应待识别公式的公式图像;
6、分别基于所述各个待识别公式的公式检测类别组,确定相应待识别公式对应的目标公式识别模型,一个公式检测类别组为多个目标公式类别组中的一个目标公式类别组,一个目标公式类别组对应一个目标公式识别模型,一个待识别公式对应的目标公式识别模型为相应待识别公式的公式检测类别组对应的目标公式识别模型;
7、分别调用所述各个待识别公式对应的目标公式识别模型,对相应待识别公式的公式图像进行公式识别,得到所述各个待识别公式的公式识别文本。
8、根据本发明实施例的另一方面,提供了一种公式识别装置,所述装置包括:
9、获取单元,用于获取目标文档图像;
10、处理单元,用于调用目标公式检测模型,对所述目标文档图像进行公式检测,得到所述目标文档图像包括的至少一个待识别公式中各个待识别公式的位置信息和公式检测类别组;
11、所述处理单元,还用于分别基于所述各个待识别公式的位置信息,从所述目标文档图像中裁剪出相应待识别公式的裁剪公式图像;并分别基于所述各个待识别公式的裁剪公式图像,确定相应待识别公式的公式图像;
12、所述处理单元,还用于分别基于所述各个待识别公式的公式检测类别组,确定相应待识别公式对应的目标公式识别模型,一个公式检测类别组为多个目标公式类别组中的一个目标公式类别组,一个目标公式类别组对应一个目标公式识别模型,一个待识别公式对应的目标公式识别模型为相应待识别公式的公式检测类别组对应的目标公式识别模型;
13、所述处理单元,还用于分别调用所述各个待识别公式对应的目标公式识别模型,对相应待识别公式的公式图像进行公式识别,得到所述各个待识别公式的公式识别文本。
14、根据本发明实施例的另一方面,提供了一种电子设备,所述电子设备包括处理器、以及存储程序的存储器,其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行上述所提及的方法。
15、根据本发明实施例的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行上述所提及的方法。
16、本发明实施例可在获取到目标文档图像后,调用目标公式检测模型,对目标文档图像进行公式检测,得到目标文档图像包括的至少一个待识别公式中各个待识别公式的位置信息和公式检测类别组。基于此,可分别基于各个待识别公式的位置信息,从目标文档图像中裁剪出相应待识别公式的裁剪公式图像;并分别基于各个待识别公式的裁剪公式图像,确定相应待识别公式的公式图像。进一步的,可分别基于各个待识别公式的公式检测类别组,确定相应待识别公式对应的目标公式识别模型,一个公式检测类别组为多个目标公式类别组中的一个目标公式类别组,一个目标公式类别组对应一个目标公式识别模型,一个待识别公式对应的目标公式识别模型为相应待识别公式的公式检测类别组对应的目标公式识别模型;并分别调用各个待识别公式对应的目标公式识别模型,对相应待识别公式的公式图像进行公式识别,得到各个待识别公式的公式识别文本。可见,本发明实施例可通过各个待识别公式的公式检测类别组确定出相应待识别公式对应的目标公式识别模型,从而采用更加适合的目标公式识别模型对相应待识别公式的公式图像进行公式识别,可有效提高公式识别的准确性,以有效提高公式识别性能,进而提高对于复杂公式的适应性。
1.一种公式识别方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,一个待识别公式的公式检测类别组包括相应待识别公式的第一公式检测类别和第二公式检测类别,一个待识别公式的第一公式检测类别为第一公式类别集合中的一个第一公式类别,一个待识别公式的第二公式检测类别为相应待识别公式的第一公式检测类别对应的第二公式类别集合中的一个第二公式类别;
3.根据权利要求1或2所述的方法,其特征在于,一个公式检测模型包括一个第一公式检测模块和第一公式类别集合中各个第一公式类别下的一个第二公式检测模块,一个第一公式类别下的一个第二公式检测模块用于预测公式在相应第一公式类别下的第二公式检测类别;所述调用目标公式检测模型,对所述目标文档图像进行公式检测,得到所述目标文档图像包括的至少一个待识别公式中各个待识别公式的位置信息和公式检测类别组,包括:
4.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述任一目标公式类别组下的多个公式训练数据包括一个批次的公式训练数据;所述获取所述任一目标公式类别组下的多个公式训练数据,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述任一目标公式类别组对应的模型优化后的初始公式识别模型,确定所述任一目标公式类别组对应的目标公式识别模型,包括:
8.一种公式识别装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。