本技术涉及人工智能,特别是涉及一种字符识别及车牌识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术:
1、随着移动互联网时代的到来,智能化设备已经完全渗入人们的衣食住行,逐渐打造出了“智慧城市”。其中,智慧交通系统占据了人们出行的绝大部分。例如,无人值守停车场,通过识别车牌号码计算停车费用以及银行支票处理,自动识别支票上的文字信息以加快支票清算过程。
2、目前,对字符识别是通过对摄像机所拍摄的车辆图像或者视频序列,经过机器视觉、图像处理和模式识别等算法处理后自动识别出字符。例如,首先通过目标检测出字符的具体位置,接着用字符分割算法分割出车牌的字符,最后使用字符识别算法识别出车牌号码,这种车牌识别的结果是完全取决于分割效果,进而导致车牌识别不准确的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提高识别准确的字符识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种字符识别方法,包括:
3、获取待处理图像;
4、对所述待处理图像进行识别得到多个预测框;所述预测框携带几何特征以及置信度;各个所述预测框与输出特征一一对应
5、根据所述输出特征以及所述置信度计算各个所述预测框对应的外观特征,并根据所述几何特征以及所述外观特征,计算每一所述预测框相对于各其他所述预测框的相关性评分;
6、根据所述相关性评分以及多个所述预测框得到目标区域;
7、对所述目标区域进行特征提取得到初始特征图,通过通道注意力机制以及空间注意力机制对所述初始特征图进行特征提取得到目标特征图,并基于所述目标特征图进行识别得到目标字符。
8、在其中一个实施例中,根据所述相关性评分以及多个所述预测框得到目标区域,包括:
9、根据所述置信度以及所述相关性评分,得到各个所述预测框的目标置信度;
10、基于所述目标置信度以及所述多个所述预测框得到所述目标区域。
11、在其中一个实施例中,其特征正在于,所述根据所述几何特征以及所述外观特征,计算每一所述预测框相对于各其他所述预测框的相关性,基于各所述相关性得到各个所述预测框对应的相关性评分,包括:
12、将各个所述外观特征映射到第一维度空间,并计算每一所述外观特征与各其他所述外观特征的距离,得到外观权重;
13、将各个所述几何特征映射到第二维度空间,并计算每一所述几何特征与各其他所述几何特征的距离,得到几何权重,其中所述第二维度空间的维度高于所述第一维度空间的维度;
14、根据所述外观权重、所述外观特征、所述几何特征以及所述几何权重,得到各个所述预测框对应的相关性评分。
15、在其中一个实施例中,根据上述的方法,所述根据所述外观权重、所述外观特征、所述几何特征以及所述几何权重,得到各个所述预测框对应的相关性评分,包括:
16、基于所述外观权值以及所述外观特征,得到每一预测框与其他预测框各其他所述预测框关系权重;
17、根据关系权重以及外观权重,得到各个所述预测框对应的相关性评分。
18、在其中一个实施例中,上述根据所述输出特征以及所述置信度进行计算,得到各个所述预测框对应的外观特征,包括:
19、根据所述置信度进行排序,得到各个所述预测框的排名特征;
20、将所述输出特征与所述排名特征映射至同一维度;
21、将同一维度下的所述输出特征和所述排名特征相加,得到所述外观特征。
22、在其中一个实施例中,通过通道注意力机制以及空间注意力机制对所述初始特征图进行特征提取得到目标特征图,包括:
23、根据所述通道注意力机制对应的通道注意力权重对所述初始特征图进行特征提取,得到所述第一特征图;
24、根据所述空间注意力机制对应的空间注意力权重对所述第一特征图进行特征提取,得到所述目标特征图。
25、在其中一个实施例中,上述通道注意力权重计算过程,包括:
26、分别对所述初始特征图的每一通道全局平均池化和全局最大池化,得到第一特征向量和第二特征向量;
27、将所述第一特征向量和所述第二特征向量融合,得到所述通道注意力权重。
28、在其中一个实施例中,上述空间注意力权重的计算过程,包括:
29、分别在空间维度上对所述初始特征图进行全局平均池化和全局最大池化,得到第三特征向量和第四特征向量;
30、将所述第三特征向量和所述第四特征向量融合,得到所述空间注意力权重。
31、在其中一个实施例中,上述对所述待处理图像进行识别得到多个预测框,基于各个所述预测框计算相关性评分,并根据所述相关性评分以及多个所述预测框得到目标区域是通过预先训练的检测模型得到的;所述检测模型的训练过程,包括:
32、获取检测样本;所述检测样本携带类别以及检测区域标识;
33、将所述检测样本输入至第一初始模型中进行训练,得到预测区域;
34、基于所述预测区域与不同类别对应的所述检测区域标识得到第一损失函数,并根据所述第一损失函数对所述第一初始模型的参数进行调整,直至训练完毕,得到所述检测模型。
35、在其中一个实施例中,上述对所述目标区域进行特征提取得到初始特征图,通过通道注意力机制以及空间注意力机制对所述初始特征图进行处理得到目标特征图,并基于所述目标特征图识别目标字符是通过预先训练的识别模型得到;所述识别模型的训练过程,包括:
36、获取字符样本;所述字符样本携带字符标签;
37、将所述字符样本输入至第二初始模型中进行训练,得到预测字符;
38、基于所述预测字符与所述字符标签得到第二损失函数,并根据所述第二损失函数对所述第二初始模型的参数进行调整,直至训练完毕,得到所述识别模型;其中,所述字符样本是经过预处理得到的;所述预处理包括腐蚀、膨胀、灰度化、二值化以及加入高斯噪声中的任意一种或多种。
39、第二方面,本技术提供了一种基于车牌识别的收费方法,包括:
40、接收感应信号,根据所述感应信号控制摄像机对目标车辆进行抓拍;
41、获取待处理车牌图像,根据上述实施例中的任意一项方法对所述待处理车牌图像进行字符识别,得到车牌字符;
42、搜索与所述车牌字符对应的所述目标车辆的进场数据;
43、若所述进场数据对应的停车费用已被支付,控制道闸抬起。
44、第三方面,本技术提供了一种字符识别装置,所述装置包括:
45、获取模块,用于获取待处理图像;
46、检测模块,用于对所述待处理图像进行识别得到多个预测框;所述预测框携带几何特征以及置信度;各个所述预测框与输出特征一一对应;
47、相关性计算模块,用于根据所述输出特征以及所述置信度计算各个所述预测框对应的外观特征,并根据所述几何特征以及所述外观特征,计算每一所述预测框相对于各其他所述预测框的相关性评分;
48、目标区域选择模块,用于根据所述相关性评分以及多个所述预测框得到目标区域;
49、识别模块,用于对所述目标区域进行特征提取得到初始特征图,通过通道注意力机制以及空间注意力机制对所述初始特征图进行特征提取得到目标特征图,并基于所述目标特征图进行识别得到目标字符。
50、在其中一个实施例中,检测模块包括:
51、置信度计算单元,用于根据所述置信度以及所述相关性评分,得到各个所述预测框的目标置信度;
52、选择单元,用于基于所述目标置信度以及所述多个所述预测框得到所述目标区域。
53、在其中一个实施例中,上述置信度计算单元包括:
54、外观权重子单元,用于将各个所述外观特征映射到第一维度空间,并计算每一所述外观特征与各其他所述外观特征的距离,得到外观权重;
55、几何权重子单元,用于将各个所述几何特征映射到第二维度空间,并计算每一所述几何特征与各其他所述几何特征的距离,得到几何权重,其中所述第二维度空间的维度高于所述第一维度空间的维度;
56、评分计算子单元,用于根据所述外观权重、所述外观特征、所述几何特征以及所述几何权重,得到各个所述预测框对应的相关性评分。
57、在其中一个实施例中,上述评分计算子单元包括:
58、外观相关孙单元,用于基于所述外观权值以及所述外观特征,得到每一预测框与其他预测框各其他所述预测框关系权重;
59、计算孙单元,用于根据关系权重以及外观权重,得到各个所述预测框对应的相关性评分。
60、在其中一个实施例中,上述外观特征单元包括:
61、排序子单元,用于根据所述置信度进行排序,得到各个所述预测框的排名特征;
62、映射子单元,用于将所述输出特征与所述置信度映射至同一维度;
63、特征处理子单元,用于将同一维度下的所述输出特征和所述排名特征相加,得到所述外观特征。
64、在其中一个实施例中,上述识别模块包括:
65、通道加权单元,用于根据所述通道注意力权重对所述初始特征图进行加权,得到所述第一特征图;
66、空间加权单元,用于根据所述通道注意力权重对所述第一特征图进行加权,得到所述目标特征图。
67、在其中一个实施例中,上述识别模块还包括通道权重计算单元;所述通道权重计算单元,包括:
68、通道特征子单元,用于分别对所述初始特征图的每一通道全局平均池化和全局最大池化,得到第一特征向量和第二特征向量;
69、通道特征融合单元,用于将所述第一特征向量和所述第二特征向量融合,得到所述通道注意力权重。
70、在其中一个实施例中,上述识别模块还包括空间权重计算单元;所述空间权重计算单元,包括:
71、空间特征子单元,用于分别在空间维度上对所述初始特征图进行全局平均池化和全局最大池化,得到第三特征向量和第四特征向量;
72、空间特征融合单元,用于将所述第三特征向量和所述第四特征向量融合,得到所述空间注意力权重。
73、在其中一个实施例中,上述装置还包括第一训练模块,所述第一训练模块包括:
74、检测样本获取单元,用于获取检测样本;所述检测样本携带类别以及检测标识;
75、检测训练单元,用于将所述检测样本输入至第一初始模型中进行训练,得到预测区域,计算所述预测区域与不同类别对应的检测标识之间的第一差值,并根据所述第一差值对所述第一初始模型的参数进行调整,直至训练完毕得到所述检测模型。
76、在其中一个实施例中,上述装置还包括第二训练模块;所述第二训练模块包括:
77、字符样本获取单元,用于获取字符样本;所述字符样本携带字符标签;
78、字符训练单元,用于将所述字符样本输入至第二初始模型中进行训练,得到预测字符,计算所述预测字符与所述字符表标签之间的第二差值,并根据所述第二差值对所述第二初始模型的参数进行调整,直至训练完毕得到所述识别模型;其中,所述字符样本是经过预处理得到的;所述预处理包括腐蚀、膨胀、灰度化、二值化以及加入高斯噪声中的任意一种。
79、第四方面,本技术提供了一种基于车牌识别的收费装置,包括:
80、信号接收模块,用于接收感应信号,根据所述感应信号控制摄像机对目标车辆进行抓拍;
81、车牌识别模块,用于获取待处理车牌图像,根据中的任意一项装置对所述待处理车牌图像进行识别,得到车牌字符;
82、搜索模块,用于搜索与所述目标车辆对应的进场数据;
83、控制模块,用于若所述进场数据对应的停车费用已被支付,控制道闸抬起。
84、第五方面,本技术提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任意一个实施例中的方法的步骤。
85、第六方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
86、第七方面,本技术提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述任意一个实施例中的方法的步骤。
87、上述字符识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,首先通过对待处理图像进行识别,得到多个预测框并计算各个预测框的相关性评分,并基于相关性评分选择目标区域,这样可以减少对目标区域的误检,提高检测的准确度。其中,相关性评分是根据几何特征以及外观特征计算得到的,几何特征可以确保预测框的位置和大小合理,外观特征可以确保预测框内的内容符合目标特征,综合二者可以提高选择目标区域的准确性。以及,通过通道注意力机制以及空间注意力机制对初始特征图进行特征提取得到目标特征图,并基于目标特征图进行识别得到目标字符,这样双重注意力机制的串联可以显著提升特征的表达能力,进而提高字符的识别准确度。
1.一种字符识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,根据所述相关性评分以及多个所述预测框得到目标区域,包括:
3.根据权利要求1所述的方法,其特征正在于,所述根据所述几何特征以及所述外观特征计算每一所述预测框相对于各其他所述预测框的相关性评分,包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述外观权重、所述外观特征、所述几何特征以及所述几何权重,得到各个所述预测框对应的相关性评分,包括:
5.根据权利要求2所述的方法,其特征在于,所述根据所述输出特征以及所述置信度进行计算,得到各个所述预测框对应的外观特征,包括:
6.根据权利要求1所述的方法,其特征在于,通过通道注意力机制以及空间注意力机制对所述初始特征图进行特征提取得到目标特征图,包括:
7.根据权利要求6所述的方法,其特征在于,所述通道注意力权重计算过程,包括:
8.根据权利要求6所述的方法,其特征在于,所述空间注意力权重的计算过程,包括:
9.根据权利要求1所述的方法,其特征在于,所述对所述待处理图像进行识别得到多个预测框,基于各个所述预测框计算相关性评分,并根据所述相关性评分以及多个所述预测框得到目标区域是通过预先训练的检测模型得到的;所述检测模型的训练过程,包括:
10.根据权利要求1所述的方法,其特征在于,所述对所述目标区域进行特征提取得到初始特征图,通过通道注意力机制以及空间注意力机制对所述初始特征图进行处理得到目标特征图,并基于所述目标特征图识别目标字符是通过预先训练的识别模型得到;所述识别模型的训练过程,包括:
11.一种基于车牌识别的收费方法,其特征在于,所述方法包括:
12.一种字符识别装置,其特征在于,所述装置包括:
13.根据权利要求12所述的装置,其特征在于,检测模块包括:
14.根据权利要求13所述的装置,其特征在于,所述置信度计算单元包括:
15.根据权利要求14所述的装置,其特征在于,所述评分计算子单元包括:
16.根据权利要求13所述的装置,其特征在于,所述外观特征单元包括:
17.根据权利要求12所述的装置,其特征在于,所述识别模块包括:
18.根据权利要求17所述的装置,其特征在于,所述识别模块还包括通道权重计算单元;所述通道权重计算单元,包括:
19.根据权利要求17所述的装置,其特征在于,所述识别模块还包括空间权重计算单元;所述空间权重计算单元,包括:
20.根据权利要求12所述的装置,其特征在于,所述装置还包括第一训练模块,所述第一训练模块包括:
21.根据权利要求12所述的装置,其特征在于,所述装置还包括第二训练模块;所述第二训练模块包括:
22.一种基于车牌识别的收费装置,其特征在于,所述装置包括:
23.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至9或10中任一项所述的方法的步骤。
24.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10或11中任一项所述的方法的步骤。
25.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至10或11中任一项所述的方法的步骤。