一种基于局部目标信息传递的交通标志检测和识别装置的制作方法

1.本发明涉及计算机技术的目标检测领域，特别涉及一种基于局部目标信息传递的交通标志检测和识别装置。


背景技术：

2.自动驾驶技术随着大数据、人工智能技术的快速发展而蓬勃发展。道路交通标志的检测和识别作为自动驾驶领域的一个重要分支，提升交通标志检测和识别的准确率对保证自动驾驶的安全性有着十分重要的意义。
3.常用的目标检测和识别方法分为one-stage和two-stage，yolo、ssd等算法属于one-stage的目标检测算法，该算法最大的优势在于它同时完成了检测和识别，处理速度快，可以满足实时的场景需求，但是缺点也很明显，小目标的检测效果较差，整体的识别准确率不高。faster-rcnn、mask-rcnn等算法属于two-stage的目标检测算法，这类算法识别的准确率高，但是模型的推断速度较低，无法满足实时检测的要求。
4.然而这两类算法在检测和识别的过程中，都忽略了检测到的目标互相之间的信息联系。交通标志在城市、街道、高速公路等往往不是单独出现的，当需要多个交通标志时，会按照一定的顺序从左向右或者从上到下排列，顺序依次为警示标志、禁止标志和指示标志。在实际的道路行驶过程中，通过摄像头获取的图像会产生一定的畸变，越是图像边缘的交通标志它的目标会越小特征越不明显，因此越容易导致目标无法检测和识别准确率不高。
5.因此，本专利提出一种基于局部目标信息传递的交通标志检测和识别装置，使得局部范围内的目标信息能够互相传递，学习交通标志间在不同场景下排列的规则，将单一的目标检测和识别问题转化为包含序列和语义关系的问题，提升交通标志检测和识别的准确率。


技术实现要素：

6.本发明要解决的技术问题是克服现有技术的缺陷，提供一种基于局部目标信息传递的交通标志检测和识别装置，可以充分学习局部目标之间的关联特征和排列规则，使得模型具有良好的推理能力，解决小目标检测和识别准确率不高的问题，校正预测结果排列顺序与规定不一致的情况，提升整体交通标志检测和识别的准确率。
7.本发明提供了如下的技术方案：
8.本发明提供一种基于局部目标信息传递的交通标志检测和识别装置，包括以下步骤：
9.一、对于每一张训练图片i，存在交通标志ti，位置信息为li，将每个交通标志的位置信息输入到一个局部位置聚类器，将交通标志分为不同的集合{tli}，每个tli中至少包含1个交通标志t；
10.局部位置聚类器的计算步骤如下：
11.(1)对于位置信息l，其表示形式为(xmin，ymin，xmax，ymax)，将其转换为(xc，yc，
w，h)的形式，其中(xc，yc)为目标的中心点坐标，w为目标的宽，h为目标的高；
12.(2)设定偏离阈值threshold，单位pixel，遍历所有位置信息，如果存在δxc＜threshold
or
δyc＜threshold，且满足条件
13.max(δxc，δyc)＜αmax(w1，w2)，α为常数，这里取1.5，则该两个目标被聚类为同一局部目标；
14.(3)对于所有集合{t
x
，ty}，如果存在相同元素则合并集合，例如对于集合{t1，t2}，{t2，t3}，则合并为{t1，t2，t3}；
15.二、设置默认最大序列长度，length
max
＝10(经验值，一般同一块交通警示牌上的交通标志数量不超过10)，选取所有1步骤中集合元素大于1的集合；
16.三、对于每个交通标志图像，根据其位置信息，使用预训练的resnet-50的backbone得到初始化的特征矩阵x，并将其resize到固定的大小，并将该特征矩阵与位置信息l进行合并得到新的特征矩阵x；
17.四、使用自注意力机制，通过线性变换得到q，k，v，其公式如下：
18.q＝wqx，
19.k＝wkx，
20.v＝wvx，
21.注意力公式如下：
[0022][0023]
五、训练模型，得到基于局部目标信息传递的交通标志检测和识别装置。
[0024]
与现有技术相比，本发明的有益效果如下：
[0025]
1.在交通标志检测和识别中，本专利创新的提出了一种局部目标信息共享的方法，将无序的图像识别问题转变为具有序列信息和位置信息的图像识别问题，该方法能够有效的学习特定场景下目标物的排列规则，提升识别的准确率；
[0026]
2.特征矩阵不再是仅包含目标物的图像特征，通过特征扩增的方式使得特征矩阵中包含了目标物的位置信息和大小信息，使用自注意力机制的方式使得模型在识别图像特征的同时兼顾目标间的位置方向、远近和大小的信息，赋予不同的检测目标不同的权重；
[0027]
3.该装置能够有效学习交通标志的排列规则、具有一定的推理能力，提升整体目标识别的准确率。
附图说明
[0028]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0029]
图1基于局部目标信息传递的交通标志检测和识别装置流程图；
[0030]
图2局部位置聚类器流程图。
具体实施方式
[0031]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
[0032]
实施例1
[0033]
如图1-2，本发明提供一种基于局部目标信息传递的交通标志检测和识别装置，包括以下步骤：
[0034]
一、对于每一张训练图片i，存在交通标志ti，位置信息为li，将每个交通标志的位置信息输入到一个局部位置聚类器，将交通标志分为不同的集合{tli}，每个tli中至少包含1个交通标志t；
[0035]
局部位置聚类器的计算步骤如下：
[0036]
(1)对于位置信息l，其表示形式为(xmin，ymin，xmax，ymax)，将其转换为(xc，yc，w，h)的形式，其中(xc，yc)为目标的中心点坐标，w为目标的宽，h为目标的高；
[0037]
(2)设定偏离阈值threshold，单位pixel，遍历所有位置信息，如果存在δxc＜threshold
or
δyc＜threshold，且满足条件
[0038]
max(δxc，δyc)＜αmax(w1，w2)，α为常数，这里取1.5，则该两个目标被聚类为同一局部目标；
[0039]
(3)对于所有集合{t
x
，ty}，如果存在相同元素则合并集合，例如对于集合{t1，t2}，{t2，t3}，则合并为{t1，t2，t3}；
[0040]
二、设置默认最大序列长度，length
max
＝10(经验值，一般同一块交通警示牌上的交通标志数量不超过10)，选取所有1步骤中集合元素大于1的集合；
[0041]
三、对于每个交通标志图像，根据其位置信息，使用预训练的resnet-50的backbone得到初始化的特征矩阵x，并将其resize到固定的大小，并将该特征矩阵与位置信息l进行合并得到新的特征矩阵x；
[0042]
四、使用自注意力机制，通过线性变换得到q，k，v，其公式如下：
[0043]
q＝wqx，
[0044]
k＝wkx，
[0045]
v＝wvx，
[0046]
注意力公式如下：
[0047][0048]
五、训练模型，得到基于局部目标信息传递的交通标志检测和识别装置。
[0049]
初始化参数：threshold＝20，α＝1.5，length
max
＝10。
[0050]
1.准备数据集；
[0051]
2.训练目标检测和识别的基线模型；
[0052]
3.使用局部位置聚类器对目标进行局部聚类；
[0053]
4.使用预训练模型和位置信息得到特征矩阵x；
[0054]
5.使用自注意力机制训练模型；
[0055]
6.将训练得到的模型装载在具有摄像头的车辆上实现交通标志的检测和识别辅助其它自动驾驶功能。
[0056]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。