本发明涉及车辆图像识别，尤其涉及双重注意力跨模态车辆重识别方法、系统、设备及介质。
背景技术：
1、车辆重识别（vehicle re-identification）是一种跨非重叠区域的指定车辆检索技术，通过车辆重识别技术可对全网监控设备下的车辆进行查找与追踪，从而可以跨区域实现对指定的目标车辆进行追踪和查找。在现有的车辆重识别领域中，给定一车辆图像，并在车辆图像库中，查找到与该车辆图像最相似的作为重识别图像。但在现有的车辆图像库中，未针对其内部的车辆图像进行训练，从而导致车辆图像重识别精度较低的情况。因此，存在待改进之处。
技术实现思路
1、本发明提供一种双重注意力跨模态车辆重识别方法、系统、设备及介质，以改善现有技术中车辆图像重识别精度较低的问题。
2、本发明提供的一种双重注意力跨模态车辆重识别方法，所述方法包括：
3、获取待查车辆图像和多个基准车辆图像；
4、将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型中的特征提取网络，在空间域和通道域上进行特征提取得到全局特征，在空间域和通道域上进行特征提取并进行多等分处理后得到局部特征，将对应的全局特征和局部特征融合得到全局-局部特征，将所述基准车辆图像对应的全局特征、局部特征和全局-局部特征形成目标特征，以及将所述待查车辆图像对应的全局特征、局部特征和全局-局部特征形成待查特征；
5、所述重识别模型中的分类网络根据所述目标特征和所述待查特征，确定所述待查车辆图像和各个所述基准车辆图像之间的特征综合相似度；
6、所述重识别模型中的分类网络根据所述特征综合相似度，从多个所述基准车辆图像中，选取与所述待查车辆图像之间的特征综合相似度满足预设匹配条件的多个车辆图像，记为重识别图像集，并在所述重识别图像集中，基于所述特征综合相似度，将多个车辆图像进行排序。
7、在本发明的一个实施例中，所述获取待查车辆图像和多个基准车辆图像的步骤，包括：
8、通过不同可见光监控摄像头，收集不同视角、不同场景下的待查车辆图像和多个基准车辆图像；
9、对所述待查车辆图像和多个所述基准车辆图像，依次进行尺寸调整、灰度转换、去噪、图像灰化处理，使得所述待查车辆图像和多个所述基准车辆图像具有一致的图像格式及图像质量。
10、在本发明的一个实施例中，所述将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型中的特征提取网络，在空间域和通道域上进行特征提取得到全局特征的步骤，包括：
11、将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型的特征提取网络的残差块和混合模块，分别对多个所述基准车辆图像和所述待查车辆图像进行车辆特征提取，得到对应的输入特征；
12、通过所述特征提取网络的双重注意力机制模块，对多个所述基准车辆图像和所述待查车辆图像对应的输入特征，在空间域上进行特征处理，得到多个所述基准车辆图像和所述待查车辆图像在空间域上的输出特征，在通道域上进行特征处理，得到多个所述基准车辆图像和所述待查车辆图像在通道域上的输出特征；
13、通过所述特征提取网络的全局池化模块，对多个所述基准车辆图像和所述待查车辆图像在空间域上的输出特征和在通道域上的输出特征，进行全局平均池化处理，得到全局特征。
14、在本发明的一个实施例中，所述对多个所述基准车辆图像和所述待查车辆图像对应的输入特征，在空间域上进行特征处理，得到多个所述基准车辆图像和所述待查车辆图像在空间域上的输出特征的步骤，包括：
15、对多个所述基准车辆图像和所述待查车辆图像对应的输入特征，依次进行卷积神经网络处理、映射关系处理，得到对应的特征权重，其中，所述映射关系用以将特征向量映射为概率分布；
16、将所述输入特征与所述特征权重相乘，得到全局上下文特征；
17、将所述全局上下文特征进行瓶颈转换处理，得到多个所述基准车辆图像和所述待查车辆图像在空间域上的输出特征。
18、在本发明的一个实施例中，所述对多个所述基准车辆图像和所述待查车辆图像对应的输入特征，在通道域上进行特征处理，得到多个所述基准车辆图像和所述待查车辆图像在通道域上的输出特征的步骤，包括：
19、将多个所述基准车辆图像和所述待查车辆图像对应的输入特征，进行维度转换得到第一特征图，将多个所述基准车辆图像和所述待查车辆图像对应的输入特征，依次进行维度转换、转置处理得到第二特征图；
20、将所述第一特征图与所述第二特征图相乘，并将相乘结果进行映射关系处理，得到通道注意力图；
21、将所述通道注意力图与所述第一特征图进行相乘，并将相乘结果乘以尺度系数后进行维度转换处理，得到通道加权矩阵，所述通道加权矩阵的形状与所述输入特征的形状相同；
22、将所述通道加权矩阵与所述输入特征相加，得到多个所述基准车辆图像和所述待查车辆图像在通道域上的输出特征。
23、在本发明的一个实施例中，所述将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型中的特征提取网络，在空间域和通道域上进行特征提取并进行多等分处理后得到局部特征的步骤，包括：
24、将多个所述基准车辆图像和所述待查车辆图像对应的输入特征，输入至特征提取网络的两层多尺度特征提取模块的双线性滤波器和双重注意力机制模块上，进行特征处理得到第一特征，对多个所述基准车辆图像和所述待查车辆图像对应的输出特征在所述两层多尺度特征提取模块的双线性滤波器上进行特征处理得到第二特征；
25、将所述第一特征和所述第二特征在所述两层多尺度特征提取模块的双向特征金字塔网络中，按照自顶向下和自底向上地传播特征以进行特征融合，得到深度多尺度特征；
26、将所述深度多尺度特征，依次进行平均池化处理、多等分处理、降维处理，得到局部特征。
27、在本发明的一个实施例中，所述重识别模型通过以下方法训练得到：
28、获得训练样本集，所述训练样本集中的车辆图像设有对应的车辆标签；
29、从所述训练样本集中，选取不同批次训练车辆图像；
30、将不同批次所述训练车辆图像，输入至待训练的车辆识别模型中进行训练，确定所述待训练的车辆识别模型的目标损失函数的识别损失值，其中，所述车辆识别模型包括特征提取网络和分类网络，所述特征提取网络与所述分类网络连接，所述目标损失函数包括所述特征提取网络上所述全局-局部特征对应的特征学习损失，以及所述分类网络上所述全局特征、所述局部特征对应的分类损失的总损失；
31、基于所述识别损失值，对待训练的车辆识别模型的参数进行调整，得到重识别模型。
32、本发明还提出一种双重注意力跨模态车辆重识别系统，所述系统包括：
33、获取单元，用于获取待查车辆图像和多个基准车辆图像；
34、提取单元，用于将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型中的特征提取网络，在空间域和通道域上进行特征提取得到全局特征，在空间域和通道域上进行特征提取并进行多等分处理后得到局部特征，将对应的全局特征和局部特征融合得到全局-局部特征，将所述基准车辆图像对应的全局特征、局部特征和全局-局部特征形成目标特征，以及将所述待查车辆图像对应的全局特征、局部特征和全局-局部特征形成待查特征；
35、处理单元，用于基于所述重识别模型中的分类网络根据所述目标特征和所述待查特征，确定所述待查车辆图像和各个所述基准车辆图像之间的特征综合相似度；以及
36、匹配单元，用于基于所述重识别模型中的分类网络根据所述特征综合相似度，从多个所述基准车辆图像中，选取与所述待查车辆图像之间的特征综合相似度满足预设匹配条件的多个车辆图像，记为重识别图像集，并在所述重识别图像集中，基于所述特征综合相似度，将多个车辆图像进行排序。
37、本发明还提出一种电子设备，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述任一项所述的双重注意力跨模态车辆重识别方法。
38、本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使计算机执行如上述任一项所述的双重注意力跨模态车辆重识别方法。
39、本发明的有益效果：本发明提出双重注意力跨模态车辆重识别方法、系统、设备及介质，将基准车辆图像和待查车辆图像输入至重识别模型中，重识别模型的特征提取网络在空间域和通道域上，提取到基准车辆图像对应的目标特征，以及待查车辆图像对应的待查特征。重识别模型中的分类网络根据目标特征和待查特征，确定待查车辆图像和各个基准车辆图像之间的特征综合相似度，以选取与待查车辆图像之间的特征综合相似度满足预设匹配条件的多个车辆图像，从而得到重识别图像，本发明具有车辆图像重识别精度较高的优点。
1.一种双重注意力跨模态车辆重识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的双重注意力跨模态车辆重识别方法，其特征在于，所述获取待查车辆图像和多个基准车辆图像的步骤，包括：
3.根据权利要求1所述的双重注意力跨模态车辆重识别方法，其特征在于，所述将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型中的特征提取网络，在空间域和通道域上进行特征提取得到全局特征的步骤，包括：
4.根据权利要求3所述的双重注意力跨模态车辆重识别方法，其特征在于，所述对多个所述基准车辆图像和所述待查车辆图像对应的输入特征，在空间域上进行特征处理，得到多个所述基准车辆图像和所述待查车辆图像在空间域上的输出特征的步骤，包括：
5.根据权利要求3所述的双重注意力跨模态车辆重识别方法，其特征在于，所述对多个所述基准车辆图像和所述待查车辆图像对应的输入特征，在通道域上进行特征处理，得到多个所述基准车辆图像和所述待查车辆图像在通道域上的输出特征的步骤，包括：
6.根据权利要求3所述的双重注意力跨模态车辆重识别方法，其特征在于，所述将多个所述基准车辆图像和所述待查车辆图像，输入至重识别模型中的特征提取网络，在空间域和通道域上进行特征提取并进行多等分处理后得到局部特征的步骤，包括：
7.根据权利要求1所述的双重注意力跨模态车辆重识别方法，其特征在于，所述重识别模型通过以下方法训练得到：
8.一种双重注意力跨模态车辆重识别系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，包括处理器、存储器和通信总线；所述通信总线用于将所述处理器和存储器连接；所述处理器用于执行所述存储器中存储的计算机程序，以实现如权利要求1-7任一项所述的双重注意力跨模态车辆重识别方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序用于使计算机执行如权利要求1-7任一项所述的双重注意力跨模态车辆重识别方法。
