一种图像拼接方法、装置、电子设备和存储介质与流程

1.本公开涉及图像处理领域，具体为深度学习和计算机视觉领域，尤其涉及一种图像拼接方法、装置、电子设备和存储介质。


背景技术：

2.对影像素材进行poi(point of interest，兴趣点)生产中，招牌信息可以作为其中的一项重要内容。
3.根据招牌图像中识别出的文本和采集招牌图像的地理位置，可以生成poi数据。


技术实现要素：

4.本公开提供了一种图像拼接方法、装置、电子设备和存储介质。
5.根据本公开的一方面，提供了一种图像拼接方法，包括：
6.获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域；
7.在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征；
8.在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征；
9.将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征；
10.根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换；
11.将变换后的第二图像与所述第一图像进行拼接。
12.根据本公开的一方面，提供了一种图像拼接装置，包括：
13.图像获取模块，用于获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域；
14.文本匹配特征确定模块，用于在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征；
15.图像匹配特征确定模块，用于在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征；
16.融合特征获取模块，用于在所述第一图像和所述第二图像中识别将所述文本匹配特征和所述图像匹配特征进行融合，并融合得到融合特征；
17.图像变换模块，用于根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换；
18.图像拼接模块，用于将变换后的第二图像与所述第一图像进行拼接。
19.根据本公开的另一方面，提供了一种电子设备，包括：
20.至少一个处理器；以及
21.与所述至少一个处理器通信连接的存储器；其中，
22.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述的图像拼接方法。
23.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开任一实施例所述的图像拼接方法。
24.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任一实施例所述的图像拼接方法。
25.本公开实施例可以实现精准拼接图像，提高图像的识别准确率。
26.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
27.附图用于更好地理解本方案，不构成对本公开的限定。其中：
28.图1是根据本公开实施例公开的一种图像拼接方法的流程图；
29.图2是根据本公开实施例公开的另一种图像拼接方法的流程图；
30.图3是根据本公开实施例公开的另一种图像拼接方法的流程图；
31.图4是根据本公开实施例公开的另一种图像拼接方法的场景图；
32.图5是根据本公开实施例公开的一种图像拼接装置的结构图；
33.图6是用来实现本公开实施例的图像拼接方法的电子设备的框图。
具体实施方式
34.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
35.图1是根据本公开实施例公开的一种图像拼接方法的流程图，本实施例可以适用于对多个具有文本信息的图像进行拼接的情况。本实施例方法可以由图像拼接装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑和台式电脑等。
36.s101，获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域。
37.第一图像和第二图像用于拼接成一张图像，第一图像和第二图像存在至少一个相同招牌，相同的招牌分别映射到第一图像和第二图像中，对应形成重叠招牌区域，也即重叠招牌区域为第一图像和第二图像中表示同一招牌的区域。招牌是指写明商店名称或经营内容等一系列具有文本内容的牌子。招牌区域是指图像中包含有招牌的区域。相同的招牌在第一图像和第二图像中的成像结果不同，第一图像中成像结果形成第一图像中的重叠招牌区域，第二图像中成像结果形成第二图像中的重叠招牌区域。此外，第一图像中的重叠招牌区域和第二图像中的重叠招牌区域是描述同一招牌的区域，二者的文本内容可以相同也可
以不同，示例性的，招牌为“aa山庄青年公寓”，第一图像中仅包括“aa山庄青年”的部分招牌区域，第二图像中仅包括“山庄青年公寓”的部分招牌区域。相应的，第一图像中的重叠招牌区域可以是“aa山庄青年”，第二图像中的重叠招牌区域可以是“山庄青年公寓”；或者，第一图像中的重叠招牌区域可以是“山庄青年”，第二图像中的重叠招牌区域可以是“山庄青年”。
38.第一图像可以通过图像采集设备采集得到，也可以是在图像中对招牌进行截取得到，还可以是经过图像拼接处理后得到，或者可以是运动拍摄的视频中选择包括招牌的某一帧图像得到。第二图像的获取方式可以参考第一图像的获取方式，其中，在第一图像和第二图像的获取方式相同的情况下，可以选择不同角度、不同时间或不同参数获取的图像，以使第一图像和第二图像存在同一招牌的部分相同内容或全部相同内容的区域。示例性的，第一图像和第二图像可以是对同一招牌在不同角度或不同时间等情况下采集的图像。
39.s102，在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征。
40.特征是某一类对象区别于其他类对象的相应(本质)特点或特性，或是这些特点和特性的集合。特征是通过测量或处理能够抽取的数据。文本特征是指描述文本内容的特征。文本特征可以用于识别文本内容或区别不同文本。文本特征可以是从图像中识别出的包括文本内容的区域。文本匹配特征是指第一图像和第二图像中描述相同文本内容的特征。文本匹配特征可以用于识别第一图像和第二图像中的相同文本内容。文本匹配特征至少包括文本内容在图像中的位置信息和语义信息。其中，文本匹配特征可以采用预先训练的深度学习模型对文本特征进行提取。
41.在本公开中，可以根据第一图像和第二图像存在的重叠招牌区域，确定文本匹配特征。文本匹配特征具体是指第一图像与第二图像中匹配的文本内容所对应的区域的匹配像素点的信息。匹配的文本内容所对应的区域是指第一图像与第二图像中文本内容相同的图像区域。匹配像素点是指第一图像和第二图像中描述同一位置(或是同一物体上同一点)的像素点。文本匹配特征可以通过文本匹配特征矩阵表示。示例性的，文本匹配特征矩阵包括第一图像中的像素点与第二图像中的像素点形成的匹配像素点对，其中，匹配像素点对中两个像素点表示同一位置的像素点(或是同一物体上同一点)，并且，两个像素点位于第一图像与第二图像中匹配的文本内容所对应的区域。其中，重叠招牌区域与匹配的文本内容相同的区域相交。在本公开中，匹配的文本内容的区域通常是指重叠招牌区域包括的匹配的文本内容的区域。
42.示例性的，第一图像中的文本内容是“aa山庄青年”，第二图像中的文本内容是“山庄青年公寓”，则匹配的文本内容是“山庄青年”。第一图像中描述“山庄青年”的文本框区域的左上顶点像素点作为匹配像素点，以及第二图像中描述“山庄青年”的文本框区域的左上顶点像素点作为匹配像素点，形成匹配像素点对，两个像素点的坐标信息添加到文本匹配特征矩阵中。
43.s103，在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征。
44.图像特征是指描述物体的图像特点的特征，用于识别物体内容或区别不同物体。图像特征可以包括颜色特征、纹理特征、形状特征和空间关系特征等。图像特征可以是图像
本身、也可以是对图像进行预处理得到的图像，预处理可以包括过滤、强化去噪、背景裁剪等。此外，图像特征还可以是通过预先训练的图像特征提取模型，对图像提取的纹理特征、颜色特征、形状特征和空间关系特征等。图像匹配特征描述第一图像和第二图像之间存在相同内容的特征。其中，图像匹配特征可以采用预先训练的深度学习模型对图像特征进行提取。或者图像匹配特征可以采用sift算法(scale invariant feature transform，尺度不变特征变换)对图像特征进行提取。
45.在本公开中，可以根据第一图像和第二图像存在的重叠招牌区域，确定图像匹配特征。图像匹配特征具体是指第一图像与第二图像中匹配的图像内容所对应的区域的匹配像素点的信息。图像匹配特征匹配的图像内容所对应的区域是指第一图像与第二图像中图像内容(像素点的颜色、纹理、形状或空间等)相同的图像区域。图像匹配特征可以通过图像匹配特征矩阵表示。图像匹配特征矩阵包括第一图像中的像素点与第二图像中的像素点形成的匹配像素点对，其中，匹配像素点对中两个像素点表示同一位置的像素点(或是同一物体上同一点)，并且，两个像素点位于第一图像与第二图像中匹配的图像内容所对应的区域。其中，重叠招牌区域匹配的图像内容相同的区域相交。在本公开中，匹配的图像内容的区域，通常是指重叠招牌区域包括的匹配的图像内容的区域。
46.示例性的，在上一示例的基础上，第一图像中描述“山庄青年”的图像区域的左上顶点像素点作为匹配像素点，以及第二图像中描述“山庄青年”的图像区域的左上顶点像素点作为匹配像素点，形成匹配像素点对，其中，图像区域和文本框区域可以是相同的区域。两个像素点的坐标信息也可添加到图像匹配特征矩阵中。
47.s104，将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征。
48.融合特征是指同一物体对应的文本匹配特征和图像匹配特征融合形成的特征。示例性的，物体为文字，文字的形状特征(图像匹配特征)和文字的内容特征(文本匹配特征)，表示相同信息，可以剔除一个，融合结果为形状特征或内容特征。
49.在本公开中，融合特征可以通过融合特征矩阵表示。融合特征矩阵用于将文本匹配特征矩阵和图像匹配特征矩阵进行数据融合，其中，若文本匹配特征矩阵和图像匹配特征矩阵中同一像素点信息的数据相同，可以剔除一个。
50.示例性的，在上一示例的基础上，由于图像区域和文本框区域相同，融合特征矩阵中，在两个图像中“山庄青年”的文本框区域的左上顶点像素点形成的匹配像素点对，保留一个在融合特征矩阵中，剔除另外一个，减少冗余数据。
51.s105，根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换。
52.图像变换是指为了有效和快速地对图像进行处理和分析，需要将原定义在图像空间的图像以某种形式转换到另外的空间，利用空间的特有性质方便地进行一定的加工，最后再转换回图像空间以得到所需的效果的过程。图像变换信息是指实现图像变换的具体方法。图像变换信息至少包括放大、缩小、折叠和对称等变换中一种或几种的组合，以及变换的具体尺寸。图像变换信息用于对第二图像进行图像变换，以使第一图像和变换后第二图像中描述相同的内容的区域完全一致，具体是使得第一图像的重叠招牌区域与变换后的第二图像中的重叠招牌区域一致，以便按照一致的区域进行第一图像和第二图像的拼接。
53.第一图像和第二图像存在重叠招牌区域，则通过图像变换信息能够实现第一图像和变换后的第二图像中重叠招牌区域的重合，也可以理解为通过图像变换信息实现同一招
牌在第一图像和变换后的第二图像中成像结果相同。图像变换信息可以通过将第一图像和第二图像的融合特征矩阵中信息，确定第一图像中和第二图像中表示相同内容之间的尺寸关系和位置关系，从而确定图像变换信息。
54.s106，将变换后的第二图像与所述第一图像进行拼接。
55.拼接是指将第二图像和第一图像拼成一张新的图像。变换后的第二图像与第一图像中的同一招牌的成像结果相同，根据重叠招牌区域，将变换后的第二图像与第一图像中成像结果相同的部分进行叠加或者去除冗余部分，从而实现图像的拼接，将变换后的第二图像和第一图像拼接成一张图像。
56.在现有技术中，实现图像的拼接的方法有通过识别图像的图像匹配特征或文本匹配特征中的一种，从而进行图像拼接，这种方法依赖于图像局部特征点检测的个数和特征描述稳定性，对于大视角和模糊图像效果较差；或者通过深度学习的方法实现图像拼接，这种方法不依赖于图像某个角点的检测效果，和角点局部周围局部信息，而是利用卷积能够提取更大范围的特征信息，稳定性更高，但是该方法比较依赖于大量高质量数据集的构建。
57.根据本公开的技术方案，获取第一图像和第二图像的文本匹配特征和图像匹配特征，通过将文本匹配特征和图像匹配特征进行融合得到融合特征，丰富了特征的内容，提高了图像的识别准确率，并且不依赖于特征点检测的个数，降低特征提取的复杂度，提高特征提取效率，根据融合特征获取图像变换信息，实现第二图像的图像变换，从而实现第一图像和变换后的第二图像的拼接，利用较少的数据实现精准拼接图像，降低了数据采集成本。
58.图2是根据本公开实施例公开的另一种图像拼接方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述在所述第一图像和所述第二图像中识别文本匹配特征，具体化为：在所述第一图像中识别第一文本区域，以及在所述第二图像中识别出第二文本区域，并确定语句区域对，所述语句区域对包括匹配的第一语句区域和第二语句区域，所述第一文本区域包括所述第一语句区域，所述第二文本区域包括所述第二语句区域；根据语句区域对，确定文本匹配特征。
59.s201，获取第一图像和第二图像。
60.s202，将所述第一图像中识别的第一文本区域，与所述第二图像中识别的第二文本区域进行比较，确定语句区域对，所述语句区域对包括匹配的第一语句区域和第二语句区域，所述第一文本区域包括所述第一语句区域，所述第二文本区域包括所述第二语句区域。
61.第一文本区域是指第一图像中具有文本内容的区域，也可以理解为第一图像中招牌区域中包括文本的区域。第二文本区域是指第二图像中具有文本内容的区域，也可以理解为第二图像中招牌区域中包括文本的区域。其中，第一图像可以包括至少一个第一文本区域，一个第一文本区域对应一个招牌区域；第二图像可以包括至少一个第二文本区域，一个第二文本区域对应一个招牌区域。匹配是指两个文本区域的文本内容相同。语句区域对是指第一文本区域和第二文本区域中文本内容相同的两部分区域。通过识别和对比第一图像中的第一文本区域和第二图像中的第二文本区域，可以筛选出第一文本区域和第二文本区域中文本内容相同的部分，从而确定为语句区域对。具体的，在第一文本区域中查询与第二文本区域中文本内容相同的语句区域，确定为第一语句区域，并且将第二文本区域中与第一语句区域的文本内容相同的语句区域，确定为第二语句区域。示例性的，语句区域包括
文本行区域或文本列区域。通常招牌区域中，文本是以一行文字进行展示，从而大多招牌区域中包括文本行区域。
62.示例性的，可以通过ocr技术(optical character recognition，光学字符识别)识别第一图像中的第一文本区域和第二图像中的第二文本区域。在一个具体的例子中，第一文本区域和第二文本区域可以是具有语义的一系列词语和/或至少一句话等组合而成。通过采用dbnet(differentiable binarization，差分二值化网络文本检测)在第一图像和第二图像中分割出第一文本区域和第二文本区域，其中，文本区域可以采用词语文本框表示，具体是确定词语文本框在图像中矩形中心位置和矩形的尺寸。采用abinet(使用视觉模型和显式语言模型来识别以端到端方式训练的野外文本)在分割的第一文本区域和第二文本区域中识别出语义信息。将第一文本区域和第二文本区域中的语义信息逐一进行匹配，将相同语义信息的区域作为匹配的两个语句区域。其中，可以采用语言模型(如bert(bidirectional encoder representations from transformers))根据识别出的语义信息在两个图像中查询匹配的两个语句区域。通过遍历所有第一文本区域和第二文本区域，将语义信息匹配(语义信息相同或相似)的两个语句区域组成语句区域对。
63.示例性的，第一图像中的第一文本区域中的文本内容为“aa山庄青年”，第二图像中的第二文本区域中的文本内容为“山庄青年公寓”。第一文本区域可以拆分为“aa”、“山庄”和“青年”等三个区域。第二文本区域可以拆分为“山庄”、“青年”和“公寓”等三个区域。根据语义信息在第一文本区域中逐个选择区域与第二文本区域中的每个区域进行匹配，最终确定第一图像中描述“山庄”的第一语句区域和第二图像中描述“山庄”的第二语句区域匹配，第一图像中描述“青年”的第一语句区域和第二图像中描述“青年”的第二语句区域匹配，形成语句区域对。此外，第一文本区域和第二文本区域不进行拆分，根据语义信息进行匹配；还可以是拆分更细或者拆分的方式不同，具体可以根据需要设定。
64.s203，根据语句区域对，确定文本匹配特征。
65.可以获取该语句区域对在第一图像和第二图像中的对应区域在图像中位置，根据相应位置上的像素点信息，确定文本匹配特征。其中，相应位置可以是关键点的位置，其中，关键点可以是边界点、中心点或对称点等。示例性的，区域的形状为矩形，矩形区域的关键点，可以包括四个顶点(边界点)和/或对角线交点(也是中心点和对称点)等。
66.示例性的，可以选择矩形左上顶点作为像素点对。第一图像中描述“山庄”的语句区域的矩形左上顶点像素点作为匹配像素点，以及第二图像中描述“山庄”的语句区域的矩形左上顶点像素点作为匹配像素点，形成匹配像素点对，将两个像素点的坐标信息添加到文本匹配特征中。其中，为了增加文本匹配特征的内容，可以尽可能多的选择关键点，尽可能多的确定匹配像素点对。
67.s204，在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征。
68.s205，将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征。
69.s206，根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换。
70.s207，将变换后的第二图像与所述第一图像进行拼接。
71.可选的，所述根据语句区域对，确定文本匹配特征，包括：在所述语句区域对中，识别第一语句区域包括的第一文字区域和第二语句区域包括的第二文字区域；在所述语句区
域对中，确定文字区域对；所述文字区域对包括匹配的第一文字区域和第二文字区域；根据文字区域对，确定文本匹配特征。
72.第一文字区域是指第一语句区域中包含的一个文字的区域。第一语句区域包括至少一个第一文字区域。第二文字区域是指第二语句区域中包含的一个文字的区域。第二语句区域包括至少一个第二文字区域。文字区域对是指第一文字区域和第二文字区域中存在相同文字的两个文字区域。通过识别和对比语句区域对中的第一文字区域和第二文字区域，可以将相同文字的文字区域确定为文字区域对，进而确定文本匹配特征。
73.在一个具体的例子中，第一文字区域和第二文字区域可以是至少一个具有单字的区域组合而成。在匹配的两个语句区域中分别识别出单字的文字区域。其中，可以采用cascade r-cnn(级联神经网络算法，用于实现目标检测)在语句区域中分割出文字区域，然后采用abinet在分割的第一文字区域和第二文字区域中识别出语义信息。根据语义信息将第一文字区域和第二文字区域逐一进行匹配，将语义信息相同的第一文字区域和第二文字区域作为匹配的文字区域，构成文字区域对。其中，可以采用语言模型(如bert)在两个图像中查询匹配的两个文字区域。将匹配的文字区域组成文字区域对，根据全部文字区域对确定文本匹配特征。
74.示例性的，第一图像中的第一语句区域中的文本内容为“aa山庄青年”，第二图像中的第二语句区域中的文本内容为“山庄青年公寓”。第一图像和第二图像中描述“山庄”和“青年”的文本区域作为语句区域对，第一文字区域为描述“山”、“庄”、“青”和“年”的区域。第二文字区域为描述“山”、“庄”、“青”和“年”的区域。相应的，第一图像中描述“山”的区域和第二图像中描述“山”的区域匹配，第一图像中描述“庄”的区域和第二图像中描述“庄”的区域匹配，第一图像中描述“青”的区域和第二图像中描述“青”的区域匹配，第一图像中描述“年”的区域和第二图像中描述“年”的区域匹配，组成四个文字区域对。第一图像中描述“山”的区域的左上顶点像素点作为匹配像素点，以及第二图像中描述“山”的区域的左上顶点像素点作为匹配像素点，形成匹配像素点对，两个像素点的坐标信息添加到文本匹配特征中。
75.通过在语句区域对中识别第一文字区域和第二文字区域，确定文字区域对，缩小了图像匹配的范围，减少了文本匹配特征提取的数据量，同时获取更加精准的匹配的区域，根据匹配的文字区域对确定文本匹配特征，提高了文本匹配特征提取的精度，进而提高图像的识别准确率。
76.可选的，所述确定语句区域对，包括：识别所述第一文本区域的语义信息和所述第二文本区域的语义信息；根据所述第一文本区域的语义信息和所述第二文本区域的语义信息，确定匹配的第一语句区域和第二语句区域，并作为语句区域对。
77.语义信息是指能够消除事物不确定性的有一定意义的信息，是信息的表现形式之一。语义信息用于查询匹配的第一语句区域和第二语句区域。在本公开中，语义信息是指图像中识别出的文本的语义，语义信息可以作为语句区域或文字区域的特征信息，可以以特征向量或字符串等形式进行呈现。示例性的，可以采用abinet识别语义信息。
78.在第一图像和第二图像中识别到文本区域后，分别识别第一文本区域的语义信息和第二文本区域的语义信息，将第一文本区域和第二文本区域中语义信息相同的语句区域确定为匹配的第一语句区域和第二语句区域，从而将匹配的第一语句区域和第二语句区域
确定为语句对。
79.示例性的，第一图像中的第一文本区域中的文本内容为“aa山庄青年”，第二图像中的第二文本区域中的文本内容为“山庄青年公寓”。第一图像的第一文本区域可以拆分为描述“aa”、“山庄”和“青年”的区域，第二图像的第二文本区域可以拆分为描述“山庄”、“青年”和“公寓”的区域。相应的，识别到第一图像的文本内容为“山庄”的区域和第二图像的文本内容为“山庄”的区域语义相同，第一图像的文本内容为“青年”的区域和第二图像的文本内容为“青年”的区域语义相同，形成语句区域对，其中，第一文本区域中“青年”的区域为第一语句区域，第二文本区域中“青年”的区域为第二语句区域。
80.通过获取第一文本区域的语义信息和第二文本区域的语义信息，从语义维度描述文本，从而确定匹配的第一语句区域和第二语句区域，可以提高语句区域匹配的精确度，进而提高图像的识别准确率。
81.可选的，所述根据文字区域对，确定文本匹配特征，包括：在所述文字区域对中，确定特征点对，并作为文本匹配特征，所述特征点对包括表示同一坐标点的第一文本区域的像素点和第二文本区域的像素点。
82.特征点对是指在文字区域对中描述同一位置的两个像素点，同一位置是指同一物体上的某一位置，也可以理解为描述同一坐标点在第一文本区域中对应的像素点和第二文本区域中对应的像素点。坐标点是指可以通过空间坐标系描述的点，其中可以包括点的位置信息。同一坐标点是指在空间中同一位置的点。在文字区域对中，将表示同一坐标点的第一文本区域的像素点和第二文本区域的像素点作为匹配点，从两个文本区域中筛选出匹配点，并相应组成至少一个特征点对，从而将选出的特征点对确定为文本匹配特征。
83.在一个具体的例子中，在匹配的文字区域对中，获取第一文字区域的至少一个特征点以及每个特征点在第一文字区域的相对位置，以及获取第二文字区域对的至少一个特征点以及每个特征点在第二文字区域的相对位置；将相对位置匹配的特征点，确定为匹配特征点对；获取多个匹配特征点对，生成文本匹配特征矩阵。实际上，相同的特征点较多，可以选择更有代表性的关键点，确定为特征点对。示例性的，可以分别获取第一文字区域和第二文字区域的四个顶点等关键点作为特征点，并获取八个特征点在文字区域的相对位置，将第一文字区域和第二文字区域中的左上顶点作为匹配特征点，添加到文本匹配特征矩阵中。同样的，将其余三对顶点确定匹配特征点，并添加到文本匹配特征矩阵中。
84.通过在文字区域对中确定特征点对，并作为文本匹配特征，将文字区域中的特征点进行匹配，更加精准确定匹配的像素点，增加像素点的匹配准确率，可以提高文本匹配特征提取的精度，减少文本匹配特征中的数据量，降低数据分析的工作量，提高文本匹配特征的提取效率。
85.根据本公开的技术方案，通过识别第一语句区域和第二语句区域，确定语句区域对，从而确定文本匹配特征，缩小了文本匹配特征提取的范围，同时获取更加精准的匹配的区域，提高了文本匹配特征提取的精度和图像识别的精度，并且减少了文本匹配特征的数据量，降低了文本匹配特征分析的工作量，提高了文本匹配特征的提取效率。
86.图3是根据本公开实施例公开的另一种图像拼接方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。所述融合得到融合特征，具体化为：在文本匹配特征和图像匹配特征中，剔除冗余特征和异常特征；将剔除后的文本
匹配特征和剔除后的图像匹配特征进行融合，得到融合特征。
87.s301，获取第一图像和第二图像。
88.s302，在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征。
89.s303，在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征。
90.s304，在文本匹配特征和图像匹配特征中，剔除冗余特征和异常特征。
91.冗余特征是指所包含的信息能从其他特征推演出来的特征。冗余特征会增加数据分析和处理的工作量。异常特征是指出现明显错误或者与附近数据差距较大的特征。异常特征对数据分析和处理的准确性具有明显的影响。文本匹配特征和图像匹配特征存在重复的特征，从而可以形成冗余特征。示例性的，重叠招牌区域中描述“山”的文本框区域，描述的物体为文字，文字的形状特征(图像匹配特征)和文字的内容特征(文本匹配特征)，表示相同信息，形成冗余特征。在对第一图像和第二图像的文本匹配特征和图像匹配特征的识别过程中，受系统误差的影响，会形成异常特征。
92.为减少冗余特征和异常特征对文本匹配特征和图像匹配特征处理结果的影响，对文本匹配特征和图像匹配特征中的冗余特征和异常特征进行去除。其中，剔除方法可以是ransac(random sample consensus，随机抽样一致)剔除算法。
93.s305，将剔除后的文本匹配特征和剔除后的图像匹配特征进行融合，得到融合特征。
94.在对文本匹配特征和图像匹配特征进行融合的过程中，为避免融合结果过于繁复，保证融合结果的准确，将剔除冗余特征和异常特征后的文本匹配特征和图像匹配特征进行融合，从而得到融合特征。
95.s306，根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换。
96.s307，将变换后的第二图像与所述第一图像进行拼接。
97.将变换后的第二图像与第一图像进行拼接形成目标图像，可以根据目标图像中完整拼接后的招牌区域形成的文本，确定招牌区域的文本信息，根据拍摄招牌区域所属的第一图像和第二图像的采集地理位置，可以获取招牌的地理位置，将招牌的完整文本信息，和地理位置，可以生成兴趣点。
98.可选的，图像拼接方法，还包括：在拼接得到的图像中识别至少两个招牌；根据各所述招牌在拼接得到的图像中的相对位置，确定各所述招牌对应的兴趣点之间的空间拓扑关系。
99.图像中的相对位置是指在至少两个招牌在图像中位置关系。示例性的，招牌一在招牌二的左侧，招牌三在招牌二的右侧。兴趣点是地理信息系统中的一个术语，泛指一切可以抽象为点的地理对象，尤其是一些与人们生活密切相关的地理实体。兴趣点的主要用途是对事物或事件的地址进行描述，能在很大程度上增强对事物或事件位置的描述能力和查询能力，提高地理定位的精度和速度。空间拓扑关系是指基本的空间目标点、线、面之间的邻接、关联和包含关系。示例性的，招牌一对应的商店在招牌二对应的商店的左侧，招牌三对应的商店在招牌二对应的商店的右侧。
100.拼接后的图像中可以包含多个招牌，每个招牌对应一个兴趣点。通过识别拼接后
的图像中的各个招牌，获得各个招牌在拼接后的图像中的像素点的坐标，从而得到各个招牌在拼接后的图像中的相对位置，进而确定各个招牌对应的兴趣点的空间拓扑关系。
101.在一个具体的例子中，通过定位技术获取第一图像和第二图像的采集位置。第一图像和第二图像中包含多个招牌区域。第一图像和第二图像中重叠招牌区域对应的招牌确定为目标招牌。第一图像和第二图像拼接后的图像确定为目标招牌拼接图像。在目标招牌拼接图像中识别出目标招牌，和目标招牌的采集位置，确定目标招牌对应的兴趣点。根据目标招牌拼接图像中招牌之间的图像位置关系，确定各招牌在地理坐标中的拓扑关系。根据各招牌的拓扑关系，以及目标招牌的位置，确定各招牌中除目标招牌的位置以外的招牌的位置。
102.通过在拼接得到的图像中各所述招牌的相对位置，确定各招牌对应的兴趣点之间的空间拓扑关系，实现图像拼接在兴趣点信息提取中的应用，扩展图像拼接方法的应用场景。
103.根据本公开的技术方案，通过在文本匹配特征和图像匹配特征中，剔除冗余特征和异常特征，可以提高融合特征的准确性，提高图像的识别准确率，从而提高图像拼接的精确度，并降低融合特征的数据量，降低数据分析的工作量，加快图像拼接的速度。
104.图4是根据本公开实施例公开的另一种图像拼接方法的场景图。图像拼接方法可以包括：
105.s401，通过图像采集设备获取第一图像和第二图像。
106.图4中未示出。示例性的，可以通过路采车沿着街道行驶，对街道两旁的建筑物进行视频采集。根据采集得到的视频，进行抽帧，得到第一图像和第二图像。
107.s402，通过ocr技术和单字检测识别技术在第一图像和第二图像中识别文本匹配特征。
108.如图4所示，通过ocr技术识别到第一图像中的重叠招牌区域中的文字内容为“aa山庄青年”，第二图像中的重叠招牌区域中的文字内容为“山庄青年公寓”中，存在的语句区域对为“山庄青年”。通过单字检测识别技术(cascade r-cnn)识别语句区域对中两个语句区域分别进行分割识别，并将分割识别的文字区域进行逐一匹配，例如，得到第一图像中“山”的文字区域与第二图像中“山”的文字区域匹配，以此类推，得到匹配的“庄”、“青”和“年”的文字区域。并将匹配的文字区域中对应的匹配像素点对作为文本匹配特征。
109.s403，通过sift算法在第一图像和第二图像中识别图像匹配特征。
110.示例性的，sift算法包括：检测尺度空间极值；定位特征点；确定方向角度；描述特征点。通过sift算法在第一图像和第二图像中选取特征点，并进行逐一匹配，得到特征点对，作为图像匹配特征，其中，特征点对包括一个第一图像中的像素点和一个第二图像中的像素点。
111.s404，将文本匹配特征和图像匹配特征融合得到融合特征。
112.s405，根据融合特征，确定图像变换信息，并对第二图像进行图像变换。
113.根据融合特征，计算得到仿射变换矩阵，作为图像变换信息。通过仿射变换矩阵，确定第一图像中和第二图像中表示相同内容之间的尺寸关系和位置关系，从而对第二图像进行变换，实现第二图像中的重叠招牌区域与第一图像中的重叠招牌区域的重合。
114.s406，将变换后的第二图像与所述第一图像进行拼接。
115.利用变换后的第二图像与第一图像中的重合部分进行拼接，拼接后的图像中招牌区域的文字内容为“aa山庄青年公寓”。
116.根据本公开的技术方案，获取第一图像和第二图像的文本匹配特征和图像匹配特征，通过将文本匹配特征和图像匹配特征进行融合得到融合特征，丰富了特征的内容，提高了图像的识别准确率，并且不依赖于特征点检测的个数，降低特征提取的复杂度，提高特征提取效率，根据融合特征获取图像变换信息，实现第二图像的图像变换，从而实现第一图像和变换后的第二图像的拼接，利用较少的数据实现精准拼接图像，降低了数据采集成本。
117.根据本公开的实施例，图5是本公开实施例中的图像拼接装置的结构图，本公开实施例适用于运行图像拼接方法的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
118.如图5所示的一种图像拼接装置500，包括：图像获取模块501、文本匹配特征确定模块502、图像匹配特征确定模块503、融合特征获取模块504、图像变换模块505和图像拼接模块506。其中，
119.图像获取模块501，用于获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域；
120.文本匹配特征确定模块502，用于在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征；
121.图像匹配特征确定模块503，用于在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征；
122.融合特征获取模块504，用于将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征；
123.图像变换模块505，用于根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换；
124.图像拼接模块506，用于将变换后的第二图像与所述第一图像进行拼接。
125.根据本公开的技术方案，获取第一图像和第二图像的文本匹配特征和图像匹配特征，通过将文本匹配特征和图像匹配特征进行融合得到融合特征，丰富了特征的内容，提高了图像的识别准确率，并且不依赖于特征点检测的个数，降低特征提取的复杂度，提高特征提取效率，根据融合特征获取图像变换信息，实现第二图像的图像变换，从而实现第一图像和变换后的第二图像的拼接，利用较少的数据实现精准拼接图像，降低了数据采集成本。
126.进一步的，所述文本特征包括文本区域；所述确定文本匹配特征确定模块502，包括：语句区域对确认单元，用于将所述第一图像中识别的第一文本区域，与所述第二图像中识别的第二文本区域进行比较，确定语句区域对，所述语句区域对包括匹配的第一语句区域和第二语句区域，所述第一文本区域包括所述第一语句区域，所述第二文本区域包括所述第二语句区域；文本匹配特征确定单元，用于根据语句区域对，确定文本匹配特征。
127.进一步的，所述文本匹配特征确定单元，包括：文字区域识别子单元，用于在所述语句区域对中，识别第一语句区域包括的第一文字区域和第二语句区域包括的第二文字区域；文字区域对确定子单元，用于在所述语句区域对中，确定文字区域对；所述文字区域对包括匹配的第一文字区域和第二文字区域；文本匹配特征确定子单元，用于根据文字区域对，确定文本匹配特征。
128.进一步的，所述语句区域对确认单元，具体用于：识别所述第一文本区域的语义信息和所述第二文本区域的语义信息；根据所述第一文本区域的语义信息和所述第二文本区域的语义信息，确定匹配的第一语句区域和第二语句区域，并作为语句区域对。
129.进一步的，所述文本匹配特征确定子单元，具体用于：在所述文字区域对中，确定特征点对，并作为文本匹配特征，所述特征点对包括表示同一坐标点的第一文本区域的像素点和第二文本区域的像素点。
130.进一步的，所述融合特征获取模块504，包括：特征剔除单元，用于在文本匹配特征和图像匹配特征中，剔除冗余特征和异常特征；
131.特征融合单元，用于将剔除后的文本匹配特征和剔除后的图像匹配特征进行融合，得到融合特征。
132.进一步的，图像拼接装置，还包括：招牌识别模块，用于在拼接得到的图像中识别至少两个招牌；空间拓扑关系确定模块，用于根据各所述招牌在拼接得到的图像中的相对位置，确定各所述招牌对应的兴趣点之间的空间拓扑关系。
133.上述图像拼接装置可执行本公开任意实施例所提供的图像拼接方法，具备执行图像拼接方法相应的功能模块和有益效果。
134.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
135.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
136.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性区域图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
137.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
138.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
139.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像拼接方法。例如，在一些实施例中，图像拼接方法可被实现为计算机软件程序，其
被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的图像拼接方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像拼接方法。
140.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
141.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或区域图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
142.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
143.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
144.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
145.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
146.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
147.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种图像拼接方法，包括：获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域；在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征；在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征；将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征；根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换；将变换后的第二图像与所述第一图像进行拼接。2.根据权利要求1所述的方法，其中，所述文本特征包括文本区域；所述确定文本匹配特征，包括：将所述第一图像中识别的第一文本区域，与所述第二图像中识别的第二文本区域进行比较，确定语句区域对，所述语句区域对包括匹配的第一语句区域和第二语句区域，所述第一文本区域包括所述第一语句区域，所述第二文本区域包括所述第二语句区域；根据语句区域对，确定文本匹配特征。3.根据权利要求2所述的方法，其中，所述根据语句区域对，确定文本匹配特征，包括：在所述语句区域对中，识别第一语句区域包括的第一文字区域和第二语句区域包括的第二文字区域；在所述语句区域对中，确定文字区域对；所述文字区域对包括匹配的第一文字区域和第二文字区域；根据文字区域对，确定文本匹配特征。4.根据权利要求2所述的方法，其中，所述确定语句区域对，包括：识别所述第一文本区域的语义信息和所述第二文本区域的语义信息；根据所述第一文本区域的语义信息和所述第二文本区域的语义信息，确定匹配的第一语句区域和第二语句区域，并作为语句区域对。5.根据权利要求3所述的方法，其中，所述根据文字区域对，确定文本匹配特征，包括：在所述文字区域对中，确定特征点对，并作为文本匹配特征，所述特征点对包括表示同一坐标点的第一文本区域的像素点和第二文本区域的像素点。6.根据权利要求1所述的方法，其中，所述将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征，包括：在文本匹配特征和图像匹配特征中，剔除冗余特征和异常特征；将剔除后的文本匹配特征和剔除后的图像匹配特征进行融合，得到融合特征。7.根据权利要求1所述的方法，还包括：在拼接得到的图像中识别至少两个招牌；根据各所述招牌在拼接得到的图像中的相对位置，确定各所述招牌对应的兴趣点之间的空间拓扑关系。8.一种图像拼接装置，包括：图像获取模块，用于获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域；
文本匹配特征确定模块，用于在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征；图像匹配特征确定模块，用于在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征；融合特征获取模块，用于将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征；图像变换模块，用于根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换；图像拼接模块，用于将变换后的第二图像与所述第一图像进行拼接。9.根据权利要求8所述的装置，其中，所述文本特征包括文本区域；所述确定文本匹配特征确定模块，包括：语句区域对确认单元，用于将所述第一图像中识别的第一文本区域，与所述第二图像中识别的第二文本区域进行比较，确定语句区域对，所述语句区域对包括匹配的第一语句区域和第二语句区域，所述第一文本区域包括所述第一语句区域，所述第二文本区域包括所述第二语句区域；文本匹配特征确定单元，用于根据语句区域对，确定文本匹配特征。10.根据权利要求9所述的装置，其中，所述文本匹配特征确定单元，包括：文字区域识别子单元，用于在所述语句区域对中，识别第一语句区域包括的第一文字区域和第二语句区域包括的第二文字区域；文字区域对确定子单元，用于在所述语句区域对中，确定文字区域对；所述文字区域对包括匹配的第一文字区域和第二文字区域；文本匹配特征确定子单元，用于根据文字区域对，确定文本匹配特征。11.根据权利要求9所述的装置，其中，所述语句区域对确认单元，具体用于：识别所述第一文本区域的语义信息和所述第二文本区域的语义信息；根据所述第一文本区域的语义信息和所述第二文本区域的语义信息，确定匹配的第一语句区域和第二语句区域，并作为语句区域对。12.根据权利要求10所述的装置，其中，所述文本匹配特征确定子单元，具体用于：在所述文字区域对中，确定特征点对，并作为文本匹配特征，所述特征点对包括表示同一坐标点的第一文本区域的像素点和第二文本区域的像素点。13.根据权利要求8所述的装置，其中，所述融合特征获取模块，包括：特征剔除单元，用于在文本匹配特征和图像匹配特征中，剔除冗余特征和异常特征；特征融合单元，用于将剔除后的文本匹配特征和剔除后的图像匹配特征进行融合，得到融合特征。14.根据权利要求8所述的装置，还包括：招牌识别模块，用于在拼接得到的图像中识别至少两个招牌；空间拓扑关系确定模块，用于根据各所述招牌在拼接得到的图像中的相对位置，确定各所述招牌对应的兴趣点之间的空间拓扑关系。15.一种电子设备，包括：至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的图像拼接方法。16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的图像拼接方法。17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的图像拼接方法。

技术总结
本公开提供了一种图像拼接方法、装置、电子设备和存储介质，涉及图像处理领域，具体为深度学习和计算机视觉领域。具体实现方案为：获取第一图像和第二图像，所述第一图像和所述第二图像中存在重叠招牌区域；在所述第一图像中识别文本特征，以及在所述第二图像中识别文本特征，并确定文本匹配特征；在所述第一图像中识别图像特征，以及在所述第二图像中识别图像特征，并确定图像匹配特征；将所述文本匹配特征和所述图像匹配特征进行融合，得到融合特征；根据所述融合特征，确定图像变换信息，并对所述第二图像进行图像变换；将变换后的第二图像与所述第一图像进行拼接。本公开实施例可以实现精准拼接图像，提高图像的识别准确率。提高图像的识别准确率。提高图像的识别准确率。


技术研发人员：马小明
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.02.17
技术公布日：2022/5/25