图像处理方法、电子设备及存储介质与流程

1.本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备及存储介质。


背景技术：

2.随着线上交易(如房产线上交易)、线上办公等线上服务逐步进入成熟期，身份证、房产证等各种证明文件的网上识别和审核也呈现持续发展的态势。现有的证明文件的网上识别和审核流程中，需要由用户通过摄像装置采集上传证明文件的图像，然后上传图像至线上平台，线上平台通过图像识别来采集证明文件的信息。
3.现有的证明文件的网上识别和审核流程，由于摄像装置的差异性，以及图像在上传过程中的图像失真问题，线上平台对图像采集证明文件的信息时，会导致信息采集存在偏差，仍需通过人工录入的方式填写证明文件的信息，增加了人力成本和时间成本。


技术实现要素：

4.本公开实施例所要解决的一个技术问题是：提供一种图像处理方法、电子设备及存储介质。
5.根据本公开实施例的一个方面，提供一种图像处理方法，所述方法包括：
6.将待识别图像输入第一卷积神经网络，得到所述待识别图像的质量参考值，所述第一卷积神经网络在至少一个池化层之后、至少一组卷积层之前设置有双注意力模块，所述双注意力模块用于对所述至少一组卷积层需要卷积的特征图进行通道加权和像素加权；
7.将所述质量参考值与第一设定阈值和第二设定阈值进行比较；
8.在所述质量参考值不小于第二设定阈值时，判定所述待识别图像为有效图像；
9.在所述质量参考值大于第一设定阈值并且小于所述第二设定阈值时，判定所述待识别图像为可重建图像；
10.对所述可重建图像进行超分辨率重建，并将超分辨率重建后的图像输入所述第一卷积神经网络，其中，对所述待识别图像进行超分辨率重建的次数不超过设定次数。
11.在本公开一实施例中，所述双注意力模块对所述至少一组卷积层需要卷积的特征图进行处理的过程包括：
12.对所述至少一组卷积层需要卷积的特征图进行全局池化，得到通道维度的第一权重集合；
13.通过第一设定数目的第一卷积核对所述第一权重集合进行卷积，得到通道维度的第二权重集合；
14.对所述至少一组卷积层需要卷积的特征图通过平均池化层计算至少一个像素的权重，得到像素维度的第三权重集合；
15.通过第二设定数目的第二卷积核对所述第三权重集合进行卷积，得到像素维度的第四权重集合；
16.将所述第四权重集合、所述第二权重集合与所述至少一组卷积层需要卷积的特征图进行加权计算，得到双加权特征图。
17.在本公开又一实施例中，所述第一卷积神经网络为预训练的vgg-16网络；
18.和/或，所述第一卷积核为1*1的卷积核，所述第二卷积核为3*3的卷积核。
19.在本公开又一实施例中，所述通过第一设定数目的第一卷积核对所述第一权重集合进行卷积，得到通道维度的第二权重集合，包括：
20.通过第一设定数目的第一卷积核对所述第一权重集合进行卷积，得到至少一个通道的权重值；
21.将小于重阈值的所述至少一个通道的权重值置零，并且保留不小于所述权重阈值的所述至少一个通道的权重值，得到所述通道维度的第二权重集合。
22.在本公开又一实施例中，所述方法还包括：
23.响应于所述质量参考值不大于第二设定阈值，判定所述待识别图像为无效图像；
24.输出图像无效提示信息，所述图像无效提示信息用于提示用户上传新的图像。
25.在本公开又一实施例中，所述对所述可重建图像进行超分辨率重建，包括：
26.使用第二卷积神经网络对所述可重建图像进行图像超分辨率重建，所述第二卷积神经网络为预训练的快速超高分辨率卷积神经网络；
27.其中，所述第二卷积神经网络对所述可重建图像进行图像超分辨率重建时的特征提取过程包括：
28.采用第三卷积核对所述待识别图像进行通道分组；
29.对通道分组得到的分组使用相同卷积核进行特征提取，得到分组特征；
30.将所述分组特征进行混合计算，得到混合特征；
31.对所述混合特征进行特征提取，得到图像特征图。
32.在本公开又一实施例中，所述待识别图像的质量参考值基于所述第一卷积神经网络的归一化层的输出神经元个数确定。
33.根据本公开实施例的又一个方面，提供一种图像处理装置，所述装置包括：
34.质量确定模块，用于将待识别图像输入第一卷积神经网络，得到所述待识别图像的质量参考值，所述第一卷积神经网络在至少一个池化层之后、至少一组卷积层之前设置有双注意力模块，所述双注意力模块用于对所述至少一组卷积层需要卷积的特征图进行通道加权和像素加权；
35.比较模块，用于将所述质量参考值与第一设定阈值和第二设定阈值进行比较；
36.第一判定模块，用于在所述质量参考值不小于第二设定阈值时，判定所述待识别图像为有效图像；
37.第二判定模块，用于在所述质量参考值大于第一设定阈值并且小于所述第二设定阈值时，判定所述待识别图像为可重建图像；
38.重建模块，用于对所述可重建图像进行超分辨率重建，并将超分辨率重建后的图像输入所述第一卷积神经网络，其中，对所述待识别图像进行超分辨率重建的次数不超过设定次数。
39.在本公开一实施例中，所述质量确定模块包括：
40.全局池化子模块，用于对所述至少一组卷积层需要卷积的特征图进行全局池化，
得到通道维度的第一权重集合；
41.第一卷积子模块，用于通过第一设定数目的第一卷积核对所述第一权重集合进行卷积，得到通道维度的第二权重集合；
42.平均池化子模块，用于对所述至少一组卷积层需要卷积的特征图通过平均池化层计算至少一个像素的权重，得到像素维度的第三权重集合，得到像素维度的第三权重集合；
43.第二卷积子模块，用于通过第二设定数目的第二卷积核对所述第三权重集合进行卷积，得到像素维度的第四权重集合，得到通道维度的第四权重集合；
44.加权子模块，用于将所述第四权重集合、所述第二权重集合与所述至少一组卷积层需要卷积的特征图进行加权计算，得到双加权特征图。
45.在本公开又一实施例中，所述第一卷积神经网络为预训练的vgg-16网络；
46.和/或，所述第一卷积核为1*1的卷积核，所述第二卷积核为3*3的卷积核。
47.在本公开又一实施例中，所述第一卷积子模块包括：
48.第三卷积子模块，用于通过第一设定数目的第一卷积核对所述第一权重集合进行卷积，得到至少一个通道的权重值；
49.参数优化子模块，用于将小于所述权重阈值的所述至少一个通道的权重值置零，并且保留不小于所述权重阈值的所述至少一个通道的权重值，得到所述通道维度的第二权重集合。
50.在本公开又一实施例中，所述装置还包括：
51.第三判定模块，用于响应于所述质量参考值不大于第二设定阈值，判定所述待识别图像为无效图像；
52.提示模块，用于输出图像无效提示信息，所述图像无效提示信息用于提示用户上传新的图像。
53.在本公开又一实施例中，所述重建模块，用于使用第二卷积神经网络对所述可重建图像进行图像超分辨率重建，所述第二卷积神经网络为预训练的快速超高分辨率卷积神经网络；
54.其中，所述第二卷积神经网络对所述可重建图像进行图像超分辨率重建时的特征提取过程包括：
55.采用第三卷积核对所述待识别图像进行通道分组；；
56.对通道分组得到的分组使用相同卷积核进行特征提取，得到分组特征；
57.将所述分组特征进行混合计算，得到混合特征；
58.对所述混合特征进行特征提取，得到图像特征图。
59.在本公开又一实施例中，所述待识别图像的质量参考值基于所述第一卷积神经网络的归一化层的输出神经元个数确定。
60.根据本公开实施例的再一方面，提供一种电子设备，该电子设备包括：
61.存储器，用于存储计算机程序；
62.处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述图像处理方法。
63.根据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述图像处理方法。
64.根据本公开实施例的再一方面，提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行上述图像处理方法。
65.基于本公开上述实施例提供的图像处理方法、装置以及电子设备、存储介质，通过预训练的第一卷积神经网络识别待识别图像的质量参考值，将所述质量参考值与第一设定阈值和第二设定阈值进行比较；在所述质量参考值不小于第二设定阈值时，判定所述待识别图像为有效图像；在所述质量参考值大于第一设定阈值并且小于所述第二设定阈值时，判定所述待识别图像为可重建图像；对所述可重建图像进行超分辨率重建，并将超分辨率重建后的图像输入所述第一卷积神经网络，其中，由于第一卷积神经网络在至少一个池化层之后、至少一组卷积层之前设置有双注意力模块，因此本公开实施例可以实现在卷积层卷积之前先对特征进行通道加权和像素加权，有助于卷积层对特征进行更好的卷积处理，提高识别准确率，并且可以对图像进行超分辨率重建，在一定程度上提高图像识别的成功率。
66.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
67.构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
68.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
69.图1为本公开的图像处理方法的一个实施例的流程图；
70.图2a为本公开的图像处理方法的第一卷积神经网络中双注意力模块的工作流程图；
71.图2b为本公开的图像处理方法的一个双注意力模块的工作示意图；
72.图3a为本公开的图像处理方法的第二卷积神经网络提取图像特征的工作流程图；
73.图3b为本公开的图像处理方法的一个第二卷积神经网络的特征提取示意图；
74.图4为本公开的图像处理装置的一个实施例的结构示意图；
75.图5为本公开的图像处理装置的又一个实施例的结构示意图；
76.图6为本公开一示意性实施例提供的电子设备的结构图。
具体实施方式
77.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
78.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
79.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
80.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
81.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一
个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
82.本公开实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
83.计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
84.本公开概述
85.本公开实施例提供的技术方案用于图像识别领域，用户在需要上传证件类图像至应用程序，并且需要应用程序识别证件类图像上的信息时(在得到用户的充分授权的情况下，应用程序可获取到证件类图像上的用户信息，用户信息可包括用户的标识信息(如用户访问应用程序的用户名或者其他能够标识用户的标识信息。当然，在未得到用户的充分授权的情况，以上证件类图像对应的用户信息均属于用户个人隐私信息，本公开的实施例并不能获取到)，可以基于本公开实施例提供的方法对图像实现基于视觉注意机制的图像质量判别和重建。
86.示例性实施例
87.图1为本公开的图像处理方法的一个实施例的流程图；该图像处理方法可以应用在图像处理平台(如计算机系统、服务器等电子设备)上，如图1所示，该图像处理方法包括以下步骤：
88.在步骤101中，将待识别图像输入第一卷积神经网络，得到待识别图像的质量参考值，第一卷积神经网络在至少一个池化层之后、至少一组卷积层之前设置有双注意力模块。
89.在一实施例中，待识别图像可以为证件类的图像。
90.在一实施例中，第一卷积神经网络为预训练的vgg-16网络，现有技术中的vgg-16网络由5组卷积层(共13个卷积层)和3个全连接层组成，每组卷积层后跟有池化层。为了实现本公开实施例提供的技术方案，以现有技术中的vgg-16网络为基础网络进行训练，在每组卷积层的池化层后设置有双注意力模块，以此实现在下一组卷积层卷积之前先对特征进行通道加权和像素加权，有助于卷积层对特征进行更好的卷积处理，进而实现基于视觉注意机制的图像质量判别。其中，双注意力模块包括通道注意力机制和像素注意力机制，用于对特征进行通道加权和像素加权。
91.在一实施例中，预训练的vgg-16网络对特征通过双注意力模块模块实现通道加权和像素加权的过程可参见图2a所示实施例，这里先不详述。预训练的vgg-16网络的全连接层后的归一化层softmax层的输出神经元的个数为待识别图像的质量参考值。
92.在一实施例中，本公开实施例中，为了训练出预训练的vgg-16网络，需要从已有的
备件中，收集各种不同证件类性(身份证、房产证等各类证件)的图像，并且能够覆盖同一种类证件的不同质量的图像，以及不同证件种类的不同质量的图像，数据集要全面覆盖到不同备件的不同情况，通过全集的数据集训练网络模型vgg-16网络，才能保证训练出的模型有良好的泛化性。
93.在步骤102中，将质量参考值与第一设定阈值和第二设定阈值进行比较。
94.在一实施例中，第一设定阈值和第二设定阈值为预先设定的两个值，用于衡量待识别图像的质量级别，质量级别可以包括有效图像、可重建图像、无效图像。在质量参考值不小于第二设定阈值时，可以判定待识别图像为有效图像；在质量参考值大于第一设定阈值并且小于第二设定阈值时，判定待识别图像为可重建图像；质量参考值不大于第二设定阈值时，判定待识别图像为无效图像，可以输出图像无效提示信息，图像无效提示信息用于提示用户上传新的图像。
95.其中，有效图像为图像质量很高，能够识别出待识别图像上的信息的图像；可重建图像为图像质量略低，需要对可重建图像进行超分辨率重建，然后再进行识别的图像；无效图像为图像质量很低，需要通过输出图像无效提示信息，来提醒用户再次上传图像的图像。
96.在质量参考值不小于第二设定阈值时，执行步骤103；在质量参考值大于第一设定阈值并且小于第二设定阈值时，执行步骤104。
97.在步骤103中，在质量参考值不小于第二设定阈值时，判定待识别图像为有效图像。
98.在一实施例中，判定待识别图像为有效图像时，可以直接对图像进行信息识别。
99.在步骤104中，在质量参考值大于第一设定阈值并且小于第二设定阈值时，判定待识别图像为可重建图像。
100.在步骤105中，对可重建图像进行超分辨率重建，并将超分辨率重建后的图像输入第一卷积神经网络，其中，对可重建图像进行超分辨率重建的次数不超过设定次数。
101.在一实施例中，设定次数为对一个待识别图像进行超分辨率重建的最大次数，设定次数的值一般不建议设置太大，例如，设定次数可以为1或者2。
102.在一实施例中，可以使用快速超分辨率重建网络对可重建图像进行重建，具体重建过程可参见图3a所示实施例，这里先不详述。
103.在一实施例中，在对可重建图像执行超分辨率重建后，可再次对重建后的图像输入第一卷积神经网络进行图像质量的判定。
104.上述步骤101～105通过预训练的第一卷积神经网络识别待识别图像的质量参考值，将质量参考值与第一设定阈值和第二设定阈值进行比较；在质量参考值不小于第二设定阈值时，判定待识别图像为有效图像；在质量参考值大于第一设定阈值并且小于第二设定阈值时，判定待识别图像为可重建图像；对可重建图像进行超分辨率重建，并将超分辨率重建后的图像输入第一卷积神经网络，其中，由于第一卷积神经网络至少一个池化层之后、至少一组卷积层之前设置有用于对至少一组卷积层卷积得到的特征图进行通道加权和像素加权的双注意力模块，因此本公开实施例可以实现基于视觉注意机制的图像质量识别，提高识别准确率，并且可以在图像质量有点低时通过超分辨率重建，在一定程度上提高图像识别的成功率。
105.为了更好地说明本技术的图像处理的方案，下面用另一个实施例说明。
106.图2a为本公开的图像处理方法的第一卷积神经网络中双注意力模块的工作流程图，图2b为本公开的图像处理方法的一个双注意力模块的工作示意图；本实施例以预训练的vgg-16网络如何对至少一组卷积层需要卷积的特征图进行双注意力加权为例进行示例性说明，如图2a所示，包括如下步骤：
107.在步骤201中，对至少一组卷积层需要卷积的特征图进行全局池化，得到通道维度的第一权重集合。
108.在一实施例中，现有vgg-16网络包含5组卷积层，预训练的第一卷积神经网络在至少一个池化层之后、至少一组卷积层之前设置有双注意力模块，以此实现基于视觉注意机制的图像质量判别，对至少一组卷积层需要卷积的特征图通过双注意力模块处理之后即可得到双加权特征图。
109.在一实施例中，可以通过步骤201～步骤202对至少一组卷积层需要卷积的特征图进行通道加权。
110.在一实施例中，在对至少一组卷积层需要卷积的特征图进行全局池化后，即可得到通道维度的第一权重集合，也即通道维度的初步的权重集合。
111.在步骤202中，通过第一设定数目的第一卷积核对第一权重集合进行卷积，得到通道维度的第二权重集合。
112.在一实施例中，第一卷积核为1*1的卷积核。
113.在一实施例中，通过第一设定数目的1*1的卷积核对第一权重集合进行学习，得到通道维度的第二权重集合具体包括：通过第一设定数目的1*1的卷积核对第一权重集合进行学习，得到至少一个通道的权重值；将小于权重阈值的至少一个通道的权重值置零，并且保留不小于权重阈值的至少一个通道的权重值，得到通道维度的第二权重集合。
114.在一实施例中，第一设定数目为预先设定的对第一权重集合进行卷积的次数，例如，第一设定数目可以为2，也即经过两个1*1的卷积层对第一权重集合进行卷积，可以得到第二权重集合，也即通道维度的最终的权重集合。
115.在一实施例中，在通道加权时，为了减小通道加权的复杂度和计算量，可以预先设置一个权重阈值，在小于权重阈值的至少一个通道的权重值置零，并且保留不小于权重阈值的至少一个通道的权重值。
116.在通过步骤202计算得到通道维度的第二权重集合后，即可执行步骤205。
117.在步骤203中，对至少一组卷积层需要卷积的特征图通过平均池化层计算至少一个像素的权重，得到像素维度的第三权重集合。
118.在一实施例中，可以通过步骤203～步骤204对至少一组卷积层的特征图进行像素加权。
119.在一实施例中，通过平均池化层计算至少一组卷积层需要卷积的特征图中每个像素的权重，即可得到像素维度的第三权重集合，也即像素维度的初步的权重集合。
120.在步骤204中，通过第二设定数目的第二卷积核对第三权重集合进行卷积，得到像素维度的第四权重集合。
121.在一实施例中，第二卷积核为3*3的卷积核。
122.在一实施例中，第二设定数目为预先设定的对第三权重集合进行学习的次数，例如，第二设定数目可以为2，也即，经过两个3*3的卷积核对第三权重集合进行卷积，可以得
到第四权重集合，也即像素维度的最终的权重集合。
123.在步骤205中，将第四权重集合、第二权重集合与至少一组卷积层需要卷积的特征图进行加权计算，得到双加权特征图。
124.在一实施例中，通过对第四权重集合、第二权重集合与至少一组卷积层需要卷积的特征图进行加权计算，即可得到双加权特征图。
125.在一个实施例中，参见图2b，通过步骤201和步骤202可以得到通道维度的第二权重集合，通过步骤203和步骤204可以得到像素维度的第四权重集合，而对第二权重集合和第四权重集合与至少一组卷积层需要卷积的特征图进行加权计算，即可得到双加权特征图。
126.通过上述步骤201～步骤205，本实施例中通过具有两种加权方式(通道加权和像素加权)的第一卷积神经网络，可以实现基于视觉注意机制的图像质量识别，提高识别准确率；并通过设置权重阈值可以降低网络复杂度，提升分类速度。
127.图3a为本公开的图像处理方法的第二卷积神经网络提取图像特征的工作流程图，图3b为本公开的图像处理方法的一个第二卷积神经网络的特征提取示意图；本实施例以在使用加速图像超分辨率卷积神经网络(fast super resolution convolution neural network，简称为fsrcnn)对可重建图像进行重分辨率重建时特征提取过程为例进行示例性说明，如图3a所示，包括如下步骤：
128.在步骤301中，采用第三卷积核对可重建图像进行通道分组。
129.在本技术的一些实施例中，第三卷积核为1*1的卷积核。
130.在一实施例中，现有fsrcnn网络对图像的处理过程分为五部分：特征提取、压缩、非线性映射、扩充、转置卷积，得到超分辨率的图像。
131.在步骤302中，对通道分组得到的分组使用相同卷积核进行特征提取，得到分组特征。
132.在步骤303中，将分组特征进行混合计算，得到混合特征。
133.在步骤304中，对混合特征进行特征提取，得到图像特征图。
134.在步骤301～步骤304中，为了使得fsrcnn网络模型更为轻量，本公开实施例终中将特征提取过程通过图3b所示的示意图来实现。图3b中，首先使用1*1的卷积核对通道分组，然后对分组得到的每一个分组使用相同的卷积核进行卷积，得到每一个分组的分组特征，然后再混合各个通道分组内的分组特征，重新进行卷积，这样即可实现待识别图像的特征提取。
135.在一实施例中，在完成特征提取后，fsrcnn网络即可通过非线性映射、扩充、转置卷积等操作流程，得到超分辨率的图像。
136.通过上述步骤301～步骤304，本实施例中通过将卷积层替换为图3b的模块，可以实现降低参数的目的，并且通过将通道组间的特征相互关联，取得更好的学习能力，重建出更加清晰的图像。
137.与前述图像处理方法的实施例相对应，本公开还提供了图像处理装置对应的实施例。
138.图4为本公开的图像处理装置的一个实施例的结构示意图，该装置应用在图像处理平台上，如图4所示，该装置包括：
139.质量确定模块41，用于将待识别图像输入第一卷积神经网络，得到待识别图像的质量参考值，第一卷积神经网络在至少一个池化层之后、至少一组卷积层之前设置有双注意力模块，双注意力模块用于对至少一组卷积层需要卷积的特征图进行通道加权和像素加权；
140.比较模块42，用于将质量参考值与第一设定阈值和第二设定阈值进行比较；
141.第一判定模块43，用于在质量参考值不小于第二设定阈值时，判定待识别图像为有效图像；
142.第二判定模块44，用于在质量参考值大于第一设定阈值并且小于第二设定阈值时，判定待识别图像为可重建图像；
143.重建模块45，用于对可重建图像进行超分辨率重建，并将超分辨率重建后的图像输入第一卷积神经网络，其中，对可重建图像进行超分辨率重建的次数不超过设定次数。
144.图5为本公开的图像处理装置的又一个实施例的结构示意图，如图5所示，在图4所示实施例的基础上，在一实施例中，质量确定模块41包括：
145.全局池化子模块411，用于对至少一组卷积层需要卷积的特征图进行全局池化，得到通道维度的第一权重集合；
146.第一卷积子模块412，用于通过第一设定数目的第一卷积核对第一权重集合进行卷积，得到通道维度的第二权重集合；
147.平均池化子模块413，用于对至少一组卷积层需要卷积的特征图通过平均池化层计算至少一个像素的权重，得到像素维度的第三权重集合，得到像素维度的第三权重集合；
148.第二卷积子模块414，用于通过第二设定数目的第二卷积核对第三权重集合进行卷积，得到像素维度的第四权重集合，得到通道维度的第四权重集合；
149.加权子模块415，用于将第四权重集合、第二权重集合与至少一组卷积层需要卷积的特征图进行加权计算，得到双加权特征图。
150.在一实施例中，第一卷积子模块412包括：
151.第三卷积子模块4121，用于通过第一设定数目的第一卷积核对第一权重集合进行卷积，得到至少一个通道的权重值；
152.参数优化子模块4122，用于将小于权重阈值的至少一个通道的权重值置零，并且保留不小于权重阈值的至少一个通道的权重值，得到通道维度的第二权重集合。
153.在一实施例中，装置还包括：
154.第三判定模块46，用于响应于质量参考值不大于第二设定阈值，判定待识别图像为无效图像；
155.提示模块47，用于输出图像无效提示信息，图像无效提示信息用于提示用户上传新的图像。
156.在一实施例中，重建模块45，用于使用第二卷积神经网络对可重建图像进行图像超分辨率重建，第二卷积神经网络为预训练的快速超高分辨率卷积神经网络；
157.其中，第二卷积神经网络对可重建图像进行图像超分辨率重建时的特征提取过程包括：
158.采用第三卷积核对可重建图像进行通道分组；
159.对通道分组得到的分组使用相同卷积核进行特征提取，得到分组特征；
160.将分组特征进行混合计算，得到混合特征；
161.对混合特征进行特征提取，得到图像特征图。
162.在一实施例中，待识别图像的质量参考值基于第一卷积神经网络的归一化层的输出神经元个数确定。
163.上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
164.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
165.下面，参考图6来描述根据本公开实施例的电子设备，其中可以集成本公开实施例实现方法的装置。图6为本公开一示意性实施例提供的电子设备的结构图，如图6所示，电子设备6包括一个或多个处理器61、一个或多个计算机可读存储介质的存储器62，以及存储在存储器上并可在处理器上运行的计算机程序。在执行存储器62的程序时，可以实现上述图像处理方法。
166.具体的，在实际应用中，该电子设备还可以包括输入装置63、输出装置64等部件，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。本领域技术人员可以理解，图6中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者某些部件，或者不同的部件布置。其中：
167.处理器61可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
168.存储器62可以存储一个或多个计算机程序产品，存储器可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序产品，处理器61可以运行计算机程序产品，以实现上文的本公开的各个实施例的声源定位方法以及/或者其他期望的功能。
169.在一个示例中，电子装置还可以包括：输入装置63和输出装置64，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连，
170.此外，输入装置63可包括例如键盘、鼠标等等。
171.输出装置64可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
172.当然，为了简化，图6中仅示出了该电子设备6中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备6还可以包括任何其他适当的组件。
173.除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计
算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。
174.计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
175.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的声源定位方法中的步骤。
176.计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
177.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
178.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
179.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
180.可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
181.本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。