图像增强方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像增强方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.随着图像处理技术的发展，出现了图像增强技术，图像增强技术主要用于对图像进行处理，以提升图像质量。比如，图像增强具体可以是指图像去雾，通过去雾来提升图像质量。
3.传统技术中，常用的图像增强方式为，训练深度神经网络，利用训练好的深度神经网络对待处理图像进行处理，以实现图像增强。
4.然而，传统方法，所使用的深度神经网络并不能充分提取待处理图像的特征，存在图像增强效果差的问题。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够提升图像增强效果的图像增强方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
6.第一方面，本技术提供了一种图像增强方法。所述方法包括：
7.获取待处理图像；
8.对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征；
9.对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征，注意力机制包括空间注意力机制和通道注意力机制；
10.对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征；
11.对第二图像特征进行特征提取，得到增强图像。
12.第二方面，本技术还提供了一种图像增强装置。所述装置包括：
13.获取模块，用于获取待处理图像；
14.多尺度特征提取模块，用于对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征；
15.注意力机制加权模块，用于对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征，注意力机制包括空间注意力机制和通道注意力机制；
16.特征加权融合模块，用于对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征；
17.处理模块，用于对第二图像特征进行特征提取，得到增强图像。
18.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理
器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
19.获取待处理图像；
20.对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征
21.对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征，注意力机制包括空间注意力机制和通道注意力机制；
22.对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征；
23.对第二图像特征进行特征提取，得到增强图像。
24.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
25.获取待处理图像；
26.对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征；
27.对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征，注意力机制包括空间注意力机制和通道注意力机制；
28.对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征；
29.对第二图像特征进行特征提取，得到增强图像。
30.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
31.获取待处理图像；
32.对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征；
33.对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征，注意力机制包括空间注意力机制和通道注意力机制；
34.对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征；
35.对第二图像特征进行特征提取，得到增强图像。
36.上述图像增强方法、装置、计算机设备、存储介质和计算机程序产品，通过获取待处理图像，对待处理图像进行多尺度特征提取，得到包括至少两个层级尺度图像特征的多尺度图像特征，对多尺度图像特征中第一层级尺度图像特征进行包括空间注意力机制和通道注意力机制的注意力机制加权，能够进行空间位置层面和通道层面的特征加权融合，得到第一图像特征，对第一图像特征和第二层级尺度图像特征进行加权融合，能够提取到跨尺度、跨空间、跨通道的第二图像特征，并通过对第二图像特征进行特征提取，得到图像增强效果好的增强图像，从而能自动对图像进行质量增强，且提高了图像增强效果。
附图说明
37.图1为一个实施例中图像增强方法的流程示意图；
38.图2为一个实施例中初步特征提取网络和卷积网络的网络结构的示意图；
39.图3为一个实施例中得到空间注意力加权特征的流程示意图；
40.图4为一个实施例中得到通道注意力加权特征的流程示意图；
41.图5为一个实施例中已训练图像增强网络的示意图；
42.图6为另一个实施例中已训练图像增强网络的示意图；
43.图7为一个实施例中通过双注意力机制模块得到第一图像特征的流程示意图；
44.图8为一个实施例中图像增强装置的结构框图；
45.图9为一个实施例中计算机设备的内部结构图。
具体实施方式
46.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
47.在一个实施例中，如图1所示，提供了一种图像增强方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、飞行器等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现，也可以为区块链上的节点。本技术实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。本实施例中，该方法包括以下步骤：
48.步骤102，获取待处理图像。
49.其中，待处理图像是指需要进行图像增强处理的图像。比如，在图像去雾中，待处理图像是指需要去雾的图像。
50.具体的，当有待处理图像需要进行图像增强，以提升图像质量时，终端会获取待处理图像。
51.步骤104，对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征。
52.其中，多尺度特征提取是指从多个尺度对待处理图像进行特征提取，以得到多尺度图像特征，其中多个尺度的尺度数可按照需要自行设置，本实施例在此处不做具体限定。多尺度图像特征包括至少两个层级尺度图像特征，各层级尺度图像特征是相互关联的，具体的，最高层级尺度图像特征是通过对待处理图像进行特征提取得到的，除最高层级尺度图像特征外，每一层级尺度图像特征都是通过对上一层级尺度图像特征进行特征提取得到的，举例说明，进行特征提取的方式具体可以为下采样。具体的，在得到待处理图像后，终端会先对待处理图像进行初步特征提取，以得到与待处理图像对应的预处理图像特征，再从多个尺度对预处理图像特征进行特征提取，得到多尺度图像特征。进一步的，终端可通过预先训练的初步特征提取网络，对待处理图像进行特征提取。举例说明，初步特征提取网络可以为由若干卷积单元组成的卷积层以及残差卷积模块组成的网络。更进一步的，终端可以通过逐级下采样对预处理图像特征进行特征提取，得到多尺度图像特征。
53.步骤106，对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到
第一图像特征，注意力机制包括空间注意力机制和通道注意力机制。
54.其中，第一层级尺度图像特征是指多尺度图像特征中至少一个层级尺度图像特征。比如，第一层级尺度图像特征具体可以为最低层级尺度图像特征，最低层级尺度图像特征是指在多尺度图像特征中尺度最小的图像特征。比如，在逐级下采样进行特征提取时，最低层级尺度图像特征是指最后一次下采样所提取出的图像特征。注意力机制源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分、分配有限的信息处理资源给重要的部分。
55.其中，本实施例中，主要包括两个层面的注意力机制，一是空间位置层面的空间注意力机制，另一个是通道层面的通道注意力机制。空间注意力机制主要用于捕获特征图的任意两个空间位置之间的空间依赖，对于某个特定的特征，被所有位置上的特征加权和更新，权重为相应的两个空间位置之间的特征相似性。通道注意力机制主要用于捕获任意两个通道之间的相互依赖，利用所有通道的加权和更新某个通道的值。第一图像特征是指空间位置层面和通道层面的特征加权融合后所得到的特征。
56.具体的，注意力机制包括空间注意力机制和通道注意力机制，在得到多尺度图像特征后，终端会基于空间注意力机制，对多尺度图像特征中第一层级尺度图像特征中的空间位置特征进行加权特征提取，得到空间注意力加权特征，并基于通道注意力机制，对多尺度图像特征中第一层级尺度图像特征中的通道特征进行加权特征提取，得到通道注意力加权特征。需要说明的是，空间注意力加权特征和通道注意力加权特征大小相同，因此，在得到空间注意力加权特征和通道注意力加权特征后，终端通过叠加空间注意力加权特征和通道注意力加权特征，即对空间注意力加权特征和通道注意力加权特征中相同位置元素进行求和，即可得到第一图像特征。
57.需要说明的是，当第一层级尺度图像特征包括至少两个层级尺度图像特征时，终端会分别对第一层级尺度图像特征中每个层级尺度图像特征进行注意力机制加权，得到与每个层级尺度图像特征相匹配的叠加后注意力加权特征，再对与每个层级尺度图像特征相匹配的叠加后注意力加权特征进行迭代累进加权融合，得到第一图像特征。其中，叠加后注意力加权特征为叠加与每个层级尺度图像特征相匹配的空间注意力加权特征以及通道注意力加权特征所得到的特征。
58.进一步的，对与每个层级尺度图像特征相匹配的叠加后注意力加权特征进行迭代累进加权融合，得到第一图像特征的方式可以为：以第一层级尺度图像特征中最低层级尺度图像特征相匹配的叠加后注意力加权特征为起点，采用自下而上的方式对与每个层级尺度图像特征相匹配的叠加后注意力加权特征进行加权融合，即先对第一层级尺度图像特征中最低层级尺度图像特征相匹配的叠加后注意力加权特征，以及第一层级尺度图像特征中次最低层级尺度图像特征相匹配的叠加后注意力加权特征进行融合，再将得到的加权融合后的特征作为待融合特征，参与上一层级尺度图像特征相匹配的叠加后注意力加权特征的加权融合。
59.更进一步的，在对第一层级尺度图像特征中最低层级尺度图像特征相匹配的叠加后注意力加权特征，以及第一层级尺度图像特征中次最低层级尺度图像特征相匹配的叠加后注意力加权特征进行融合时，终端会先对最低层级尺度图像特征相匹配的叠加后注意力加权特征进行特征提取，再将特征提取后得到的特征与次最低层级尺度图像特征相匹配的叠加后注意力加权特征进行融合。其中，特征提取的方式具体可以为上采样。
60.步骤108，对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征。
61.具体的，终端会以第二层级尺度图像特征中最低层级尺度图像特征以及第一图像特征为起点，采取自下而上的方式对第二层级尺度图像特征中不同层级尺度特征进行迭代累进加权融合，得到第二图像特征。其中，迭代累进加权融合是指以最低层级尺度图像特征以及第一图像特征为起点进行加权融合，将每次得到的加权融合后的特征作为新的待融合特征，参与上一层级尺度图像特征的加权融合。
62.进一步的，终端会先将第二层级尺度图像特征中最低层级尺度图像特征与第一图像特征进行加权融合，得到加权融合后的特征，再将该加权融合后的特征作为待融合特征，参与与最低层级尺度图像特征对应的上一层级尺度图像特征的加权融合，通过自下而上的方式实现对所有层级尺度图像特征的迭代累进加权融合，得到第二图像特征。
63.步骤110，对第二图像特征进行特征提取，得到增强图像。
64.具体的，在得到第二图像特征后，表示已充分提取到跨尺度、跨空间、跨通道的特征，终端通过对第二图像特征进行特征提取，即可得到图像增强效果好的增强图像。其中，终端可通过对第二图像特征进行卷积的方式实现特征提取。进一步的，终端可通过预先训练的卷积网络，对第二图像特征进行卷积。举例说明，卷积网络可以为由若干卷积单元组成的卷积层以及残差卷积模块组成的网络。更进一步的，卷积网络可以为与初步特征提取网络结构对称的网络。举例说明，如图2所示，当初步特征提取网络的网络结构为包括一个卷积层和三个残差卷积模块时，卷积网络的网络结构可以为包括三个残差卷积模块和一个卷积层。
65.上述图像增强方法，通过获取待处理图像，对待处理图像进行多尺度特征提取，得到包括至少两个层级尺度图像特征的多尺度图像特征，对多尺度图像特征中第一层级尺度图像特征进行包括空间注意力机制和通道注意力机制的注意力机制加权，能够进行空间位置层面和通道层面的特征加权融合，得到第一图像特征，对第一图像特征和第二层级尺度图像特征进行加权融合，能够提取到跨尺度、跨空间、跨通道的第二图像特征，并通过对第二图像特征进行特征提取，得到图像增强效果好的增强图像，从而能自动对图像进行质量增强，且提高了图像增强效果。
66.在一个实施例中，第一层级尺度图像特征为多尺度图像特征中最低层级尺度图像特征；对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征包括：
67.基于空间注意力机制，对多尺度图像特征中最低层级尺度图像特征的空间位置特征进行加权特征提取，得到空间注意力加权特征；
68.基于通道注意力机制，对多尺度图像特征中最低层级尺度图像特征的通道特征进行加权特征提取，得到通道注意力加权特征；
69.根据空间注意力加权特征和通道注意力加权特征，得到第一图像特征。
70.具体的，在基于空间注意力机制，对多尺度图像特征中最低层级尺度图像特征的空间位置特征进行加权特征提取时，终端会先对多尺度图像特征中最低层级尺度图像特征进行矩阵变形和反转，以得到仅包含空间位置特征的第三空间矩阵，再对第三空间矩阵进行空间注意力机制加权，得到空间位置加权矩阵，将多尺度图像特征中最低层级尺度图像特征与空间位置加权矩阵进行跳接，得到空间注意力加权特征。同理，在基于通道注意力机制，对多尺度图像特征中最低层级尺度图像特征的通道特征进行加权特征提取时，终端会先对多尺度图像特征中最低层级尺度图像特征进行矩阵变形和反转，以得到仅包含通道特征的第三通道矩阵，再对第三空间矩阵进行通道注意力机制加权，得到通道加权矩阵，将多尺度图像特征中最低层级尺度图像特征与通道加权矩阵进行跳接，得到通道注意力加权特征。
71.本实施例中，通过同时基于空间注意力机制和通道注意力机制，分别对多尺度图像特征中最低层级尺度图像特征的空间位置特征和通道特征进行加权特征提取，能够得到空间注意力加权特征和通道注意力加权特征，从而可以通过叠加空间注意力加权特征和通道注意力加权特征，得到跨空间、跨通道的第一图像特征。
72.在一个实施例中，基于空间注意力机制，对多尺度图像特征中最低层级尺度图像特征的空间位置特征进行加权特征提取，得到空间注意力加权特征包括：
73.对多尺度图像特征中最低层级尺度图像特征进行矩阵变形，得到第一空间矩阵；
74.对第一空间矩阵进行反转，得到第二空间矩阵；
75.将第一空间矩阵和第二空间矩阵相乘，得到第三空间矩阵；
76.对第三空间矩阵进行空间注意力机制加权，得到空间位置加权矩阵；
77.将多尺度图像特征中最低层级尺度图像特征与空间位置加权矩阵进行跳接，得到空间注意力加权特征。
78.具体的，终端会对多尺度图像特征中最低层级尺度图像特征进行矩阵变形，得到形状为(x，c)的第一空间矩阵，再对第一空间矩阵进行反转，得到第二空间矩阵，将第一空间矩阵和第二空间矩阵相乘，以消除矩阵中的通道元素，得到仅包含空间位置特征的第三空间矩阵。其中x为多尺度图像特征中最低层级尺度图像特征对应的图像高度h与图像宽度w的乘积，c为多尺度图像特征中最低层级尺度图像特征对应的图像通道数，即多尺度图像特征中最低层级尺度图像特征的形状为(c，h，w)。举例说明x可以为hxw。
79.具体的，在得到第三空间矩阵后，终端会通过softmax(归一化指数函数)对第三空间矩阵进行空间注意力机制加权，在经过softmax(归一化指数函数)之后，该第三空间矩阵的元素对应的就是不同空间位置的注意力，也就是权重，通过利用该权重对目标空间矩阵的每个空间位置的特征进行加权，就可以得到经过空间注意力机制加权之后的特征，通过对该特征进行变形，即可得到与多尺度图像特征中最低层级尺度图像特征形状相同的空间位置加权矩阵，进而可以通过将多尺度图像特征中最低层级尺度图像特征与空间位置加权矩阵进行跳接，得到空间注意力加权特征。其中，目标空间矩阵通过对多尺度图像特征中最低层级尺度图像特征进行变形得到，形状与多尺度图像特征中最低层级尺度图像特征对应。比如，当多尺度图像特征中最低层级尺度图像特征的形状为(c，h，w)时，目标空间矩阵的形状为(c，hxw)。
80.举例说明，得到空间注意力加权特征的流程示意图可以如图3所示，假设多尺度图像特征中最低层级尺度图像特征的形状为(c，h，w)，终端会先将多尺度图像特征中最低层级尺度图像特征通过一个支路进行矩阵变形，得到形状为(hxw，c)的第一空间矩阵，另一个支路先进行矩阵变形得到形状为(hxw，c)的第一空间矩阵，然后对第一空间矩阵进行反转，得到形状为(c，hxw)的第二空间矩阵，通过将第一空间矩阵和第二空间矩阵相乘，可以得到形状为(hxw，hxw)的第三空间矩阵，通过softmax(归一化指数函数)对第三空间矩阵进行空间注意力机制加权，可以得到元素为不同空间位置的注意力的形状仍然为(hxw，hxw)的矩阵(即空间注意力矩阵)，通过矩阵中的元素(即权重)，对第三条支路中通过变形得到的形状为(c，hxw)的目标空间矩阵的每个空间位置的特征进行加权，获取经过空间注意力机制加权之后的特征，通过对该特征进行变形，即可得到与多尺度图像特征中最低层级尺度图像特征形状相同的空间位置加权矩阵，进而可以通过第四条支路将多尺度图像特征中最低层级尺度图像特征与空间位置加权矩阵进行跳接(在图3中用
⊕
表示)，得到空间注意力加权特征。其中，如图3所示，在进行矩阵变形之前，可通过卷积层对多尺度图像特征中最低层级尺度图像特征进行预处理，举例说明，该卷积层的参数可以为：步长＝1,卷积核大小＝1，输出通道数＝输入通道数/8。
81.本实施例中，通过对多尺度图像特征中最低层级尺度图像特征进行矩阵变形、反转，将得到的第一空间矩阵和第二空间矩阵相乘，得到第三空间矩阵，对第三空间矩阵进行空间注意力机制加权，得到空间位置加权矩阵，将多尺度图像特征中最低层级尺度图像特征与空间位置加权矩阵进行跳接，能够实现空间位置加权，得到空间注意力加权特征。
82.在一个实施例中，基于通道注意力机制，对多尺度图像特征中最低层级尺度图像特征的通道特征进行加权特征提取，得到通道注意力加权特征包括：
83.对多尺度图像特征中最低层级尺度图像特征进行矩阵变形，得到第一通道矩阵；
84.对第一通道矩阵进行反转，得到第二通道矩阵；
85.将第一通道矩阵和第二通道矩阵相乘，得到第三通道矩阵；
86.对第三通道矩阵进行通道注意力机制加权，得到通道加权矩阵；
87.将多尺度图像特征中最低层级尺度图像特征与通道加权矩阵进行跳接，得到通道注意力加权特征。
88.具体的，终端会对多尺度图像特征中最低层级尺度图像特征进行矩阵变形，得到形状为(c，x)的第一通道矩阵，再对第一通道矩阵进行反转，得到第二通道矩阵，将第一通道矩阵和第二通道矩阵相乘，以消除矩阵中的空间位置元素，得到仅包含通道特征的第三通道矩阵。其中x为多尺度图像特征中最低层级尺度图像特征对应的图像高度h与图像宽度w的乘积，c为多尺度图像特征中最低层级尺度图像特征对应的图像通道数，即多尺度图像特征中最低层级尺度图像特征的形状为(c，h，w)。举例说明x可以为hxw。
89.具体的，在得到第三通道矩阵后，终端会通过softmax(归一化指数函数)对第三通道矩阵进行通道注意力机制加权，在经过softmax(归一化指数函数)之后，该第三通道矩阵的元素对应的就是不同通道的注意力，也就是权重，通过利用该权重对目标通道矩阵的每个通道的特征进行加权，就可以得到经过通道注意力机制加权之后的特征，通过对该特征进行变形，即可得到与多尺度图像特征中最低层级尺度图像特征形状相同的通道位置加权矩阵，进而可以通过将多尺度图像特征中最低层级尺度图像特征与通道位置加权矩阵进行
跳接，得到通道注意力加权特征。其中，目标通道矩阵通过对多尺度图像特征中最低层级尺度图像特征进行变形得到，形状与多尺度图像特征中最低层级尺度图像特征对应。比如，当多尺度图像特征中最低层级尺度图像特征的形状为(c，h，w)时，目标通道矩阵的形状为(c，hxw)。
90.举例说明，得到通道注意力加权特征的流程示意图可以如图4所示，假设多尺度图像特征中最低层级尺度图像特征的形状为(c，h，w)，终端会先将多尺度图像特征中最低层级尺度图像特征通过一个支路进行矩阵变形，得到形状为(c，hxw)的第一通道矩阵，另一个支路先进行矩阵变形得到形状为(c，hxw)的第一通道矩阵，然后对第一通道矩阵进行反转，得到形状为(hxw，c)的第二通道矩阵，通过将第一通道矩阵和第二通道矩阵相乘，可以得到形状为(c，c)的第三通道矩阵，通过softmax(归一化指数函数)对第三通道矩阵进行通道注意力机制加权，可以得到元素为不同通道的注意力的形状仍然为(c，c)的矩阵(即通道注意力矩阵)，通过矩阵中的元素(即权重)，对第三条支路中通过变形得到的形状为(c，hxw)的目标通道矩阵的每个通道的特征进行加权，获取经过通道注意力机制加权之后的特征，通过对该特征进行变形，即可得到与多尺度图像特征中最低层级尺度图像特征形状相同的通道加权矩阵，进而可以通过第四条支路将多尺度图像特征中最低层级尺度图像特征与通道加权矩阵进行跳接(在图4中用
⊕
表示)，得到通道注意力加权特征。
91.本实施例中，通过对多尺度图像特征中最低层级尺度图像特征进行矩阵变形、反转，将得到的第一通道矩阵和第二通道矩阵相乘，得到第三通道矩阵，对第三空间矩阵进行通道注意力机制加权，得到通道加权矩阵，将多尺度图像特征中最低层级尺度图像特征与通道加权矩阵进行跳接，能够实现通道加权，得到通道注意力加权特征。
92.在一个实施例中，对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征包括：
93.以第二层级尺度图像特征中最低层级尺度图像特征以及第一图像特征为起点，采取自下而上的方式对第二层级尺度图像特征中不同层级尺度特征进行迭代累进加权融合，得到第二图像特征。
94.其中，迭代累进加权融合是指以最低层级尺度图像特征以及第一图像特征为起点进行加权融合，将每次得到的加权融合后的特征作为新的待融合特征，参与上一层级尺度图像特征的加权融合。
95.具体的，终端会先将第二层级尺度图像特征中最低层级尺度图像特征与第一图像特征进行加权融合，得到加权融合后的特征，再将该加权融合后的特征作为待融合特征，参与与最低层级尺度图像特征对应的上一层级尺度图像特征的加权融合，即将该待融合特征与上一层级尺度图像特征进行加权融合，得到新的加权融合后的特征，将该新的加权融合后的特征作为新的待融合特征，继续参与再上一层级尺度图像特征的加权融合，通过自下而上的方式实现对所有层级尺度图像特征的迭代累进加权融合，得到第二图像特征。
96.本实施例中，通过以第二层级尺度图像特征中最低层级尺度图像特征以及第一图像特征为起点，采取自下而上的方式对第二层级尺度图像特征中不同层级尺度特征进行迭代累进加权融合，能够实现跨尺度、跨空间、跨通道的特征融合，得到特征丰富的第二图像特征。
97.在一个实施例中，以第二层级尺度图像特征中最低层级尺度图像特征以及第一图
像特征为起点，采取自下而上的方式对第二层级尺度图像特征中不同层级尺度特征进行迭代累进加权融合，得到第二图像特征包括：
98.将第二层级尺度图像特征中最低层级尺度图像特征，作为待融合特征；
99.对待融合特征和第一图像特征进行加权融合，得到加权融合特征；
100.将待融合特征对应的上一层级尺度图像特征，更新为待融合特征，对更新后的待融合特征和加权融合特征进行加权融合，更新加权融合特征；
101.将更新后的待融合特征对应的上一层级尺度特征，更新为待融合特征，对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征；
102.返回将更新后的待融合特征对应的上一层级尺度特征，更新为待融合特征，对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征的步骤；
103.直到最新的更新后的待融合特征为第二层级尺度图像特征中最高层级尺度图像特征，将最新的加权融合特征作为第二图像特征。
104.其中，最高层级尺度图像特征是指在第二层级尺度图像特征中尺度最大的图像特征。比如，在逐级下采样进行特征提取时，最高层级尺度图像特征是指第一次下采样所提取出的图像特征。
105.具体的，在进行加权融合时，终端会先将第二层级尺度图像特征中最低层级尺度图像特征，作为待融合特征，对待融合特征和第一图像特征进行加权融合，得到加权融合特征，再将待融合特征对应的上一层级尺度图像特征，更新为待融合特征，对更新后的待融合特征和所得到的加权融合特征进行加权融合，将加权融合结果更新为加权融合特征，再将更新后的待融合特征对应的上一层级尺度特征，更新为待融合特征，对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征，返回将更新后的待融合特征对应的上一层级尺度特征，更新为待融合特征，对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征的步骤，直到最新的更新后的待融合特征为第二层级尺度图像特征中最高层级尺度图像特征，将最新的加权融合特征作为第二图像特征，完成加权融合。
106.进一步的，在对更新后的待融合特征和加权融合特征进行加权融合时，终端会对更新后的待融合特征进行卷积，得到第一待加权特征，并对加权融合特征进行上采样，得到第二待加权特征，对第一待加权特征和第二待加权特征进行加权融合，得到加权融合结果，将加权融合结果更新为最新的加权融合特征。同样的，在对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征时，终端会对再次更新后的待融合特征进行卷积，并对更新的加权融合特征进行上采样，将卷积后特征和上采样后特征进行加权融合。需要说明，本实施例中在每次进行加权融合时所利用的权重系数是预先设置的。比如，权重系数可以通过预先训练确定。当第二层级尺度图像特征中仅包含两层级尺度图像特征时，只需要进行两次加权融合即可得到第二图像特征。
107.本实施例中，通过对第一图像特征和第二层级尺度图像特征进行加权融合，能够提取到跨尺度、跨空间、跨通道的第二图像特征。
108.在一个实施例中，对待融合特征和第一图像特征进行加权融合，得到加权融合特征包括：
109.对待融合特征进行卷积，并对第一图像特征进行上采样；
110.对卷积后待融合特征和上采样后第一图像特征进行加权融合，得到加权融合特征。
111.具体的，在对待融合特征和第一图像特征进行加权融合时，终端会先对待融合特征进行卷积，并对第一图像特征进行上采样，再对卷积后待融合特征和上采样后第一图像特征进行加权融合，得到加权融合特征。
112.本实施例中，通过将待融合特征和第一图像特征进行加权融合，能够实现跨空间、跨通道的特征融合，得到特征丰富的加权融合特征。
113.在一个实施例中，上述图像增强方法可以通过已训练图像增强网络实现，已训练图像增强网络可以通过对样本图像进行训练得到，样本图像包括未增强图像以及与未增强图像对应的已增强图像。具体的，以第一层级尺度图像特征为多尺度图像特征中最低层级尺度图像特征、通过卷积实现对第二图像特征进行特征提取为例，该已训练图像增强网络可以如图5所示，包括初步特征提取网络502、堆叠的u型结构网络504以及卷积网络506，其中，初步特征提取网络502与卷积网络506为对称的网络。举例说明，如图6所示，当初步特征提取网络502的网络结构为包括一个卷积层和三个残差卷积模块时，卷积网络的网络结构可以为包括三个残差卷积模块和一个卷积层(图6中假设堆叠的u型结构网络中的卷积模块也均为残差卷积模块)。其中，堆叠的u型结构网络504包括若干个u型结构的网络(具体的，本实施例中为4个，其中第一个u型结构的网络508和第四个u型结构的网络510已标注出)，对于每个u型结构的网络而言，输入特征都会经过一个卷积模块进行特征提取得到特征f1，同时，输入特征还会经过下采样网络、卷积模块和上采样网络，经过这三个网络之后得到特征f2，f2与f1通过带权重的跳接进行加权融合。这种堆叠的结构通过不断的展开u型结构，能够更好的进行特征学习。需要说明的是，在堆叠的u型结构网络504的最后一个u型结构的网络510中，输入特征所经过的是下采样网络、双注意力机制模块和上采样网络，双注意力机制模块包含两个层面的注意力机制，一个是空间位置层面的注意力模块，一个是通道层面的注意力模块。其中，卷积模块具体可以为残差卷积模块，或者其他能够实现特征提取的卷积模块，本实施例在此处不做具体限定。
114.具体的，终端将待处理图像输入该已训练图像增强网络后，已训练图像增强网络中的初步特征提取网络会对待处理图像进行初步特征提取，得到预处理图像特征，将预处理图像特征输入堆叠的u型结构网络，得到第二图像特征，通过卷积网络对第二图像特征进行卷积，得到增强图像。
115.其中，在将预处理图像特征输入堆叠的u型结构网络后，堆叠的u型结构网络中第一个u型结构的网络中下采样网络会对预处理图像特征进行下采样，得到下采样特征，下采样特征会作为第一个u型结构的网络中卷积模块的输入，卷积后的特征用于与第二个u型结构的网络中上采样网络所输出的上采样特征进行加权融合，并作为第二个u型结构的网络中下采样网络的输入，通过逐级将上一个u型结构的网络中下采样网络的输出作为下一个u型结构的网络中下采样网络的输入，实现多尺度特征提取，得到与每个下采样网络对应的尺度图像特征。同时，第一个u型结构的网络中与下采样网络共输入端的卷积模块，会对预处理图像特征进行卷积，卷积后的预处理图像特征用于与第一个u型结构的网络中上采样网络输出的上采样特征进行加权融合，得到第二图像特征。即每个u型结构的网络所得到的
加权融合特征会作为上一个u型结构的网络中上采样网络的输入特征，每一个u型结构的网络中下采样网络的输出特征为下一个u型结构的网络中卷积模块和下采样网络的输入特征。
116.其中，在最后一个u型结构的网络中，在经过下采样网络得到下采样特征之后，下采样特征会经过双注意力机制模块，通过双注意力机制模块能够对下采样特征进行空间注意力机制加权和通道注意力机制加权，得到第一图像特征，第一图像特征会作为最后一个u型结构的网络中上采样网络的输入，通过上采样网络进行上采样后的第一图像特征，会与最后一个u型结构的网络中与下采样网络共输入端的卷积模块所输出的卷积后的特征，进行加权融合，得到加权融合特征，该加权融合特征会作为上一个u型结构的网络中上采样网络的输入，参与上一个u型结构的网络中的加权融合。其中，最后一个u型结构的网络中下采样网络的输入特征即为上述实施例中的待融合特征。
117.具体的，假设双注意力机制模块的输入特征形状为(c，h，w)，则通过双注意力机制模块得到第一图像特征的流程示意图可以如图7所示，在图7中，图7-1部分为得到空间注意力加权特征的流程示意图，此处与图3中得到空间注意力加权特征的流程示意图的数据处理过程相同，本实施例在此处不再赘述。图7-2部分为得到通道注意力加权特征的流程示意图，此处与图4中得到通道注意力加权特征的流程示意图的数据处理过程相同，本实施例在此处不再赘述。在得到空间注意力加权特征以及通道注意力加权特征后，通过叠加空间注意力加权特征以及通道注意力加权特征，即可得到第一图像特征。需要说明的是，如图7所示，会先通过卷积层对输入特征进行预处理，举例说明，该卷积层的参数可以为：步长＝1,卷积核大小＝1。
118.需要说明的是，本实施例中已训练图像增强网络中所涉及的加权融合的权重系数以及双注意力机制模块中所涉及的变形、反转时所使用的矩阵，均是通过训练得到的。其中，加权融合的权重系数通过以下方式进行学习：
[0119][0120][0121][0122]
i＝0,1,
…
，m-1；j＝0,1，
…
，n；
[0123]
其中fr()，fu()，fd()，fa()分别表示卷积模块，上采样网络，下采样网络和双注意力机制模块的函数，i为堆叠数目的索引，即u型结构的网络个数，所以m＝4，j为特征通道数目的索引，所以n为特征通道数目。α和β分别为学习到的融合的权重向量，其维度跟融合时候的特征通道数相等。f表示融合之后的特征。
[0124]
进一步的，在训练时，本实施例中的已训练图像增强网络所采用的是一种融合的损失函数，该损失函数融合了平滑的l1损失和感知损失，即损失函数为：
[0125]
l＝l
sl1
λl
p
；
[0126]
其中，l
sl1
表示平滑的l1损失，其定义如下：
[0127][0128]
其中，x为空间位置的索引，c为通道的索引，j和i分别表示预测的图像和真实的图像，另外，f函数具有以下形式：
[0129][0130]
其中，e为预测的图像和真实的图像中任意相同通道相同空间位置的像素差。
[0131]
其中，l
p
为感知损失，λ为系数，可按照需要自行设置，感知损失的定义如下：
[0132][0133]
其中，j和i分别表示预测的图像和真实的图像，f函数为预先训练好的特征提取网络，可以用于提取不同阶段的特征(该不同阶段的特征用j来索引，本实施例中，即提取3个不同阶段的特征)，c，h，w分别表示不同阶段提取特征所对应的通道数目、高和宽。其中，预先训练好的特征提取网络可按照需要自行设置，本实施例在此处不做具体限定，只要能够实现多阶段的特征提取即可。
[0134]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0135]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像增强方法的图像增强装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像增强装置实施例中的具体限定可以参见上文中对于图像增强方法的限定，在此不再赘述。
[0136]
在一个实施例中，如图8所示，提供了一种图像增强装置，包括：获取模块802、多尺度特征提取模块804、注意力机制加权模块806、特征加权融合模块808和处理模块810，其中：
[0137]
获取模块802，用于获取待处理图像；
[0138]
多尺度特征提取模块804，用于对待处理图像进行多尺度特征提取，得到多尺度图像特征；多尺度图像特征包括至少两个层级尺度图像特征；
[0139]
注意力机制加权模块806，用于对多尺度图像特征中第一层级尺度图像特征进行注意力机制加权，得到第一图像特征，注意力机制包括空间注意力机制和通道注意力机制；
[0140]
特征加权融合模块808，用于对第一图像特征和第二层级尺度图像特征进行加权融合，得到第二图像特征，第二层级尺度图像特征为多尺度图像特征中非第一层级尺度图像特征；
[0141]
处理模块810，用于对第二图像特征进行特征提取，得到增强图像。
[0142]
上述图像增强装置，通过获取待处理图像，对待处理图像进行多尺度特征提取，得到包括至少两个层级尺度图像特征的多尺度图像特征，对多尺度图像特征中第一层级尺度图像特征进行包括空间注意力机制和通道注意力机制的注意力机制加权，能够进行空间位置层面和通道层面的特征加权融合，得到第一图像特征，对第一图像特征和第二层级尺度图像特征进行加权融合，能够提取到跨尺度、跨空间、跨通道的第二图像特征，并通过对第二图像特征进行特征提取，得到图像增强效果好的增强图像，从而能自动对图像进行质量增强，且提高了图像增强效果。
[0143]
在一个实施例中，第一层级尺度图像特征为多尺度图像特征中最低层级尺度图像特征；注意力机制加权模块还用于基于空间注意力机制，对多尺度图像特征中最低层级尺度图像特征的空间位置特征进行加权特征提取，得到空间注意力加权特征，基于通道注意力机制，对多尺度图像特征中最低层级尺度图像特征的通道特征进行加权特征提取，得到通道注意力加权特征，根据空间注意力加权特征和通道注意力加权特征，得到第一图像特征。
[0144]
在一个实施例中，注意力机制加权模块还用于对多尺度图像特征中最低层级尺度图像特征进行矩阵变形，得到第一空间矩阵，对第一空间矩阵进行反转，得到第二空间矩阵，将第一空间矩阵和第二空间矩阵相乘，得到第三空间矩阵，对第三空间矩阵进行空间注意力机制加权，得到空间位置加权矩阵，将多尺度图像特征中最低层级尺度图像特征与空间位置加权矩阵进行跳接，得到空间注意力加权特征。
[0145]
在一个实施例中，注意力机制加权模块还用于对多尺度图像特征中最低层级尺度图像特征进行矩阵变形，得到第一通道矩阵，对第一通道矩阵进行反转，得到第二通道矩阵，将第一通道矩阵和第二通道矩阵相乘，得到第三通道矩阵，对第三通道矩阵进行通道注意力机制加权，得到通道加权矩阵，将多尺度图像特征中最低层级尺度图像特征与通道加权矩阵进行跳接，得到通道注意力加权特征。
[0146]
在一个实施例中，特征加权融合模块还用于以第二层级尺度图像特征中最低层级尺度图像特征以及第一图像特征为起点，采取自下而上的方式对第二层级尺度图像特征中不同层级尺度特征进行迭代累进加权融合，得到第二图像特征。
[0147]
在一个实施例中，特征加权融合模块还用于将第二层级尺度图像特征中最低层级尺度图像特征，作为待融合特征，对待融合特征和第一图像特征进行加权融合，得到加权融合特征，将待融合特征对应的上一层级尺度图像特征，更新为待融合特征，对更新后的待融合特征和加权融合特征进行加权融合，更新加权融合特征，将更新后的待融合特征对应的上一层级尺度特征，更新为待融合特征，对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征，返回将更新后的待融合特征对应的上一层级尺度特征，更新为待融合特征，对再次更新后的待融合特征和更新的加权融合特征进行加权融合，再次更新加权融合特征的步骤，直到最新的更新后的待融合特征为第二层级尺度图像特征中最高层级尺度图像特征，将最新的加权融合特征作为第二图像特征。
[0148]
在一个实施例中，特征加权融合模块还用于对待融合特征进行卷积，并对第一图像特征进行上采样，对卷积后待融合特征和上采样后第一图像特征进行加权融合，得到加权融合特征。
[0149]
上述图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。
上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0150]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像增强方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0151]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0152]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0153]
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0154]
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
[0155]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，
不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0156]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0157]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。