本技术涉及图像处理，具体而言，涉及一种真实失真全参考图像质量评价方法、系统和介质。
背景技术：
1、图像是现代媒体交互中的重要组成部分，低质量的图像不仅会影响用户体验，还会带来信息传达的偏差和误解，而模糊或失真的图像影响对图像内容的理解和感知，因此，保持图像的高质量对于确保信息的准确传递和用户正确理解至关重要。
2、图像质量的全参考方法能够利用参考图像的完整信息进行精确的对比和分析，从而提供更为准确和可靠的质量评价结果，这对于需要高精度图像质量保证的应用场景，如医学成像、卫星遥感、数码影像修复等领域，具有重要意义，其次，全参考方法可以更好地检测和评估图像中的细微失真和细节损失，从而提供更为全面的图像质量反馈，而现有的全参考方法大多基于深度学习，但是深度学习使用卷积神经网络的方式提取图像的质量感知特征无法捕获远距离特征，需要通过加深网络的层数来获得更大的感受野。
3、transformer在计算机视觉领域有着很好的表现，其中的swin transformer引入了窗口注意力机制(window-based multi-head self-attention)，将图像划分为多个固定大小的窗口，并在每个窗口内独立计算注意力，这种方法大幅减少了计算复杂度，显示出巨大的应用前景，swin transformer可以利用局部注意力机制处理大尺寸图像，也有滑动窗口方案建立起特征之间长距离依赖关系的优势。
4、但是卷积神经网络(cnn)中的卷积操作有固定大小的感受野，限制了模型捕捉全局信息的能力，现有的基于transformer的方法也仍有改进空间，如所有通道的特征都是平等处理的，没有根据其重要性进行调整，即深度网络的不同阶段特征应该予以不同程度的考虑，此外，如何更好的让质量感知特征拟合预测分数是一个目前亟待技术解决的难题。
技术实现思路
1、本技术的目的在于提供一种真实失真全参考图像质量评价方法、系统和介质，可以利用res2net网络和swin transformer网络进行显著性检测、通道和空间双注意力和失真残差图处理，对图像质量做出类似主观感知一致性评价。
2、本技术还提供了一种真实失真全参考图像质量评价方法，包括以下步骤：
3、获取包含真实失真的训练图像集的全参考图像质量评价数据集，并生成图像数据集合；
4、获取全参考图像质量初始评价模型，包括失真感知重建网络模块、显著性图检测模块、局部和全局特征提取网络模块、通道和空间注意力模块；
5、对所述图像数据集合中的训练图像集进行预处理，并输入所述全参考图像质量初始评价模型中进行训练，获得训练好的全参考图像质量评价模型；
6、将待评价的真实失真图像集输入训练完成的所述全参考图像质量评价模型中进行处理，获得图像质量评分。
7、可选地，在本技术所述的真实失真全参考图像质量评价方法中，所述失真感知重建网络模块，包括：
8、所述失真感知重建网络模块包括编码器结构、解码器结构和short-cut层；
9、所述编码器结构包含多个子层，其中包含多个卷积层和激活函数，根据编码器结构提取失真图像的特征；
10、所述编码器结构提取失真图像特征的计算公式为：
11、f＝relu(conv*id()；
12、其中，f为编码器结构提取的退化图特征，id为退化图，conv(·)为卷积层，relu(·)为激活函数；
13、所述解码器结构包含多个子层，其中包括多个反卷积层和激活函数，根据编码器结构提取退化图特征并重构生成对应失真残差图；
14、所述解码器结构重构失真残差图的计算公式为：
15、e＝relu(convtranspose2d*f))；
16、其中，e为解码器结构重构失真残差图，f为编码器结构提取的退化图特征，convtranspose2d(·)为反卷积层，relu(·)为激活函数；
17、所述short-cut层根据参考图像和失真图像获得失真残差图，再根据失真残差图和退化图通过比较拼接获得图片，并结合参考图像进行差异对比训练所述失真感知重建网络模块；
18、所述失真感知重建网络模块还包括误差感知重建网络模型，其中包括均绝对误差和结构相似性指数；
19、所述均绝对误差的函数计算公式为：
20、
21、其中，为均绝对误差的损失函数，|xi-yi|为两张图片第i个对应像素差值的绝对值；
22、所述结构相似性指数的函数计算公式为：
23、
24、其中，为结构相似性指数的损失函数，μx和μy分别为两张图像x和y的对比特征平均值，σx和σy分别为两张图像x和y的对比特征标准差，σxy为x和y的对比特征协方差，c1和c2为预设特征常系数；
25、根据所述误差感知重建网络模型对所述均绝对误差和结构相似性指数进行目标函数最小化处理；
26、所述误差感知重建网络的目标函数最小化处理的计算公式为：
27、
28、其中，id为退化图，e为解码器结构重构失真残差图，iref为对应的参考图，λ为预设加权系数。
29、可选地，在本技术所述的真实失真全参考图像质量评价方法中，所述显著性图检测模块，包括：
30、所述显著性图检测模块通过卷积运算计算图像在x轴和y轴方向的梯度，计算公式为：
31、
32、其中，px和py分别为图像在x轴和y轴方向的梯度，hx和hy分别为沿着x轴和y轴的卷积核，为卷积运算符，s为图像信号；
33、根据所述x轴和y轴方向的梯度计算图像的梯度幅度，计算公式为：
34、
35、其中，p为梯度幅度；
36、再对图像进行高斯低通滤波得到平滑后的图像，计算公式为：
37、
38、其中，rg为平滑后的图像，r为原始图像，g表示高斯滤波器；
39、高斯滤波器的函数公式为：
40、
41、再结合原始图像的梯度幅度以及高斯低通滤波平滑后的图像的梯度幅度进行显著性图处理，获得与原始图像的对应显著性图像；
42、所述显著性图像的处理计算公式为：
43、
44、其中，m(r)为显著性图像，pr为原始图像的梯度幅度，为平滑后图像的梯度幅度，c为常数，其中l为像素值的动态范围，k为标量常数；
45、根据所述显著性图像对原始图像进行增强处理，获得增强后图像；
46、所述增强后图像的处理计算公式为：
47、ienhanced＝ioriginal·(1+k·m)；
48、其中，ienhanced为增强后图像，ioriginal为原始图像，k为预设增强系数，m为显著性图。
49、可选地，在本技术所述的真实失真全参考图像质量评价方法中，所述局部和全局特征提取网络模块，包括：
50、所述局部和全局特征提取网络模块包括res2net和swintransformer：
51、根据res2net对特征x进行划分为s个尺度，表示为其中各尺度的特征表示为xi；
52、yi为第s个尺度中第i个尺度的输出特征，y1＝x1，yi＝convi(xi+yi-1)；
53、其中，convi为第i个尺度的卷积函数，i＝2,3,...s；
54、根据所述各尺寸的特征进行拼接处理并结合预设残差，获得最终输出特征；
55、所述最终输出特征的计算公式为：
56、
57、其中，z为最终输出特征，x为预设残差；
58、根据swin transformer对所述特征x进行注意力计算，包括：
59、对特征x进行窗口划分：
60、x＝partition(x,window_size)；
61、对划分的每个窗口内的特征进行自注意力计算以及线性变换：
62、
63、y＝attention(q,k,v)wo；
64、其中，attention(q,k,v)为自注意力计算函数，y为窗口特征的线性变换，q,k,v分别为查询、键和值，dk为键的维度，wo为线性变换矩阵；
65、将各窗口内的特征进行合并处理，获得全局特征：
66、z＝merge(y)；
67、其中，z为全局特征，merge(·)为合并函数；
68、通过卷积的两个浅层块提取初始特征，获得和并输入res2net流和swintransformer流中分别进行处理，分别输出cnn特征和transformer特征；
69、所述cnn特征和transformer特征的输出公式为：
70、
71、其中，c(·)和t(·)分别为res2net和swin transformer的编码器块，和分别为在阶段s∈{1,2,3,…,n}输出的cnn特征和transformer特征，zs为失真残差图与失真图像乘积后经过s步的卷积和下采样得到的特征，
72、可选地，在本技术所述的真实失真全参考图像质量评价方法中，所述通道和空间注意力模块，包括：
73、所述通道和空间注意力模块包括通道注意力模块cam和空间注意力模块sam；
74、获取特征图像并分别进行全局平均池化和全局最大池化处理，分别获得对应的特征描述：
75、
76、将特征描述分别输入预设共享双层感知机进行处理，分别对应获得通道注意力特征：
77、
78、其中，w0、w1为权重矩阵，σ为sigmoid函数，r为预设压缩比系数；
79、将所述通道注意力特征通过sigmoid函数进行处理，获得通道注意力权重系数：
80、
81、将所述通道注意力权重系数mc(f)与所述特征图像进行处理，获得权重通道注意力特征：
82、fchannel＝mc(f)⊙f；
83、对所述权重通道注意力特征分别进行全局平均池化和全局最大池化处理，分别获得对应的特征图像：
84、
85、根据所述特征图像进行拼接处理，获得拼接特征图像：
86、
87、将所述拼接特征图像fconcat通过所述sigmoid函数进行处理，获得空间注意力权重系数：
88、ms(fchannel)＝σ(conv(fconcat))；
89、其中，conv为卷积函数，σ为sigmoid函数；
90、将所述空间注意力权重系数ms(fchannel)与所述特征图像进行处理，获得模块增强处理后的特征图像：
91、fspatial＝ms(fchannel)⊙fchannel；
92、根据所述模块增强处理后的特征图像作为模块输出特征图像进行输出；
93、fout＝fspatial；
94、其中，fout为模块输出特征图像，fspatial为模块增强处理后的特征图像，⊙为hadamard乘积。
95、可选地，在本技术所述的真实失真全参考图像质量评价方法中，所述通道和空间注意力模块，还包括：
96、根据所述模块输出特征图像通过预设全连接层进行回归处理，获得客观分数；
97、ffc1＝relu(w1fout+b1)；
98、scoreobjective＝w2ffc1+b2；
99、其中，ffc1为第一全连接层的输出，w1为第一全连接层的权重矩阵，b1为第一全连接层的预设偏置向量，relu(·)为激活函数，scoreobjective为第二全连接层的客观分数，w2为第二全连接层的权重矩阵，b2为第二全连接层的预设偏置向量，
100、根据预设参数非线性拟合模型对所述客观分数进行映射处理，获得主观分数；
101、
102、其中，scoresubjective为主观分数，ηi为预设拟合参数，i＝1,2,3,4,5。
103、可选地，在本技术所述的真实失真全参考图像质量评价方法中，所述将待评价的真实失真图像集输入训练完成的所述全参考图像质量评价模型中进行处理，获得图像质量评分，包括：
104、获取待评价的真实失真图像集中的多个图像切片；
105、将图像切片输入所述训练好的全参考图像质量评价模型进行处理，获得对应的图像预测分数值；
106、根据多个图像切片的对应所述图像预测分数值进行处理，获得图像质量评分；
107、所述图像质量评分的计算公式为：
108、
109、其中，score为图像质量评分，n为图像切片数量，predj为第j个图像切片对应的图像预测分数值。
110、第二方面，本技术提供了一种真实失真全参考图像质量评价系统，该系统包括：存储器及处理器，所述存储器中包括真实失真全参考图像质量评价方法的程序，所述真实失真全参考图像质量评价方法的程序被所述处理器执行时实现以下步骤：
111、获取包含真实失真的训练图像集的全参考图像质量评价数据集，并生成图像数据集合；
112、获取全参考图像质量初始评价模型，包括失真感知重建网络模块、显著性图检测模块、局部和全局特征提取网络模块、通道和空间注意力模块；
113、对所述图像数据集合中的训练图像集进行预处理，并输入所述全参考图像质量初始评价模型中进行训练，获得训练好的全参考图像质量评价模型；
114、将待评价的真实失真图像集输入训练完成的所述全参考图像质量评价模型中进行处理，获得图像质量评分。
115、可选地，在本技术所述的真实失真全参考图像质量评价系统中，所述失真感知重建网络模块，包括：
116、所述失真感知重建网络模块包括编码器结构、解码器结构和short-cut层；
117、所述编码器结构包含多个子层，其中包含多个卷积层和激活函数，根据编码器结构提取失真图像的特征；
118、所述编码器结构提取失真图像特征的计算公式为：
119、f＝relu(conv(id))；
120、其中，f为编码器结构提取的退化图特征，id为退化图，conv(·)为卷积层，relu(·)为激活函数；
121、所述解码器结构包含多个子层，其中包括多个反卷积层和激活函数，根据编码器结构提取退化图特征并重构生成对应失真残差图；
122、所述解码器结构重构失真残差图的计算公式为：
123、e＝relu(convtranspose2d(f))；
124、其中，e为解码器结构重构失真残差图，f为编码器结构提取的退化图特征，convtranspose2d(·)为反卷积层，relu(·)为激活函数；
125、所述short-cut层根据参考图像和失真图像获得失真残差图，再根据失真残差图和退化图通过比较拼接获得图片，并结合参考图像进行差异对比训练所述失真感知重建网络模块；
126、所述失真感知重建网络模块还包括误差感知重建网络模型，其中包括均绝对误差和结构相似性指数；
127、所述均绝对误差的函数计算公式为：
128、
129、其中，为均绝对误差的损失函数，|xi-yi|为两张图片第i个对应像素差值的绝对值；
130、所述结构相似性指数的函数计算公式为：
131、
132、其中，为结构相似性指数的损失函数，μx和μy分别为两张图像x和y的对比特征平均值，σx和σy分别为两张图像x和y的对比特征标准差，σxy为x和y的对比特征协方差，c1和c2为预设特征常系数；
133、根据所述误差感知重建网络模型对所述均绝对误差和结构相似性指数进行目标函数最小化处理；
134、所述误差感知重建网络的目标函数最小化处理的计算公式为：
135、
136、其中，id为退化图，e为解码器结构重构失真残差图，iref为对应的参考图，λ为预设加权系数。
137、第三方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中包括真实失真全参考图像质量评价方法程序，所述真实失真全参考图像质量评价方法程序被处理器执行时，实现如上述任一项所述的真实失真全参考图像质量评价方法的步骤。
138、由上可知，本技术提供的一种真实失真全参考图像质量评价方法、系统和介质，通过深度学习技术以res2net和swin transformer为特征提取的骨干网络交互建模提取局部和全局特征，利用显著性图检测模块指导模型注重人类视觉关注的区域，同时利用失真感知重建网络生成对应失真残差图指导注意力计算和进行残差连接提高网络的性能，并连接通道和空间注意力模块增强特征的表示，进行权重的分配和学习，同时运用失真感知重构网络得到的失真残差图指导网络学习，然后由两个全连接层在双注意力机制学习到的质量感知特征基础上预测分数，最后通过五参数非线性拟合函数把分数映射到主观评分，对图像进行全面客观的评价，使得模型能对图像质量做出与人眼的主观感知有较好的一致性的评价。
139、本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
1.一种真实失真全参考图像质量评价方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的真实失真全参考图像质量评价方法，其特征在于，所述失真感知重建网络模块，包括：
3.根据权利要求2所述的真实失真全参考图像质量评价方法，其特征在于，所述显著性图检测模块，包括：
4.根据权利要求3所述的真实失真全参考图像质量评价方法，其特征在于，所述局部和全局特征提取网络模块，包括：
5.根据权利要求4所述的真实失真全参考图像质量评价方法，其特征在于，所述通道和空间注意力模块，包括：
6.根据权利要求5所述的真实失真全参考图像质量评价方法，其特征在于，所述通道和空间注意力模块，还包括：
7.根据权利要求6所述的真实失真全参考图像质量评价方法，其特征在于，所述将待评价的真实失真图像集输入训练完成的所述全参考图像质量评价模型中进行处理，获得图像质量评分，包括：
8.一种真实失真全参考图像质量评价系统，其特征在于，该系统包括：存储器及处理器，所述存储器中包括真实失真全参考图像质量评价方法的程序，所述真实失真全参考图像质量评价方法的程序被所述处理器执行时实现以下步骤：
9.根据权利要求8所述的真实失真全参考图像质量评价系统，其特征在于，所述失真感知重建网络模块，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括真实失真全参考图像质量评价方法程序，所述真实失真全参考图像质量评价方法程序被处理器执行时，实现如权利要求1至7中任一项所述的一种真实失真全参考图像质量评价方法的步骤。
