本发明涉及计算机视觉和多媒体数字图像处理领域，特别涉及一种基于块序列相似性的全参考全景图像质量评价方法与系统。
背景技术：
1、虚拟现实（vr）是一种可以创建和体验虚拟世界的计算机仿真技术。它已经越来越普遍的出现在生活中的各行各业，vr颠覆了用户的感官体验，塑造了一种全新的“沉浸式传播”的交互模式。作为虚拟现实技术的核心部分，全景图像（oi）的视觉质量对虚拟现实用户的体验至关重要。通过头戴式显示器（hmd），oi可以为虚拟现实用户提供一个360°的沉浸式观看视野，从而使用户能够更加深入地体验虚拟环境。然而，oi在拍摄、传输、压缩和显示等过程中不可避免的会引入一些失真，影响用户的沉浸式体验。为了评估和优化用户的体验质量（qoe），开发用于全景图像质量评价（oiqa）的方法是十分必要的。oiqa可以分为主观oiqa和客观oiqa，前者通过观察者的主观评级来评估图像质量，后者指的是建立与人类感知一致的精确计算模型。虽然主观oiqa需要大量的时间和人力资源，但它为客观oiqa模型提供了基准测试的黄金标准。与主观oiqa相比，客观oiqa模型对真实的应用更友好，因为它们可以很容易地嵌入算法改进和系统优化。一般来说，根据客观算法对参考图像的依赖程度，现有的oi客观评价方法主要有全参考oiqa（fr-oiqa）和无参考/盲oiqa（nr-/boiqa）。fr-oiqa在部署时需要使用参考图像全部信息，而nr-/boiqa可以在没有参考图像信息的情况下评估oi质量。
2、近年来，人们已经提出了许多图像质量评价（iqa）方法，为解决oiqa问题建立了坚实的基础。fr-iqa已经在二维平面图像上取得了显著的进展，由于oi的广角视野和球面投影方式使其在视觉上与二维平面图像有很大不同，这些方法往往难以直接应用于oi。设计fr-oiqa的模型的一种简单方法是通过考虑oi的球面特性或通过感知引导的加权方案来直接采用fr-iqa方法，但它们的性能不理想。传统的fr-oiqa方法是在传统fr-iqa的基础上，结合球体表示和不同区域上的人类偏好进行改进而成的，由于浏览过程中用户与视觉内容之间的复杂交互，其性能远远不能令人满意。为了缓解这一困境，考虑到用户只能看到有限的视野这一事实，提出了基于视口的fr-oiqa方法，从oi中提取若干个视口，并通过遵循加权策略的fr-iqa模型进行测量。事实上，这种方法比传统的fr-oiqa模型有显著的优势。
3、然而，它们仍有两个缺点，即如果用户的扫视路径不存在，则格式转换和视口生成的额外计算负载；人工加权的方法不能很好地模拟用户的观看行为，特别是面对非均匀失真时。
技术实现思路
1、鉴于上述状况，本发明的主要目的是为了提出一种基于块序列相似性的全参考全景图像质量评价方法与系统，以解决上述技术问题。
2、本发明提出了一种基于块序列相似性的全参考全景图像质量评价方法，所述方法包括如下步骤：
3、步骤1、从参考全景图像和失真全景图像中获取富含语义信息的参考图像块和失真图像块；
4、基于swin transformer和等距可变形卷积块构成双分支特征提取器，利用双分支特征提取器分别对参考图像块和失真图像块进行感知特征的提取，获取参考图像块和失真图像块的感知特征；
5、步骤2、拼接参考图像块和失真图像块的感知特征形成参考图像块序列和失真图像块序列，通过失真感知交互测量参考图像块序列和失真图像块序列之间的相似性，得到相似性特征；
6、步骤3、对相似性特征进行块位置注意力计算，以实现相似性特征在水平和垂直方向上的信息交互，增强特征图中的全局信息表达能力和模型对空间位置信息的敏感性，得到信息交互后的相似性特征；
7、步骤4、对信息交互后的相似性特征进行回归操作，获取非均匀失真全景图像的感知质量分数。
8、本发明还提出一种基于块序列相似性的全参考全景图像质量评价系统，其中，所述系统应用如上所述的基于块序列相似性的全参考全景图像质量评价方法，所述系统包括：
9、图像块采样模块，用于：
10、从参考全景图像和失真全景图像中获取富含语义信息的参考图像块和失真图像块；
11、基于swin transformer和等距可变形卷积块构成双分支特征提取器，利用双分支特征提取器分别对参考图像块和失真图像块进行感知特征的提取，获取参考图像块和失真图像块的感知特征。
12、失真感知交互模块，用于：
13、拼接参考图像块和失真图像块的感知特征形成参考图像块序列和失真图像块序列，通过失真感知交互测量参考图像块序列和失真图像块序列之间的相似性，得到相似性特征；
14、位置注意力模块，用于：
15、对相似性特征进行块位置注意力计算，以实现相似性特征在水平和垂直方向上的信息交互，增强特征图中的全局信息表达能力和模型对空间位置信息的敏感性，得到信息交互后的相似性特征；
16、质量回归模块，用于：
17、对信息交互后的相似性特征进行回归操作，获取非均匀失真全景图像的感知质量分数。
18、相较于现有技术，本发明的有益效果如下：
19、1、本发明直接在原始的erp图像上进行取块操作，无需进行视口提取，从而避免了额外的计算负担，并提高了模型的通用性。
20、2、本发明通过基于swin transformer和等距可变形卷积块构成的双分支特征提取器来处理erp图像的不规则语义特征和两级畸变问题，从而有效地提取质量感知特征。
21、3、本发明通过构建感知失真交互模块测量参考图像块序列和失真图像块序列之间的感知距离以衡量两个序列之间的相似性，该模块结合了多头自注意力和交叉注意力机制，能够捕捉参考图像块序列和失真图像块序列之间的潜在相关性。
22、4、本发明通过构建位置注意力模块有效地整合了特征图中水平和垂直方向的信息交互，并增强了模型对空间位置信息的敏感性。不仅保留了原始特征中的局部信息，还在全局范围内增强了特征之间的关联性，显著提升了模型在复杂视觉任务中的表现力。
23、5、本发明所提出的基于块序列相似性的全参考全景图像质量评价方法性能优于现有的fr-iqa方法和fr-oiqa方法，具有较强的灵活性和适应性。这种灵活性和适应性使评价模型具有更广泛的适用性和实用性，能够应对各种复杂的图像质量评价问题。
24、本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
1.一种基于块序列相似性的全参考全景图像质量评价方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的基于块序列相似性的全参考全景图像质量评价方法，其特征在于，在所述步骤1中，利用双分支特征提取器分别对参考图像块和失真图像块进行感知特征的提取，获取参考图像块和失真图像块的感知特征，具体包括如下步骤：
3.根据权利要求2所述的基于块序列相似性的全参考全景图像质量评价方法，其特征在于，在所述步骤2中，拼接参考图像块和失真图像块的感知特征形成参考图像块序列和失真图像块序列，具体包括如下步骤：
4.根据权利要求3所述的基于块序列相似性的全参考全景图像质量评价方法，其特征在于，在所述步骤2中，通过失真感知交互测量参考图像块序列和失真图像块序列之间的相似性，得到相似性特征，具体包括如下步骤：
5.根据权利要求4所述的基于块序列相似性的全参考全景图像质量评价方法，其特征在于，在所述步骤3中，对相似性特征进行块位置注意力计算，以实现相似性特征在水平和垂直方向上的信息交互，增强特征图中的全局信息表达能力和模型对空间位置信息的敏感性，得到信息交互后的相似性特征，具体包括如下步骤：
6.根据权利要求5所述的基于块序列相似性的全参考全景图像质量评价方法，其特征在于，在所述步骤4中，对信息交互后的相似性特征进行回归操作，获取非均匀失真全景图像的感知质量分数，具体存在如下关系式：
7.根据权利要求6所述的基于块序列相似性的全参考全景图像质量评价方法，其特征在于，所述方法基于全参考全景图像质量评价模型实现，在执行上述步骤1至步骤4中，全参考全景图像质量评价模型的训练方法包括如下训练步骤：
8.一种基于块序列相似性的全参考全景图像质量评价系统，其特征在于，所述系统应用如权利要求1至7任意一项所述的基于块序列相似性的全参考全景图像质量评价方法，所述系统包括：
