本公开涉及编解码,尤其是涉及一种解码方法、装置及其设备。
背景技术:
1、为了达到节约空间的目的,视频图像都是经过编码后才传输的,完整的视频编码可以包括预测、变换、量化、熵编码、滤波等过程。针对预测过程,预测过程可以包括帧内预测和帧间预测,帧间预测是指利用视频时间域的相关性,使用邻近已编码图像的像素预测当前像素,以达到有效去除视频时域冗余的目的。帧内预测是指利用视频空间域的相关性,使用当前帧图像的已编码块的像素预测当前像素,以达到去除视频空域冗余的目的。
2、随着深度学习的迅速发展,深度学习在许多高层次的计算机视觉问题上取得成功,如图像分类、目标检测等,深度学习也逐渐在编解码领域开始应用,即可以采用神经网络对图像进行编码和解码。虽然基于神经网络的编解码方法展现出巨大性能潜力,但是,基于神经网络的编解码方法,仍然会存在解码性能较差和复杂度较高等问题。
技术实现思路
1、有鉴于此,本公开提供一种解码方法、装置及其设备,能够提高解码性能。
2、第一方面,本公开提供一种解码方法,包括:
3、对当前图像块对应的码流进行解码得到重建图像块,所述重建图像块包括第一初始分量和第二初始分量,所述第一初始分量的分辨率大于或者等于所述第二初始分量的分辨率;
4、基于所述第一初始分量和所述第二初始分量生成所述第二初始分量对应的调整后分量;
5、对所述调整后分量进行特征增强,得到所述第二初始分量对应的恢复后的目标分量。
6、在一些实施例中,所述重建图像块为yuv格式的重建图像块,所述第一初始分量为亮度分量,所述第二初始分量为色度u分量和色度v分量。
7、在一些实施例中,所述基于所述第一初始分量和所述第二初始分量生成所述第二初始分量对应的调整后分量,包括:
8、获取所述第一初始分量对应的第一图像特征,所述第一图像特征包括未经过神经网络的图像特征;
9、获取所述第二初始分量对应的第二图像特征,所述第二图像特征包括未经过神经网络的图像特征;
10、基于所述第一图像特征和所述第二图像特征生成所述调整后分量。
11、在一些实施例中,所述第一图像特征包括haar小波频域特征;所述第二图像特征包括haar小波频域特征。
12、在一些实施例中,所述基于所述第一初始分量和所述第二初始分量生成所述第二初始分量对应的调整后分量,包括:
13、对所述第一初始分量进行至少一次haar小波变换,得到变换后的多个频带作为第一特征图;
14、对所述第二初始分量进行至少一次haar小波变换,得到变换后的多个频带作为第二特征图;
15、对所述第一特征图和所述第二特征图进行拼叠操作,得到所述调整后分量。
16、在一些实施例中,所述对所述第一特征图和所述第二特征图进行拼叠操作,包括:
17、沿通道维度对所述第一特征图和所述第二特征图进行拼叠操作。
18、在一些实施例中,所述对所述第一初始分量进行至少一次haar小波变换,得到变换后的多个频带,包括:对所述第一初始分量进行两次haar小波变换,得到所述两次haar小波变换后的多个频带;
19、所述对所述第二初始分量进行至少一次haar小波变换,得到变换后的多个频带,包括:对所述第二初始分量进行两次haar小波变换,得到所述两次haar小波变换后的多个频带。
20、在一些实施例中,所述对所述第一初始分量进行多次haar小波变换,得到变换后的多个频带,包括:对所述第一初始分量进行两次haar小波变换,得到所述两次haar小波变换后的多个频带;
21、所述对所述第二初始分量进行多次haar小波变换,得变换后的多个频带,包括:对所述第二初始分量进行两次haar小波变换,得到所述两次haar小波变换后的多个频带。
22、在一些实施例中,所述对所述第一初始分量进行两次haar小波变换,得到所述两次haar小波变换后的多个频带,包括:对所述第一初始分量进行第一次haar小波变换,得到第一次haar小波变换后的多个频带;对所述第一次haar小波变换后的多个频带进行第二次haar小波变换,得到所述两次haar小波变换后的多个频带;
23、所述对所述第二初始分量进行两次haar小波变换,得到所述两次haar小波变换后的多个频带,包括:对所述第二初始分量进行第一次haar小波变换,得到第一次haar小波变换后的多个频带;对所述第一次haar小波变换后的多个频带进行第二次haar小波变换,得到所述两次haar小波变换后的多个频带。
24、在一些实施例中,所述对所述调整后分量进行特征增强,得到所述第二初始分量对应的恢复后的目标分量,包括:
25、通过多个残差块网络对所述调整后分量进行特征增强,得到所述目标分量。
26、第二方面,本公开提供一种编码方法,包括:
27、对当前图像块的第一初始分量和第二初始分量进行编码,得到所述当前图像块对应的码流,其中,所述第一初始分量的分辨率大于或者等于所述第二初始分量的分辨率。
28、在一些实施例中,所述当前图像块为yuv格式,所述第一初始分量为亮度分量,所述第二初始分量为色度u分量和色度v分量。
29、第三方面,本公开提供一种解码装置,包括:
30、解码模块,用于对当前图像块对应的码流进行解码得到重建图像块,所述重建图像块包括第一初始分量和第二初始分量,所述第一初始分量的分辨率大于或者等于所述第二初始分量的分辨率;
31、确定模块,用于基于所述第一初始分量和所述第二初始分量生成所述第二初始分量对应的调整后分量;
32、处理模块,用于对所述调整后分量进行特征增强,得到所述第二初始分量对应的恢复后的目标分量。
33、第四方面,本公开提供一种编码装置,包括:
34、编码模块,用于对当前图像块的第一初始分量和第二初始分量进行编码,得到所述当前图像块对应的码流,其中,所述第一初始分量的分辨率大于或者等于所述第二初始分量的分辨率。
35、第五方面,本公开提供一种解码端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现第一方面中任一实施例所述的方法。
36、第六方面,本公开提供一种编码端设备,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现第二方面中任一实施例所述的方法。
37、第七方面,本公开提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现第一方面中任一实施例所述的方法,或实现第二方面中任一实施例所述的方法。
38、第八方面,本公开提供一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现第一方面中任一实施例所述的方法,或实现第二方面中任一实施例所述的方法。
39、由以上技术方案可见,本公开实施例中,在解码得到重建图像块之后,重建图像块包括第一初始分量和第二初始分量,第一初始分量的分辨率大于或者等于第二初始分量的分辨率,基于第一初始分量和第二初始分量生成第二初始分量对应的调整后分量,即基于第一初始分量辅助对第二初始分量进行调整,得到调整后分量,继而基于调整后分量确定第二初始分量对应的目标分量,从而能够提高解码性能,降低解码复杂度,降低计算复杂度,对资源需求比较少,对成本、延时敏感的设备也可以使用上述算法,提出低复杂度且高效的后处理网络模型框架,针对多种码率下的压缩缺陷恢复。
1.一种图像解码方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求1所述的方法,其特征在于,所述重建图像块为yuv格式的重建图像块,所述初始亮度分量为y分量,所述初始色度分量包括的所述第一色度分量为u分量,所述初始色度分量包括的所述第二色度分量为v分量;
4.根据权利要求1所述的方法,其特征在于,
5.根据权利要求4所述的方法,其特征在于,
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
7.一种图像编码方法,其特征在于,包括:
8.一种图像解码装置,其特征在于,包括:
9.一种图像编码装置,其特征在于,包括:
10.一种图像解码设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
11.一种图像编码设备,其特征在于,包括:处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
12.一种机器可读存储介质,其特征在于,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,实现权利要求1-6任一项所述的方法,或者,所述计算机指令被处理器执行时,实现权利要求7所述的方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时,实现权利要求1-7任一项所述的方法。
