本发明涉及图像处理,尤其涉及一种图像解码和编码方法、装置、设备及存储介质。
背景技术:
1、在基于深度学习的图像压缩方案中,利用已经解码的特征点作为先验信息,对当前正在解码的特征点进行均值预测,以减少图像的空域冗余是当前主流的做法,而主流方案一般是采用串行或波前(wave-front)等方式进行编解码,且串行度会随着特征的分辨率增大而增加,整体执行的时间复杂度较高。
2、上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
技术实现思路
1、本发明的主要目的在于提供一种图像解码和编码方法、装置、设备及存储介质,旨在解决现有技术图像编解码过程中进行均值预测时间复杂度高的技术问题。
2、为实现上述目的,本发明提供了一种图像解码方法,所述方法包括以下步骤:
3、从图像码流中提取图像残差数据或者扩展残差数据,基于提取到的所述图像残差数据或者所述扩展残差数据,获得多个扩展残差组;
4、对所述多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征;
5、对各扩展残差组对应的图像重建特征进行放大空域分辨率处理,获得重建特征数据;
6、根据所述重建特征数据进行图像重建,获得重建图像块。
7、在本技术的一种可能的实施方式中,所述从图像码流中提取图像残差数据或者扩展残差数据,基于提取到的所述图像残差数据或者所述扩展残差数据,获得多个扩展残差组,包括:
8、从所述图像码流中提取所述图像残差数据;
9、对所述图像残差数据进行缩小空域分辨率处理,获得所述扩展残差数据,所述放大空域分辨率处理为缩小空域分辨率处理的逆过程;
10、将所述扩展残差数据进行分组,获得多个扩展残差组。
11、在本技术的一种可能的实施方式中,所述对所述图像残差数据进行缩小空域分辨率处理,获得所述扩展残差数据,包括:
12、将所述图像残差数据对应的空间尺寸进行缩减,和/或增加所述图像残差数据对应的特征通道数量,以获得扩展残差数据。
13、在本技术的一种可能的实施方式中,所述将所述图像残差数据对应的空间尺寸进行缩减,和/或增加所述图像残差数据对应的特征通道数量,以获得所述扩展残差数据,包括:
14、依据所述图像残差数据对应的空域信息对所述图像残差数据对应的空间尺寸进行缩减,和/或增加所述图像残差数据对应的特征通道数量,以获得所述扩展残差数据。
15、在本技术的一种可能的实施方式中,所述对所述多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征,包括:
16、根据所述多个扩展残差组构建残差恢复序列;
17、基于所述残差恢复序列对所述多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征。
18、在本技术的一种可能的实施方式中,所述基于所述残差恢复序列对所述多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征的步骤,包括:
19、对所述残差恢复序列进行遍历,获得当前扩展残差组;
20、获取辅助编码网络输出的辅助信息;
21、根据所述辅助信息构建先验信息;
22、基于所述先验信息对所述当前扩展残差组进行残差恢复,获得所述当前扩展残差组对应的图像重建特征;
23、在遍历结束时,获得各扩展残差组对应的图像重建特征。
24、在本技术的一种可能的实施方式中,所述根据所述辅助信息构建先验信息,包括:
25、获得扩展辅助信息;
26、检测所述当前扩展残差组是否为所述残差恢复序列中的首个元素;
27、若为首个元素,则根据所述扩展辅助信息构建先验信息;
28、若不为首个元素,则将所述扩展辅助信息与已恢复扩展残差组的图像重建特征对应的卷积处理结果进行拼接,获得拼接辅助信息,并根据所述拼接辅助信息构建先验信息。
29、此外,为实现上述目的,本发明还提出一种图像编码方法,所述图像编码方法包括:
30、对待编码图像对应的图像特征进行缩小空域分辨率处理,获得扩展图像特征;
31、将所述扩展图像特征分组,获得多个扩展特征组;
32、对所述多个扩展特征组分别进行残差计算,获得各扩展特征组对应的图像残差数据;
33、根据所述图像残差数据生成图像码流,并将所述图像码流发送至图像解码端。
34、在本技术的一种可能的实施方式中,所述对待编码图像对应的图像特征进行缩小空域分辨率处理,获得扩展图像特征,包括:
35、获取待编码图像对应的图像特征;
36、对所述图像特征中的数据进行缩小空域分辨率处理,获得扩展图像特征。
37、在本技术的一种可能的实施方式中,所述对待编码图像对应的图像特征进行缩小空域分辨率处理,获得扩展图像特征,包括:
38、将待编码图像的图像特征对应的空间尺寸进行缩减,和/或增加所述图像特征对应的特征通道数量,以获得扩展图像特征。
39、在本技术的一种可能的实施方式中,所述将待编码图像的图像特征对应的空间尺寸进行缩减,和/或增加所述图像特征对应的特征通道数量,以获得扩展图像特征,包括:
40、依据待编码图像的图像特征对应的空域信息对所述图像特征对应的空间尺寸进行缩减,和/或增加所述图像特征对应的特征通道数量,以获得扩展特征组。
41、在本技术的一种可能的实施方式中,所述对所述多个扩展特征组分别进行残差计算,获得各扩展特征组对应的图像残差数据,包括:
42、根据所述多个扩展特征组构建残差计算序列;
43、基于所述残差计算序列对所述多个扩展特征组分别进行残差计算,获得各扩展特征组对应的图像残差数据。
44、在本技术的一种可能的实施方式中,所述基于所述残差计算序列对所述多个扩展特征组分别进行残差计算,获得各扩展特征组对应的图像残差数据,包括:
45、对所述残差计算序列进行遍历,获得当前扩展特征组;
46、获取辅助编码网络输出的辅助信息;
47、根据所述辅助信息构建先验信息;
48、基于所述先验信息对所述当前扩展特征组进行残差计算,获得所述当前扩展特征组对应的图像残差数据;
49、在遍历结束时,获得各扩展特征组对应的图像残差数据。
50、在本技术的一种可能的实施方式中,所述将所述扩展图像特征分组,获得多个扩展特征组,包括:
51、基于所述扩展特征数据对应的特征通道将所述扩展图像特征分组,获得多个扩展特征组。
52、在本技术的一种可能的实施方式中,所述根据所述图像残差数据生成图像码流,并将所述图像码流发送至图像解码端,包括:
53、对各扩展特征组对应的图像重建特征进行放大空域分辨率处理,获得待编码图像对应的图像残差数据,所述放大空域分辨率处理为缩小空域分辨率处理的逆过程;
54、根据所述待编码图像对应的图像残差数据生成图像码流,并将所述图像码流发送至图像解码端。
55、此外,为实现上述目的,本发明还提出一种图像解码装置,所述图像解码装置包括:
56、码流解码模块,用于从图像码流中提取图像残差数据或者扩展残差数据,基于提取到的所述图像残差数据或者所述扩展残差数据,获得多个扩展残差组;
57、残差恢复模块,用于对所述多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征;
58、数据组合模块,用于对各扩展残差组对应的图像重建特征进行放大空域分辨率处理,获得重建特征数据;
59、图像重建模块,用于根据所述重建特征数据进行图像重建,获得重建图像块。
60、此外,为实现上述目的,本发明还提出一种图像编码装置,所述图像编码装置包括:
61、特征提取模块,用于对待编码图像对应的图像特征进行缩小空域分辨率处理,获得扩展图像特征;
62、数据分组模块,用于将所述扩展图像特征分组,获得多个扩展特征组;
63、残差计算模块,用于对所述多个扩展特征组分别进行残差计算,获得各扩展特征组对应的图像残差数据;
64、码流生成模块,用于根据所述图像残差数据生成图像码流,并将所述图像码流发送至图像解码端。
65、此外,为实现上述目的,本发明还提出一种解码设备,所述解码设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的图像解码程序,所述图像解码程序被处理器执行时实现如上所述的图像解码方法的步骤。
66、此外,为实现上述目的,本发明还提出一种编码设备,所述编码设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的图像解码程序和/或图像编码程序,所述图像解码程序被处理器执行时实现如上所述的图像解码方法的步骤,所述图像编码程序被处理器执行时实现如上所述的图像编码方法的步骤。
67、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有图像解码程序和/或图像编码程序,所述图像解码程序执行时实现如上所述的图像解码方法的步骤,所述图像编码程序执行时实现如上所述的图像编码方法的步骤。
68、此外,为实现上述目的,本发明还提出一种计算机程序,所述计算机程序被配置为,当由具有存储器的处理器执行时,实现如上所述的图像解码方法的步骤,或实现如上所述的图像编码方法的步骤。
69、此外,为实现上述目的,本发明还提出一种计算机程序产品,包括计算机程序指令,所述计算机程序指令被配置为,当由具有存储器的处理器执行时,实现如上所述的图像解码方法的步骤,或实现如上所述的图像编码方法的步骤。
70、本发明通过从图像码流中提取图像残差数据或者扩展残差数据,基于提取到的所述图像残差数据或者所述扩展残差数据,获得多个扩展残差组;对多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征;对各扩展残差组对应的图像重建特征进行放大空域分辨率处理,获得重建特征数据;根据重建特征数据进行图像重建,获得重建图像块。由于获取到扩展残差数据为经过缩小空域分辨率处理的残差数据,可以实现在低分辨率下分组整组进行残差恢复处理,由此提高了整体的残差恢复计算效率,降低了时间复杂度。
1.一种图像解码方法,其特征在于,所述图像解码方法包括:
2.如权利要求1所述的图像解码方法,其特征在于,所述基于所述残差恢复序列对所述多个扩展残差组分别进行残差恢复,获得各扩展残差组对应的图像重建特征,包括:
3.如权利要求2所述的图像解码方法,其特征在于,所述获取先验信息,包括:
4.如权利要求2所述的图像解码方法,其特征在于,所述基于所述先验信息对所述当前扩展残差组进行残差恢复,获得所述当前扩展残差组对应的图像重建特征,包括:
5.根据权利要求1-4任一项所述的图像解码方法,其特征在于,
6.一种图像编码方法,其特征在于,所述图像编码方法包括:
7.一种图像解码装置,其特征在于,所述图像解码装置包括:
8.一种图像编码装置,其特征在于,所述图像编码装置包括:
9.一种解码设备,其特征在于,所述解码设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的图像解码程序,所述图像解码程序被处理器执行时实现如权利要求1-5任一项所述的图像解码方法。
10.一种编码设备,其特征在于,所述编码设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的图像编码程序,所述图像编码程序被处理器执行时实现如权利要求6所述的图像编码方法。
11.一种存储介质,其特征在于,所述存储介质上存储有图像解码程序和/或图像编码程序,所述图像解码程序执行时实现如权利要求1-5任一项所述的图像解码方法,所述图像编码程序执行时实现如权利要求6所述的图像编码方法。
12.一种计算机程序产品,其特征在于,包括计算机程序指令,所述计算机程序指令被配置为,当由具有存储器的处理器执行时,实现如权利要求1-5任一项所述的图像解码方法,或实现如权利要求6所述的图像编码方法。