所公开的实施方式总体上涉及视频译码,包括但不限于用于在视频数据的帧间预测的加权双向预测(weighted bi-prediction,wbp)模式下确定译码单元的预测块的加权因子的系统和方法。
背景技术:
1、数字视频由各种电子设备例如数字电视、膝上型计算机或台式计算机、平板计算机、数字摄像装置、数字记录设备、数字媒体播放器、视频游戏控制台、智能电话、视频电话会议设备、视频流设备等支持。电子设备跨通信网络发送和接收或以其他方式传送数字视频数据,以及/或者将数字视频数据存储在存储设备上。由于通信网络的有限带宽容量和存储设备的有限存储器资源,视频译码可以用于在传送或存储视频数据之前根据一个或更多个视频译码标准来压缩视频数据。
2、开发了多种视频编解码器标准。例如,视频译码标准包括aomedia video 1(alliance for open media video 1,av1)、通用视频译码(versatile video coding,vvc)、联合探索测试模型(joint exploration test model,jem)、高效视频译码(high-efficiency video coding,hevc/h.265)、高级视频译码(advanced video coding,avc/h.264)和运动图像专家组(moving picture expert group,mpeg)译码。视频译码通常使用利用视频数据中固有的冗余的预测方法(例如,帧间预测、帧内预测等)。视频译码旨在将视频数据压缩成使用较低比特率的形式,同时避免视频质量的劣化或使视频质量的劣化最小化。
3、hevc(也被称为h.265)是作为mpeg-h项目的一部分而设计的视频压缩标准。itu-t(international telecommunication union-telecommunication standardizationsector,itu-t)和iso/iec(international organization for standardization/international electrotechnical commission,iso/iec)于2013年(版本1)、2014年(版本2)、2015年(版本3)、2016年(版本4)发布了hevc/h.265标准。通用视频译码(vvc)(也被称为h.266)是视频压缩标准,旨在作为hevc的继承者。itu-t和iso/iec于2020年(版本1)和2022年(版本2)发布了vvc/h.266标准。av1是被设计为hevc的替选的开放式视频译码格式。在2019年1月8日,发布了带有规范勘误表1的验证版本1.0.0。
技术实现思路
1、如以上所提及的,编码(压缩)降低了带宽和/或存储空间要求。如后面详细描述的,可以采用无损压缩和有损压缩二者。无损压缩是指可以经由解码处理根据经压缩的原始信号来重建原始信号的精确副本的技术。有损压缩是指原始视频信息在译码期间未完全保留并且在解码期间不可完全恢复的译码/解码处理。当使用有损压缩时,经重建的信号可能与原始信号不相同,但是原始信号与经重建的信号之间的失真足够小,以使得经重建的信号对于预期应用有用。可容许的失真量取决于应用。例如,某些消费者视频流式传输应用的用户可以比电影或电视广播应用的用户容忍更高的失真。可以选择或调整由特定译码算法可实现的压缩比以反映各种失真容限:较高的可容忍的失真通常允许产生较高的损失和较高的压缩比的译码算法。
2、本公开内容描述了在视频数据的帧间预测的wbp模式下使用多个加权因子列表来确定译码单元的预测块的加权因子。应用wbp模式,以基于与当前译码块属于同一图片群组(gop)的两个预测块来生成当前译码块的运动补偿数据。目标加权因子列表包括多个加权因子,从所述多个加权因子中可以选择目标加权因子,以将当前译码块重建为两个预测块的加权组合。在一些情况下,对于当前译码块的重建,允许相对低的延迟,并且目标加权因子列表包括仅单个负加权因子。相反,在一些实施方式中,多个加权因子列表包括多于一个的混合加权因子列表,每个混合加权因子列表具有至少一个负加权因子,并且从所述多个加权因子列表中选择当前译码块的目标加权因子列表。另外地,在一些实施方式中,多个加权因子列表包括多于一个的正加权因子列表。目标加权因子列表的选择可选地基于下述中的一个或更多个:两个预测块的方向;两个预测块中的一个预测块的运动矢量预测器(mvp);以及参考图像帧与当前图像帧的预测距离。多个加权因子列表提供不同的加权因子列表,从所述加权因子列表中可以选择目标加权因子列表,以便于在不同的应用场景下组合两个预测块。目标加权因子列表用于基于不同的应用场景来优化当前译码块的重建处理的性能(例如,图像质量、图像大小、重建率、功率使用、数据带宽、帧缓冲器大小)。
3、根据一些实施方式,提供了一种视频解码的方法。该方法包括:接收包括当前图像帧的当前译码块的视频比特流;以及确定要在wbp模式下对当前译码块进行预测。该方法还包括响应于在wbp模式下对当前译码块进行预测:确定当前译码块与包括第一预测块和第二预测块的两个双向预测块相关联;以及识别至少包括第一列表和第二列表的多个不同的加权因子列表。第一列表具有所有正加权因子。第二列表具有包括至少一个负加权因子的混合加权因子,并且第一列表具有与第二列表中的各个加权因子不同的至少一个加权因子。该方法还包括:基于预定义标准选择多个加权因子列表中的一个加权因子列表;以及从所述多个加权因子列表中的所选一个加权因子列表中识别第一加权因子。该方法还包括:重建当前图像帧,包括通过基于第一加权因子组合第一预测块和第二预测块来确定当前译码块。根据一些实施方式,提供了一种视频编码的方法。该方法包括:确定要在wbp模式下对当前图像帧的当前译码块进行编码。该方法还包括响应于在wbp模式下对当前译码块进行编码:确定当前译码块与包括第一预测块和第二预测块的两个双向预测块相关联;以及识别至少包括第一正加权因子列表和所述混合加权因子的第二列表的多个不同的加权因子列表。第二列表具有至少一个负加权因子,并且第一列表具有与第二列表中的各个加权因子不同的至少一个加权因子。该方法还包括:基于预定义标准选择多个加权因子列表中的一个加权因子列表;从所述多个加权因子列表中的所选一个加权因子列表中识别第一加权因子;以及通过基于第一加权因子组合第一预测块和第二预测块来估计当前译码块。该方法还包括:生成包括当前图像帧的当前译码块的视频比特流。
4、根据一些实施方式,提供了一种计算系统,例如流式传输系统、服务器系统、个人计算机系统或其他电子设备。该计算系统包括控制电路系统以及存储一组或更多组指令的存储器。所述一组或更多组指令包括用于执行本文描述的方法中的任何方法的指令。在一些实施方式中,该计算系统包括编码器部件和/或解码器部件。
5、根据一些实施方式,提供了一种非暂态计算机可读存储介质。非暂态计算机可读存储介质存储用于由计算系统执行的一组或更多组指令。一组或更多组指令包括用于执行本文描述的方法中的任何方法的指令。
6、因此,公开了利用用于对视频进行译码的方法的设备和系统。这样的方法、设备和系统可以补充或替代用于视频译码的常规方法、设备和系统。
7、本说明书中描述的特征和优点并不一定全部包括在内,并且特别地,鉴于本公开内容中提供的附图、说明书和权利要求,一些附加的特征和优点对于本领域普通技术人员而言将是明显的。此外,应当注意,本说明书中使用的语言主要是出于可读性和指导性的目的而选择的,并不一定是为了描绘或限制本文所描述的主题而选择的。
1.一种用于对视频数据进行解码的方法,包括:
2.根据权利要求1所述的方法,还包括:
3.根据权利要求2所述的方法,其中,所述第一加权因子和所述第二加权因子的和等于1。
4.根据权利要求1所述的方法,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括:
5.根据权利要求1所述的方法,基于所述预义定标准选择所述多个加权因子列表中的一个加权因子列表还包括:
6.根据权利要求5所述的方法,其中,所述预测距离(1)在包括所述第一预测块的第一参考图像帧与所述当前图像帧之间测量,或者(2)在所述第一参考图像帧与包括所述第二预测块的第二参考图像帧之间测量。
7.根据权利要求5所述的方法,其中,所述多个加权因子列表还包括混合加权因子的第三列表,所述混合加权因子的第三列表具有比所述混合加权因子的第二列表更多的负加权因子,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括下述中的一者:
8.根据权利要求1所述的方法,其中,所述多个加权因子列表还包括一个或更多个混合加权因子的第三列表,每个混合加权因子的第三列表具有一个或更多个负加权因子,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括:
9.根据权利要求1所述的方法,其中,所述多个加权因子列表还包括一个或更多个混合加权因子的第三列表,每个混合加权因子的第三列表具有一个或更多个负加权因子,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括:
10.根据权利要求9所述的方法,其中,所述多个加权因子列表还包括混合加权因子的第三列表,所述混合加权因子的第三列表具有一个或更多个负加权因子,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括下述中的一者:
11.一种计算系统,包括:
12.根据权利要求11所述的计算系统,其中,第一正加权因子列表具有第一数目个正加权因子,并且所述混合加权因子的第二列表具有第二数目个加权因子,并且其中,所述第一数目等于所述第二数目。
13.根据权利要求11所述的计算系统,其中:
14.根据权利要求11所述的计算系统,基于所述预义定标准选择所述多个加权因子列表中的一个加权因子列表还包括:
15.根据权利要求14所述的计算系统,其中,所述预测距离在(1)包括所述第一预测块的第一参考图像帧与所述当前图像帧之间测量,或者(2)在所述第一参考图像帧与包括所述第二预测块的第二参考图像帧之间测量。
16.根据权利要求14所述的计算系统,其中,所述多个加权因子列表还包括第四正加权因子列表,所述第四正加权因子列表具有比第一正加权因子列表更多的加权因子,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括下述中的一者:
17.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储用于由计算系统的控制电路系统执行的一个或更多个程序,所述一个或更多个程序包括用于进行下述操作的指令:
18.根据权利要求17所述的非暂态计算机可读存储介质,其中,所述多个加权因子列表还包括一个或更多个第四正加权因子列表,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括:
19.根据权利要求17所述的非暂态计算机可读存储介质,其中,所述多个加权因子列表还包括一个或更多个第四正加权因子列表,基于所述预定义标准选择所述多个加权因子列表中的一个加权因子列表还包括:
20.根据权利要求19所述的非暂态计算机可读存储介质,其中,所述多个加权因子列表还包括第四正加权因子列表,基于所述预定义标准选择所述第一正加权因子列表和所述第四正加权因子列表中的一者还包括下述中的一者: