本公开总体上涉及视频编解码系统。具体而言，本发明涉及混合交叉颜色预测的预测子以提高编解码效率。
背景技术：
1、多功能视频编解码(versatile video coding，简称vvc)是由itu-t视频编解码专家组(video coding experts group，简称vceg)和iso/iec运动图像专家组(movingpicture experts group，简称mpeg)的联合视频专家组(joint video experts team，简称jvet)开发的最新国际视频编解码标准。该标准已作为iso标准于2021年2月发布：iso/iec23090-3：2021，信息技术-沉浸式媒体的编解码表示-第3部分：多功能视频编解码。vvc是基于其上一代高效视频编解码(high efficiency video coding，简称hevc)通过添加更多的编解码工具，来提高编解码效率以及处理包括三维(3-dimensional，简称3d)视频信号在内的各种类型的视频源。
2、图1a示出结合循环处理的示例适应性帧间/帧内视频编解码系统。对于帧内预测，预测数据基于当前图片中先前编解码的视频数据得出。对于帧间预测112，运动估计(motion estimation，简称me)在编码器端执行以及运动补偿(motion compensation，简称mc)基于me的结果执行以提供从其他图片和运动数据导出的预测数据。开关114选择帧内预测110或帧间预测112，以及选择的预测数据被提供至加法器116以形成预测误差，也被称为残差。然后预测误差由变换(transform，简称t)118接着量化(quantization，简称q)120处理。然后经变换和量化的残差由熵编码器122进行编码，以包括在对应于压缩视频数据的视频比特流中。然后，与变换系数相关联的比特流与辅助信息(诸如与帧内预测和帧间预测相关联的运动和编码模式等辅助信息)和其他信息(与应用于底层图像区域的环路滤波器相关联的参数等)打包。如图1a所示，与帧内预测110，帧间预测112和环路滤波器130相关联的辅助信息被提供至熵编码器122。当帧间预测模式被使用时，一个或多个参考图片也必须在编码器端重构。因此，经变换和量化的残差由逆量化(inverse quantization，简称iq)124和逆变换(inverse transformation，简称it)126处理以恢复残差。然后残差在重构(rec)128被加回到预测数据136以重构视频数据。重构的视频数据可被存储在参考图片缓冲器134中以及用于其他帧的预测。
3、如图1a所示，输入的视频数据在编码系统中经过一系列处理。由于一系列处理，来自rec 128的重构视频数据可能会受到各种损害。因此，在重构视频数据被存储在参考图片缓冲器134中之前，环路滤波器130通常被应用于重构视频数据，以提高视频质量。例如，去块滤波器(deblocking filter,简称df)，样本适应性偏移(sample adaptive offset，简称sao)和适应性环路滤波器(adaptive loop filter，简称alf)可被使用。环路滤波器信息可能需要被合并到比特流中，以便解码器可以正确地恢复所需的信息。因此，环路滤波器信息也被提供至熵编码器122以结合到比特流中。在图1a中，在重构样本被存储在参考图片缓冲器134中之前，环路滤波器130被应用于重构的视频。图1a中的系统旨在说明典型视频编码器的示例结构。它可以对应于高效视频编解码(high efficiency video coding，简称hevc)系统，vp8，vp9，h.264或vvc。
4、如图1b所示，解码器可以使用与编码器相似或部分相同的功能块，除了变换118和量化120，因为解码器只需要逆量化124和逆变换126。解码器使用熵解码器140而不是熵编码器122来将视频比特流解码为量化的变换系数和所需的编解码信息(例如，ilpf信息，帧内预测信息和帧间预测信息)。解码器侧的帧内预测150不需要执行模式搜索。相反，解码器只需要根据从熵解码器140接收到的帧内预测信息生成帧内预测。此外，对于帧间预测，解码器只需要根据从熵解码器140接收到的帧内预测信息执行运动补偿(mc 152)无需运动估计。
5、根据vvc，输入图片被划分为称为编解码树单元(coding tree unit，简称ctu)的非重迭正方形块区域，类似于hevc。每个ctu可被划分为一个或多个较小尺寸的编解码单元(coding unit，简称cu)。生成的cu分区可以是正方形或矩形。此外，vvc将ctu划分为预测单元(prediction unit，简称pu)作为一个单元来应用预测处理，例如帧间预测，帧内预测等。
技术实现思路
1、一种视频编解码的方法和装置被公开。根据该方法，与第一颜色块和包括第二颜色块的当前块相关联的输入数据被接收，其中输入数据包括用于第一颜色块和当前块的像素数据，该像素数据将在编码器侧被编码，与第一颜色块和当前块相关联的已编解码数据被接收，该已编解码数据将在解码器侧被解码。用于第二颜色块的第一预测子被决定，其中该第一预测子对应于当前块的预测样本的所有样本或一个子集。基于第一颜色块，第二颜色块的至少一个第二预测子被决定，其中一个或多个目标模型参数与对应于该至少一个第二预测子的至少一个目标预测模型相关联，该一个或多个目标模型参数通过使用第二颜色块的一个或多个相邻样本和/或第一颜色块的一个或多个相邻样本被隐式地导出，以及其中该至少一个第二预测子对应于当前块的预测样本的所有样本或一个子集。最终预测子被生成，其中最终预测子包括第一预测子的一部分和该至少一个第二预测子的一部分。与第二颜色块相关联的输入数据使用包含最终预测子的预测数据进行编码或解码。
2、在一实施例中，第一预测子对应于帧内预测子。在另一实施例中，第一预测子对应于一种交叉颜色预测子。例如，第一预测子可以基于cclm_lt，cclm_l或cclm_t被生成。
3、在一实施例中，所述至少一个第二预测子基于多模型交叉分量线性模型(multiple model cclm(cross component linear model)，简称mmlm)模式生成。
4、在一实施例中，第一预测子的该部分基于具有第一权重的第一预测子导出，以及该至少一个第二预测子的该部分基于具有至少一个第二权重的该至少一个第二预测子导出。最终预测子作为第一预测子的该部分和该至少一个第二预测子的该部分的总和而导出。该第一权重，该至少一个第二权重或两者会通过对该第二颜色块的各个样本进行推导而被决定。
5、在一实施例中，语法在编码器侧被发送以指示是否允许决定至少一个第二预测子，生成最终预测子以及使用包括最终预测子的预测数据对当前块进行编码或解码。此外，语法可以在块级，图块级，片段级，图片级，序列参数集(sequance parameter，简称sps)级或图片参数集(picture parameter set，简称pps)级中在编码器侧发送或在解码器侧解析。在一实施例中，如果当前块使用预定交叉颜色模式，则该语法指示允许决定该至少一个第二预测子，生成最终预测子以及使用包括最终预测子的预测数据对当前块进行编码或解码。预定交叉颜色模式的示例是指线性模型(linear model，简称lm)模式。lm模式可以对应于cclm_lt模式，cclm_l模式或cclm_t模式。
6、在一实施例中，是否允许决定该至少一个第二预测子，生成最终预测子以及使用包括最终预测子的预测数据对当前块进行编码或解码被隐式地决定。
7、在一实施例中，候选集的每个预测模型的一个或多个模型参数被决定，以及候选集的每个预测模型的成本被评估，以及其中，候选集中实现最小成本的一个预测模型被选择为该至少一个目标预测模型，以及与候选集中实现最小成本的该一个预测模型相关联的该一个或多个模型参数被选择为该一个或多个目标模型参数。
8、在一实施例中，如果最小成本低于阈值，则决定该至少一个第二预测子，生成最终预测子以及使用包括最终预测子的预测数据对当前块进行编码或解码被允许。
9、在一实施例中，包括第二颜色块的选定相邻样本的第二颜色模板和包括第一颜色块的相应相邻样本的第一颜色模板被决定，基于第一颜色模板的参考样本和第二颜色模板的参考样本，该候选集的每个预测模型的该一个或多个模型参数被决定，以及其中该候选集的每个预测模型的成本基于重构样本和预测样本被决定，以及第二颜色模板的预测样本通过将对该每个预测模型决定的该一个或多个模型参数应用于第一颜色范本而导出。在一实施例中，第二颜色模板包括第二颜色块的顶部相邻样本，第二颜色块的左侧相邻样本或第二颜色块的两者，以及第一颜色模板包括第一颜色块的顶部相邻样本，第一颜色块的左侧相邻样本，或第一颜色块的两者。在一实施例中，当前块包括cr块和cb块，第一颜色块对应于y块，第二颜色块对应于cr块或cb块，其中当语法指示：决定所述至少一个第二预测子，生成最终预测子以及使用包括最终预测子的预测数据对当前块进行编码或解码被允许用于cr块和cb块之一，然后决定所述至少一个第二预测子，生成最终预测子以及使用包括最终预测子的预测数据对当前块进行编码或解码也被允许用于cr块和cb块中的另一个。
10、在一实施例中，该候选集的每个预测模型的成本对应于边界匹配成本，边界匹配成本用于测量第二颜色块的预测样本和第二颜色块的相邻重构样本之间的不连续性，以及其中第二颜色块的预测样本基于第一颜色块使用对该每个预测模型决定的该一个或多个模型参数导出。在一实施例中，边界匹配成本包括顶部边界匹配成本，左侧边界匹配成本，或两者，该顶部边界匹配成本在第二颜色块的顶部预测样本与第二颜色块的相邻顶部重构样本之间进行比较，该左侧边界匹配成本在第二颜色块的左侧预测样本和第二颜色块的相邻左侧重构样本之间进行比较。
11、在一实施例中，包括第二颜色块的选定相邻样本的第二颜色模板和包括第一颜色块的对应相邻样本的第一颜色模板被决定，该候选集的每个预测模型的该一个或多个模型参数基于第二颜色模板和第一颜色模板被决定，以及其中该候选集的每个预测模型的成本基于第二颜色模板的重构样本和预测样本被决定，第二颜色模板的预测样本通过将对每个预测模型决定的该一个或多个模型参数应用到第一颜色范本而导出。
1.一种视频编解码方法，用于多个颜色图片，所述方法包括：
2.根据权利要求1所述的视频编解码方法，其特征在于，所述第一预测子对应于帧内预测子。
3.根据权利要求1所述的视频编解码方法，其特征在于，所述第一预测子对应于交叉颜色预测子。
4.根据权利要求3所述的视频编解码方法，其特征在于，所述第一预测子基于cclm lt，cclm l或cclm t生成。
5.根据权利要求1所述的视频编解码方法，其特征在于，所述至少一个第二预测子基于多模型交叉分量线性模型模式生成。
6.根据权利要求1所述的视频编解码方法，其特征在于，所述第一预测子的所述部分基于具有第一权重的所述第一预测子导出，以及所述至少一个第二预测子的所述部分基于具有至少一个第二权重的所述至少一个第二预测子导出。
7.根据权利要求6所述的视频编解码方法，其特征在于，所述最终预测子作为所述第一预测子的所述部分和所述至少一个第二预测子的所述部分的总和导出。
8.根据权利要求6所述的视频编解码方法，其特征在于，所述第一权重，所述至少一个第二权重或两者会通过对所述第二颜色块的各个样本进行推导而被决定。
9.根据权利要求1所述的视频编解码方法，其特征在于，在所述编码器侧语法被发送以指示是否允许决定所述至少一个第二预测子，生成所述最终预测子以及使用包括所述最终预测子的所述预测数据对所述当前块进行编码或解码。
10.根据权利要求9所述的视频编解码方法，其特征在于，在块级别，图块级别，片段级别，图片级别，序列参数集合级别或以图片参数集合级别，所述语法在所述编码器侧被发送或在所述解码器侧被解析。
11.根据权利要求9所述的视频编解码方法，其特征在于，当所述当前块使用预定交叉颜色模式，所述语法被发送以指示是否允许决定所述至少一个第二预测子，生成所述最终预测子以及使用包括所述最终预测子的所述预测数据对所述当前块进行编码或解码。
12.根据权利要求11所述的视频编解码方法，其特征在于，所述预定交叉颜色模式对应于cclm lt模式，cclm l模式或cclm t模式。
13.根据权利要求1所述的视频编解码方法，其特征在于，是否允许决定所述至少一个第二预测子，生成所述最终预测子以及使用包括所述最终预测子的所述预测数据对所述当前块进行编码或解码被隐式地决定。
14.根据权利要求1所述的视频编解码方法，其特征在于，候选集的每个预测模型所对应的一个或多个模型参数被决定，以及所述候选集的每个预测模型的成本被评估，以及其中所述候选集中实现最小成本的预测模型被选择作为所述至少一个目标预测模型，以及与所述候选集中的实现所述最小成本的所述一个预测模型相关联的所述一个或多个模型参数被选择作为所述一个或多个目标模型参数。
15.根据权利要求13所述的视频编解码方法，其特征在于，如果所述最小成本低于阈值，则决定所述至少一个第二预测子，生成所述最终预测子以及使用包括所述最终预测子的所述预测数据对所述当前块进行编码或解码被允许。
16.根据权利要求15所述的视频编解码方法，其特征在于，所述阈值取决于所述当前块的块大小，序列分辨率，相邻块，量化参数，或其任一组合。
17.根据权利要求14所述的视频编解码方法，其特征在于，包括所述第二颜色块的多个选定相邻样本的第二颜色模板和包括所述第一颜色块的多个相应相邻样本的第一颜色范本被决定，基于所述第一颜色模板的多个参考样本和所述第二颜色模板的多个参考样本，所述候选集的每个预测模型所对应的所述一个或多个模型参数被决定，以及其中所述候选集的每个预测模型的所述成本基于所述第二颜色范本的多个重构样本和多个预测样本被决定，以及所述第二颜色模板的所述多个预测样本通过将对每个预测模型决定的所述一个或多个模型参数应用到所述第一颜色范本而导出。
18.根据权利要求17所述的视频编解码方法，其特征在于，所述第二颜色模板包括所述第二颜色块的多个顶部相邻样本，多个左侧相邻样本或两者，以及所述第一颜色模板包括所述第一颜色块的多个顶部相邻样本，多个左侧相邻样本，或两者。
19.根据权利要求17所述的视频编解码方法，其特征在于，所述当前块包括cr块和cb块，所述第一颜色块对应y块以及所述第二颜色块对应所述cr块或所述cb块，其中当语法指示决定所述至少一个第二预测子，生成所述最终预测子，以及使用包括所述最终预测子的所述预测数据对所述当前块进行编码或解码被允许用于所述cr块和所述cb块之一，然后决定所述至少一个第二预测子，生成所述最终预测子，以及使用包括所述最终预测子的所述预测数据对当前块进行编码或解码也被允许用于所述cr块和所述cb块中的另一个。
20.根据权利要求14所述的视频编解码方法，其特征在于，所述候选集的每个预测模型的所述成本对应于边界匹配成本，所述边界匹配成本用于测量所述第二颜色块的多个预测样本和所述第二颜色块的多个相邻重构样本之间的不连续性，以及其中所述第二颜色块的所述多个预测样本使用对每个预测模型决定的所述一个或多个模型参数基于所述第一颜色块导出。
21.根据权利要求20所述的视频编解码方法，其特征在于，所述边界匹配成本包括顶部边界匹配成本，左侧边界匹配成本或两者，所述顶部边界匹配成本用于在所述第二颜色块的多个顶部预测样本与所述第二颜色块的多个相邻顶部重构样本之间进行比较，所述左侧边界匹配成本用于在所述第二颜色块的多个左侧预测样本与所述第二颜色块的多个相邻左侧重构样本之间进行比较。
22.根据权利要求14所述的视频编解码方法，其特征在于，包括所述第二颜色块的多个选定相邻样本的第二颜色模板和包括所述第一颜色块的多个相应相邻样本的第一颜色范本被决定，基于所述第一颜色范本和所述第二颜色范本，所述候选集的每个预测模型所对应的所述一个或多个模型参数被决定，以及其中所述候选集的每个预测模型的所述成本基于所述第二颜色范本的多个重构样本和多个预测样本决定，以及所述第二颜色模板的所述多个预测样本通过将对每个预测模型决定的所述一个或多个模型参数应用到所述第一颜色范本而导出。
23.一种用于视频编解码的装置，所述装置包括一个或多个电子设备或处理器，被布置成：
