本文件总体上涉及图像和视频编码。更具体地，本发明的实施例涉及模板匹配在视频编码中的应用。
背景技术：
：：1、2020年，国际标准化组织(iso)中的mpeg专家组与国际电信联盟(itu)联合发布了第一版通用视频编码标准(versatile video coding standard,vvc)，也称为h.266(参考文献[7])。最近，该同一专家组致力于下一代编码标准的开发，其编码性能与现有视频编码技术相比有所提高。作为该调查的一部分，还研究了新的编码技术。2、如发明人在此理解的，期望用于在图像和视频编码中应用模板匹配的改进技术，并且在本文对该技术进行了描述。3、在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应该基于本节而认为在任何现有技术中被认识到。技术实现思路0、概述1、本文描述的示例实施例涉及图像和视频编码中的模板匹配(template matching,tm)。所提出的方法包括：在模板匹配中使用受约束的顶部和左侧邻近者，仅在编码树单元边界中启用tm，使用近似的重构样点、新处理流水线来推导解码器侧帧内模式推导(decoder side intra mode derivation,dimd)与基于模板的帧内模式推导(templatebased intra mode derivation,timd)相结合，以及使用来自邻近者的滤波像素而不是使用重构像素。此外，示例实施例描述了可以如何结合帧内模式、子分区模式、帧内预测中的内插滤波、块分区、具有编码单元级别权重的双向预测以及自适应运动矢量分辨率来应用模板匹配。2、视频编码中的模板匹配3、图1描绘了视频编码中的模板匹配(tm)的示例(参考文献[1])。术语“模板匹配”是指用于通过找到当前图片中的模板(即，当前编码单元(cu)的顶部邻近块和/或左侧邻近块(105))与参考图片中的块(即，与模板尺寸相同)之间的最接近匹配来细化当前cu的运动信息的解码器侧运动矢量(mv)推导方法。如图1所示，在实施例中，给定初始运动矢量(110)，将在[–8，+8]像素搜索范围(125)内当前编码单元(cu)的初始运动矢量周围搜索更佳的mv。基于高级运动矢量分辨率(advanced motion vector resolution,amvr)模式确定搜索步长，并且可以在合并模式下与双边匹配过程级联tm。4、在高级运动矢量预测(advanced motion vector prediction,amvp)模式下，基于模板匹配误差来确定运动矢量预测器(motion vector predictor,mvp)候选，以选取实现当前块模板(105)与参考块模板(115)之间的最小差异的一个mvp候选，然后仅对该特定mvp候选执行tm以进行mv细化。tm通过使用迭代菱形搜索在[-8，+8]像素搜索范围(125)内从全像素运动矢量差(motion vector difference,mvd)精度(或对于4像素amvr模式为4像素)开始来细化该mvp候选。可以通过使用具有全像素mvd精度(或对于4像素amvr模式为4像素)、随后按顺序是半像素和四分之一像素精度的交叉搜索根据amvr模式来进一步细化amvp候选。该搜索过程确保mvp候选在tm过程之后继续保持如amvr模式所指示的相同mv精度。5、在合并模式下，对由合并索引指示的合并候选应用类似的搜索方法。取决于是否根据合并的运动信息使用替代内插滤波器(当amvr采用半像素模式时使用)，tm可以一直执行到1/8像素mvd精度或者跳过超过半像素mvd精度的那些部分。此外，当启用tm模式时，模板匹配可以作为基于块和基于子块的双边匹配(bilateral matching,bm)方法之间的独立过程或额外的mv细化过程来工作，这取决于bm是否可以根据其启用条件检查而被启用。6、如发明人所理解的，在当前版本的帧间模板匹配工具中，可以进行以下观察：7、1)需要来自邻近块的细化运动矢量(motion vector,mv)来开始当前块mv预测8、2)需要当前模板像素(例如，左上4行)，该像素是来自邻近块的重构像素9、3)vvc使用整形域中的当前像素进行帧内预测，但是当使用当前重构像素进行模板匹配时，需要进行逆向整形才能返回到原始域，因为参考模板像素位于原始域中10、4)在hw流水线设计中，边界强度计算过程需要延迟，因为使用了细化mv11、除了帧间模板匹配工具之外，模板匹配的思想也被其他编码工具广泛利用，通过找到当前区域中的模板(即，当前cu的顶部邻近块和/或左侧邻近块)与参考区域之间的最接近匹配来帮助解码器侧做出决定。示例包括：12、1)帧内模板匹配(参考文献[2])：一种特殊的帧内预测模式，从当前帧的重构部分复制最佳预测块，其l形模板与当前模板相匹配。13、2)使用最可能模式(most probable mode,mpm)的基于模板的帧内模式推导(template based intra mode derivation,timd)(参考文献[3])：这是一种利用邻近模板使用最可能模式(mpm)的帧内模式推导方法。timd模式用作cu的附加帧内预测方法。14、3)使用tm的合并候选的自适应重新排序(adaptive re-ordering of mergecandidate,armc)(参考文献[4])：在该工具中，在构建合并候选列表后，将合并候选划分为若干个子组。根据基于模板匹配的成本值以升序的方式对每个子组中的合并候选进行重新排序。15、4)使用tm进行mvd符号预测(参考文献[5])：这里，如果运动矢量差包含非零分量，则可以在常规帧间模式中应用运动矢量差符号预测。根据模板匹配成本对可能的mvd符号组合进行排序，推导出与真实mvd符号相对应的索引，并用上下文模型进行编码。16、5)具有运动矢量差的合并模式(merge mode with motion vector difference,mmvd)的tm(参考文献[5])：这是一种基于模板匹配的扩展mmvd重新排序方法。17、这里提出的实施例旨在从不同方面改进模板匹配过程：18、1)质量改进(quality improvement,qi)建议：旨在与当前编码工具相比，优选地在没有任何额外的硬件(hardware,hw)实施问题的情况下提高压缩效率。19、2)对消除hw依赖性/流水线问题(hw dependency/pipeline issue,hwpi)和硬件/软件(hardware/software,hw/sw)复杂性降低(complexity reduction,cr)的建议：旨在通过考虑某些指导方针和hw/sw友好的解决方案(如复杂性降低，同时最小化对压缩效率的影响)来解决hw依赖性/流水线问题并协调类似工具20、3)将tm概念扩展到其他编码工具。21、对tm使用受约束的顶部邻近者或左侧邻近者，以减少解码顺序中紧邻邻近者的依赖性22、动机：tm需要用于模板的紧邻顶部和左侧邻近重构像素。这在解码流水线中引入了强的流水线依赖性，因为需要紧邻邻近者的重构像素来推导出当前cu的运动信息。23、建议1：不允许来自紧邻先前cu的邻近样点进行tm，如下所述：24、○如果左侧cu在解码顺序中紧邻先前cu，则使用顶部cu进行tm。例如，在图2中，cu3将使用顶部样点(cu 1)来计算邻近成本，但不使用左侧样点(cu 2)，该左侧样点是其在解码器顺序中紧邻的先前cu。类似地，cu 9可以使用所有顶部邻近样点，但只能使用来自cu 7的部分左侧邻近样点，因为来自cu 8的左侧邻近样点属于解码顺序中紧邻的先前cu25、○如果顶部cu在解码顺序中紧邻先前cu，则使用左侧cu用于计算邻近成本。例如，在图2中，cu 6可以使用来自cu 4的左侧邻近样点进行tm，但不能使用来自cu 5的顶部邻近样点，cu 5是解码顺序中紧邻的先前cu。26、建议2：不允许来自‘x’(x>1)个先前cu的邻近样点进行tm。27、这是建议1的扩展，其中，禁止来自解码顺序中多个先前cu的邻近样点进行tm，以提供更多的hw并行性。这是因为tm是一个相对复杂的工具，具有许多搜索和细化阶段。如果由于这种约束而无法使用左侧邻近者或顶部邻近者，则对这种cu，必须完全隐式禁用tm。例如，如果x＝2，28、○cu 9只能使用图2中的顶部样点29、○另一方面，图2中的cu 3和cu 6不能使用左侧或顶部样点，因此对它们隐式禁用tm。30、建议3：不允许来自先前cu的特定区域尺寸的邻近样点进行tm。这与建议2类似，但是被禁止的cu的数量可以是变量，而不是恒定值x。31、tm仅在ctu边界启用，并对左侧邻近者的使用进行约束32、该建议允许仅在编码树单元(coding tree unit,ctu)边界处启用tm，以允许虚拟流水线数据单元(virtual pipeline data unit,vpdu)级并行性(level parallelism)进行tm，如下所述：33、-顶部ctu邻近样点始终可用(帧边界除外)。34、-仅当满足以下条件时才允许使用左侧ctu邻近样点：35、○当前ctu根节点被拆分成四叉树(quad-tree,qt)(n×n)或水平二叉树(binarytree,bt)(2n×n)36、○左侧ctu根节点被拆分成qt(n×n)或水平bt(2n×n)37、○这确保了ctu中的4个n×n vpdu的tm以如下方式流水线化：38、■当前ctu的vpdu0边界样点可以使用左侧ctu的vpdu1作为左侧邻近样点以及顶部ctu样点39、■当前ctu的vpdu2边界样点可以使用左侧ctu的vpdu3作为左侧邻近样点，但是不能使用顶部样点40、■vpdu1边界样点只能使用顶部ctu样点进行tm41、■vpdu3不能使用tm42、○注意，不属于顶部或左侧ctu边界一部分的cu不能使用tm。43、使用顶部和左侧帧间预测cu的近似重构样点的tm44、动机是使用邻近帧间cu的近似重构样点进行tm。通过将滤波的(例如，双线性内插的)预测样点和基于查找表(look up table,lut)的主变换系数的逆变换残差(顶部4或顶部8)相加，推导出邻近者的近似重构样点。45、tm导致帧间重构的显著硬件流水线延迟，因为它引入了对使用重构的邻近样点的依赖性。当前cu需要等待其顶部和左侧cu完成重构(例如，允许重构样点可供使用)后才能开始tm过程。该建议旨在通过用近似重构样点代替重构样点的使用来减少流水线延迟，使得一旦邻近者的预测和去量化变换系数可用，当前cu就可以开始tm过程。46、简而言之：47、reconsample_actual＝pred+res48、其中，pred表示预测像素，并且res＝invt(quantcoeff)，其中，invt(quantcoeff)表示量化系数的逆变换，并且49、reconsample_approximated＝filtered(pred)+lut[quantcoeff]。50、对去量化的变换系数的基于lut的运算是用于估计残差的快速近似，而无需执行实际的逆变换。对预测使用滤波的想法类似于自适应环路滤波(adaptive loopfiltering,alf)的动机，以提高近似的准确性。但是出于降低复杂度的考虑，这里要应用的滤波不应太复杂。51、对于亮度映射和色度缩放(luma mapping,chroma scaling,lmcs)的情况，当在vvc启用时，帧间预测在原始域中，而重构和残差在整形域中，因此需要映射操作(lmcsfwdmap)。预测滤波可以在任一域中使用。52、reconsample_actual＝lmcsfwdmap[pred]+res，53、其中，res＝invt(quantcoeff)。54、reconsample_approximated＝filtered(pred)+lut[quantcoeff]，55、其中，56、filtered(pred)＝filtered(lmcsfwdmap[pred])或lmcsfwdmap[filtered(pred)]。57、可以进一步应用以下限制/修改来降低tm复杂性：58、-tm使用4个邻近样点，而符号预测使用2个邻近样点。59、○可以协调tm和符号预测，以仅使用两个邻近样点，从而减少使用lut近似重构帧间cu的开销。60、-另一种选择是仅使用左侧和顶部的帧间预测样点进行帧间tm(不使用近似残差)。61、○这假设帧间cu具有较少的残差(较小数量的小编码系数)，并且因此预测具有重构cu的大部分信息。62、○为了加强这个假设，还可以应用约束，比如：使用邻近cus的帧间预测样点，这些样点具有在邻近cu中编码的较少编码系数(例如，少于3个系数)63、用于合并和mv列表构建过程的tm细化的mv的受限使用64、动机：使用基于tm的mv或合并模式在解码流水线中引入了强的流水线依赖性，因为需要紧邻邻近者的重构像素来推导出当前cu的合并列表/amvp列表，这使得几乎所有的hw解码操作都在cu级别串行化。65、建议：限制使用tm细化的mv进行运动矢量预测过程，比如合并列表和amvp列表构建，如下所示：66、1.仅在ctu边界处(仅从顶部、左上和右上ctu)使用tm细化的运动。用于其他空间邻近者的预先tm运动信息67、2.tm细化的mv可以用于其他前向依赖性，比如边界强度(boundary strength,bs)计算和时间mv存储。68、3.比如armc、带有mmvd的tm、带有mvd符号的tm等工具必须完全禁用或仅在顶部ctu边界处启用。69、跨dimd和timd的帧内预测过程的协调70、动机：解码器侧帧内模式推导(参考文献[6])是jvet中当前增强压缩模型(enhanced compression model,ecm)中的新工具。dimd过程使用三种帧内模式的融合，而timd使用一种模式或两种帧内模式的融合。timd使用dimd模式来基于模板成本决定最佳模式，因此timd过程在hw处理延迟方面是最差的情况。协调dimd和timd的各个方面，从而有助于提高压缩效率或降低hw复杂性。在ecm中，可以使用以下简化符号来描述dimd和timd模式所需的计算引擎：71、c0：mpm列表推导72、输入：邻近帧内模式73、输出：模式的集合74、c1：梯度直方图，并从梯度直方图的幅度中找到帧内模式集75、输入：当前邻近重构像素76、输出：基于tm成本的前两种的帧内模式77、c2：计算给定帧内模式集的timd成本，并选择前2种帧内模式78、输入：当前邻近重构像素和帧内模式集79、输出：基于tm成本的前两种的帧内模式80、c3：3种帧内模式的融合(一种固定为平面模式)81、输入：两种帧内模式和一种平面模式82、输出：最终帧内预测数据83、c4：2种帧内模式的融合84、输入：两种帧内模式85、输出：最终帧内预测数据86、ecm中的当前方法：87、·dimd模式：c1+c388、·timd模式：c0+c1+c2+c489、建议190、·dimd模式：c1(n种模式的集合)+c2+c491、·timd模式：c0+c1(仅2种模式)+c2+c492、建议293、·dimd模式：c1(n种模式的集合)+c2+c394、·timd模式：c0+c1(仅2种模式)+c2+c395、术语“n种模式”表示n种帧内预测模式，比如角度模式、dc模式、平面模式等。96、减少帧内tm的片上存储器97、动机：与帧内块复制(intra block copy,ibc)相比，帧内tm对片上存储器的要求非常高。如果当前cu尺寸较大，则ecm中的当前帧内模板匹配技术使用来自几个顶部ctu行的顶部像素。98、建议：限制使用来自顶部ctu行的当前重构像素。可以允许来自顶部ctu的重构像素的4条底部线，因为这已经用于tm或帧内预测。将片上存储器大小限制为a*ctu大小，其中，缩放器a可以是1到5。99、使用滤波预测作为邻近重构像素的替代100、动机：tm需要用于模板构建的顶部和左侧邻近重构像素。这在解码流水线中引入了强的流水线依赖性，因为需要邻近者的重构像素来推导出当前cu的运动信息。101、建议：对于模板构建，可以使用邻近者的预测(尽管是滤波版本)，而不是重构像素。在实施例中，滤波器可以是维纳(wiener)滤波器，可以使用来自参考帧中由未细化的mv指向的区的预测和重构像素的统计性质来推导该滤波器。仅当至少一个邻近者被帧间编码时，才应用该过程。该建议旨在找到使用来自邻近者的重构像素的合适替代。邻近者的预测可以被认为是邻近者重构的噪声版本。因此，如果要找到应用于预测的线性滤波器，使得滤波器的输出与实际重构像素之间的差异最小化，则假设受到线性滤波器的约束，就会找到最佳替代。例如，在图1中，模板105可以被滤波，因为它是硬件流水线瓶颈。(相比之下，在模板115中，所有重构样点都已经可用)。tm需要使用105的重构样点(interrecon发生在后期流水线阶段)。该建议是在105中使用预测的滤波版本来代替105的重构，因此当前cu的tm可以在邻近cu具有可用的预测样点之后立即开始，这发生在早期流水线阶段。例如，102、reconsample_approximated＝f(pred),103、其中，f()是某种滤波操作，比如维纳滤波器、非线性滤波器、基于神经网络的滤波器等。104、应使用来自未细化的tm mv所指向的参考区的重构像素作为参考信号以及来自与参考信号的噪声版本相同的区的预测来推导滤波器系数。105、下面列出了该建议的几个变体，它们处理了以上段落中暗示的各种复杂问题：106、1)不是为每个tm调用推导一个滤波器，而是可以经由适配参数集(adaptationparameter set,aps)用信号通知预定义的滤波器集，并且定义了基于预测和重构统计或一些其他性质来推导滤波器索引的过程。107、2)由于邻近预测的使用意味着等待邻近cu的运动补偿(motion compensation,mc)，这将需要等待邻近cu的tm和类似mv细化算法的细化mv输出，因此在mv细化开始之前使用mv来推导当前cu用于模板构建的邻近预测。108、armc和tm的协调109、动机：提高armc的编码效率。改进的armc通过去除tm细化来补偿任何编码效率损失。110、建议：具有tm细化的合并候选的自适应重新排序(adaptive reordering ofmerge candidates with tm refinement,armc-r)，在实施例中包括以下步骤：111、-从armc-tm开始，它已经为每个合并候选带来了参考数据。在当前的armc中，使用顶部和左侧的参考模板区，其中，顶部参考模板区的尺寸是(blkwidth×4)，而左侧参考模板区的尺寸是(4×blkheight)。112、-在实施例中，可以通过在参考模板周围添加像素来对其进行改进，从而可以执行+/-1mv的细化。因此，顶部参考模板区的尺寸将是((blkwidth+2)x(4+2))，并且左侧模板区的尺寸将是((4+2)×(blkheight+2))。“+2”表示参考模板区周围的附加像素行，用于+/-1mv的细化。对于+/-2mv细化，将需要“+4”。113、-将评估9点(包括中心、正方形图案)整数像素距离成本。基于误差表面的子像素成本也可以从9点成本中推导出，如在vvc的解码器侧运动矢量细化(decoder-side,motionvector refinement,dmvr)中使用的。114、-不是合并mv tm成本，而是从每个合并候选的9点细化中选择最小成本115、-基于最小细化成本对合并列表进行重新排序。116、-去除重复的mv。117、方法1：(qi)用建议的armc-r代替armc-tm。118、方法2：(cr)在方法1的基础上去除tm细化，因为方法1已经覆盖了该细化。119、用于整数像素细化的基于tm的mv细化的简化120、动机：基于模板匹配的mv细化方法具有很强的顺序性，涉及使用菱形图案进行内插和模板成本计算，然后最后一步是交叉(cross)。121、建议：使用与来自合并/amvp列表的运动矢量相对应的整数mv位置作为搜索的起点。这有助于避免整数像素细化的内插需求。122、搜索范围将被限制到一个最佳值，使得可以并行计算中心周围所有整数像素位置的tm成本。对于中心周围+/-2像素的搜索范围，需要计算总共25个点的tm成本，对于中心周围+/-3像素的搜索范围，需要计算49个点的tm成本。123、将tm概念扩展到其他工具124、帧内子分区模式(intra sub-partition,isp)加tm：在vvc中，帧内预测块可以水平或垂直细分成更小的块，称为子分区。在每个子分区上，分开执行预测和变换编码操作，但是所有子分区共享帧内模式。在实施例中，建议将isp与tm相结合，以允许每个子分区具有不同的帧内模式。基本思想是使用tm，利用邻近角度帧内预测模式或该块分区的最可能模式(most probable mode,mpm)模式来细化每个子分区的共享帧内模式。125、帧内预测加tm中的内插滤波：在vvc中，内插滤波应用于分数斜率模式。对于亮度，内插滤波器表示基于4抽头dct的内插滤波器(dct-based interpolation filter,dctif)或4抽头平滑内插滤波器(smoothing interpolation filter,sif)。内插滤波器的类型不在比特流中用信号通知，而是基于块的尺寸和帧内预测模式索引来确定。在实施例中，一种方法是在没有显式发信号通知的情况下，使用tm来决定应该使用哪个if。还可以在池中添加更多的候选if，比如8抽头dctif或sif，并让tm决定使用哪一个if来获得最佳编码效率。126、块分区加tm：对于给定的cu，可以使用tm来找到最佳整数mv。然后，可以从最佳mv中复制块分区作为当前块的推断分区。这是为了节省用于分区的位。127、bcw(具有cu级别权重的双向预测)加tm：在vvc中，对于bcw，可以选择加权值候选集进行双向帧间预测。如果允许，所选加权值的索引对于amvp模式是用信号通知的，并且对于合并模式是继承的。在实施例中，可以通过tm从两个方面改善bcw：1)使用tm来避免用信号通知权重索引；2)允许更多权重并使用tm来选择有限的集合来发信号通知。128、具有tm的自适应运动矢量分辨率：可以基于tm来推断分辨率，而不是显式发信号通知运动矢量分辨率。基本上对于tm，可以尝试不同的运动矢量分辨率(mvr)技术，并且具有最佳mv的分辨率是当前cu的分辨率。129、参考文献130、本文列出的参考文献中的每一篇都通过援引以其全文并入本文。术语jvet是指itu-t sg 16wp 3和iso/iec jtc 1/sc 29的联合视频专家组。131、[1]jvet-u0100，“compression efficiency methods beyond vvc[超越vvc的压缩效率方法]”，y.-j.chang等人，电话会议，2021年1月。132、[2]jvet-v0130，“ee2:intra template matching[ee2：帧内模板匹配]”，k.naser等人，电话会议，2021年4月。133、[3]jvet-v0098，“ee2-related:template-based intra mode derivation usingmpms[ee2相关：使用mpm的基于模板的帧内模式推导]”，y.wang等人，电话会议，2021年4月。134、[4]jvet-w0090，“ee2-3.1/ee2-3.2:adaptive reordering of mergecandidates with template/bilateral matching[ee2-3.1/ee2-3.2：利用模板匹配对合并候选进行自适应重新排序]”，n.zhang等人，电话会议，2021年7月。135、[5]jvet-y0067，“ee2-3.9and ee2-3.10:tm based reordering for mmvd andaffine mmvd and mvd sign prediction[ee2-3.9和ee2-3.10：针对mmvd和仿射mmvd和mvd符号预测的基于tm的重新排序]”，m.salehifar等人，电话会议，2022年1月。136、[6]jvet-o0449，“non-ce3:decoder-side intra mode derivation(dimd)withprediction fusion using planar[非ce3：使用平面预测融合的解码器侧帧内模式推导(dimd)]”，m.abdoli等人，哥德堡，2019年7月。137、[7]“versatile video coding[通用视频编码]”，rec.itu-t h.266，2020年8月。138、示例计算机系统实施方式139、本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(ic)设备(如微控制器、现场可编程门阵列(fpga)或另一个可配置或可编程逻辑器件(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括这种系统、设备或部件中的一个或多个的装置来实施。计算机和/或ic可以执行、控制或实行与在图像和视频编码中应用模板匹配相关的指令，比如本文描述的那些指令。计算机和/或ic可以计算与本文所描述的在图像和视频编码中应用模板匹配相关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。140、本发明的某些实施方式包括执行软件指令的计算机处理器，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施与如上文描述的在图像和视频编码中应用模板匹配相关的方法。还可以以程序产品的形式提供本发明的实施例。程序产品可以包括承载包括指令的一组计算机可读信号的任何非暂态有形介质，该指令在被数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形形式中的任何一种形式。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括cd rom、dvd的光学数据存储介质、包括rom、闪速ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。141、在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对该部件的提及(包括对“装置”的提及)都应该被解释为包括执行所描述部件的功能的任何部件为该部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明的所图示的示例实施例中的功能的所公开结构的部件。142、等同物、扩展、替代方案和杂项143、因此描述了与在图像和视频编码中应用模板匹配相关的示例实施例。在前述说明中，已经参考许多具体细节描述了本发明的实施例，这些具体细节可能因实施方式而异。因此，指明本发明以及申请人的发明意图的唯一且排他性指示是根据本技术以具体形式发布的权利要求组，其中，这种权利要求发布包括任何后续校正。本文中针对这种权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这种术语的含义。因此，权利要求中未明确引用的限制、要素、性质、特征、优点或属性不应该以任何方式限制这种权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。当前第1页12当前第1页12
技术特征：1.一种使用模板匹配来处理一个或多个图片的方法，所述方法包括：
2.一种使用模板匹配来处理一个或多个图片的方法，所述方法包括：
3.一种使用模板匹配来处理一个或多个图片的方法，所述方法包括：
4.一种使用模板匹配来处理一个或多个图片的方法，所述方法包括：
5.如权利要求3所述的方法，其中，使用所述预测和重构像素的统计性质，从参考帧中由未细化的运动矢量指向的区推导用于生成滤波后的预测样点的滤波器。
6.一种用于结合基于模板的帧内模式推导(timd)的解码器侧帧内模式推导(dimd)的方法，所述方法包括计算：
7.一种利用模板匹配对合并候选进行自适应重新排序(armc)的方法，所述方法包括：
8.一种在视频编码或解码中应用模板匹配(tm)的方法，所述方法包括以下各项中的一项或多项：
9.一种非暂态计算机可读存储介质，具有存储于其上的计算机可执行指令，所述指令用于利用一个或多个处理器执行根据权利要求1至8中任一项所述的方法。
10.一种装置，包括处理器并且被配置为执行如权利要求1至8所述方法中的任一种方法。
技术总结描述了用于视频编码中的模板匹配(TM)的方法。所提出的方法包括：在模板匹配中使用受约束的顶部和左侧邻近者，仅在编码树单元边界中启用TM，使用近似的重构样点，使用新处理流水线来推导与基于模板的帧内模式推导(TIMD)相结合的解码器侧帧内模式推导(DIMD)，以及使用来自邻近者的滤波像素而不是使用重构像素。此外，还描述了关于可以如何结合帧内模式、子分区模式、帧内预测中的内插滤波、块分区、具有编码单元级别权重的双向预测以及自适应运动矢量分辨率来应用模板匹配的方法。
技术研发人员：J·R·阿鲁穆甘,J·N·辛加拉,A·纳特桑,M·M·雷曼,吕陶然,浦方君,尹鹏
受保护的技术使用者：杜比实验室特许公司
技术研发日：技术公布日：2024/11/26
