本技术涉及计算机及通信，具体而言，涉及一种滤波及编解码方法、装置、计算机可读介质及电子设备。
背景技术：
1、在视频编解码领域中，预测图像与重构残差图像叠加生成重建图像之后，由于重建图像会产生失真，因此为了获取较优质量的图像，通常需要对重建图像进行环路滤波处理(loop filtering)，而在环路滤波处理中，如何能够提高滤波效果，以提升编解码效率是亟待解决的技术问题。
技术实现思路
1、本技术的实施例提供了一种滤波及编解码方法、装置、计算机可读介质及电子设备，可以在降低神经网络滤波器的运算复杂度的前提下，提高滤波效果，进而有利于提升视频的编解码效率。
2、本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
3、根据本技术实施例的一个方面，提供了一种基于神经网络的滤波方法，包括：基于待滤波图像生成神经网络滤波器的输入参数，所述输入参数至少包含所述待滤波图像；将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中包含有用于提取图像特征信息的残差单元，所述残差单元包含顺次相连的多个残差块，所述多个残差块中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层；获取所述神经网络滤波器输出的针对所述待滤波图像的已滤波图像。
4、根据本技术实施例的一个方面，提供了一种视频编码方法，包括：基于待滤波的重建图像生成神经网络滤波器的输入参数，所述输入参数至少包含所述待滤波的重建图像；将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中包含有用于提取图像特征信息的残差单元，所述残差单元包含顺次相连的多个残差块，所述多个残差块中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层；获取所述神经网络滤波器输出的针对所述重建图像的已滤波图像；基于所述已滤波图像生成下一帧图像对应的预测图像，并基于所述下一帧图像对应的预测图像对所述下一帧视频图像进行编码处理。
5、根据本技术实施例的一个方面，提供了一种视频解码方法，包括：基于待滤波的重建图像生成神经网络滤波器的输入参数，所述输入参数至少包含所述待滤波的重建图像；将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中包含有用于提取图像特征信息的残差单元，所述残差单元包含顺次相连的多个残差块，所述多个残差块中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层；获取所述神经网络滤波器输出的针对所述重建图像的已滤波图像；基于所述已滤波图像生成下一帧图像对应的预测图像，并基于所述下一帧图像对应的预测图像对视频码流进行解码处理。
6、根据本技术实施例的一个方面，提供了一种基于神经网络的滤波装置，包括：生成单元，配置为基于待滤波图像生成神经网络滤波器的输入参数，所述输入参数至少包含所述待滤波图像；处理单元，配置为将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中包含有用于提取图像特征信息的残差单元，所述残差单元包含顺次相连的多个残差块，所述多个残差块中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层；获取单元，配置为获取所述神经网络滤波器输出的针对所述待滤波图像的已滤波图像。
7、在本技术的一些实施例中，基于前述方案，所述输入参数中还包含有以下至少一种信息：
8、边界强度信息、条带级量化参数、基本量化参数、待滤波图像的帧类型、待滤波图像为重建图像时所对应的预测图像。
9、在本技术的一些实施例中，基于前述方案，所述指定残差块包括：第一卷积层、第二卷积层、连接至所述第一卷积层的第一激活函数层、连接至所述第二卷积层的第二激活函数层，以及顺次相连的第三卷积层和第四卷积层；其中，所述第一卷积层的输入端与所述第二卷积层的输入端相连并作为所述指定残差块的输入端，所述第一激活函数层的输出端与所述第二激活函数层的输出端相连并连接至所述第三卷积层的输入端；所述指定残差块的输入数据与所述第四卷积层的输出数据进行叠加并作为所述指定残差块的输出数据。
10、在本技术的一些实施例中，基于前述方案，所述第一卷积层的卷积核大小为n×n；所述第二卷积层的卷积核大小为m×m，所述m和n是大于或等于1的整数且m≠n。
11、在本技术的一些实施例中，基于前述方案，所述第一卷积层包括：通过张量分解方式对卷积核大小为n×n的卷积层进行分解得到的两个子卷积层；所述第二卷积层的卷积核大小为m×m，所述m和n是大于或等于1的整数且m≠n。
12、在本技术的一些实施例中，基于前述方案，所述两个子卷积层包括：卷积核大小为1×n的卷积层，以及卷积核大小为n×1的卷积层。
13、在本技术的一些实施例中，基于前述方案，所述第一卷积层包括：通过深度可分离卷积对卷积核大小为n×n的卷积层进行分解得到的两个子卷积层；所述第二卷积层的卷积核大小为m×m，所述m和n是大于或等于1的整数且m≠n。
14、在本技术的一些实施例中，基于前述方案，所述两个子卷积层包括：卷积核大小为n×n且进行分组卷积的卷积层，以及卷积核大小为1×1的卷积层。
15、在本技术的一些实施例中，基于前述方案，所述第一卷积层包括：通过张量分解和深度可分离卷积对卷积核大小为n×n的卷积层进行分解得到的三个子卷积层；所述第二卷积层的卷积核大小为m×m，所述m和n是大于或等于1的整数且m≠n。
16、在本技术的一些实施例中，基于前述方案，所述三个子卷积层包括：卷积核大小为1×n且进行分组卷积的卷积层、卷积核大小为n×1且进行分组卷积的卷积层，以及卷积核大小为1×1的卷积层。
17、在本技术的一些实施例中，基于前述方案，所述第四卷积层的卷积核大小为k×k；或者
18、所述第四卷积层包括通过张量分解方式对卷积核大小为k×k的卷积层进行分解得到的两个子卷积层；或者
19、所述第四卷积层包括通过深度可分离卷积对卷积核大小为k×k的卷积层进行分解得到的两个子卷积层；或者
20、所述第四卷积层包括通过张量分解和深度可分离卷积对卷积核大小为k×k的卷积层进行分解得到的三个子卷积层；
21、其中，k是大于或等于1的整数。
22、在本技术的一些实施例中，基于前述方案，所述残差单元包括分别针对图像亮度分量和图像色度分量的残差单元；其中，针对所述图像亮度分量的残差单元所包含的残差块结构与针对所述图像色度分量的残差单元所包含的残差块结构相同或者不相同。
23、在本技术的一些实施例中，基于前述方案，针对所述图像亮度分量的残差单元中包含有所述指定残差块；针对所述图像色度分量的残差单元中包含有以下至少一种：所述指定残差块、除所述指定残差块之外的其它残差块。
24、在本技术的一些实施例中，基于前述方案，所述神经网络滤波器还包括：浅层特征提取单元，所述浅层特征提取单元包括至少一个卷积层，所述浅层特征提取单元用于提取所述输入参数的浅层特征信息，并将所述浅层特征信息输入至所述残差单元。
25、在本技术的一些实施例中，基于前述方案，所述残差单元包括分别针对图像亮度分量和图像色度分量的残差单元；所述神经网络滤波器还包括：分别针对图像亮度分量和图像色度分量的特征映射单元，用于对所述残差单元输出的图像特征信息进行映射处理；其中，针对图像亮度分量的特征映射单元连接至针对图像亮度分量的残差单元，针对图像色度分量的特征映射单元连接至针对图像色度分量的残差单元。
26、根据本技术实施例的一个方面，提供了一种视频编码装置，包括：生成单元，配置为基于待滤波的重建图像生成神经网络滤波器的输入参数，所述输入参数至少包含所述待滤波的重建图像；处理单元，配置为将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中包含有用于提取图像特征信息的残差单元，所述残差单元包含顺次相连的多个残差块，所述多个残差块中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层；获取单元，配置为获取所述神经网络滤波器输出的针对所述重建图像的已滤波图像；编码单元，配置为基于所述已滤波图像生成下一帧图像对应的预测图像，并基于所述下一帧图像对应的预测图像对所述下一帧视频图像进行编码处理。
27、根据本技术实施例的一个方面，提供了一种视频解码装置，包括：生成单元，配置为基于待滤波的重建图像生成神经网络滤波器的输入参数，所述输入参数至少包含所述待滤波的重建图像；处理单元，配置为将所述输入参数输入至所述神经网络滤波器，其中，所述神经网络滤波器中包含有用于提取图像特征信息的残差单元，所述残差单元包含顺次相连的多个残差块，所述多个残差块中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层；获取单元，配置为获取所述神经网络滤波器输出的针对所述重建图像的已滤波图像；解码单元，配置为基于所述已滤波图像生成下一帧图像对应的预测图像，并基于所述下一帧图像对应的预测图像对视频码流进行解码处理。
28、根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的方法。
29、根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述实施例中所述的方法。
30、根据本技术实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取并执行该计算机程序，使得该电子设备执行上述各种可选实施例中提供的方法。
31、在本技术的一些实施例所提供的技术方案中，由于神经网络滤波器中包含有残差单元，残差单元包含有顺次相连的多个残差块，且其中的指定残差块包含有并联设置、且卷积核大小不相同的多个卷积层，使得神经网络滤波器可以通过指定残差块获取多级感受野上的特征信息，进而可以提升神经网络滤波器的泛化能力，并且可以在降低神经网络滤波器的运算复杂度的前提下，提高滤波效果，进而有利于提升视频的编解码效率。
32、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
1.一种基于神经网络的滤波方法，其特征在于，包括：
2.根据权利要求1所述的基于神经网络的滤波方法，其特征在于，所述输入参数中还包含有以下至少一种信息：
3.根据权利要求1所述的基于神经网络的滤波方法，其特征在于，所述指定残差块包括：第一卷积层、第二卷积层、连接至所述第一卷积层的第一激活函数层、连接至所述第二卷积层的第二激活函数层，以及顺次相连的第三卷积层和第四卷积层；
4.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层的卷积核大小为n×n；所述第二卷积层的卷积核大小为m×m，所述m和n是大于或等于1的整数且m≠n。
5.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层包括：通过张量分解方式对卷积核大小为n×n的卷积层进行分解得到的两个子卷积层；
6.根据权利要求5所述的基于神经网络的滤波方法，其特征在于，所述两个子卷积层包括：卷积核大小为1×n的卷积层，以及卷积核大小为n×1的卷积层。
7.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层包括：通过深度可分离卷积对卷积核大小为n×n的卷积层进行分解得到的两个子卷积层；
8.根据权利要求7所述的基于神经网络的滤波方法，其特征在于，所述两个子卷积层包括：卷积核大小为n×n且进行分组卷积的卷积层，以及卷积核大小为1×1的卷积层。
9.根据权利要求3所述的基于神经网络的滤波方法，其特征在于，所述第一卷积层包括：通过张量分解和深度可分离卷积对卷积核大小为n×n的卷积层进行分解得到的三个子卷积层；
10.根据权利要求9所述的基于神经网络的滤波方法，其特征在于，所述三个子卷积层包括：卷积核大小为1×n且进行分组卷积的卷积层、卷积核大小为n×1且进行分组卷积的卷积层，以及卷积核大小为1×1的卷积层。
11.根据权利要求3至10中任一项所述的基于神经网络的滤波方法，其特征在于，所述第四卷积层的卷积核大小为k×k；或者
12.根据权利要求1至10中任一项所述的基于神经网络的滤波方法，其特征在于，所述残差单元包括分别针对图像亮度分量和图像色度分量的残差单元；
13.根据权利要求12所述的基于神经网络的滤波方法，其特征在于，针对所述图像亮度分量的残差单元中包含有所述指定残差块；针对所述图像色度分量的残差单元中包含有以下至少一种：所述指定残差块、除所述指定残差块之外的其它残差块。
14.根据权利要求1至10中任一项所述的基于神经网络的滤波方法，其特征在于，所述神经网络滤波器还包括：
15.根据权利要求1至10中任一项所述的基于神经网络的滤波方法，其特征在于，所述残差单元包括分别针对图像亮度分量和图像色度分量的残差单元；
16.一种视频编码方法，其特征在于，包括：
17.一种视频解码方法，其特征在于，包括：
18.一种基于神经网络的滤波装置，其特征在于，包括：
19.一种视频编码装置，其特征在于，包括：
20.一种视频解码装置，其特征在于，包括：
21.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至17中任一项所述的方法。
22.一种电子设备，其特征在于，包括：
23.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，电子设备的处理器从所述计算机可读存储介质读取并执行所述计算机程序，使得所述电子设备执行如权利要求1至17中任一项所述的方法。
