一种数据处理和图像编码方法、装置、设备及存储介质与流程

1.本公开涉及人工智能技术领域，具体涉及计算机视觉技术领域，可用于视频编码场景。


背景技术：

2.随着人工智能技术的发展，丰富的视频数据为人们的生成增添了色彩。为向人们呈现高质量的视频，如何提高视频图像帧的编码质量至关重要。


技术实现要素：

3.本公开提供了一种数据处理和图像编码方法、装置、设备及存储介质。
4.根据本公开的一方面，提供了一种数据处理方法，该方法包括：
5.获取测试图像序列，并确定所述测试图像序列中测试图像的测试边缘强度；
6.根据所述测试图像对应的不同编码结果的质量信息，确定所述测试图像的测试自适应量化强度；其中，所述不同编码结果为在不同自适应量化强度下对所述测试图像进行编码得到；
7.根据所述测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
8.根据本公开的另一方面，提供了一种图像编码方法，该方法包括：
9.获取第二目标图像，并确定所述第二目标图像的第二目标边缘强度；
10.基于边缘强度和自适应量化强度之间的对应关系，根据所述第二目标边缘强度，确定所述第二目标图像的第二目标自适应量化强度；其中，所述边缘强度和自适应量化强度之间的对应关系通过上述任一所述的数据处理方法确定；
11.根据所述第二目标图像的第二目标自适应量化强度，确定所述第二目标图像的第二量化参数；
12.根据所述第二量化参数，对所述第二目标图像进行编码。
13.根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
14.至少一个处理器；以及
15.与所述至少一个处理器通信连接的存储器；其中，
16.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述数据处理方法和/或图像编码方法。
17.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的数据处理方法和/或图像编码方法。
18.根据本公开的技术，提出了一种构建边缘强度和自适应量化强度之间的对应关系的优选方案，可用于提高视频图像帧的编码质量。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本公开的限定。其中：
21.图1是根据本公开实施例提供的一种数据处理方法的流程图；
22.图2是根据本公开实施例提供的另一种数据处理方法的流程图；
23.图3是根据本公开实施例提供的又一种数据处理方法的流程图；
24.图4是根据本公开实施例提供的又一种数据处理方法的流程图；
25.图5是根据本公开实施例提供的再一种数据处理方法的流程图；
26.图6是根据本公开实施例提供的一种图像编码方法的流程图；
27.图7是根据本公开实施例提供的一种数据处理装置的结构示意图；
28.图8是根据本公开实施例提供的一种图像编码装置的结构示意图；
29.图9是用来实现本公开实施例的数据处理和/或图像编码方法的电子设备的框图。
具体实施方式
30.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
31.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.图1是根据本公开实施例提供的一种数据处理方法的流程图，该方法适用于在图像编码场景下，如何提高编码质量的情况。该方法可以由数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载数据处理功能的电子设备中。如图1所示，本实施例的数据处理方法可以包括：
33.s101，获取测试图像序列，并确定测试图像序列中测试图像的测试边缘强度。
34.其中，所谓测试图像序列即为符合实际编码需求的大量测试图像所组成的集合，具体可用于对编码器的自适应量化强度进行调整。其中，自适应量化强度，即aq(adaptive quantization)强度，是用于对编码器的量化参数qp进行调节的一个调节因子。
35.可选的，获取测试图像序列的方式有很多种，本实施例对此不做限定。例如，可以获取一定数量的视频序列，并对所获取的每一视频序列进行抽帧处理，即可得到测试图像序列。又如，还可以直接从图像库中抓取设定数量的图像，以构成测试图像序列等。
36.在本实施例中，任一图像均具有一个边缘强度，用于表征该图像边缘轮廓像素值
的变化程度。所谓测试边缘强度即为测试图像的边缘强度。
37.在一可实施方式中，对于测试图像序列中的每一测试图像，可以采用边缘检测算法，来确定该测试图像的边缘；之后，根据该测试图像的边缘的像素点，来确定该测试图像的测试边缘强度。
38.在又一可实施方式中，可以采用预先训练好的边缘强度确定模型，来确定测试图像序列中每一测试图像的测试边缘强度。例如，对于测试图像序列中的每一测试图像，可以将该测试图像输入至边缘强度确定模型，由边缘强度确定模型输出该测试图像的测试边缘强度。
39.s102，根据测试图像对应的不同编码结果的质量信息，确定测试图像的测试自适应量化强度。
40.其中，测试图像对应的不同编码结果为在不同自适应量化强度下对测试图像进行编码得到。可选的，对于测试图像序列中的每一测试图像，可以通过编码器对该测试图像进行多次编码，且每次编码时采用不同的自适应性量化强度，进而可得到该测试图像对应的不同编码结果。
41.可选的，测试图像的每一编码结果对应一个质量信息，所谓质量信息用于反映对测试图像编码的质量；其中，质量信息中可以包括质量分数；进一步的，质量分数越高，则说明对测试图像的编码质量越高。
42.示例性的，对于每一测试图像，该测试图像的测试自适应量化强度也可称为最佳自适应量化强度，具体为该测试图像的编码质量最佳时所采用的自适应量化强度。
43.可选的，对于每一测试图像，可以基于预先设定的处理逻辑，根据该测试图像对应的不同编码结果的质量信息，来确定该测试图像的测试自适应量化强度。例如，可以将该测试图像对应的不同编码结果的质量信息，输入至预先训练好的神经网络模型中，由该神经网络模型输出该测试图像的测试自适应量化强度。
44.s103，根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
45.可选的，在确定每一测试图像的测试自适应量化强度之后，可以将该测试图像的测试边缘强度和测试自适应量化强度作为一个关系对；进而由大量的测试图像的关系对，来构建边缘强度和自适应量化强度之间的对应关系。
46.示例性的，在构建边缘强度和自适应量化强度之间的对应关系后，可以将所构建的对应关系应用于编码器，以在对图像编码过程中，对图像的自适应量化强度进行调整。
47.本公开实施例提供的技术方案，通过基于测试图像在不同自适应量化强度下的编码结果的质量信息，可精准确定测试图像的测试自适应量化强度，进而基于测试图像的测试边缘强度和测试自适应量化强度，可建立边缘强度和自适应量化强度两者之间的对应关系。上述方案，提出了一种构建边缘强度和自适应量化强度之间的对应关系的优选方案，通过采用大量的测试图像即测试图像序列，保证了所构建的边缘强度和自适应量化强度之间对应关系的准确性；同时该对应关系可应用于图像编码场景，来提高视频图像帧的编码质量。
48.图2是根据本公开实施例提供的另一种数据处理方法的流程图，本实施例在上述实施例的基础上，提供了一种获取测试图像序列的可选方式。如图2所示，本实施例的数据
处理方法可以包括：
49.s201，根据应用场景信息和/或编码器的编码标准，获取测试图像序列。
50.本实施例中，应用场景信息可以为编码器所需编码图像的使用场景信息，例如可以包括但不限于会议场景、游戏场景和实时场景等；编码标准即为编码器对图像编码时所遵循的视频编码压缩标准，例如可以是h.264/avc，或者hevc等。
51.可选的，可以根据应用场景信息，从视频库和/或图像库中获取测试图像序列。例如，应用场景信息为游戏场景，则可以从视频库中获取一定数据的游戏相关视频序列，并对所获取的每一视频序列进行抽帧处理，即可得到测试图像序列。
52.或者，可以根据编码器的编码标准，从视频库和/或图像库中获取测试图像序列。例如，编码器的编码标准为hevc，则可以从视频库中获取hevc的标准测试序列，并根据hevc的标准测试序列，来确定测试图像序列。
53.又或者，可以结合应用场景信息和编码器的编码标准，来确定测试图像序列。例如，编码器的编码标准为hevc，则可以从视频库中获取hevc的标准测试序列；根据应用场景信息，从hevc的标准测试序列中获取目标测试序列，如应用场景信息为实时场景，则可以从hevc的标准测试序列中获取class b和class c系列；进而可根据目标测试序列，来确定测试图像序列。
54.s202，确定测试图像序列中测试图像的测试边缘强度。
55.s203，根据测试图像对应的不同编码结果的质量信息，确定测试图像的测试自适应量化强度。
56.s204，根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
57.需要说明的是，本实施例中所构建的边缘强度和自适应量化强度之间的对应关系可应用于s201中的编码器；进一步的，还可应用于与s201中的编码器的编码标准相同的其他编码器中。
58.本公开实施例提供的技术方案，通过根据应用场景信息和/或编码器的编码标准，获取测试图像序列，并基于测试图像在不同自适应量化强度下的编码结果的质量信息，可精准确定测试图像的测试自适应量化强度，进而基于测试图像的测试边缘强度和测试自适应量化强度，可建立边缘强度和自适应量化强度两者之间的对应关系。上述方案，通过基于应用场景信息和/或编码标准来获取测试图像序列，保证了基于所获取的测试图像序列的构建的对应关系更适用于对应的编码器。
59.示例性的，在上述任一实施例的基础上，作为本公开实施例的一种可选方式，确定测试图像序列中测试图像的测试边缘强度还可以是：根据测试图像序列中测试图像的图像梯度，确定测试图像序列中测试图像的测试边缘强度。
60.进一步的，本实施例中可以采用边缘点梯度的幅值来表示边缘强度。
61.具体可以是，对于测试图像序列中的每一测试图像，可以基于图像梯度确定逻辑，确定该测试图像的图像梯度；之后将图像梯度中梯度值发生变化的各位置点的梯度值之和，作为该测试图像的测试边缘强度。
62.可以理解的是，本实施例引入图像梯度来确定测试图像的测试边缘强度，提高了测试边缘强度确定的精准性。
63.图3是根据本公开实施例提供的又一种数据处理方法的流程图，本实施例在上述实施例的基础上，提供了一种获取测试图像对应的不同编码结果的质量信息的可选方式。如图3所示，本实施例的数据处理方法可以包括：
64.s301，获取测试图像序列，并确定测试图像序列中测试图像的测试边缘强度。
65.s302，对测试图像对应的不同编码结果进行解码，得到测试图像对应的不同解码图像。
66.可选的，对于测试图像序列中的每一测试图像，可以通过开源解码器对该测试图像的不同编码结果进行解码，以得到该测试图像对应的不同解码图像。
67.s303，根据测试图像对应的不同解码图像的质量信息，确定测试图像对应的不同编码结果的质量信息。
68.可选的，对于每一测试图像的每一解码图像，该解码图像的质量信息在一定程度上可用于反映对该测试图像编码的质量。其中，质量信息也中可以包括质量分数；进一步的，质量分数越高，则说明对该测试图像编码的质量越高。
69.可选的，对于每一测试图像的每一解码图像，确定该解码结果的质量信息的方式有很多种，本实施例对此不做限定。一种可选方式可以是，将该解码图像输入至预先训练的质量评估模型，由质量评估模型输出该解码图像的质量信息。
70.进一步的，为保证解码图像的质量信息确定的准确性，在一可实施方式中，对于每一测试图像的每一解码图像，可以从主观和客观两个角度来评价该解码图像的质量，并根据主观和客观两个角度的评价结果，确定该解码图像的质量信息。
71.例如，可以通过人眼观看的方式，从主观角度对该解码图像的质量进行评价，得到主观质量评价结果；同时，可以采用预先设定的图像质量评估算法，从客观角度对该解码图像的质量进行评价，得到客观质量评价结果；之后，根据主观质量评价结果、客观质量评价结果、以及预先设定的主观权值和客观权值，来确定该解码图像的质量信息。
72.进一步的，对于每一测试图像的每一解码图像，在确定该解码图像的质量信息之后，可以直接将该解码图像的质量信息作为该解码图像对应的编码结果的质量信息；或者，可以对该解码图像的质量信息进行相关处理，并将处理后的质量信息，作为该解码图像对应的编码结果的质量信息。
73.基于此，可以得到测试图像序列中每一测试图像对应的不同编码结果的质量信息。
74.s304，根据测试图像对应的不同编码结果的质量信息，确定测试图像的测试自适应量化强度。
75.s305，根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
76.本公开实施例提供的技术方案，通过对测试图像对应的不同编码结果进行解码，可得到测试图像对应的不同解码图像，之后基于测试图像对应的不同解码图像的质量信息，确定测试图像对应的不同编码图像的质量信息，并基于测试图像在不同自适应量化强度下的编码结果的质量信息，可精准确定测试图像的测试自适应量化强度，进而基于测试图像的测试边缘强度和测试自适应量化强度，可建立边缘强度和自适应量化强度两者之间的对应关系。上述方案，通过引入解码图像，为精准确定不同编码结果的质量信息提供了一
种解决方案，且为后续确定测试图像的测试自适应量化强度提供了数据支撑。
77.图4是根据本公开实施例提供的又一种数据处理方法的流程图，本实施例在上述实施例的基础上，提供了一种确定测试图像的测试自适应量化强度的可选方式。如图4所示，本实施例的数据处理方法可以包括：
78.s401，获取测试图像序列，并确定测试图像序列中测试图像的测试边缘强度。
79.s402，根据测试图像对应的不同编码结果的质量信息，从不同编码结果中选择目标编码结果。
80.在一可实施方式中，对于测试图像序列中的每一测试图像，可以根据质量信息，按照设定顺序(比如从大到小的顺序)，对该测试图像对应的不同编码结果进行排序；并根据排序结果，从不同编码结果中选择目标编码结果。例如，可以将排序在第一的编码结果，作为目标编码结果。或者可以将排序在前的设定数量的编码结果，作为目标编码结果。
81.s403，根据目标编码结果对应的自适应量化强度，确定测试图像的测试自适应量化强度。
82.在一可实施方式中，若目标编码结果的数量为一个，则可以直接将目标编码结果对应的自适应量化强度，作为测试图像的测试自适应量化强度。若目标编码结果的数量为多个，则可以对所有目标编码结果对应的自适应量化强度做均值运算，并将所得到的均值，作为测试图像的测试自适应量化强度。
83.在又一可实施方式中，可以将目标编码结果对应的自适应量化强度，以及目标编码结果在不同编码结果中的排序情况等一并输入至预先训练的神经网络模型中，由模型输出测试图像的测试自适应量化强度。
84.s404，根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
85.本公开实施例提供的技术方案，通过基于测试图像在不同自适应量化强度下的编码结果的质量信息，对不同编码结果进行筛选，以确定目标编码结果，并基于目标编码结果对应的自适应量化强度，可精准确定测试图像的测试自适应量化强度，进而基于测试图像的测试边缘强度和测试自适应量化强度，可建立边缘强度和自适应量化强度两者之间的对应关系。上述方案，在确定测试图像的测试自适应量化强度过程中，引入基于质量信息对不同编码结果进行筛选的操作，减少了确定测试自适应量化强度的计算量，以及提高了确定测试自适应量化强度的准确度。
86.示例性的，在上述任一实施例的基础上，作为本公开实施例的一种可选方式，根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系还可以是，对测试图像的测试边缘强度和测试自适应量化强度进行线性回归拟合，得到拟合函数；根据拟合函数，确定边缘强度和自适应量化强度之间的对应关系。
87.具体可以是，将每一测试图像的测试边缘强度和测试自适应量化强度作为一个关系对；采用线性回归方式，对大量的测试图像的关系对进行拟合，得到拟合函数。例如，可以将测试边缘强度作为设定函数的输入变量，将测试边缘强度对应的测试自适应量化强度作为设定函数的输出变量，采用设定的参数调整逻辑，对设定函数的一个或多个参数进行优化，直至设定函数的参数的方差最小，将参数的方差最小时的函数作为拟合函数。
88.进一步的，在确定拟合函数之后，可以采用拟合函数来表征边缘强度和自适应量
化强度之间的对应关系。或者，可以对拟合函数进行相关处理，并采用处理后的拟合函数来表征边缘强度和自适应量化强度之间的对应关系。
89.可以理解的是，本实施例采用对大量的测试边缘强度和测试自适应量化强度进行线性拟合的方式，来确定边缘强度和自适应量化强度之间的对应关系，为精准构建边缘强度和自适应量化强度两者之间的对应关系提供了一种可选方式。
90.图5是根据本公开实施例提供的再一种数据处理方法的流程图，本实施例在上述实施例的基础上，增加了使用边缘强度和自适应量化强度之间的对应关系对图像进行编码的过程。如图5所示，本实施例的数据处理方法可以包括：
91.s501，获取测试图像序列，并确定测试图像序列中测试图像的测试边缘强度。
92.s502，根据测试图像对应的不同编码结果的质量信息，确定测试图像的测试自适应量化强度。
93.s503，根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
94.s504，确定第一目标图像的第一目标边缘强度。
95.本实施例中，第一目标图像可以是需要进行编码的任一图像，或者可以是需要进行编码的任一视频片段中的任一帧图像。
96.可选的，可以采用预先训练好的边缘强度确定模型，来确定第一目标图像的第一目标边缘强度。
97.或者，还可以根据第一目标图像的图像梯度，来确定第一目标图像的第一目标边缘强度。具体可以是，可以基于图像梯度确定逻辑，确定第一目标图像的图像梯度；之后将图像梯度中梯度值发生变化的各位置点的梯度值之和，作为第一目标图像的第一目标边缘强度。
98.s505，基于边缘强度和自适应量化强度之间的对应关系，根据第一目标边缘强度，确定第一目标图像的第一目标自适应量化强度。
99.可选的，在边缘强度和自适应量化强度之间的对应关系采用拟合函数来表征的情况下，可以将第一目标图像的第一目标边缘强度作为拟合函数输入变量的取值，通过运算可得到拟合函数输出变量的取值，即第一目标图像的第一目标自适应量化强度。
100.s506，根据第一目标自适应量化强度，确定第一目标图像的第一量化参数。
101.在本实施例中，可以采用宏块的方式对第一目标图像进行编码，即将第一目标图像划分为多个宏块；对于每一宏块，可以计算出该宏块的复杂度；之后基于自适应量化强度、宏块的复杂度、以及量化参数的偏移量等之间的关联关系，根据第一目标自适应量化强度和该宏块的复杂度，可确定该宏块的第一量化参数的偏移量；进而基于该宏块的第一量化参数的偏移量，可确定该宏块的第一量化参数。
102.s507，根据第一量化参数，对第一目标图像进行编码。
103.可选的，在确定第一目标图像中每一宏块的第一量化参数之后，对于每一宏块，可以采用该宏块的第一量化参数，对该宏块进行编码。
104.需要说明的是，执行本实施例所提供的数据处理方法的电子设备中可配置有编码器和对应关系构建模块。可选的，边缘强度和自适应量化强度之间对应关系的构建可由对应关系构建模块和编码器配合等来实现。例如，由编码器确定测试图像序列中每一测试图
像在不同自适应量化强度下的不同编码结果，由对应关系构建模型通过执行s501-s503来构建边缘强度和自适应量化强度之间的对应关系。
105.进一步的，在构建边缘强度和自适应量化强度之间的对应关系后，可以将所构建的对应关系应用于编码器，进而可由编码器执行对第一目标图像的编码过程，比如可由编码器执行s504-s507的过程。
106.本公开实施例提供的技术方案，通过基于测试图像在不同自适应量化强度下的编码结果的质量信息，可精准确定测试图像的测试自适应量化强度，进而基于测试图像的测试边缘强度和测试自适应量化强度，可建立边缘强度和自适应量化强度两者之间的对应关系；之后将所构建的对应关系应用于编码器，以在对图像编码过程中，对图像的自适应量化强度进行调整。上述方案，通过采用大量的测试图像即测试图像序列，保证了所构建的边缘强度和自适应量化强度之间对应关系的准确性；同时将该对应关系应用于图像编码场景，尤其在低码率情况下，通过利用边缘强度来对自适应量化强度进行调整，可更好地调整量化参数，起到更好地分配码率的效果，提高了视频图像帧的编码质量。尤其在低码率场景下，极大地降低了马赛克出现概率。
107.图6是根据本公开实施例提供的一种图像编码方法的流程图，该方法适用于在图像编码场景下，如何提高编码质量的情况。该方法可以由图像编码装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载图像编码功能的电子设备中，具体可以由电子设备中的编码器来执行；进一步的，本实施例中的编码器可具有基于边缘强度和自适应量化强度之间的对应关系，来调整所要编码的图像的自适应量化强度的功能，其中，边缘强度和自适应量化强度之间的对应关系可基于上述任一实施例所述的数据处理方法实现。如图6所示，本实施例的图像编码方法可以包括：
108.s601，获取第二目标图像，并确定第二目标图像的第二目标边缘强度。
109.本实施例中，第二目标图像可以是需要进行编码的任一图像，或者可以是需要进行编码的任一视频片段中的任一帧图像。可选的，可以从用户所指定的位置处抓取第二目标图像，或者可以将用户输入的图像作为第二目标图像，或者还可以对用户输入的视频片段进行抽帧处理，并将处理后的每一帧图像均作为第二目标图像。
110.可选的，可以采用预先训练好的边缘强度确定模型，来确定第二目标图像的第二目标边缘强度。例如，可以将第二目标图像输入至边缘强度确定模块，由边缘强度确定模型输出第二目标图像的第二目标边缘强度。
111.或者，可以采用边缘检测算法，来确定第二目标图像的边缘；之后，根据第二目标图像的边缘的像素点，来确定第二目标边缘强度。
112.s602，基于边缘强度和自适应量化强度之间的对应关系，根据第二目标边缘强度，确定第二目标图像的第二目标自适应量化强度。
113.其中，缘强度和自适应量化强度之间的对应关系通过任一实施例所述的数据处理方法确定。
114.可选的，在边缘强度和自适应量化强度之间的对应关系采用拟合函数来表征的情况下，可以将第二目标图像的第二目标边缘强度作为拟合函数输入变量的取值，通过运算可得到拟合函数输出变量的取值，即第二目标图像的第二目标自适应量化强度。
115.s603，根据第二目标自适应量化强度，确定第二目标图像的第二量化参数。
116.在本实施例中，可以采用宏块的方式对第二目标图像进行编码，即将第二目标图像划分为多个宏块；对于每一宏块，可以计算出该宏块的复杂度；之后基于自适应量化强度、宏块的复杂度、以及量化参数的偏移量等之间的关联关系，根据第二目标自适应量化强度和该宏块的复杂度，可确定该宏块的第二量化参数的偏移量；进而基于该宏块的第二量化参数的偏移量，可确定该宏块的第二量化参数。
117.s604，根据第二量化参数，对第二目标图像进行编码。
118.可选的，在确定第二目标图像中每一宏块的第二量化参数之后，对于每一宏块，可以采用该宏块的第二量化参数，对该宏块进行编码。
119.本公开实施例提供的技术方案，通过将边缘强度和自适应量化强度两者之间的对应关系应用于图像编码场景，在对图像进行编码的过程中，根据图像的边缘强度，自动对图像的自适应量化强度进行调整，可更好地调整量化参数，起到更好地分配码率的效果，提高了编码质量。尤其在低码率场景下，极大地降低了马赛克出现概率。
120.示例性的，在上述实施例的基础上，作为本公开实施例的一种可选方式，确定第二目标图像的第二目标边缘强度还可以是：根据第二目标图像的图像梯度，确定第二目标图像的第二目标边缘强度。
121.具体可以是，可以基于图像梯度确定逻辑，确定第二目标图像的图像梯度；之后将图像梯度中梯度值发生变化的各位置点的梯度值之和，作为第二目标图像的第二目标边缘强度。
122.可以理解的是，本实施例引入图像梯度来确定第二目标图像的第二目标边缘强度，提高了第二目标边缘强度确定的精准性。
123.图7是根据本公开实施例提供的一种数据处理装置的结构示意图。本公开实施例适用于在图像编码场景下，如何提高编码质量的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的数据处理方法。如图7所示，该数据处理装置包括：
124.图像序列获取模块701，用于获取测试图像序列；
125.测试边缘强度确定模块702，用于确定测试图像序列中测试图像的测试边缘强度；
126.测试量化强度确定模块703，用于根据测试图像对应的不同编码结果的质量信息，确定测试图像的测试自适应量化强度；其中，不同编码结果为在不同自适应量化强度下对测试图像进行编码得到；
127.对应关系建立模块704，用于根据测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。
128.本公开实施例提供的技术方案，通过基于测试图像在不同自适应量化强度下的编码结果的质量信息，可精准确定测试图像的测试自适应量化强度，进而基于测试图像的测试边缘强度和测试自适应量化强度，可建立边缘强度和自适应量化强度两者之间的对应关系。上述方案，提出了一种构建边缘强度和自适应量化强度之间的对应关系的优选方案，通过采用大量的测试图像即测试图像序列，保证了所构建的边缘强度和自适应量化强度之间对应关系的准确性；同时该对应关系可应用于图像编码场景，来提高视频图像帧的编码质量。
129.示例性的，测试量化强度确定模块703具体用于：
130.根据测试图像对应的不同编码结果的质量信息，从不同编码结果中选择目标编码结果；
131.根据目标编码结果对应的自适应量化强度，确定测试图像的测试自适应量化强度。
132.示例性的，上述装置还包括：
133.编码结果处理模块，用于对测试图像对应的不同编码结果进行解码，得到测试图像对应的不同解码图像；
134.质量信息确定模块，用于根据测试图像对应的不同解码图像的质量信息，确定测试图像对应的不同编码结果的质量信息。
135.示例性的，对应关系建立模块704具体用于：
136.对测试图像的测试边缘强度和测试自适应量化强度进行线性回归拟合，得到拟合函数；
137.根据拟合函数，确定边缘强度和自适应量化强度之间的对应关系。
138.示例性的，测试边缘强度确定模块702具体用于：
139.根据测试图像序列中测试图像的图像梯度，确定测试图像序列中测试图像的测试边缘强度。
140.示例性的，图像序列获取模块701具体用于：
141.根据应用场景信息和/或编码器的编码标准，获取测试图像序列。
142.示例性的，上述装置还包括：
143.第一边缘强度确定模块，用于确定第一目标图像的第一目标边缘强度；
144.第一目标量化强度确定模块，用于基于边缘强度和自适应量化强度之间的对应关系，根据第一目标边缘强度，确定第一目标图像的第一目标自适应量化强度；
145.第一量化参数确定模块，用于根据第一目标自适应量化强度，确定第一目标图像的第一量化参数；
146.第一编码模块，用于根据第一量化参数，对第一目标图像进行编码。
147.图8是根据本公开实施例提供的一种图像编码装置的结构示意图。本公开实施例适用于在图像编码场景下，如何提高编码质量的情况。该装置可以采用软件和/或硬件来实现，该装置可以实现本公开任意实施例所述的图像编码方法。如图8所示，该图像编码装置包括：
148.第二图像获取模块801，用于获取第二目标图像；
149.第二目标边缘强度确定模块802，用于确定第二目标图像的第二目标边缘强度；
150.第二目标量化强度确定模块803，用于基于边缘强度和自适应量化强度之间的对应关系，根据第二目标边缘强度，确定第二目标图像的第二目标自适应量化强度；其中，边缘强度和自适应量化强度之间的对应关系通过上述任一所述的数据处理方法确定；
151.第二量化参数确定模块804，用于根据第二目标自适应量化强度，确定第二目标图像的第二量化参数；
152.第二编码模块805，用于根据第二量化参数，对第二目标图像进行编码。
153.本公开实施例提供的技术方案，通过将边缘强度和自适应量化强度两者之间的对应关系应用于图像编码场景，在对图像进行编码的过程中，根据图像的边缘强度，自动对图
像的自适应量化强度进行调整，可更好地调整量化参数，起到更好地分配码率的效果，提高了编码质量。尤其在低码率场景下，极大地降低了马赛克出现概率。
154.示例性的，第二目标边缘强度确定模块802具体用于：
155.根据第二目标图像的图像梯度，确定第二目标图像的第二目标边缘强度。
156.本公开的技术方案中，所涉及的测试图像序列、第一目标图像和第二目标图像等的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
157.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
158.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
159.如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储电子设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
160.电子设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
161.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如数据处理和/或图像编码方法。例如，在一些实施例中，数据处理和/或图像编码方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到电子设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的数据处理和/或图像编码方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理和/或图像编码方法。
162.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理
器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
163.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
164.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
165.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
166.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
167.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
168.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
169.云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟
资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
170.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
171.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

技术特征：
1.一种数据处理方法，包括：获取测试图像序列，并确定所述测试图像序列中测试图像的测试边缘强度；根据所述测试图像对应的不同编码结果的质量信息，确定所述测试图像的测试自适应量化强度；其中，所述不同编码结果为在不同自适应量化强度下对所述测试图像进行编码得到；根据所述测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。2.根据权利要求1所述的方法，其中，所述根据所述测试图像对应的不同编码结果的质量信息，确定所述测试图像的测试自适应量化强度，包括：根据所述测试图像对应的不同编码结果的质量信息，从所述不同编码结果中选择目标编码结果；根据所述目标编码结果对应的自适应量化强度，确定所述测试图像的测试自适应量化强度。3.根据权利要求1或2所述的方法，还包括：对所述测试图像对应的不同编码结果进行解码，得到所述测试图像对应的不同解码图像；根据所述测试图像对应的不同解码图像的质量信息，确定所述测试图像对应的不同编码结果的质量信息。4.根据权利要求1所述的方法，其中，所述根据所述测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系，包括：对所述测试图像的测试边缘强度和测试自适应量化强度进行线性回归拟合，得到拟合函数；根据所述拟合函数，确定边缘强度和自适应量化强度之间的对应关系。5.根据权利要求1所述的方法，其中，所述确定所述测试图像序列中测试图像的测试边缘强度，包括：根据所述测试图像序列中测试图像的图像梯度，确定所述测试图像序列中测试图像的测试边缘强度。6.根据权利要求1所述的方法，其中，所述获取测试图像序列，包括：根据应用场景信息和/或编码器的编码标准，获取测试图像序列。7.根据权利要求1所述的方法，还包括：确定第一目标图像的第一目标边缘强度；基于所述边缘强度和自适应量化强度之间的对应关系，根据所述第一目标边缘强度，确定所述第一目标图像的第一目标自适应量化强度；根据所述第一目标自适应量化强度，确定所述第一目标图像的第一量化参数；根据所述第一量化参数，对所述第一目标图像进行编码。8.一种图像编码方法，包括：获取第二目标图像，并确定所述第二目标图像的第二目标边缘强度；基于边缘强度和自适应量化强度之间的对应关系，根据所述第二目标边缘强度，确定所述第二目标图像的第二目标自适应量化强度；其中，所述边缘强度和自适应量化强度之
间的对应关系通过权利要求1-6中任一所述的数据处理方法确定；根据所述第二目标自适应量化强度，确定所述第二目标图像的第二量化参数；根据所述第二量化参数，对所述第二目标图像进行编码。9.根据权利要求8所述的方法，其中，所述确定所述第二目标图像的第二目标边缘强度，包括：根据所述第二目标图像的图像梯度，确定所述第二目标图像的第二目标边缘强度。10.一种数据处理装置，包括：图像序列获取模块，用于获取测试图像序列；测试边缘强度确定模块，用于确定所述测试图像序列中测试图像的测试边缘强度；测试量化强度确定模块，用于根据所述测试图像对应的不同编码结果的质量信息，确定所述测试图像的测试自适应量化强度；其中，所述不同编码结果为在不同自适应量化强度下对所述测试图像进行编码得到；对应关系建立模块，用于根据所述测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。11.根据权利要求10所述的装置，其中，所述测试量化强度确定模块具体用于：根据所述测试图像对应的不同编码结果的质量信息，从所述不同编码结果中选择目标编码结果；根据所述目标编码结果对应的自适应量化强度，确定所述测试图像的测试自适应量化强度。12.根据权利要求10或11所述的装置，还包括：编码结果处理模块，用于对所述测试图像对应的不同编码结果进行解码，得到所述测试图像对应的不同解码图像；质量信息确定模块，用于根据所述测试图像对应的不同解码图像的质量信息，确定所述测试图像对应的不同编码结果的质量信息。13.根据权利要求10所述的装置，其中，所述对应关系建立模块具体用于：对所述测试图像的测试边缘强度和测试自适应量化强度进行线性回归拟合，得到拟合函数；根据所述拟合函数，确定边缘强度和自适应量化强度之间的对应关系。14.根据权利要求10所述的装置，其中，所述测试边缘强度确定模块具体用于：根据所述测试图像序列中测试图像的图像梯度，确定所述测试图像序列中测试图像的测试边缘强度。15.根据权利要求10所述的装置，其中，所述图像序列获取模块具体用于：根据应用场景信息和/或编码器的编码标准，获取测试图像序列。16.根据权利要求10所述的装置，还包括：第一边缘强度确定模块，用于确定第一目标图像的第一目标边缘强度；第一目标量化强度确定模块，用于基于所述边缘强度和自适应量化强度之间的对应关系，根据所述第一目标边缘强度，确定所述第一目标图像的第一目标自适应量化强度；第一量化参数确定模块，用于根据所述第一目标自适应量化强度，确定所述第一目标图像的第一量化参数；
第一编码模块，用于根据所述第一量化参数，对所述第一目标图像进行编码。17.一种图像编码装置，包括：第二图像获取模块，用于获取第二目标图像；第二目标边缘强度确定模块，用于确定所述第二目标图像的第二目标边缘强度；第二目标量化强度确定模块，用于基于边缘强度和自适应量化强度之间的对应关系，根据所述第二目标边缘强度，确定所述第二目标图像的第二目标自适应量化强度；其中，所述边缘强度和自适应量化强度之间的对应关系通过权利要求1-6中任一所述的数据处理方法确定；第二量化参数确定模块，用于根据所述第二目标自适应量化强度，确定所述第二目标图像的第二量化参数；第二编码模块，用于根据所述第二量化参数，对所述第二目标图像进行编码。18.根据权利要求17所述的装置，其中，所述第二目标边缘强度确定模块具体用于：根据所述第二目标图像的图像梯度，确定所述第二目标图像的第二目标边缘强度。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法，和/或，权利要求8-9中任一所述的图像编码方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的数据处理方法，和/或，权利要求8-9中任一所述的图像编码方法。21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-7中任一项所述的数据处理方法，和/或，权利要求8-9中任一所述的图像编码方法。

技术总结
本公开提供了一种数据处理和图像编码方法、装置、设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉技术领域，可用于视频编码场景。具体实现方案为：获取测试图像序列，并确定所述测试图像序列中测试图像的测试边缘强度；根据所述测试图像对应的不同编码结果的质量信息，确定所述测试图像的测试自适应量化强度；其中，所述不同编码结果为在不同自适应量化强度下对所述测试图像进行编码得到；根据所述测试图像的测试边缘强度和测试自适应量化强度，建立边缘强度和自适应量化强度之间的对应关系。根据本公开的技术，提出了一种构建边缘强度和自适应量化强度之间的对应关系的优选方案，可用于提高视频图像帧的编码质量。量。量。


技术研发人员：邹箭
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2022.02.16
技术公布日：2022/5/25