本技术实施例涉及图像处理,尤其涉及一种图像处理方法、设备、系统、存储介质及程序产品。
背景技术:
1、为了在不同的设备和平台上进行视频数据的高效传输和存储,通常会对视频流进行编码或解码。
2、相关技术中,在虚拟现实(virtual reality,vr)服务端和客户端之间通常是在服务端对待处理图像进行硬编码或者软编码,并将编码后的视频流发送给客户端,再通过客户端对编码后的视频流进行硬解码或者软解码,进而将解码后的视频流进行显示。
3、然而,实现本技术过程中,发明人发现现有技术中至少存在如下问题:上述方式中,在图像分辨率高和编解码设备工作效率不高的情况下,往往会产生延时和卡顿现象,降低了用户的使用体验。
技术实现思路
1、本技术实施例提供一种图像处理方法、设备、系统、存储介质及程序产品,以减少延时和卡顿现象,提高用户体验。
2、第一方面,本技术实施例提供一种图像处理方法,应用于服务端设备,包括:
3、获取待编码图像以及获取拆分参数和编码参数;所述拆分参数用于将所述待编码图像拆分成多个子图像;所述编码参数包括所述多个子图像分别对应的编码类型;所述编码类型包括硬编码和/或软编码;
4、根据所述拆分参数,对所述待编码图像进行拆分,获得多个第一图像;
5、根据所述多个编码类型,对所述多个第一图像进行编码,获得多个待解码图像,以将所述多个待解码图像发送给客户端设备;所述多个第一图像和所述多个待解码图像为一一对应关系。
6、在一种可能的设计中,所述拆分参数包括至少一组分辨率和每组分辨率对应的预设数量;每组分辨率具有相同分辨率值,不同组分辨率的分辨率值不同;所述根据所述拆分参数,对所述待编码图像进行拆分,获得多个第一图像,包括:
7、根据所述至少一组分辨率和所述至少一组分辨率分别对应的预设数量,对所述待编码图像进行拆分,获得多个第一图像;所述多个第一图像包括各所述分辨率下的对应预设数量的图像。
8、在一种可能的设计中,所述根据所述多个编码类型,对所述多个第一图像进行编码,获得多个待解码图像,包括:
9、若所述多个第一图像中存在对应编码类型为硬编码的待硬编码图像,且存在对应编码类型为软编码的待软编码图像,则将对所述待硬编码图像的硬编码和对所述待软编码图像的软编码并行进行,获得多个待解码图像。
10、在一种可能的设计中,所述编码参数还包括所述服务端设备所支持的硬编码路数;所述将对所述待硬编码图像的硬编码和对所述待软编码图像的软编码并行进行,获得多个待解码图像,包括:
11、若所述硬编码路数为多路,则在对所述待硬编码图像进行硬编码时,根据所述硬编码路数,将所述待硬编码图像分多路并行进行硬编码。
12、在一种可能的设计中,所述根据所述多个编码类型,对所述多个第一图像进行编码,包括:
13、获取编码格式;
14、根据所述多个编码类型和所述编码格式,对所述多个第一图像进行编码。
15、在一种可能的设计中,所述获取待编码图像以及获取拆分参数和编码参数之前,还包括:
16、获取图像组合信息;所述图像组合信息包括多个图像分组;不同图像分组内的子图像,是根据不同拆分参数对原始图像进行拆分获得的;
17、针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时;每个解码耗时是通过客户端设备基于对应的解码模式对所述图像分组中的图像进行解码确定的;每个解码模式包括对所述图像分组的各子图像分别采用的解码类型,且不同解码模式具有不同的解码类型组合;
18、针对所述图像组合信息中的每个图像分装组,获取所述图像分组对应的多个编码耗时;每个编码耗时是通过服务端设备基于对应的编码模式对所述图像分组中的图像进行编码确定的;每个编码模式包括对所述图像分组的各子图像分别采用的编码类型,且不同编码模式具有不同的编码类型组合;
19、根据多个所述解码耗时和多个所述编码耗时,确定所述拆分参数和所述编码参数。
20、第二方面,本技术实施例提供一种图像处理方法,应用于客户端设备,所述方法包括:
21、获取服务端设备发送的多个待解码图像;所述多个待解码图像是服务端设备基于拆分参数和编码参数获得的;所述拆分参数用于将所述待编码图像拆分成多个子图像;所述编码参数包括所述多个子图像分别对应的编码类型;
22、获取解码参数和拼接参数;所述解码参数包括所述多个子图像分别对应的解码类型;所述拼接参数用于表征所述多个子图像的相对位置关系;
23、根据所述多个解码类型,对所述多个待解码图像进行解码,获得多个第二图像;
24、根据所述拼接参数,对所述多个第二图像进行拼接,获得目标图像。
25、在一种可能的设计中,所述解码类型包括硬解码或软解码;所述根据所述多个解码类型,对所述多个待解码图像进行解码,获得多个第二图像,包括:
26、若所述多个待解码图像中存在对应解码类型为硬解码的待硬解码图像,且存在对应解码类型为软解码的待软解码图像,则将对所述待硬解码图像的硬解码和对所述待软解码图像的软解码并行进行,获得多个第二图像。
27、在一种可能的设计中,所述解码参数还包括所述客户端设备所支持的硬解码路数;所述将对所述待硬解码图像的硬解码和对所述待软解码图像的软解码并行进行,获得多个第二图像,包括:
28、若所述硬解码路数为多路,则在对所述待硬解码图像进行硬解码时,根据所述硬解码路数,将所述待硬解码图像分多路并行进行硬解码。
29、在一种可能的设计中,所述拼接参数包括每个子图像在待编码图像上的位置信息;根据所述拼接参数,对所述多个第二图像进行拼接,获得目标图像,包括:
30、根据所述多个第二图像分别对应的子图像在待编码图像上的位置信息,对所述多个第二图像进行拼接,获得目标图像。
31、在一种可能的设计中,所述获取解码参数和拼接参数之前,还包括:
32、获取图像组合信息;所述图像组合信息包括多个图像分组;不同图像分组内的子图像,是根据不同拆分参数对原始图像进行拆分获得的;
33、针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时;每个解码耗时是通过客户端设备基于对应的解码模式对所述图像分组中的图像进行解码确定的;每个解码模式包括对所述图像分组的各子图像分别采用的解码类型,且不同解码模式具有不同的解码类型组合;
34、针对所述图像组合信息中的每个图像分装组,获取所述图像分组对应的多个编码耗时;每个编码耗时是通过服务端设备基于对应的编码模式对所述图像分组中的图像进行编码确定的;每个编码模式包括对所述图像分组的各子图像分别采用的编码类型,且不同编码模式具有不同的编码类型组合;
35、根据多个所述解码耗时和多个所述编码耗时,确定所述拼接参数和所述解码参数。
36、第三方面,本技术实施例提供一种图像编解码参数的确定方法,包括:
37、获取图像组合信息;所述图像组合信息包括多个图像分组;不同图像分组内的子图像,是根据不同拆分参数对原始图像进行拆分获得的;
38、针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时;每个解码耗时是通过客户端设备基于对应的解码模式对所述图像分组中的图像进行解码确定的;每个解码模式包括对所述图像分组的各子图像分别采用的解码类型,且不同解码模式具有不同的解码类型组合;
39、针对所述图像组合信息中的每个图像分装组,获取所述图像分组对应的多个编码耗时;每个编码耗时是通过服务端设备基于对应的编码模式对所述图像分组中的图像进行编码确定的;每个编码模式包括对所述图像分组的各子图像分别采用的编码类型,且不同编码模式具有不同的编码类型组合;
40、根据多个所述解码耗时和多个所述编码耗时,确定目标拆分参数、目标拼接参数、目标解码参数和目标编码参数;以使所述服务端设备根据所述目标拆分参数和所述目标解码参数对待编码图像进行拆分和编码,获得待解码图像,所述客户端设备根据所述目标解码参数和所述目标拼接参数对所述待解码图像进行解码和拼接,获得目标图像。
41、在一种可能的设计中,所述根据多个所述解码耗时和多个所述编码耗时,确定目标拆分参数、目标拼接参数、目标解码参数和目标编码参数,包括:
42、根据多个所述解码耗时和多个所述编码耗时,确定每个图像分组在每个编码模式和每个解码模式下解码耗时和编码耗时的总和,并将总和最小值对应的图像分组确定为目标图像分组、将总和最小值对应的解码模式确定为目标解码模式,将总和最小值对应的编码模式确定为目标编码模式;
43、根据所述目标图像分组确定目标拆分参数和目标拼接参数,根据所述目标解码模式确定目标解码参数,根据所述目标编码模式确定目标编码参数。
44、在一种可能的设计中,应用于服务端设备,所述针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时,包括:
45、将所述图像组合信息发送给所述客户端设备,以使所述客户端设备针对所述图像组合信息中的每个图像分组,基于所述多个解码模式分别对所述图像分组中的图像进行解码,获得所述图像分组对应的多个解码耗时;
46、接收所述客户端设备发送的多个所述图像分组分别对应的多个解码耗时。
47、在一种可能的设计中,应用于服务端设备,所述针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时,包括:
48、将所述图像组合信息发送给所述服务端设备,以使所述服务端设备针对所述图像组合信息中的每个图像分组,基于所述多个编码模式分别对所述图像分组中的图像进行编码,获得所述图像分组对应的多个编码耗时;
49、接收所述服务端设备发送的多个所述图像分组分别对应的多个编码耗时。
50、第四方面,本技术实施例提供一种服务端设备,包括:
51、第一获取模块,用于获取待编码图像以及获取拆分参数和编码参数;所述拆分参数用于将所述待编码图像拆分成多个子图像;所述编码参数包括所述多个子图像分别对应的编码类型;所述编码类型包括硬编码和/或软编码;
52、拆分模块,用于根据所述拆分参数,对所述待编码图像进行拆分,获得多个第一图像;
53、编码模块,用于根据所述多个编码类型,对所述多个第一图像进行编码,获得多个待解码图像,以将所述多个待解码图像发送给客户端设备;所述多个第一图像和所述多个待解码图像为一一对应关系。
54、第五方面,本技术实施例提供一种客户端设备,包括:
55、接收模块,用于获取服务端设备发送的多个待解码图像;所述多个待解码图像是服务端设备基于拆分参数和编码参数获得的;所述拆分参数用于将所述待编码图像拆分成多个子图像;所述编码参数包括所述多个子图像分别对应的编码类型;
56、第二获取模块,用于获取解码参数和拼接参数;所述解码参数包括所述多个子图像分别对应的解码类型;所述拼接参数用于表征所述多个子图像的相对位置关系;
57、解码模块,用于根据所述多个解码类型,对所述多个待解码图像进行解码,获得多个第二图像;
58、拼接模块,用于根据所述拼接参数,对所述多个第二图像进行拼接,获得目标图像。
59、第六方面,本技术实施例提供一种图像处理参数确定设备,包括:
60、第三获取模块,用于获取图像组合信息;所述图像组合信息包括多个图像分组;不同图像分组内的子图像,是根据不同拆分参数对原始图像进行拆分获得的;
61、第四获取模块,用于针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时;每个解码耗时是通过客户端设备基于对应的解码模式对所述图像分组中的图像进行解码确定的;每个解码模式包括对所述图像分组的各子图像分别采用的解码类型,且不同解码模式具有不同的解码类型组合;
62、第五获取模块,用于针对所述图像组合信息中的每个图像分装组,获取所述图像分组对应的多个编码耗时;每个编码耗时是通过服务端设备基于对应的编码模式对所述图像分组中的图像进行编码确定的;每个编码模式包括对所述图像分组的各子图像分别采用的编码类型,且不同编码模式具有不同的编码类型组合;
63、确定模块,用于根据多个所述解码耗时和多个所述编码耗时,确定目标拆分参数、目标拼接参数、目标解码参数和目标编码参数;以使所述服务端设备根据所述目标拆分参数和所述目标解码参数对待编码图像进行拆分和编码,获得待解码图像,所述客户端设备根据所述目标解码参数和所述目标拼接参数对所述待解码图像进行解码和拼接,获得目标图像。
64、第七方面,本技术实施例提供一种服务端设备,包括:至少一个处理器和存储器;
65、所述存储器存储计算机执行指令;
66、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。
67、第八方面,本技术实施例提供一种客户端设备,包括:至少一个处理器和存储器;
68、所述存储器存储计算机执行指令;
69、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第二方面以及第二方面各种可能的设计所述的方法。
70、第九方面,本技术实施例提供一种图像处理系统,包括:如第七方面所述的服务端设备和如第八方面所述的客户端设备。
71、第十方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一、二、三方面以及第一、二、三方面各种可能的设计所述的方法。
72、第十一方面,本技术实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时,实现如上第一、二、三方面以及第一、二、三方面各种可能的设计所述的方法。
73、本实施例提供的图像处理方法、设备、系统、存储介质及程序产品,该方法包括获取待编码图像以及获取拆分参数和编码参数,拆分参数用于将待编码图像拆分成多个子图像,编码参数包括多个子图像分别对应的编码类型,编码类型包括硬编码和/或软编码,根据拆分参数,对待编码图像进行拆分,获得多个第一图像,根据多个编码类型,对多个第一图像进行编码,获得多个待解码图像,以将多个待解码图像发送给客户端设备,多个第一图像和多个待解码图像为一一对应关系。本技术实施例提供的图像处理方法,通过将视频流中的图像进行拆分,并对拆分得到的部分图像采用硬编码,而另一部分图像采用软编码,能够通过软编码硬编码相结合的方式完成视频流的编码,达到充分利用编码设备资源,减少延时和卡顿现象,提升用户的使用体验。
1.一种图像处理方法,其特征在于,应用于服务端设备,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述拆分参数包括至少一组分辨率和每组分辨率对应的预设数量;每组分辨率具有相同分辨率值,不同组分辨率的分辨率值不同;所述根据所述拆分参数,对所述待编码图像进行拆分,获得多个第一图像,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个编码类型,对所述多个第一图像进行编码,获得多个待解码图像,包括:
4.根据权利要求3所述的方法,其特征在于,所述编码参数还包括所述服务端设备所支持的硬编码路数;所述将对所述待硬编码图像的硬编码和对所述待软编码图像的软编码并行进行,获得多个待解码图像,包括:
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述多个编码类型,对所述多个第一图像进行编码,包括:
6.根据权利要求1-4任一项所述的方法,其特征在于,所述获取待编码图像以及获取拆分参数和编码参数之前,还包括:
7.一种图像处理方法,其特征在于,应用于客户端设备,所述方法包括:
8.根据权利要求7所述的方法,其特征在于,所述解码类型包括硬解码或软解码;所述根据所述多个解码类型,对所述多个待解码图像进行解码,获得多个第二图像,包括:
9.根据权利要求8所述的方法,其特征在于,所述解码参数还包括所述客户端设备所支持的硬解码路数;所述将对所述待硬解码图像的硬解码和对所述待软解码图像的软解码并行进行,获得多个第二图像,包括:
10.根据权利要求7-9任一项所述的方法,其特征在于,所述拼接参数包括每个子图像在待编码图像上的位置信息;根据所述拼接参数,对所述多个第二图像进行拼接,获得目标图像,包括:
11.根据权利要求7-9任一项所述的方法,其特征在于,所述获取解码参数和拼接参数之前,还包括:
12.一种图像编解码参数的确定方法,其特征在于,包括:
13.根据权利要求12所述的方法,其特征在于,所述根据多个所述解码耗时和多个所述编码耗时,确定目标拆分参数、目标拼接参数、目标解码参数和目标编码参数,包括:
14.根据权利要求12或13所述的方法,其特征在于,应用于服务端设备,所述针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时,包括:
15.根据权利要求12或13所述的方法,其特征在于,应用于服务端设备,所述针对所述图像组合信息中的每个图像分组,获取所述图像分组对应的多个解码耗时,包括:
16.一种服务端设备,其特征在于,包括:
17.一种客户端设备,其特征在于,包括:
18.一种图像处理参数确定设备,其特征在于,包括:
19.一种服务端设备,其特征在于,包括:至少一个处理器和存储器;
20.一种客户端设备,其特征在于,包括:至少一个处理器和存储器;
21.一种图像处理系统,其特征在于包括如权利要求19所述的服务端设备和如权利要求20所述的客户端设备。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-15任一项所述的方法。
23.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-15任一项所述的方法。