本申请涉及数据处理,特别是涉及一种直播数据处理方法、装置及存储介质。
背景技术:
1、随着移动端直播技术的发展,手机直播已经成为当前最灵活方便的直播形式。手机直播的实现形式主要是通过摄像头以及麦克风等图像、音频采集设备采集视频画面与音频数据。以视频采集为例的,采集到的主播端的视频一方面需要进行本地的直播预览,另一方面将预览的数据实时发送至流媒体直播服务器进行cdn(content deliverynetwork,内容分发网络)的转发,从而实现观众端的直播观看。在进行直播时,由于受到手机屏幕尺寸的影响,通常会利用手写板等工具将相关书写内容通过局域网传递给主播端,主播端将视频画面和手写板中内容进行合成,并将合成的画面推送至直播服务端,用于观众的观看。
2、但是目前的将手写板等工具中的内容与直播的视频画面进行合成时,由于受渲染等方式的限制,使得观众看到的直播画面和主播实时显示的画面并不一致,造成了画面处理的精准性较差的问题,影响了观众的体验效果。
技术实现思路
1、针对于上述问题,本申请提供了如下技术方案:
2、一种直播数据处理方法,应用于推流服务器,包括:
3、分别获得与主播端对应的主播视频画面以及直播辅助关联图像;
4、对每一帧的所述主播视频画面以及对应的所述直播辅助关联图像进行纹理处理,得到每一帧对应的第一合成图像;
5、将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标;
6、将坐标转换后的每一帧对应的第一合成图像进行处理,生成目标视频画面。
7、可选地,所述分别获得与主播端对应的主播视频画面以及直播辅助关联画面,包括:
8、接收主播端发送的主播视频画面以及直播辅助关联图像的图像路径;
9、基于所述图像路径,获得与当前帧的主播视频画面对应的直播辅助关联图像;其中,所述直播辅助关联图像的图像路径为所述主播端将接收到的直播辅助关联图像转换成目标图像格式后生成的图像存储路径。
10、可选地,所述对每一帧的所述主播视频画面以及对应的所述直播辅助关联图像进行纹理处理,得到每一帧对应的第一合成图像,包括:
11、分别对每一帧的所述主播视频画面以及对应的所述直播辅助关联图像进行处理,得到主播视频画面的第一纹理图像以及直播辅助关联图像的第二纹理图像;
12、对所述第一纹理图像进行渲染,得到第一图层;
13、在所述第一图层上对所述第二纹理图像进行渲染,得到第二图层;
14、将所述第一图层和所述第二图层合成,得到每一帧对应的第一合成图像。
15、可选地,所述基于所述图像路径,获得与当前帧的主播视频画面对应的直播辅助关联图像,包括:
16、基于所述图像路径,获得当前帧的主播视频画面对应的直播辅助关联编码图像;
17、对所述直播辅助关联编码图像进行解码处理,得到直播辅助关联图像。
18、可选地,所述将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标,包括:
19、获得操作系统屏幕的第一分辨率以及渲染处理器的坐标系对应的第二分辨率;
20、基于所述第一分辨率和所述第二分辨率,将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标。
21、可选地,所述基于所述第一分辨率和所述第二分辨率,将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标,包括:
22、若所述第一分辨率和所述第二分辨率相同,获得每一帧对应的第一合成图像在操作系统屏幕的宽度和高度,以及所述操作系统的宽度和高度;
23、基于所述第一合成图像在操作系统屏幕的宽度和高度,以及所述操作系统的宽度和高度,确定所述第一合成图像在渲染处理器的坐标系下的坐标。
24、可选地,所述将坐标转换后的每一帧对应的第一合成图像进行处理,生成目标视频画面,包括:
25、对坐标转换后的每一帧对应的第一合成图像进行视图处理,得到处理后的图像;
26、对处理后的图像进行编码和格式封装,得到目标视频画面。
27、可选地,还包括:
28、将所述目标视频画面发送至主播端,并对所述目标视频画面进行直播推流;其中,所述目标视频画面作为所述主播端的直播预览画面呈现在所述主播端。
29、一种直播数据处理装置,应用于推流服务器,包括:
30、获取单元,用于分别获得与主播端对应的主播视频画面以及直播辅助关联图像;
31、第一处理单元,用于对每一帧的所述主播视频画面以及对应的所述直播辅助关联图像进行纹理处理,得到每一帧对应的第一合成图像;
32、转换单元,用于将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标;
33、第二处理单元,用于将坐标转换后的每一帧对应的第一合成图像进行处理,生成目标视频画面。
34、一种存储介质,其特征在于,所述存储介质存储有可执行指令,所述指令被处理器执行时实现如上述中任意一项所述的直播数据处理方法。
35、相较于现有技术,本申请提供了一种直播数据处理方法、装置及存储介质,该方法应用于推流服务器,包括:分别获得与主播端对应的主播视频画面以及直播辅助关联图像;对每一帧的主播视频画面以及对应的直播辅助关联图像进行纹理处理,得到每一帧对应的第一合成图像;将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标;将坐标转换后的每一帧对应的第一合成图像进行处理,生成目标视频画面。在本申请实施例中将直播辅助关联图像与主播视频画面在推流服务器进行渲染,通过实时将直播辅助关联图像与主播视频画面在同一坐标系下进行渲染和合成,进而将得到的目标视频画面进行实时预览与编码推流,保证了主播端画面与观众端画面的一致性。
1.一种直播数据处理方法,其特征在于,应用于推流服务器,包括:
2.根据权利要求1所述的方法,其特征在于,所述分别获得与主播端对应的主播视频画面以及直播辅助关联画面,包括:
3.根据权利要求1所述的方法,其特征在于,所述对每一帧的所述主播视频画面以及对应的所述直播辅助关联图像进行纹理处理,得到每一帧对应的第一合成图像,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述图像路径,获得与当前帧的主播视频画面对应的直播辅助关联图像,包括:
5.根据权利要求1所述的方法,其特征在于,所述将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标,包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述第一分辨率和所述第二分辨率,将每一帧对应的第一合成图像在操作系统屏幕的屏幕坐标系下的坐标转换成在渲染处理器的坐标系下的坐标,包括:
7.根据权利要求1所述的方法,其特征在于,所述将坐标转换后的每一帧对应的第一合成图像进行处理,生成目标视频画面,包括:
8.根据权利要求1所述的方法,其特征在于,还包括:
9.一种直播数据处理装置,其特征在于,应用于推流服务器,包括:
10.一种存储介质,其特征在于,所述存储介质存储有可执行指令,所述指令被处理器执行时实现如权利要求1-8中任意一项所述的直播数据处理方法。
