一种VR头显终端应用渲染运行方法及系统与流程

一种vr头显终端应用渲染运行方法及系统
技术领域
1.本发明涉及vr头显技术领域，具体来说，涉及一种vr头显终端应用渲染运行方法及系统。


背景技术：

2.虚拟现实技术(vr)是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
3.随着虚拟现实技术的不断推广，其对应的vr头显终端也被用于各个领域，如影视领域、游戏领域以及教学领域等等。然而，由于vr头显终端属于眼镜类产品，使用过程中只能自己看到头显画面，对应用的操控也是使用手柄等配套设备进行自行操控。从而在面对教学领域等需要进行集群操作的领域来说，无法做到监控和控制vr头显终端内显示的内容，同时，如果想要进行课程教学时，无法做到vr头显内的显示内容整体同步。进而影响教学或集群操作质量。
4.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.针对相关技术中的问题，本发明提出一种vr头显终端应用渲染运行方法及系统，以解决相关技术问题。
6.本发明的技术方案是这样实现的：
7.根据本发明的一个方面，提供了一种vr头显终端应用渲染运行方法。
8.该vr头显终端应用渲染运行方法包括：
9.在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；
10.接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及vr头显标识信息；
11.根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；
12.根据所述vr头显标识信息，连接vr头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端。
13.此外，该vr头显终端应用渲染运行方法还包括：操作平台根据预先配置的连接协议连接vr头显终端，并获取vr头显终端的终端信息；根据所述终端信息，生成与所述vr头显终端对应的vr头显标识信息。
14.其中，所述连接协议为websocket连接协议，所述终端信息包括vr头显终端mac地址信息。
15.另外，该vr头显终端应用渲染运行方法还包括：操作平台根据欲运行的终端应用
信息以及渲染节点信息，生成调度命令信息，并根据vr头显标识信息将所述调度命令信息发送对应的vr头显终端；vr头显终端接收所述调度命令信息，并对所述调度命令信息进行解析，获取终端应用信息以及渲染节点信息；vr头显终端根据终端应用信息以及渲染节点信息，生成所述调度请求信息，并将所述调度请求信息发送至集群服务器。
16.其中，所述终端应用信息包括终端应用id；所述渲染节点信息包括渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息。
17.其中，将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端包括：对运行所述终端应用的集群服务器渲染虚拟桌面进加载镜像文件；对所述镜像文件进行封装，将封装后的镜像文件发送至vr头显终端，促使vr头显终端运行所述镜像文件实现桌面共享。
18.根据本发明的另一方面，提供了一种vr头显终端应用渲染运行系统。
19.该vr头显终端应用渲染运行系统包括：
20.渲染部署模块，位于集群服务器侧，用于在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；
21.调度分析模块，位于集群服务器侧，用于接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及vr头显标识信息；
22.调度运行模块，位于集群服务器侧，用于根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；
23.共享传输模块，位于集群服务器侧，用于根据所述vr头显标识信息，连接vr头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端。
24.此外，vr头显终端应用渲染运行系统还包括：
25.连接获取模块，位于操作平台侧，用于根据预先配置的连接协议连接vr头显终端，并获取vr头显终端的终端信息；
26.标识生成模块，位于操作平台侧，根据所述终端信息，生成与所述vr头显终端对应的vr头显标识信息。
27.其中，所述连接协议为websocket连接协议，所述终端信息包括vr头显终端mac地址信息。
28.另外，vr头显终端应用渲染运行系统还包括：
29.调度命令生成模块，位于操作平台侧，用于根据欲运行的终端应用信息以及渲染节点信息，生成调度命令信息，并根据vr头显标识信息将所述调度命令信息发送对应的vr头显终端；
30.调度命令分析模块，位于vr头显终端侧，用于接收所述调度命令信息，并对所述调度命令信息进行解析，获取终端应用信息以及渲染节点信息；
31.调度请求生成模块，位于vr头显终端侧，用于根据终端应用信息以及渲染节点信息，生成所述调度请求信息，并将所述调度请求信息发送至集群服务器。
32.其中，所述终端应用信息包括终端应用id；所述渲染节点信息包括渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息。
33.其中，所述共享传输模块在将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端时，对运行所述终端应用的集群服务器渲染虚拟桌面进加载镜像文件；
并对所述镜像文件进行封装，将封装后的镜像文件发送至vr头显终端，促使vr头显终端运行所述镜像文件实现桌面共享。
34.有益效果：本发明能够实现对vr头显终端应用的统一管理和调度，促使vr头显终端通过渲染实现应用集群操作的统一显示，不仅实现了对vr头显终端显示内容的统一控制，实现vr头显集群操作的同步，还能够有效的对显示内容进行监控，避免集群操作时，vr头显之间的操作和显示不同步而影响集群操作质量的问题。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是根据本发明实施例的一种vr头显终端应用渲染运行方法的流程示意图；
37.图2是根据本发明实施例的一种vr头显终端应用渲染运行系统的系统框图；
38.图3是根据本发明实施例的一种vr头显终端应用启动/停止的工作流程图；
39.图4是根据本发明实施例的vr头显终端应用启动流程图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
41.根据本发明的实施例，提供了一种vr头显终端应用渲染运行方法及系统。
42.如图1所示，根据本发明实施例的一种vr头显终端应用渲染运行方法包括：
43.步骤s101，在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；
44.步骤s103，接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及vr头显标识信息；
45.步骤s105，根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；
46.步骤s107，根据所述vr头显标识信息，连接vr头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端。
47.在一个实施例中，该vr头显终端应用渲染运行方法还包括：操作平台根据预先配置的websocket连接协议连接vr头显终端，并获取vr头显终端的mac地址信息；根据所述mac地址信息，生成与所述vr头显终端对应的vr头显标识信息。
48.在一个实施例中，该vr头显终端应用渲染运行方法还包括：操作平台根据欲运行的终端应用id以及渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息，生成调度命令信息，并根据vr头显标识信息将所述调度命令信息发送对应的vr头显终端；vr头显终端接收所述调度命令信息，并对所述调度命令信息进行解析，获取终端应用id
以及渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息；vr头显终端根据终端应用id以及渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息，生成所述调度请求信息，并将所述调度请求信息发送至集群服务器。此时，集群服务器根据终端应用id调度应用终端应用，根据渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息，调度渲染节点，并利用渲染节点的集群服务器渲染虚拟桌面运行终端应用。
49.对应的，如图2所示，根据本发明实施例的一种vr头显终端应用渲染运行系统包括：
50.渲染部署模块201，位于集群服务器侧，用于在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；
51.调度分析模块203，位于集群服务器侧，用于接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及vr头显标识信息；
52.调度运行模块205，位于集群服务器侧，用于根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；
53.共享传输模块207，位于集群服务器侧，用于根据所述vr头显标识信息，连接vr头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端。
54.在一个实施例中，vr头显终端应用渲染运行系统还包括：连接获取模块(图中未示出)，位于操作平台侧，用于根据预先配置的websocket连接协议连接vr头显终端，并获取vr头显终端的mac地址信息；标识生成模块(图中未示出)，位于操作平台侧，根据所述mac地址信息，生成与所述vr头显终端对应的vr头显标识信息。
55.在一个实施例中，vr头显终端应用渲染运行系统还包括：调度命令生成模块(图中未示出)，位于操作平台侧，用于根据欲运行的终端应用id以及渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息，生成调度命令信息，并根据vr头显标识信息将所述调度命令信息发送对应的vr头显终端；调度命令分析模块(图中未示出)，位于vr头显终端侧，用于接收所述调度命令信息，并对所述调度命令信息进行解析，获取终端应用id以及渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息；调度请求生成模块(图中未示出)，位于vr头显终端侧，用于根据终端应用id以及渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息，生成所述调度请求信息，并将所述调度请求信息发送至集群服务器。
56.在应用时，集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端时，可通过将渲染节点的steamvr驱动程序注册到steamvr运行环境中，启动终端vr程序，steamvr运行环境将加载渲染节点驱动程序的运行画面数据进行采集并编码成视频流，根据预设配置，渲染节点驱动程序使用h265或h264的编码格式和码率通过服务端口发送到头显端，头显接收视频流并在头显的应用程序中的内置播放器进行视频画面显示。头显端程序将采集到的手柄控制数据和头显定位数据通过网络传输到渲染节点服务器，渲染节点服务器将接收到的数据转发给渲染节点驱动程序进行交互。将应用程序从头显搬到服务器端，由渲染服务器负责程序运行，头显端负责画面显示。
57.为了方便理解本发明的上述技术方案，以下通过实际应用部署方案对本发明的上
述技术方案进行详细说明。
58.头显终端启动后首先会和平台服务建立一条websocket的连接，此连接在当前生命周期内一直有效，平台收到头显启动的连接后记录该设备的信息并建立一个唯一连接后通知头显终端建立成功。一个平台服务可以和多个头显终端建立连接，平台服务和头显终端建立连接成功后，头显终端会发送当前设备的mac地址到平台服务，平台服务会根据当前连接生成一个唯一标识id，以保证当前连接的唯一性。远程启动/关闭包含发送模块、接收模块和处理模块。发送模块是存在平台服务中的功能，接收模块为头显功能，当websocket连接建立成功后，发送模块和接收模块会建立连接并实时收发信息。
59.启动应用：在平台管理的后台管理页面中点击某一应用，此时会显示出头显终端的设备列表，勾选某一设备或多个设备，点击启动应用。发送模块会发送一条启动应用的json指令到指定的头显终端，指令中包含渲染节点的ip、端口和启动的定义参数以及要启动的应用id。接收模块收到发送模块发送的消息后转发给处理模块进行处理指令数据。处理模块为头显端的service功能，处理模块接收到转发的数据后根据相应的ip、端口号、id与渲染节点建立渲染应用的功能，此时，远程启动应用开启成功，此时终端设备会锁定头显终端手柄的退出按键，操作人只能通过开放的按键操作对应的功能。除非使用物理关机按键关掉头显，否则操作人无法退出应用。
60.关闭应用：在平台的后台管理页面点击设备列表，列表内的在线头显终端显示为已启动/未运行两种状态，点击已启动的设备点击停止按钮。发送模块发送一条关闭应用的json指令到头显终端，指令中包含关闭的定义参数。接收模块接收到发送模块发送的消息后转发给处理模块进行处理。处理模块接收到转发的指令后，通过判断参数得知是关闭应用的指令，此时处理模块去调用关闭应用的方法，应用关闭成功。
61.此外，机制流程如图3所示，应用平台负责应用的管理，包括：指令控制系统，用于建立和终端的长连接，以及终端消息的接收功能。应用列表，用于管理应用，上传/修改应用，应用的介绍和应用当前运行状态的展示。发送模块，当后台发送一条指令时，首先指令控制系统发送消息到发送模块，发送把消息通过长连接发送给头显终端。头显终端负责平台发送过来的消息，并对消息进行处理，以进行下一步操作，包括：
62.1、终端服务，用于发送和平台建立长连接的请求，每隔15秒刷新一次请求，如果连接还在建立，则跳过，如果连接断开则重新发送一次建立连接的请求，以保证平台和头显终端在当前生命周期内保持永久连接。
63.2、接收模块，用于接收发送模块发送的消息，并把消息转发给处理模块。
64.3、处理模块，用于处理接收模块接收到的消息，根据不同消息类型对下一步逻辑进行处理。
65.如图4所示，介绍了整个系统的启动流程，包括头显终端和平台的关系：头显终端启动后首先通过后台服务发送一条请求建立长连接的消息给平台，平台收到后记录该设备的信息并建立一个唯一连接后通知头显终端建立成功。头显终端每隔15秒发送一条消息给平台，用来判断当前连接是否断开，如断开则重新连接，至此，保证平台和头显终端始终保持长连接状态。如果要远程启动某一头显终端的应用，首先平台选择一款应用，选择要启动的头显设备，点击启动应用后通过发送模块发送打开应用的指令给头显终端，头显终端接收到指令并启动应用后通知平台已启动，至此平台改变平台记录此头显终端的状态为已运
行某应用。头显终端接收到平台发送的指令后转发此指令给处理模块，处理模块判断该消息类型，然后执行具体的应用操作。
66.综上所述，借助于本发明的上述技术方案，本发明能够实现对vr头显终端应用的统一管理和调度，促使vr头显终端通过渲染实现应用集群操作的统一显示，不仅实现了对vr头显终端显示内容的统一控制，实现vr头显集群操作的同步，还能够有效的对显示内容进行监控，避免集群操作时，vr头显之间的操作和显示不同步而影响集群操作质量的问题。
67.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种vr头显终端应用渲染运行方法，其特征在于，包括：在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及vr头显标识信息；根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；根据所述vr头显标识信息，连接vr头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端。2.根据权利要求1所述的vr头显终端应用渲染运行方法，其特征在于，还包括：操作平台根据预先配置的连接协议连接vr头显终端，并获取vr头显终端的终端信息；根据所述终端信息，生成与所述vr头显终端对应的vr头显标识信息。3.根据权利要求2所述的vr头显终端应用渲染运行方法，其特征在于，所述连接协议为websocket连接协议，所述终端信息包括vr头显终端mac地址信息。4.根据权利要求2所述的vr头显终端应用渲染运行方法，其特征在于，还包括：操作平台根据欲运行的终端应用信息以及渲染节点信息，生成调度命令信息，并根据vr头显标识信息将所述调度命令信息发送对应的vr头显终端；vr头显终端接收所述调度命令信息，并对所述调度命令信息进行解析，获取终端应用信息以及渲染节点信息；vr头显终端根据终端应用信息以及渲染节点信息，生成所述调度请求信息，并将所述调度请求信息发送至集群服务器。5.根据权利要求4所述的vr头显终端应用渲染运行方法，其特征在于，所述终端应用信息包括终端应用id；所述渲染节点信息包括渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息。6.一种vr头显终端应用渲染运行系统，其特征在于，包括：渲染部署模块，位于集群服务器侧，用于在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；调度分析模块，位于集群服务器侧，用于接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及vr头显标识信息；调度运行模块，位于集群服务器侧，用于根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；共享传输模块，位于集群服务器侧，用于根据所述vr头显标识信息，连接vr头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至vr头显终端。7.根据权利要求6所述的vr头显终端应用渲染运行系统，其特征在于，还包括：连接获取模块，位于操作平台侧，用于根据预先配置的连接协议连接vr头显终端，并获取vr头显终端的终端信息2标识生成模块，位于操作平台侧，根据所述终端信息，生成与所述vr头显终端对应的vr头显标识信息。8.根据权利要求7所述的vr头显终端应用渲染运行系统，其特征在于，所述连接协议为
websocket连接协议，所述终端信息包括vr头显终端mac地址信息。9.根据权利要求6所述的vr头显终端应用渲染运行系统，其特征在于，还包括：调度命令生成模块，位于操作平台侧，用于根据欲运行的终端应用信息以及渲染节点信息，生成调度命令信息，并根据vr头显标识信息将所述调度命令信息发送对应的vr头显终端；调度命令分析模块，位于vr头显终端侧，用于接收所述调度命令信息，并对所述调度命令信息进行解析，获取终端应用信息以及渲染节点信息；调度请求生成模块，位于vr头显终端侧，用于根据终端应用信息以及渲染节点信息，生成所述调度请求信息，并将所述调度请求信息发送至集群服务器。10.根据权利要求9所述的vr头显终端应用渲染运行系统，其特征在于，所述终端应用信息包括终端应用id；所述渲染节点信息包括渲染节点ip地址信息、渲染节点端口信息和渲染节点启动定义参数信息。

技术总结
本发明公开了一种VR头显终端应用渲染运行方法及系统，该方法包括：在集群服务器中预先存储终端应用，并在集群服务器内部署渲染节点，构建集群服务器渲染虚拟桌面；接收调度请求信息，并对调度请求信息进行分析，确定调度请求信息所包含的终端应用信息及VR头显标识信息；根据所述终端应用信息，调度对应的终端应用，并通过集群服务器渲染虚拟桌面运行所述终端应用；根据所述VR头显标识信息，连接VR头显终端，并将运行所述终端应用的集群服务器渲染虚拟桌面共享传输至VR头显终端。本发明能够实现对VR头显终端应用的统一管理和调度，避免集群操作时，VR头显之间的操作和显示不同步而影响集群操作质量的问题。影响集群操作质量的问题。影响集群操作质量的问题。


技术研发人员：巩在敬 王红梅 李建华
受保护的技术使用者：北京易智时代数字科技有限公司
技术研发日：2022.02.16
技术公布日：2022/5/25