一种窗口控制方法、电子设备及计算机可读存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种窗口控制方法、电子设备及计算机可读存储介质。


背景技术：

2.增强现实(augmented reality，ar)是一种全新的人机交互技术。通过ar技术，可以让参与者与虚拟对象进行实时互动，从而获得一种奇妙的视觉体验，而且能够突破空间、时间以及其它客观限制，感受到在真实世界中无法亲身经历的体验。虚拟现实(virtual reality，vr)是一种虚拟现实技术，通过计算机技术生成一种模拟环境，同时使用户沉浸到创建出的三维动态实景，可以理解为一种对现实世界的仿真系统。而最早vr技术应用于军事领域，最常见的产品则是头戴显示器。
3.与ar/vr设备的交互技术主要利用的是集成至头显的运动传感器。在用户旋转头部时可以改变视野里的场景。随着ar/vr技术的不断发展，逐渐出现了一系列的指向部件，例如手套、手表、手机以及手柄等。指向部件将双手呈现在虚拟场景中，实现用户四周移动的目的。通过跟踪这些或手的旋转、移动等状态，将这些指向部件的运动状态映射到虚拟物体的移动、选择、旋转以及缩放等交互上。目前，利用ar/vr设备的交互技术还比较简单，主要集中在手势、手柄与界面进行交互。在利用手势、手柄与界面进行交互时，只能针对界面中单个平面的单个窗口进行独立操作。如对单个窗口的分割、关闭以及移动等。如此，当界面中存在多个窗口时，该种方式并不适用，导致用户的体验感较差。


技术实现要素：

4.本发明的目的在于提供一种窗口控制方法、电子设备及计算机可读存储介质，便于对多个窗口同时进行操作，提升了用户体验感
5.第一方面，本技术实施例公开了一种窗口控制方法，应用于基于虚拟现实技术或增强现实的电子设备，电子设备关联有指向部件，窗口控制方法用于控制显示在电子设备的可视区域内的多个窗口层，各个窗口层沿远离电子设备的用户侧的方向依次排列，各个窗口层中包括多个窗口，其中，窗口控制方法包括：
6.检测指向部件的移动；
7.基于指向部件的移动轨迹确定选择区域；
8.根据选择区域从多个窗口层中确定至少一个目标窗口；
9.对各至少一个目标窗口同时执行指向部件指示的操作。
10.通过本技术实施例公开的一种窗口控制方法，电子设备和指向部件相互关联,电子设备能够被用于控制指向部件选中的多个窗口。当用户在使用电子设备的时候，在电子设备的可视区域内呈现处于同一个层级或者处于不同的层级的多个窗口。用户可以利用指向部件从多个窗口中选取部分窗口作为待控制的目标窗口。所选取的目标窗口可以是处于同一个层级或者分别处于不同的层级的多个窗口。选取目标窗口后，设备对各目标窗口同
时执行指向部件指示的操作。指示设备指示的操作包括但不限于收放操作以对目标窗口进行缩小或放大、替换操作以对选中的目标窗口互相进行替换、删除操作以对选中的目标窗口进行删除等。如此，用户利用指向部件选中多个目标窗口，从而便于电子设备对各目标窗口进行批量操作，提升了用户的体验感。
11.根据本技术第一方面提供的一些实施例，指向部件的移动是针对窗口的点击，基于指向部件的点击位置确定选择区域。
12.根据本技术第一方面提供的一些实施例，指向部件的移动是以预订轨迹移动，
13.基于指向部件移动时形成的轨迹，确定选择区域。
14.根据本技术第一方面提供的一些实施例，指向部件移动时形成的轨迹形成封闭图形，电子设备基于封闭图形所覆盖的区域确定选择区域，作为选择区域的封闭图形的区域内的窗口为选中的目标窗口。
15.根据本技术第一方面提供的一些实施例，基于指向部件指示的收放操作包括对各目标窗口进行缩小、放大、移动窗口位置。
16.根据本技术第一方面提供的一些实施例，根据选择区域从多个窗口层中确定至少一个目标窗口包括：
17.基于选择区域，确定同一个窗口层中的至少一个目标窗口。
18.根据本技术第一方面提供的一些实施例，根据选择区域从多个窗口层中确定至少一个目标窗口包括：
19.基于选择区域，确定多个窗口层中的多个目标窗口，每个窗口层中至少一个窗口被选中。
20.根据本技术第一方面提供的一些实施例，选择区域所确定的封闭图形的范围，覆盖多个窗口层中的多个窗口，多个窗口被确定作为目标窗口。
21.根据本技术第一方面提供的一些实施例，选择区域在多个窗口层中的一个窗口层上选择的窗口，以及选择区域被映射到其他窗口层上所确定的至少一个窗口，作为目标窗口。
22.根据本技术第一方面提供的一些实施例，在至少一个目标窗口包括至少两个窗口的情况下，执行指向部件指示的操作对多个目标窗口执行指向部件指示的操作，包括
23.互相调换至少两个窗口的位置。
24.根据本技术第一方面提供的一些实施例，至少两个窗口被分成两个窗口组，执行指向部件指示的操作对多个目标窗口执行指向部件指示的操作，包括
25.互相调换两个窗口组的位置。
26.根据本技术第一方面提供的一些实施例，调整至少两个窗口中的第一目标窗口的面积以和第二目标窗口的位置处的显示区域相适应，或调整至少两个窗口中的第二目标窗口的面积以和第一目标窗口的位置处的显示区域相适应。
27.第二方面，本技术实施例公开了一种电子设备，电子设备关联有指向部件，且电子设备基为基于虚拟现实技术或增强现实的电子设备，电子设备包括：
28.存储器，存储器用于存储窗口控制指令；
29.处理器，处理器在执行窗口控制指令时实现如下步骤：
30.检测指向部件的移动；
31.基于指向部件的移动轨迹确定选择区域；
32.根据选择区域从多个窗口层中确定至少一个目标窗口；
33.对各至少一个目标窗口同时执行指向部件指示的操作。
34.通过本技术实施例公开的一种电子设备，通过本技术实施例公开的一种窗口控制方法，电子设备和指向部件相互关联,电子设备能够被用于控制指向部件选中的多个窗口。当用户在使用电子设备的时候，在电子设备的可视区域内呈现处于同一个层级或者处于不同的层级的多个窗口。用户可以利用指向部件从多个窗口中选取部分窗口作为待控制的目标窗口。所选取的目标窗口可以是处于同一个层级或者分别处于不同的层级的多个窗口。选取目标窗口后，设备对各目标窗口同时执行指向部件指示的操作。指示设备指示的操作包括但不限于收放操作以对目标窗口进行缩小或放大、替换操作以对选中的目标窗口互相进行替换、删除操作以对选中的目标窗口进行删除等。如此，用户利用指向部件选中多个目标窗口，从而便于电子设备对各目标窗口进行批量操作，提升了用户的体验感。
35.根据本技术第二方面提供的一些实施例，处理器在执行窗口控制指令时，还用于基于指向部件的点击位置确定选择区域。
36.根据本技术第二方面提供的一些实施例，处理器在执行窗口控制指令时，还用于基于指向部件移动时形成的轨迹，确定选择区域。
37.根据本技术第二方面提供的一些实施例，处理器在执行窗口控制指令时，还用于基于指向部件指示的收放操作包括对各目标窗口进行缩小、放大、移动窗口位置。
38.根据本技术第二方面提供的一些实施例，处理器在执行窗口控制指令时，还用于基于选择区域，确定同一个窗口层中的至少一个目标窗口，或者基于选择区域，确定多个窗口层中的多个目标窗口，每个窗口层中至少一个窗口被选中。
39.根据本技术第二方面提供的一些实施例，存储器还用于存储选择区域，以使处理器调用选择区域。
40.根据本技术第二方面提供的一些实施例，处理器在执行窗口控制指令时，还用于互相调换至少两个窗口的位置或者互相调换两个窗口组的位置。
41.第三方面，本技术实施例公开了一种计算机可读存储介质，计算机可读存储介质存储有存储窗口控制指令，存储窗口控制指令被处理器执行时实现如以上任意一种所提到的窗口控制方法。
42.本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
43.图1a和图1b为本技术实施例提供的一种电子设备和指向部件构成的场景图；
44.图1c和图1d为本技术实施例提供的一种指向部件的结构示意图；
45.图2a至图2c为本技术实施例示例的目标窗口的选择方式的示意图；
46.图3a至图3c为本技术实施例示例的目标窗口的选择方式对应的选择结果的示意图；
47.图4为本技术实施例示例的窗口的分布示意图；
48.图5a示例性示出了本技术实施例公开的一种vr设备的结构示意图；
49.图5b示例性示出了本技术实施例公开的一种vr设备的存储器的结构示意图；
50.图6a至图6b为本技术实施例示例的对处于同一个层级的窗口进行收放的示意图；
51.图7a至图7c为本技术实施例示例的对处于不同层级的窗口进行收放的示意图；
52.图8a至图8c为本技术实施例示例的对处于不同层级的但处于同一纵向空间的窗口进行收放的示意图；
53.图9a至图9c为本技术实施例示例的另一种对处于不同层级的窗口进行收放的示意图；
54.图10a至图10c为本技术实施例示例的处于同一层级的两个窗口进行替换的示意图；
55.图11a至图11b为本技术实施例示例的处于不同层级的多个窗口进行替换的示意图；
56.图12a至图12b为本技术实施例示例的处于不同层级但处于同一纵向空间的多个窗口进行替换的示意图；
57.图13为本技术实施例提供的一种窗口控制方法应用于控制不同层级或同一层级的窗口进行收放的流程示意图；
58.图14a至图14b为本技术实施例提供的一种窗口控制方法应用于控制不同层级或同一层级的窗口进行替换的流程示意图；
59.图15为本技术实施例公开的一种窗口控制装置的结构示意图；
60.图16为本技术实施例公开的一种电子设备的结构示意图；
61.图17为本技术实施例公开的一种soc的结构示意图。
具体实施方式
62.本技术实施例提供的窗口控制方法应用于电子设备中，该电子设备包括但不限于ar设备或vr设备。其中，ar设备采用增强现实技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。ar设备采用虚拟现实技术，虚拟现实技术主要包括模拟环境、感知、自然技术和传感设备等方面。模拟环境是由计算机生成的，动态的三维立体逼真图像。感知是指理想的vr应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、离觉以及运动等感知。自然技能是指人的头部转动、眼睛、手势或其他人人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入做出实时响应，并分别反馈到用户的五官。
63.下面结合附图对本技术实施例提供的一种窗口控制方法进行说明，首先，请参见图1a和图1b，图1a和图1b为本技术实施例提供的一种电子设备和指向部件构成的场景图。
64.图1a和图1b所示的场景图中，包括但不限于以vr设备为示例的电子设备10，以遥控手柄为示例的指向部件11，以及呈现在vr设备的可视区域100(如图1a中虚线101和虚线102之间的区域)内的多个窗口1000。vr设备和遥控手柄相互关联使得vr设备控制遥控手柄选中的多个窗口。当用户穿戴vr设备之后，在vr设备的可视区域100内呈现多个窗口1000。用户可以利用指向部件11从多个窗口中选取部分窗口作为待控制的目标窗口。选取目标窗口后，vr设备对各目标窗口同时执行指向部件11指示的操作。
65.值得注意的是，虽然上文中解释的指向部件11的实例可以是遥控手柄，但是本申
请不限于，指向部件11还可以是如图1b所示的手套、如图1c所示的手表、如图1d所示的手环等终端，或者是用户的手部等。虽然上文中解释的指向部件11用于控制vr设备显示的窗口，但是本技术也不限于此，指向部件还可以用于其他的功能性操作，例如控制游戏中的对象移动，执行动作等。
66.根据本技术的实施例，目标窗口的选择方式包括但不限于点选(点击选取，被点击的窗口选取为目标窗口)、面选(绘制封闭图形进行选取，封闭图形所覆盖的窗口为目标窗口)以及线状选取(绘制线条的方式进行选取，线条所覆盖的窗口被选取为目标窗口)等方式。
67.图2为本技术实施例示例的目标窗口的选择方式的示意图。例如图2中最左侧图2a所示例的，用户可以利用遥控手柄上提供的按键，或者手持遥控手柄进行类似敲击或点击的动作，来点击呈现在vr设备的可视区域内的一个或多个窗口。被点击的窗口可以作为被选中的目标窗口。如图2中中间图2b所示例的，用户可以通过针对一个或多个窗口的手部的敲击或点击动作，或者挥动手部选中手部挥动所经过的区域内的窗口，将它们作为被选中的目标窗口。其中，手部挥动可以在vr设备的可视区域内进行移动，移动的轨迹形成封闭图形时，封闭图形覆盖的窗口为目标窗口。手部在vr设备的可视区域内移动时，移动的轨迹形成曲线或直线，曲线或直线所覆盖的窗口则可以被选中为目标窗口，可以理解的是，用户也可以利用遥控手柄在vr设备的可视区域内进行移动，从而建立封闭图形以选取目标窗口，本技术实施例在此并不作限定。如图2的中间图2c所示例的，用户可以通过手部抓取部分窗口作为目标窗口，用户手部抓取时，手部覆盖的窗口即为选中的目标窗口。
68.图3a至图3c为本技术实施例示例的目标窗口的选择方式对应的选择结果的示意图。如图3a所示例的，用户基于遥控手柄或手指点击窗口a、窗口b、窗口c以及窗口d中的窗口a、窗口c以及窗口d时。作为被选中的目标窗口的窗口a、窗口c以及窗口d可以在右上角展示选中标识1001。选中标识1001可以为如图3a所示的黑色的圆点。也可以为其他形状以及类型的标识，如三角形、菱形、方形等。本技术实施例在此并不作限定。
69.如图3b所示例的，用户利用手部或者遥控手柄在vr设备的可视区域内进行移动。移动轨迹形成的封闭图形如图3b所示的规则矩形1002或者三角形1003或者不规则形状1004等。图3b所示的封闭图形所示的规则矩形1002、三角形1003以及不规则形状1004所覆盖的窗口a、窗口b以及窗口c为选中的目标窗口。当然，封闭图形的形状并不局限于本实施例中图3b所示例的，其也可以为其他类型的形状，本技术实施例在此并不作限定。可以理解的是，移动轨迹形成的封闭图形确定选中的目标窗口可以是：窗口全部位于封闭图形的内部则被选为目标窗口、窗口的部分位于封闭图形的内部则被视为目标窗口(例如，窗口的50％的面积位于封闭图形内则被视为目标窗口)。
70.如图3c所示例的，用户利用手部或者遥控手柄在vr设备的可视区域内进行移动。移动轨迹形成的轨迹如图3c所示的直线1005或者曲线1006等。图3c所示的直线1005或曲线1006所经过的窗口a、窗口b以及窗口c为选中的目标窗口。
71.对于vr设备的可视区域100内的多个窗口1000而言，其位于三维空间内。三维空间是由长、宽以及高三个维度所构成的空间，其对应于三维空间的x轴(横轴)、y轴(纵轴)以及z轴(竖轴)。对于多个窗口1000，其可以位于三维空间的同一个平面区域内(同一层级)，多个窗口也可以为于不同的平面区域内(不同的层级)。例如图4所示的，窗口a、窗口b、窗口c
以及窗口d都处于同一个平面区域(作为第一平面区域)内，即窗口a、窗口b、窗口c以及窗口d为处于同一层级的窗口(本技术实施例将其记为layer-1)。窗口e和窗口f处于第一平面区域后的第二平面区域，即窗口e和窗口f处于第二个层级(本技术实施例将其记为layer-2)，窗口a和窗口b、窗口c以及窗口d处于第一个层级。即窗口e和窗口f与窗口a和窗口b和窗口c以及窗口d处于不同的层级。窗口g、窗口h和窗口i处于第二平面区域后的第三平面区域，即窗口g、窗口h和窗口i处于第三个层级(本技术实施例将其记为layer-3)。三个平面区域中的窗口则分别处于不同的层级。
72.当然，vr设备的可视区域100内的多个窗口1000还可以有其他类型的显示方式，本技术实施例在此并不作限定。
73.根据本技术中的一些实施例，vr设备和遥控手柄相互关联,vr设备能够被用于控制遥控手柄选中的多个窗口。当用户在使用vr设备的时候，在vr设备的可视区域100内呈现如图1中所示的处于同一个层级或者处于不同的层级的多个窗口1000。用户可以利用指向部件11从多个窗口中选取部分窗口作为待控制的目标窗口。所选取的目标窗口可以是处于同一个层级或者分别处于不同的层级的多个窗口。选取目标窗口后，vr设备对各目标窗口同时执行指向部件11指示的操作。指示设备11指示的操作包括但不限于收放操作以对目标窗口进行缩小或放大、替换操作以对选中的目标窗口互相进行替换、删除操作以对选中的目标窗口进行删除等。如此，用户利用指向部件选中多个目标窗口，从而便于vr设备对各目标窗口进行批量操作，提升了用户的体验感。
74.下面对实现本技术以上实施例示例的窗口控制方法的vr设备的结构进行说明：
75.如图5a所示的，图5a所示的vr设备50包括但不限于处理器11，处理器11用于产生相应的操作控制信号，发给设备中相应的部件，读取以及处理软件中的数据，尤其是读取和处理存储器中的数据和程序，以使设备中的各个功能模块执行相应的功能，从而控制相应的部件按指令的要求进行动作。如用于各类媒体处理算法，包括人机交互、运动跟踪/预测(如本技术实施例中跟踪用户的手部移动、遥控手柄的移动以及旋转等)、渲染显示、音频处理、窗口的缩小或放大、窗口的替换以及窗口的删除等。
76.传感器系统12：用于采集、获取或发送信息，包括图像信息和距离信息，如本技术实施例中的手部信息、遥控手柄的射线点击的信息。本技术实施例的传感器系统中可以包括3轴或6轴传感器，用于获取vr设备的运动信息，如角速度，线加速度；同时对手部运动进行定位、追踪和识别；传感器系统还获取手的静态及动态特征。静态特征信息，如指尖定点、手掌质心、手部关节等。此类特征一般采用单帧数据获取。动态特征信息，如位移向量、运动速度等。此类特征信息通常通过多帧数据获取。作为传感器系统，其中也可以存储一些特定的程序指令。
77.存储器13，用于存储程序和各种数据，主要存储操作系统、应用和功能指令等软件单元、或者他们的子集、或者他们的扩展集。还可以包括非易失性随机存取存储器，向处理器11提供包括管理计算处理设备中的硬件、软件及数据资源，支持控制软件和应用。还用于用户对多窗口的选区范围的储存，以及运行程序、应用的存储。如图5b所示的，vr设备50的存储器13中可以设置至少一个存储单元，每个存储单元可以具有各自的存储功能，例如，第一存储单元用来存储操作系统、应用和功能指令等软件单元；第二存储单元用来存储应用以及运行程序等；第三存储单元用来存储用户对多窗口进行选择的选区范围。
78.显示元件14：通常包括显示屏以及配套的光学器件，用于内容显示；通常显示界面呈现在显示屏中，以进行人机交互以及窗口的浏览。
79.声学元件15：如麦克风、扬声器、耳机等，用于输出声音。
80.物理硬件16：如开关键、音量键、机械调控键等实体功能键。
81.设备还可以包括一些除上述11-16之外的其他部件17，用于使设备的功能和外观更加丰富和优美。
82.以上硬件11-16以及部分硬件17可以通过总线电气连接实现耦合通信。
83.下面结合附图对本技术实施例提供的一种窗口控制方法进行说明：
84.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于同一个层级的窗口。本技术实施例的窗口控制方法被应用于控制处于同一个层级的多个窗口进行收放。
85.如图6a所示的，处于同一层级(layer-1)的窗口包括但不限于窗口a、窗口b、窗口c以及窗口d。用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手部的移动建立矩形的移动轨迹，移动轨迹形成的矩形覆盖窗口a、窗口b、窗口c以及窗口d。被选中的窗口a、窗口b、窗口c以及窗口d作为目标窗口。并且，选中的窗口a、窗口b、窗口c以及窗口d中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。
86.窗口a、窗口b、窗口c以及窗口d被选中后，用户可以通过手部的收放操作对窗口a、窗口b、窗口c以及窗口d同时进行缩小或放大。如图6b所示的，当用户的手部的手指合拢时，窗口a、窗口b、窗口c以及窗口d一起缩小。窗口a、窗口b、窗口c以及窗口d缩小的比例可以由用户手部手指相对于手指的原位置的合拢程度确定。例如，vr设备实时追踪用户手部的手指的移动，当用户的手部的手指完全合拢时，窗口a、窗口b、窗口c以及窗口d被缩放至最小。当用户的手部的手指合拢至原状态的一半时，窗口a、窗口b、窗口c以及窗口d被缩放至原尺寸的一半。窗口a、窗口b、窗口c以及窗口d缩小的比例还可以通过其他方式确定，本技术实施例在此并不作限定。
87.另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的缩小或放大可以由遥控手柄的案件来实现或者由特定的挥动遥控手柄的方式实现。
88.值得注意的是，缩小展示的窗口a、窗口b、窗口c以及窗口d可以依旧展示在未缩小前的窗口a、窗口b、窗口c以及窗口d的平面区域，缩小后的窗口a、窗口b、窗口c以及窗口d的层级可以和未缩小前的窗口a、窗口b、窗口c以及窗口d的层级相同。此外，缩小后的各个窗口可以以图标的形式被展示在vr设备的可视区域内并非中心的位置(例如右下角或左下角)，以便用户再次将其放大显示。
89.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于同一个层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
90.虽然上面实施例解释的是第一层级显示区域上所有的窗口a到窗口d都被选中，并且被缩小。但是本技术不限于此，也可以是选中其中的部分多个窗口，例如窗口a和d，或者窗口a、b和c。
91.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于不同层级的窗口。本技术实施例的窗口控制方法被应用于控制处于不同层级的多个窗口进行收放。是
以分别处于第一层级(本技术实施例将其记为layer-1)、第二层级(本技术实施例将其记为layer-2)以及第三层级(本技术实施例将其记为layer-3)的窗口为例对本技术实施例提供的窗口控制方法被应用于控制处于不同层级的多个窗口进行说明。本技术实施例中，不同层级的多个窗口指的是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的z轴上处于同一位置。可以理解的是，vr设备内的其余窗口所在的层级还可以不同于本技术实施例中提到的第一层级至第三层级，vr设备内的可视区域内的层级还可以有更多的层级，本技术实施例在此并不作限定。
92.在三维空间中，如图7a所示的，第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的z轴上处于同一位置。也就是说，第一层级的窗口所形成的平面区域的顶点layer-10、第二层级的窗口所形成的平面区域的顶点layer-20和第三层级的窗口所形成的平面区域的顶点layer-30在z轴上的坐标相同，即z轴上的坐标均为z1。其中，处于第一层级的窗口包括但不限于窗口a、窗口b、窗口c以及窗口d。处于第二层级的窗口包括但不限于窗口e和窗口f。处于第三层级的窗口包括但不限于窗口g、窗口h和窗口i。
93.如图7b所示的，用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a、窗口b和窗口d作为第一层级中选中的目标窗口(第一选区)。采用点击或建立选区的方式选中第二层级的窗口f作为选中的目标窗口(第二选区)，采用点击或建立选区的方式选中第三层级中的窗口i作为选中的目标窗口(第三选区)。并且，选中的窗口a、窗口b、窗口d、窗口f以及窗口i中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。值得注意的是，在用户用手指点击不同层级的窗口以选取目标窗口时，当用户点击第一层级的窗口a、窗口b和窗口d作为第一层级中选中的目标窗口时。透过第一层级，位于第一层级的下一层级的第二层级的窗口中与选中的第一层级的窗口a、窗口b和窗口d的重合面积超出阈值(可以是重合面积为80％)时，则可以直接将第二层级的重合面积的窗口选为目标窗口。
94.窗口a、窗口b、窗口d、窗口f以及窗口i被选中后，用户可以通过手部的收放操作对窗口a、窗口b、窗口d、窗口f以及窗口i同时进行缩小或放大。如图7c所示的，当用户的手部的手指合拢时，窗口a、窗口b、窗口d、窗口f以及窗口i一起缩小。窗口a、窗口b、窗口d、窗口f以及窗口i缩小的比例可以由用户手部手指相对于手指的原位置的合拢程度确定。例如，vr设备实时追踪用户手部的手指的移动，当用户的手部的手指完全合拢时，窗口a、窗口b、窗口d、窗口f以及窗口i被缩放至最小。当用户的手部的手指合拢至原状态的一半时，窗口a、窗口b、窗口d、窗口f以及窗口i被缩放至原尺寸的一半。窗口a、窗口b、窗口d、窗口f以及窗口i缩小的比例还可以通过其他方式确定，本技术实施例在此并不作限定。
95.值得注意的是，缩小展示的窗口a、窗口b和窗口d可以依旧展示在未缩小前的窗口a、窗口b和窗口d的第一层级所在的平面区域。即缩小后的窗口a、窗口b和窗口d的层级可以和未缩小前的窗口a、窗口b和窗口d的层级相同。缩小展示的窗口f可以依旧展示在未缩小前的窗口f的第二层级所在的平面区域。缩小展示的窗口i可以依旧展示在未缩小前的窗口i的第三层级所在的平面区域。如此，因第一层级的窗口被缩小，可以便于后一层级的窗口更多的展示出来。此外，缩小后的各个窗口可以以图标的形式被展示在vr设备的可视区域内的并非中心的位置(例如可视区域的右下角或左下角)，以便用户再次将其放大显示。
96.另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的缩小或放大可以由遥
控手柄的按键来实现或者由特定的挥动遥控手柄的方式实现。
97.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
98.虽然上面实施例解释的是第一层级至第三层级显示区域上窗口a、窗口b、窗口d、窗口f以及窗口i都被选中，并且被缩小。但是本技术不限于此，也可以是选中其中的部分多个窗口，例如选取第一层级的窗口a和窗口b，选取第二层级的窗口e和窗口f以及选取第三层级的窗口h和窗口i。
99.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于不同层级的但处于同一纵向空间的窗口。本技术实施例的窗口控制方法被应用于控制处于不同层级但处于同一纵向空间的多个窗口进行收放。以分别处于第一层级(本技术实施例将其记为layer-1)、第二层级(本技术实施例将其记为layer-2)以及第三层级(本技术实施例将其记为layer-3)的窗口为例对本技术实施例提供的窗口控制方法被应用于控制处于不同层级的多个窗口进行说明。本技术实施例中，不同层级的多个窗口指的是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的y轴上处于同一位置(处于同一位置指的是三个层级的窗口的重合面积达到阈值，阈值可以为80％、85％等任意一个数值，本技术实施例在此并不作限定)。可以理解的是，vr设备内的其余窗口所在的层级还可以不同于本技术实施例中提到的第一层级至第三层级，vr设备内的可视区域内的层级还可以有更多的层级，本技术实施例在此并不作限定。
100.在三维空间中，如图8a所示的，第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的y轴上处于同一位置。也就是说，第一层级的窗口所形成的平面区域的顶点layer-40、第二层级的窗口所形成的平面区域的顶点layer-50和第三层级的窗口所形成的平面区域的顶点layer-60在y轴上的坐标相同，即y轴上的坐标均为y1。其中，处于第一层级的窗口包括但不限于窗口a、窗口b、窗口c以及窗口d。处于第二层级的窗口包括但不限于窗口e、窗口f、窗口g和窗口h。处于第三层级的窗口包括但不限于窗口i、窗口j和窗口k。
101.如图8b所示的，用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a、窗口b、采用点击或建立选区的方式选中第二层级中的窗口e、采用点击或建立选区的方式选中第三层级中的窗口i作为第一选区(本技术实施例中采用组别group1表示)的目标窗口。用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口d、采用点击或建立选区的方式选中第二层级中的窗口m、窗口g、采用点击或建立选区的方式选中第三层级中的窗口k作为第二选区(本技术实施例中采用组别group2表示)的目标窗口。并且，选中的窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。
102.窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k被选中后，用户可以通过手部的收放操作对窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k进行缩小或放大。如图8c所示的，当用户的手部的手指合拢时，窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k一起缩小。其中，窗口a、窗口b、窗口e、窗口i作为第一组窗口被缩小。
窗口d、窗口m、窗口g以及窗口k作为第二组窗口被缩小。窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k缩小的比例可以由用户手部手指相对于手指的原位置的合拢程度确定。例如，vr设备实时追踪用户手部的手指的移动，当用户的手部的手指完全合拢时，窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k被缩放至最小。当用户的手部的手指合拢至原状态的一半时，窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k被缩放至原尺寸的一半。窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k缩小的比例还可以通过其他方式确定，本技术实施例在此并不作限定。
103.另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的缩小或放大可以由遥控手柄的案件来实现或者由特定的挥动遥控手柄的方式实现。
104.值得注意的是，缩小展示的窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k可以依旧展示在未缩小前的窗口a、窗口b和窗口d的所在层级的平面区域。即缩小后的窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k的层级可以和未缩小前的窗口a、窗口b、窗口e、窗口i、窗口d、窗口m、窗口g以及窗口k的层级相同。如此，因第一层级的窗口被缩小，可以便于后一层级的窗口更多的展示出来。此外，缩小后的各个窗口可以以图标的形式被展示在vr设备的可视区域内的并非中心的位置(例如可视区域的右下角或左下角)，以便用户再次将其放大显示。
105.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级但处于同一纵向空间的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
106.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于不同层级的窗口。本技术实施例的窗口控制方法被应用于控制处于不同层级的多个窗口进行收放。是以分别处于第一层级(本技术实施例将其记为layer-1)、第二层级(本技术实施例将其记为layer-2)以及第三层级(本技术实施例将其记为layer-3)的窗口为例对本技术实施例提供的窗口控制方法被应用于控制处于不同层级的多个窗口进行说明。本技术实施例中，不同层级的多个窗口指的是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的x轴上处于同一位置。可以理解的是，vr设备内的其余窗口所在的层级还可以不同于本技术实施例中提到的第一层级至第三层级，vr设备内的可视区域内的层级还可以有更多的层级，本技术实施例在此并不作限定。
107.在三维空间中，如图9a所示的，第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的x轴上覆盖于同一位置。也就是说，第一层级的窗口所形成的平面区域的顶点layer-70、第二层级的窗口所形成的平面区域的顶点layer-80和第三层级的窗口所形成的平面区域的顶点layer-90在x轴上的坐标相同或者部分坐标重合。即在x轴上的坐标均为x1。例如，第一层级的窗口d，当用户用手指点击窗口d时，窗口d被选中，窗口d的坐标与第二层级的窗口f的坐标以及第三层级的窗口i的坐标。可以理解的是，第二层级的窗口f的坐标以及第三层级的窗口i的部分坐标与窗口d的坐标重合时，也可以认为是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的x轴上覆盖于同一位置，本技术实施例在此并不作限定。其中，处于第一层级的窗口包括但不限于窗口a、窗口b、窗口c以及窗口d。处于第二层级的窗口包括但不限于窗口e和窗口f。处于第三层级的窗口包括但不限于窗口g、窗口h和窗口i。
108.如图9b所示的，用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口d作为第一层级中选中的目标窗口(第一选区)。采用点击或建立选区的方式选中第二层级的窗口f作为选中的目标窗口(第二选区)，采用点击或建立选区的方式选中第三层级中的窗口i作为选中的目标窗口(第三选区)。并且，选中的窗口d、窗口f以及窗口i中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。值得注意的是，在用户用手指点击不同层级的窗口以选取目标窗口时，当用户点击第一层级的窗口d作为第一层级中选中的目标窗口时。透过第一层级，位于第一层级的下一层级的第二层级的窗口中与选中的第一层级的窗口a、窗口b和窗口d的重合面积超出阈值(可以是重合面积为80％)时，则可以直接将第二层级的重合面积的窗口(如窗口f)选为目标窗口。本技术实施例对于目标窗口的选取方式并不作限定。
109.窗口d、窗口f以及窗口i被选中后，用户可以通过手部的收放操作对窗口d、窗口f以及窗口i同时进行缩小或放大。如图9c所示的，当用户的手部的手指合拢时，窗口d、窗口f以及窗口i一起缩小。窗口d、窗口f以及窗口i缩小的比例可以由用户手部手指相对于手指的原位置的合拢程度确定。例如，vr设备实时追踪用户手部的手指的移动，当用户的手部的手指完全合拢时，窗口d、窗口f以及窗口i被缩放至最小。当用户的手部的手指合拢至原状态的一半时，窗口d、窗口f以及窗口i被缩放至原尺寸的一半。窗口d、窗口f以及窗口i缩小的比例还可以通过其他方式确定，本技术实施例在此并不作限定。
110.另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的缩小或放大可以由遥控手柄的案件来实现或者由特定的挥动遥控手柄的方式实现。
111.值得注意的是，缩小展示的窗口d可以依旧展示在未缩小前的窗口d的第一层级所在的平面区域。即缩小后的窗口d的层级可以和未缩小前的窗口d的层级相同。缩小展示的窗口f可以依旧展示在未缩小前的窗口f的第二层级所在的平面区域。缩小展示的窗口i可以依旧展示在未缩小前的窗口i的第三层级所在的平面区域。此外，缩小后的各个窗口可以以图标的形式被展示在vr设备的可视区域内的并非中心的位置(例如可视区域的右下角或左下角)，以便用户再次将其放大显示。
112.此外，对目标窗口建立的选区还可以存储于存储器中，便于再次调用并直接使用，避免了再次建立选区，提高了对窗口进行操作的效率。
113.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
114.虽然上面实施例解释的是第一层级至第三层级显示区域上窗口d、窗口f以及窗口i都被选中，并且被缩小。但是本技术不限于此，也可以是选中其中的部分多个窗口，例如选取第一层级的窗口a和窗口b，选取第二层级的窗口e和窗口f以及选取第三层级的窗口h和窗口i。
115.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于不同层级或同一层级的窗口。本技术实施例的窗口控制方法被应用于控制处于同一层级的两个窗口之间的替换。是对处于第一层级的窗口为例对本技术实施例提供的窗口控制方法被应用于控制处于同一层级的两个窗口之间的替换进行说明。
116.本技术实施例中，不同层级的窗口以分别处于第一层级(本技术实施例将其记为layer-1)、第二层级(本技术实施例将其记为layer-2)以及第三层级(本技术实施例将其记为layer-3)的窗口为例。不同层级的多个窗口指的是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的x轴上覆盖于同一位置。也就是说，第一层级的窗口所形成的平面区域、第二层级的窗口所形成的平面区域和第三层级的窗口所形成的平面区域在x轴上的坐标相同或者部分坐标重合。例如，第一层级的窗口d，当用户用手指点击窗口d时，窗口d被选中。对于用户在窗口d上点击的位置在第一层级的平面上的坐标映射到第二层级的平面和第三层级的平面上时，分别与第二层级的窗口f重合，以及与第三层级的窗口i重合。如此，第二层级的窗口f重合，以及第三层级的窗口i也被选中。另外，可以理解的是，第二层级的窗口f的坐标以及第三层级的窗口i的部分坐标与窗口d所覆盖的坐标重合达到预设程度时，也可以认为是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的x轴上覆盖于同一位置。例如，当用户用手指点击窗口d时，窗口d被选中。当确定窗口d所覆盖的范围映射到第二层级的平面和第三层级的平面上时，与与第二层级的窗口f重合，以及与第三层级的窗口i重合的程度达到窗口d所覆盖的面积的50％以上，则确定第二层级的窗口f重合，以及第三层级的窗口i也被选中。本技术实施例在此并不作限定。可以理解的是，vr设备内的其余窗口所在的层级还可以不同于本技术实施例中提到的第一层级至第三层级，vr设备内的可视区域内的层级还可以有更多的层级，本技术实施例在此并不作限定。
117.在三维空间中，第一层级的窗口、第二层级的窗口和第三层级的窗口在三维空间中的位置可以参照图9a所示的位置。本技术实施例在此不再赘述。
118.如图10a所示的，用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a作为第一目标窗口。利用手指的采用点击或建立选区的方式选中第一层级中的窗口b作为第二目标窗口。并且，选中的窗口a、窗口b中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。
119.窗口a和窗口b被选中后，如图10b所示的，用户用手指移动窗口b向窗口a所在的显示区域靠近。以将窗口b移动至窗口a的位置，将窗口a移动至窗口b的位置。
120.如图10c所示的，在窗口a和窗口b的位置替换完成后，窗口b位于窗口a的显示区域，窗口a位于窗口b的显示区域。值得注意的是，在窗口a的显示区域的面积与窗口b的显示区域的面积不一致时，在窗口a和窗口b互换位置后，调整窗口b的窗口面积以和窗口a所在位置处的显示区域的面积相同。调整窗口a的窗口面积以和窗口b所在位置处的显示区域的面积相同。使得第一目标窗口的面积和第二目标窗口的位置处的显示区域相适应，第二目标窗口的面积和第一目标窗口的位置处的显示区域相适应。
121.以上是以手指移动一些窗口向另一些窗口运动并靠近来触发替换，根据本技术的实施例，还可以是在选中作为替换对象的双方窗口之后，以特定的手势来触发，例如旋转手掌。另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的替换可以由遥控手柄的按键来实现或者由特定的挥动遥控手柄的方式实现。
122.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于同一层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验
感。
123.虽然上面实施例解释的是第一层级显示区域上窗口a以及窗口b都被选中，并且窗口a和窗口b的位置互相替换。但是本技术不限于此，也可以是选中第一层级的其余的窗口或者其他层级的窗口，例如选取第一层级的窗口a和窗口d或者选取第二层级的窗口e和窗口f或者选取第三层级的窗口h和窗口i。
124.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于不同层级或同一层级的窗口。本技术实施例的窗口控制方法被应用于控制处于不同层级的多个窗口之间的替换。是对处于第一层级的窗口和第二层级的窗口为例对本技术实施例提供的窗口控制方法被应用于控制处于不同层级的多个窗口之间的替换进行说明。
125.本技术实施例中，不同层级的窗口以分别处于第一层级(本技术实施例将其记为layer-1)、第二层级(本技术实施例将其记为layer-2)以及第三层级(本技术实施例将其记为layer-3)的窗口为例。
126.可以以结合以上图9a至图9b所解释的选择不同层级的窗口的方式，选中分别位于不同层级的多个窗口。
127.在三维空间中，第一层级的窗口、第二层级的窗口和第三层级的窗口在三维空间中的位置可以参照图9a所示的位置。本技术实施例在此不再赘述。
128.如图11a所示的，用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a、窗口b以及窗口c作为第一目标窗口。利用手指的采用点击或建立选区的方式选中第二层级中的窗口e作为第二目标窗口。并且，选中的窗口a、窗口b、窗口c以及窗口e中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。
129.窗口a、窗口b、窗口c以及窗口e被选中后，用户用手指移动窗口a、窗口b、窗口c向窗口e所在的显示区域靠近。以将窗口a、窗口b、窗口c移动至窗口e的位置，将窗口e移动至窗口a、窗口b、窗口c三者形成的显示区域的位置。
130.如图11b所示的，在窗口a、窗口b、窗口c三者和窗口e的位置替换完成后，窗口e位于窗口a、窗口b、窗口c三者所在的显示区域，窗口a、窗口b、窗口c位于窗口e所在位置处的显示区域。
131.值得注意的是，在窗口a、窗口b、窗口c三者形成的显示区域的面积与窗口e的显示区域的面积不一致时，在窗口a、窗口b、窗口c三者和窗口e互换位置后，调整窗口e的窗口面积以和窗口a、窗口b、窗口c三者所在位置处的显示区域的面积相同。调整窗口a、窗口b、窗口c三者形成的平面区域的窗口面积以和窗口e所在位置处的显示区域的面积相同。使得第一目标窗口的面积和第二目标窗口的位置处的显示区域相适应，第二目标窗口的面积和第一目标窗口的位置处的显示区域相适应。
132.以上是以手指移动一些窗口向另一些窗口运动并靠近来触发替换，根据本技术的实施例，还可以是在选中作为替换对象的双方窗口之后，以特定的手势来触发，例如旋转手掌。另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的替换可以由遥控手柄的按键来实现或者由特定的挥动遥控手柄的方式实现。
133.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验
感。
134.虽然上面实施例解释的是第一层级显示区域上窗口a、窗口b、窗口c三者和第二层级的窗口e被选中，并且窗口a、窗口b、窗口c三者和窗口e的位置互相替换。但是本技术不限于此，也可以是选中第一层级的其余的窗口或者其他层级的窗口进行位置替换，例如选取第一层级的窗口a、窗口b、窗口c和窗口d和选取第二层级的窗口e和窗口f进行替换或者选取第三层级的窗口g和第二层级的窗口e进行替换。
135.根据本技术中的一些实施例，vr设备的可视区域内的多个窗口为处于不同层级或同一层级的窗口。本技术实施例的窗口控制方法被应用于控制处于不同层级但处于同一纵向空间的多个窗口之间的替换。是对处于第一层级的窗口、第二层级和第三层及的窗口为例对本技术实施例提供的窗口控制方法被应用于控制处于不同层级的多个窗口之间的替换进行说明。
136.本技术实施例中，不同层级的窗口以分别处于第一层级(本技术实施例将其记为layer-1)、第二层级(本技术实施例将其记为layer-2)以及第三层级(本技术实施例将其记为layer-3)的窗口为例。不同层级的多个窗口指的是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的y轴上覆盖于同一位置(即第一层级的窗口、第二层级的窗口和第三层级的窗口处于同一个纵向空间)。也就是说，第一层级的窗口所形成的平面区域、第二层级的窗口所形成的平面区域和第三层级的窗口所形成的平面区域在y轴上的坐标相同或者部分坐标重合。例如，第一层级的窗口d，当用户用手指点击窗口d时，窗口d被选中，窗口d的坐标与第二层级的窗口h的坐标以及第三层级的窗口k的坐标相同或部分重合。可以理解的是，第二层级的窗口h的坐标以及第三层级的窗口k的部分坐标与窗口d的坐标重合时，也可以认为是第一层级的窗口、第二层级的窗口和第三层级的窗口可以是在三维空间坐标的y轴上覆盖于同一位置，本技术实施例在此并不作限定。可以理解的是，vr设备内的其余窗口所在的层级还可以不同于本技术实施例中提到的第一层级至第三层级，vr设备内的可视区域内的层级还可以有更多的层级，本技术实施例在此并不作限定。
137.在三维空间中，第一层级的窗口、第二层级的窗口和第三层级的窗口在三维空间中的位置可以参照图8a所示的位置。本技术实施例在此不再赘述。
138.如图12a所示的，用户采用如图2中所示的任何一种方式建立选区。例如，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口b、窗口c和选中第二层级的窗口f以及选中第三层级的窗口j作为第一目标窗口(图中采用group1表示)。利用手指的采用点击或建立选区的方式选中第一层级的窗口d、第二层级的窗口g和窗口h以及第三层级的窗口k作为第二目标窗口(图中采用group2表示)。并且，选中的窗口b、窗口c、窗口f、窗口j、窗口d、窗口g、窗口h以及窗口k中呈现出选中标识1001，用来提示用户哪些页面现在处于被选中状态，并等待后续操作。
139.窗口b、窗口c、窗口f、窗口j、以及窗口d、窗口g、窗口h和窗口k被选中后，用户用手指移动窗口b、窗口c、窗口f、窗口j向窗口d、窗口g、窗口h和窗口k所在的显示区域靠近。以将窗口b和窗口c移动至窗口d所在位置处的显示区域、窗口f移动至窗口h和窗口g所在位置处的显示区域、窗口j移动至窗口k所在位置处的显示区域。窗口d移动至窗口b和窗口c所在位置处的显示区域、窗口h和窗口g移动至窗口f所在位置处的显示区域、窗口k移动至窗口j所在位置处的显示区域。
140.如图12b所示的，在窗口b、窗口c、窗口f、窗口j四者和窗口d、窗口g、窗口h和窗口k的位置替换完成后，窗口b和窗口c位于窗口d所在位置处的显示区域、窗口f移位于窗口h和窗口g所在位置处的显示区域、窗口j位于窗口k所在位置处的显示区域。窗口d位于窗口b和窗口c所在位置处的显示区域、窗口h和窗口g位于窗口f所在位置处的显示区域、窗口k位于窗口j所在位置处的显示区域。
141.值得注意的是，在窗口b、窗口c两者和窗口d互换位置后，当窗口b、窗口c形成的显示区域的面积与窗口d的显示区域的面积不一致时，调整窗口b、窗口c所形成的平面区域的窗口面积以和窗口d所在位置处的显示区域的面积相同。调整窗口d的窗口面积以和窗口b、窗口c两者形成的平面区域的显示区域的面积相同。
142.在窗口f和窗口g、窗口h两者互换位置后，当窗口f的窗口面积和窗口g、窗口h形成的平面区域的面积不一致时，调整窗口f的窗口面积和窗口g、窗口h；两者所在位置处形成的平面区域的显示面积相同。调整窗口g、窗口h两者形成的平面区域的面积和窗口f所在位置处的显示区域的面积相同。
143.在窗口k和窗口j两者互换位置后，当窗口k的窗口面积和窗口j所在位置处的显示区域的面积不一致时，调整窗口k的窗口面积和窗口j所在位置处的显示区域的面积相同。调整窗口j的窗口面积和窗口k所在位置处的显示区域的面积相同。
144.另外，可以理解的是，在利用遥控手柄的情景中，控制窗口的替换可以由遥控手柄的按键来实现或者由特定的挥动遥控手柄的方式实现。进一步，窗口b、窗口c、窗口f、窗口j四者和窗口d、窗口g、窗口h和窗口k的位置替换完成后，为了提示用户哪些页面现在处于被选中状态且被替换，可以继续在被选中的窗口上展示标识1001。
145.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
146.下面对本技术实施例提供的一种窗口控制方法应用于控制不同层级或同一层级的窗口进行收放的流程进行说明。
147.请参见图13，图13为本技术实施例提供的一种窗口控制方法应用于控制不同层级或同一层级的窗口进行收放的流程示意图。
148.该方法包括步骤s130-步骤s133。
149.步骤s130：接收批量操作指令，该批量操作指令用于为指示对处于vr设备的可视区域内的多个窗口进行收放操作，其中，多个窗口可以是处于同一层级的多个窗口，例如图6a所示的处于同一层级的窗口a、窗口b、窗口c以及窗口d。多个窗口也可以是处于不同层级的多个窗口，例如图7a所示的第一层级至第三层级的窗口a、窗口b、窗口c以及窗口d，窗口e和窗口f，窗口g、窗口h和窗口i。图8a所示的第一层级的窗口a、窗口b、窗口c以及窗口d。第二层级的窗口e、窗口f、窗口g和窗口h。第三层级的窗口i、窗口j和窗口k。以及图9a所示的第一层级的窗口a、窗口b、窗口c以及窗口d。第二层级的窗口e和窗口f。第三层级的窗口g、窗口h和窗口i。其中，批量操作指令可以是由用户利用手势或者遥控手柄等指向部件发出的，例如，用户在vr设备的可视区域内通过展开或合拢五指触发放大指令或收缩指令(批量操作指令包括放大指令或收缩指令)。或者用户通过操控遥控手柄上的按键触发放大指令或收缩指令(批量操作指令包括放大指令或收缩指令)。
150.步骤s131：识别批量操作指令。其中，批量操作指令包括但不限于对vr设备的可视区域内的窗口进行放大的放大指令或对窗口进行缩小的收缩指令。其中，放大指令或缩小指令的放大比例和缩小比例可以由用户的手指的展开程度或合拢程度决定，或者也可以由遥控手柄上的按键进行确定。例如，vr设备实时追踪用户手部的手指的移动，当用户的手部的手指完全合拢时，被选中的目标窗口被缩放至最小。当用户的手部的手指合拢至原状态的一半时，被选中的目标窗口被缩放至原尺寸的一半。被选中的目标窗口的缩小的比例还可以通过其他方式确定，本技术实施例在此并不作限定。
151.步骤s132：确定选择范围。其中，选择范围可以是被选中的目标窗口所在的平面区域。目标窗口的选取可以是由用户利用手部或遥控手柄建立的选区或者点击单个窗口确定。例如，用户可以利用遥控手柄上提供的按键，或者手持遥控手柄进行类似敲击或点击的动作，来点击呈现在vr设备的可视区域内的一个或多个窗口。被点击的窗口可以作为被选中的目标窗口。例如，如图7b所示的，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a、窗口b和窗口d作为第一层级中选中的目标窗口(第一选区)。采用点击或建立选区的方式选中第二层级的窗口f作为选中的目标窗口(第二选区)，采用点击或建立选区的方式选中第三层级中的窗口i作为选中的目标窗口(第三选区)。
152.或者用户挥动手部选中手部挥动所经过的区域内的窗口，将它们作为被选中的目标窗口。其中，手部挥动可以在vr设备的可视区域内进行移动，移动的轨迹形成封闭图形时，封闭图形覆盖的窗口为目标窗口。手部在vr设备的可视区域内移动时，移动的轨迹形成曲线或直线，曲线或直线所覆盖的窗口则可以被选中为目标窗口。例如，如图6a所示的，用户利用手部的移动建立矩形的移动轨迹，移动轨迹形成的矩形覆盖窗口a、窗口b、窗口c以及窗口d作为被选中的目标窗口。
153.可以理解的是，用户也可以利用遥控手柄在vr设备的可视区域内进行移动，从而建立封闭图形以选取目标窗口。形成的封闭图形可以是图3b所示的规则矩形1002或者三角形1003或者不规则形状1004等。可以理解的是，移动轨迹形成的封闭图形确定选中的目标窗口可以是：窗口全部位于封闭图形的内部则被选为目标窗口、窗口的部分位于封闭图形的内部则被视为目标窗口(例如，窗口的50％的面积位于封闭图形内则被视为目标窗口)。
154.步骤s133：执行批量操作指令指示的操作。在确定选择范围之后，针对识别处的批量操作指令中的放大操作或缩小操作之后，对选择范围内的目标窗口进行放大或缩小。以上放大操作或缩小操作是操作指令的示例，操作指令还可以包括其他控制窗口的指令，例如关闭窗口等。
155.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级或同一层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
156.接下来，下面对本技术实施例提供的一种窗口控制方法应用于控制不同层级或同一层级的窗口进行替换的流程进行说明。
157.请参见图14a，图14a为本技术实施例提供的一种窗口控制方法应用于控制不同层级或同一层级的窗口进行替换的流程示意图。
158.该方法包括步骤s140-步骤s144。
159.步骤s140：接收批量操作指令，批量操作指令用于为指示对处于vr设备的可视区
域内的多个窗口进行替换操作，多个窗口可以是处于同一层级的多个窗口，也可以是处于不同层级的多个窗口，如图9a所示的第一层级的窗口a、窗口b、窗口c以及窗口d。第二层级的窗口e和窗口f。第三层级的窗口g、窗口h和窗口i。其中，批量操作指令可以是由用户利用手势或者遥控手柄等指向部件发出的，例如，用户在vr设备的可视区域内通过移动手指触发替换指令(批量操作指令包括替换指令)。或者用户通过操控遥控手柄上的按键触发替换指令。
160.步骤s141：识别批量操作指令。其中，批量操作指令包括但不限于对vr设备的可视区域内的至少两个窗口之间进行替换的指令。例如，vr设备实时追踪用户手部的手指的移动，当用户的手部的手指长按如图10b所示的窗口b向窗口a移动直至移动至窗口a所在位置处的显示区域处，则此时的批量操作指令为目标窗口之间的替换指令。
161.步骤s142：确定选择范围。其中，选择范围可以是被选中的同一层级或不同层级的第一目标窗口和第二目标窗口所在的平面区域。目标窗口的选取可以是由用户利用手部或遥控手柄建立的选区或者点击单个窗口确定。例如，用户可以利用遥控手柄上提供的按键，或者手持遥控手柄进行类似敲击或点击的动作，来点击呈现在vr设备的可视区域内的一个或多个窗口。被点击的窗口可以作为被选中的目标窗口。例如，如图10a所示的，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a作为第一目标窗口。利用手指的采用点击或建立选区的方式选中第一层级中的窗口b作为第二目标窗口。或者如图11a所示的，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口a、窗口b以及窗口c作为第一目标窗口。利用手指的采用点击或建立选区的方式选中第二层级中的窗口e作为第二目标窗口。或者如图12a所示的，用户利用手指的移动采用点击或建立选区的方式选中第一层级中的窗口b、窗口c和选中第二层级的窗口f以及选中第三层级的窗口j作为第一目标窗口(图中采用group1表示)。利用手指的采用点击或建立选区的方式选中第一层级的窗口d、第二层级的窗口g和窗口h以及第三层级的窗口k作为第二目标窗口(图中采用group2表示)。
162.步骤s143：识别第一目标窗口的坐标。其中，请参见图14b，处于同一层级的窗口a和窗口b作为被选中的第一目标窗口和第二目标窗口。对应于三维空间中，窗口a和窗口b都处于x轴的正向和z轴的正向形成的区域中。对应于呈矩形的窗口a，窗口a的四个顶点在三维空间中对应具有四个坐标，分别为a1(x1，0，z1)，a2(x1，0，z2)，a3(x2，0，z1)，a4(x2，0，z2)。当然，第一目标窗口还可以位于三维空间的其余的位置，第一目标窗口的数量也并不局限于一个，本技术实施例在此并不作限定。
163.步骤s144：识别第二目标窗口的坐标。请参见图14b，对应于三维空间中，对应于呈矩形的窗口b，窗口b的四个顶点在三维空间中对应具有四个坐标，分别为b1(x3，0，z3)，b2(x3，0，z4)，b3(x4，0，z3)，b4(x4，0，z4)。当然，第二目标窗口还可以位于三维空间的其余的位置，第二目标窗口的数量也并不局限于一个，第一目标窗口和第二目标窗口也可以为不同层级的窗口，本技术实施例在此并不作限定。
164.步骤s145：执行批量操作指令指示的操作。在确定选择范围内的第一目标窗口和第二目标窗口的坐标之后，针对识别出的批量操作指令中的替换操作，对选择范围内的第一目标窗口和第二目标窗口的位置进行替换。即将第一目标窗口移动至第二目标窗口所在的坐标处，将第二目标窗口移动至第一目标窗口的坐标处。当第一目标窗口的坐标与第二
目标窗口的坐标没有重合时，则调整第一目标窗口的面积，使得第一目标窗口的顶点处的坐标和第二目标窗口的顶点处的坐标重合。当第二目标窗口的坐标与第一目标窗口的坐标没有重合时，则调整第二目标窗口的面积，使得第二目标窗口的顶点处的坐标和第一目标窗口的顶点处的坐标重合。
165.如此，通过本技术实施例提供的窗口控制方法以应用于控制处于不同层级或同一层级的多个窗口，多个窗口可以被批量操作，相对于用户对单窗口进行操作的方式，提升了用户的体验感。
166.下面对本技术实施例提供的一种窗口控制装置进行说明，请参见图15，图15为本技术实施例公开的一种窗口控制装置的结构示意图。
167.图15所示的窗口控制装置2包括：接收模块150，采集模块151，碰撞检测模块152，区域识别模块153，分组模块154，显示模块155以及输出模块156。
168.其中，接收模块150用于接收图13和图14a所示的批量操作指令或者用来接收碰撞检测模块152所检测到的被选中的目标窗体在可视区域100内的位置。批量操作指令可以是用户利用手部的移动或者遥控手柄发出的窗口收放指令或者窗口替换位置的指令等。
169.采集模块151用于采集指向部件所指向的手势、动作以及区域等，从而确定出指向部件的移动轨迹。
170.碰撞检测模块152用于检测如遥控手柄向图1a或图1b所示的可视区域100内发出的射线以碰撞的可视区域100内的部分窗体1000。或者用户采用手套或手势的方式指向图1a或图1b所示的可视区域100内的窗体1000。遥控手柄发出的射线所碰撞到的窗体或者用户手指所指的方向所在的窗体便为目标窗体。或者遥控手柄发出的射线所形成的如图3b所示的封闭图形所覆盖的窗体，也可以由碰撞检测模块152识别并确定封闭图形内覆盖的窗体为目标窗体。
171.区域识别模块153，用于识别用户利用手部或者遥控手柄所选中的窗体的选区。例如，用户利用手部的移动建立如图3b所示的区域，区域识别模块153则用来识别封闭图形所形成的选区的形状，尺寸以及封闭图形内所覆盖的窗体。或者，用户利用手部的移动建立如图3c所示的直线或者曲线，区域识别模块153则用来识别直线或曲线的长度以及直线或者曲线所经过的窗体。
172.分组模块154，用户对窗口进行分组以及对窗口进行管理。
173.显示模块155，用于显示被选中的目标窗体，例如，在选中的目标窗体上利用图3a所示的标识1001表示。或者用来显示收放完成或者替换完成的目标窗口的位置示意图，如图6b、图7c、图8c、图9c所示的窗口被缩小后在可视区域100内的显示位置。或者如图10c、图11b以及图12b所示的目标窗口或者目标窗口组完成替换后的显示位置。
174.输出模块156，用于执行窗口批量操作交互的动作。窗口批量操作交互的动作包括但不限于移动窗口、拼接窗口、关闭窗口、最大化以及最小化窗口等。
175.在本技术一些实施例中，还提供了一种电子设备，下面结合图16对本技术实施例中的电子设备进行介绍。图16为本技术实施例公开的一种电子设备的结构示意图。
176.对于至少一个实施例，控制器中枢804经由诸如前端总线(fsb)之类的多分支总线、诸如快速通道互连(qpi)之类的点对点接口、或者类似的连接与处理器801进行通信。处理器801执行控制一般类型的数据处理操作的指令。在一实施例中，控制器中枢804包括，但
不局限于，图形存储器控制器中枢(gmch)(图中未示出)和输入/输出中枢(ioh)(其可以在分开的芯片上)(图中未示出)，其中gmch包括存储器和图形控制器并与ioh耦合。
177.电子设备800还可包括耦合到控制器中枢804的协处理器806和存储器802。或者，存储器802和gmch中的一个或两者可以被集成在处理器801内(如本技术中所描述的)，存储器802和协处理器806直接耦合到处理器801以及控制器中枢804，控制器中枢804与ioh处于单个芯片中。
178.在一个实施例中，存储器802可以是例如动态随机存取存储器(dram)、相变存储器(pcm)或这两者的组合。存储器802中可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性计算机可读介质。计算机可读存储介质中存储有指令，具体而言，存储有该指令的暂时和永久副本。
179.在一个实施例中，协处理器806是专用处理器，诸如例如高吞吐量mic处理器、网络或通信处理器、压缩引擎、图形处理器、gpu、或嵌入式处理器等等。协处理器806的任选性质用虚线表示在图16中。
180.在一个实施例中，电子设备800可以进一步包括网络接口(nic)803。网络接口803可以包括收发器，用于为设备800提供无线电接口，进而与任何其他合适的设备(如前端模块，天线等)进行通信。在各种实施例中，网络接口803可以与电子设备800的其他组件集成。网络接口803可以实现上述实施例中的通信单元的功能。
181.在一个实施例中，如图16所示的，电子设备800可以进一步包括输入/输出(i/o)设备805。输入/输出(i/o)设备805可以包括：用户界面，该设计使得用户能够与电子设备800进行交互；外围组件接口的设计使得外围组件也能够与电子设备800交互；和/或传感器设计用于确定与电子设备800相关的环境条件和/或位置信息。
182.值得注意的是，图16仅是示例性的。即虽然图16中示出了电子设备800包括处理器801、控制器中枢804、存储器802等多个器件，但是，在实际的应用中，使用本技术各方法的设备，可以仅包括电子设备800各器件中的一部分器件，例如，可以仅包含处理器801和nic803。图16中可选器件的性质用虚线示出。
183.在本技术一些实施例中，该电子设备800的计算机可读存储介质中存储有指令可以包括：由处理器中的至少一个单元执行时导致设备实施以上实施例所提到的无线充电对位的检测方法的指令。当指令在计算机上运行时，使得计算机执行上述如以上实施例所提到的窗口控制方法。
184.现在参考图17，图17为本技术实施例公开的一种soc的结构示意图，所示为根据本技术的一实施例的示例的soc(system on chip，片上系统)1000的框图。在图17中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc的可选特征。该soc可以被用于根据本技术的一实施例的电子设备，根据其内所存储的指令，可以实现相应的功能。
185.在图17中，soc 1000包括：互连单元1002，其被耦合至处理器1001；系统代理单元1006；总线控制器单元1005；集成存储器控制器单元1003；一组或一个或多个协处理器1007，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(sram)单元1008；直接存储器存取(dma)单元1004。在一个实施例中，协处理器1007包括专用处理器，诸如例如网络或通信处理器、压缩引擎、gpu、高吞吐量mic处理器、或嵌入式处理器等等。
186.静态随机存取存储器(sram)单元1008中可以包括用于存储数据和/或指令的一个或多个计算机可读介质。计算机可读存储介质中可以存储有指令，具体而言，存储有该指令的暂时和永久副本。
187.在soc 1000被应用于根据本技术的电子设备上时，计算机可读存储介质中存储有指令可以包括：由处理器中的至少一个单元执行时导致电子设备实施如以上实施例所提到的无线充电对位的检测方法的指令。当指令在计算机上运行时，使得计算机执行上述如以上实施例所提到的窗口控制方法。
188.此外，本技术实施例还公开了一种计算机可读存储介质，计算机可读存储介质上存储有处理程序，处理程序被处理器执行时实现以上实施例所提到的窗口控制方法。
189.计算机可读存储介质可以为只读存储器、随机存取存储器、硬盘或者光盘等。

技术特征：
1.一种窗口控制方法，应用于基于虚拟现实技术或增强现实的电子设备，所述电子设备关联有指向部件，其特征在于，所述窗口控制方法用于控制显示在所述电子设备的可视区域内的多个窗口层，各个窗口层沿远离电子设备的用户侧的方向依次排列，各个窗口层中包括多个窗口，其中，所述窗口控制方法包括：检测所述指向部件的移动；基于所述指向部件的移动轨迹确定选择区域；根据选择区域从所述多个窗口层中确定至少一个目标窗口；对各至少一个所述目标窗口同时执行所述指向部件指示的操作。2.如权利要求1所述的窗口控制方法，其特征在于，所述指向部件的移动是针对窗口的点击，基于所述指向部件的点击位置确定所述选择区域。3.如权利要求1所述的窗口控制方法，其特征在于，所述指向部件的移动是以预定轨迹移动，基于所述指向部件移动时形成的轨迹，确定所述选择区域。4.如权利要求3所述的窗口控制方法，其特征在于，所述指向部件移动时形成的轨迹形成封闭图形，所述电子设备基于所述封闭图形所覆盖的区域确定所述选择区域，作为选择区域的所述封闭图形的区域内的窗口为选中的所述目标窗口。5.如权利要求1-4任意一项所述的窗口控制方法，其特征在于，基于所述指向部件指示的收放操作包括对各所述目标窗口进行缩小、放大、移动窗口位置。6.如权利要求1-4任意一项所述的窗口控制方法，其特征在于，所述根据选择区域从所述多个窗口层中确定至少一个目标窗口包括：基于所述选择区域，确定同一个窗口层中的至少一个目标窗口。7.如权利要求1-4任意一项所述的窗口控制方法，其特征在于，所述根据选择区域从所述多个窗口层中确定至少一个目标窗口包括：基于所述选择区域，确定多个窗口层中的多个目标窗口，每个窗口层中至少一个窗口被选中。8.如权利要求6或7所述的窗口控制方法，其特征在于，所述选择区域所确定的封闭图形的范围，覆盖多个窗口层中的多个窗口，所述多个窗口被确定作为所述目标窗口。9.如权利要求6或7所述的窗口控制方法，其特征在于，所述选择区域在所述多个窗口层中的一个窗口层上选择的窗口，以及所述选择区域被映射到其他窗口层上所确定的至少一个窗口，作为所述目标窗口。10.如权利要求1所述的窗口控制方法，其特征在于，在所述至少一个所述目标窗口包括至少两个窗口的情况下，执行所述指向部件指示的操作对所述多个所述目标窗口执行所述指向部件指示的操作，包括互相调换所述至少两个窗口的位置。11.如权利要求1所述的窗口控制方法，其特征在于，所述至少两个窗口被分成两个窗口组，执行所述指向部件指示的操作对所述多个所述目标窗口执行所述指向部件指示的操作，包括互相调换所述两个窗口组的位置。12.如权利要求10或11所述的窗口控制方法，其特征在于，调整至少两个所述窗口中的
第一目标窗口的面积以和第二目标窗口的位置处的显示区域相适应，或调整所述至少两个所述窗口中的第二目标窗口的面积以和所述第一目标窗口的位置处的显示区域相适应。13.一种电子设备，其特征在于，所述电子设备关联有指向部件，且所述电子设备基为基于虚拟现实技术或增强现实的电子设备，所述电子设备包括：存储器，所述存储器用于存储窗口控制指令；处理器，所述处理器在执行所述窗口控制指令时实现如下步骤：检测所述指向部件的移动；基于所述指向部件的移动轨迹确定选择区域；根据选择区域从多个窗口层中确定至少一个目标窗口；对至少一个所述目标窗口同时执行所述指向部件指示的操作。14.如权利要求13所述的电子设备，其特征在于，所述处理器在执行所述窗口控制指令时，还用于基于所述指向部件的点击位置确定所述选择区域。15.如权利要求13所述的电子设备，其特征在于，所述处理器在执行所述窗口控制指令时，还用于基于所述指向部件移动时形成的轨迹，确定所述选择区域。16.如权利要求13-15任意一项所述的电子设备，其特征在于，所述处理器在执行所述窗口控制指令时，还用于基于所述指向部件指示的收放操作包括对各所述目标窗口进行缩小、放大、移动窗口位置。17.如权利要求13-15任意一项所述的电子设备，其特征在于，所述处理器在执行所述窗口控制指令时，还用于基于所述选择区域，确定同一个窗口层中的至少一个目标窗口，或者基于所述选择区域，确定多个窗口层中的多个目标窗口，每个窗口层中至少一个窗口被选中。18.如权利要求17所述的电子设备，其特征在于，所述存储器还用于存储所述选择区域，以使所述处理器调用所述选择区域。19.如权利要求13-15任意一项所述的电子设备，其特征在于，所述处理器在执行所述窗口控制指令时，还用于互相调换所述至少两个窗口的位置或者互相调换所述两个窗口组的位置。20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有存储窗口控制指令，所述存储窗口控制指令被处理器执行时实现如权利要求1-12任意一项所述的窗口控制方法。

技术总结
本申请涉及计算机技术领域，公开了一种窗口控制方法、电子设备及计算机可读存储介质，用户可以利用指向部件的移动从多个窗口中选取部分窗口作为待控制的目标窗口。所选取的目标窗口可以是处于同一个层级或者分别处于不同的层级的多个窗口。选取目标窗口后，电子设备对各目标窗口执行指向部件指示的操作。指向部件指示的操作包括但不限于收放操作以对目标窗口进行缩小或放大、替换操作以对选中的目标窗口互相进行替换、删除操作以对选中的目标窗口进行删除等。如此，用户利用指向部件选中多个目标窗口，从而便于电子设备对各目标窗口进行批量操作，提升了用户的体验感。提升了用户的体验感。提升了用户的体验感。


技术研发人员：杨婉艺
受保护的技术使用者：华为技术有限公司
技术研发日：2020.11.04
技术公布日：2022/5/25