一种基于双屏设备的控制方法、存储介质及设备与流程

1.本发明涉及电子设备技术领域，具体涉及一种基于双屏设备的控制方法、存储介质及设备。


背景技术：

2.随着智能手机、平板电脑等电子设备的快速发展，越来越多的用户选择使用电子设备进行学习、工作或是娱乐。目前双屏设备已经逐步在市场上出现，墨水屏与液晶屏的双屏应用也开始进入人们的视野。手势识别控制是常见的控制方式，但是当前还缺少适用于双屏设备的较好的手势识别控制方案。


技术实现要素：

3.针对现有技术的不足，本发明旨在提供一种基于双屏设备的控制方法、存储介质及设备。
4.为了实现上述目的，本发明采用如下技术方案：
5.一种基于双屏设备的控制方法，所述双屏设备的屏幕至少包括一个墨水屏和一个液晶屏；所述方法的过程为：
6.所述双屏设备可通过雷达传感器、红外手势传感器、摄像头中的一种或多种，获取用户的手势数据并识别出具体的手势；
7.双屏设备中预先存储不同手势和不同控制指令之间的关系；所述控制指令分为共有指令、区分指令和特性指令三种类型；共有指令是指不需要区分左手和右手、是针对双屏设备中与屏幕无关的其他方面的控制指令，区分指令是指需要区分左手和右手、同一时间仅针对其中一个屏幕执行的控制指令，特性指令是指不需要区分左手和右手、仅对某个特定的屏幕适用的指令；
8.用户先选择要设置的具体控制指令，当用户要设置的控制指令为共有指令或特性指令，则用其中一只手录入对应的手势即可，当用户要设置的控制指令是区分指令，则先确定左手和右手分别与墨水屏和液晶屏之间的对应关系，然后对于同一个手势，分别录入一个左手的手势和一个右手的手势，以对应墨水屏的该控制指令和对应液晶屏的该控制指令；
9.当用户对着双屏设备做出手势时，双屏设备通过雷达传感器、红外手势传感器、摄像头中的一种或多种获得手势数据后，先识别出具体的手势形状并判断该手势所对应的控制指令，如果该控制指令是共有指令或特性指令，则直接执行该控制指令，如果是区分指令，进一步判断做出当前手势的是左手还是右手，从而判断出是对墨水屏还是液晶屏执行该控制指令。
10.进一步地，在双屏设备中，预先通过采集大量左手和右手的不同手势的图片作为训练样本，通过机器学习算法训练得到初步的手势识别模型，在用户设置手势和控制指令时，进一步采集用户本人的左手和右手做出不同手势的图片进一步进行训练，得到最终的
手势识别模型。
11.本发明提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
12.本发明提供一种双屏设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。
13.本发明的有益效果在于：本发明通过将控制指令分类，并对不同类型的控制指令采用不同的手势录入和识别机制，可以使得双屏设备的控制更加清晰、减少误控制的情况的同时，减少用户需要进行操作，减少给用户带来的不便。
具体实施方式
14.以下将对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
15.本实施例提供一种基于双屏设备的控制方法，所述双屏设备的屏幕至少包括一个墨水屏和一个液晶屏；该双屏设备可以是智能手表、学生平板等设备。
16.所述双屏设备可通过雷达传感器、红外手势传感器、摄像头中的一种或多种，获取用户的手势数据并识别出具体的手势；
17.双屏设备中预先存储不同手势和不同控制指令之间的关系；所述控制指令分为共有指令、区分指令和特性指令三种类型；共有指令是指不需要区分左手和右手、是针对双屏设备中与屏幕无关的其他方面的控制指令(如音量调节等)，区分指令是指需要区分左手和右手、同一时间仅针对其中一个屏幕执行的控制指令(如针对其中一个屏幕的休眠/唤醒功能等)，特性指令是指不需要区分左手和右手、仅对某个特定的屏幕适用的指令(如全局刷新指令仅适用于墨水屏，对液晶屏不会起作用)；
18.用户先选择要设置的具体控制指令，当用户要设置的控制指令为共有指令或特性指令，则用其中一只手录入对应的手势即可，当用户要设置的控制指令是区分指令，则先确定左手和右手分别与墨水屏和液晶屏之间的对应关系，然后对于同一个手势，分别录入一个左手的手势和一个右手的手势，以对应墨水屏的该控制指令和对应液晶屏的该控制指令；
19.当用户对着双屏设备做出手势时，双屏设备通过雷达传感器、红外手势传感器、摄像头中的一种或多种获得手势数据后，先识别出具体的手势形状并判断该手势所对应的控制指令，如果该控制指令是共有指令或特性指令，则直接执行该控制指令，如果是区分指令，进一步判断做出当前手势的是左手还是右手，从而判断出是对墨水屏还是液晶屏执行该控制指令。
20.进一步地，在双屏设备中，预先通过采集大量左手和右手的不同手势的图片作为训练样本，通过机器学习算法训练得到初步的手势识别模型，在用户设置手势和控制指令时，进一步采集用户本人的左手和右手做出不同手势的图片进一步进行训练，得到最终的手势识别模型。
21.对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。


技术特征：
1.一种基于双屏设备的控制方法，所述双屏设备的屏幕至少包括一个墨水屏和一个液晶屏；其特征在于，所述方法的过程为：所述双屏设备可通过雷达传感器、红外手势传感器、摄像头中的一种或多种，获取用户的手势数据并识别出具体的手势；双屏设备中预先存储不同手势和不同控制指令之间的关系；所述控制指令分为共有指令、区分指令和特性指令三种类型；共有指令是指不需要区分左手和右手、是针对双屏设备中与屏幕无关的其他方面的控制指令，区分指令是指需要区分左手和右手、同一时间仅针对其中一个屏幕执行的控制指令，特性指令是指不需要区分左手和右手、仅对某个特定的屏幕适用的指令；用户先选择要设置的具体控制指令，当用户要设置的控制指令为共有指令或特性指令，则用其中一只手录入对应的手势即可，当用户要设置的控制指令是区分指令，则先确定左手和右手分别与墨水屏和液晶屏之间的对应关系，然后对于同一个手势，分别录入一个左手的手势和一个右手的手势，以对应墨水屏的该控制指令和对应液晶屏的该控制指令；当用户对着双屏设备做出手势时，双屏设备通过雷达传感器、红外手势传感器、摄像头中的一种或多种获得手势数据后，先识别出具体的手势形状并判断该手势所对应的控制指令，如果该控制指令是共有指令或特性指令，则直接执行该控制指令，如果是区分指令，进一步判断做出当前手势的是左手还是右手，从而判断出是对墨水屏还是液晶屏执行该控制指令。2.根据权利要求1所述的方法，其特征在于，在双屏设备中，预先通过采集大量左手和右手的不同手势的图片作为训练样本，通过机器学习算法训练得到初步的手势识别模型，在用户设置手势和控制指令时，进一步采集用户本人的左手和右手做出不同手势的图片进一步进行训练，得到最终的手势识别模型。3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-2任一所述的方法。4.一种双屏设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现权利要求1-2任一所述的方法。

技术总结
本发明公开了一种基于双屏设备的控制方法、存储介质及设备，通过将控制指令分类，并对不同类型的控制指令采用不同的手势录入和识别机制，可以使得双屏设备的控制更加清晰、减少误控制的情况的同时，减少用户需要进行操作，减少给用户带来的不便。减少给用户带来的不便。


技术研发人员：高山 张通喜 蔡伟谦
受保护的技术使用者：珠海读书郎软件科技有限公司
技术研发日：2022.02.16
技术公布日：2022/5/25