一种基于屏幕识别实现触控的方法及屏幕控制设备与流程

1.本技术涉及图像处理领域，尤其涉及一种基于屏幕识别实现触控的方法及屏幕控制设备。


背景技术：

2.触控屏被广泛的应用在人们的日常生活中，触摸屏由触摸检测部件和触摸屏控制器组成，触摸检测部件安装在显示器屏幕前面，用于检测用户触摸位置，接收后发送触摸屏控制器，而触摸屏控制器的主要作用是从触摸点检测装置上接收触摸信息，并将它转换成触点坐标，再发送给中央处理器(cpu，central processing unit)，它同时能接收cpu发来的命令并加以执行，触控屏能够为用户带来良好的交互体验。
3.现有技术中，触控屏幕都是通过触控元器件，例如通过电阻、电容实现触控。对于电阻式、电容式的的触控屏幕来说，精度高但成本也高，一般应用于较小尺寸的屏幕，而不适用于较大的屏幕。并且通过触控元器件的方式实现触屏，需要厂家和新屏幕出厂前就一体生产，如果屏幕未设置有触摸元器件，该屏幕就无法实现触控功能。


技术实现要素：

4.本技术提供了一种基于屏幕识别实现触控的方法及屏幕控制设备，用于在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果。
5.本技术第一方面提供了一种基于屏幕识别实现触控的方法，所述方法应用于屏幕控制设备，所述屏幕控制设备安装于显示设备上，所述方法包括：
6.所述屏幕控制设备实时拍摄所述显示设备的显示区域；
7.当检测到所述显示区域产生触控操作时，所述屏幕控制设备确定所述触控操作的坐标位置以及触控操作对应的指令；
8.所述屏幕控制设备将所述坐标位置以及指令发送给所述显示设备，以使得所述显示设备根据所述坐标位置以及指令进行响应操作。
9.可选的，所述检测到所述显示区域产生触控操作包括：
10.所述屏幕控制设备通过所拍摄的画面检测到触控件与所述显示区域之间的距离小于预设值时，所述屏幕控制设备获取当前时刻之后的所述触控件的运动轨迹，根据所述运动轨迹确定触控操作。
11.可选的，在所述屏幕控制设备确定所述触控操作的坐标位置以及触控操作对应的指令之前，所述方法还包括：
12.所述屏幕控制设备与所述显示设备进行画面标定。
13.可选的，所述屏幕控制设备与所述显示设备进行画面标定包括：
14.所述屏幕控制设备获取所述显示设备的显示规格参数；
15.所述屏幕控制设备将拍摄的样本图像按照所述显示规格参数进行形变匹配；
16.所述屏幕控制设备保存匹配后的形变参数。
17.可选的，所述屏幕控制设备确定所述触控操作的坐标位置以及触控操作对应的指令包括：
18.所述屏幕控制设备将拍摄的第一图像按照所述形变参数进行形变后得到第二图像；
19.所述屏幕控制设备根据所述第二图像确定所述触控操作的坐标位置以及触控操作对应的指令。
20.可选的，所述屏幕控制设备与所述显示设备进行画面标定包括：
21.所述屏幕控制设备获取所述显示设备的显示规格参数；
22.所述屏幕控制设备将拍摄的样本图像与所述显示规格参数进行坐标映射；
23.所述屏幕控制设备保存坐标映射关系。
24.可选的，所述屏幕控制设备确定所述触控操作的坐标位置以及触控操作对应的指令包括：
25.所述屏幕控制设备根据拍摄的第一图像确定触控操作的坐标位置以及触控操作对应的指令；
26.所述屏幕控制设备根据所述坐标映射关系调整所述坐标位置以及触控操作对应的指令。
27.本技术第二方面提供了另一种基于屏幕识别实现触控的方法，所述方法应用于屏幕控制设备，所述屏幕控制设备安装于显示设备上，所述方法包括：
28.所述屏幕控制设备实时拍摄所述显示设备的显示区域；
29.当检测到触控指令时，所述屏幕控制设备将当前获取的第三图像通过所述显示设备进行显示；
30.所述屏幕控制设备采集用户的触控指令；
31.所述屏幕控制设备根据所述触控指令对所述显示设备所显示的所述第三图像进行更新处理。
32.可选的，所述屏幕控制设备包括第一摄像头和控制器，所述屏幕控制设备采集用户的触控指令包括：
33.所述第一摄像头实时抓拍触控物位于图像中的位置，生成第四图像；
34.所述控制器通过将所述第三图像和所述第四图像进行比对，确定所述第四图像中被遮挡位置的第一坐标；
35.所述第一摄像头抓拍预设时间后触控物位于图像中的位置，生成第五图像；
36.所述控制器通过将所述第三图像和所述第五图像进行比对，确定所述第五图像中被遮挡位置的第二坐标；
37.所述控制器根据所述第一坐标和所述第二坐标确定用户的触控指令。
38.可选的，所述屏幕控制设备包括第二摄像头，所述屏幕控制设备采集用户的触控指令包括：
39.所述第二摄像头采集用户的操作图像；
40.所述第二摄像头根据预设模型确定所述操作图像中的触控指令。
41.可选的，所述屏幕控制设备将当前获取的第三图像通过所述显示设备进行显示包括：
42.所述屏幕控制设备向所述显示设备发送截屏请求，并获取当前截屏得到的第三图像；
43.所述屏幕控制设备通过所述显示设备显示所述第三图像。
44.可选的，所述屏幕控制设备将当前获取的第三图像通过所述显示设备进行显示包括：
45.所述屏幕控制设备将当前抓拍的第三图像通过所述显示设备进行显示。
46.可选的，在所述屏幕控制设备将当前抓拍的第三图像通过所述显示设备进行显示之前，所述方法还包括：
47.所述屏幕控制设备对当前抓拍的第三图像进行与所述显示设备的匹配和校准。
48.可选的，所述屏幕控制设备对当前抓拍的第三图像进行与所述显示设备的匹配和校准包括：
49.所述屏幕控制设备获取所述显示设备的屏幕规格参数；
50.所述屏幕控制设备根据所述屏幕规格参数对当前抓拍的第三图像进行与所述显示设备的匹配和校准。
51.可选的，在所述屏幕控制设备采集用户的触控指令之前，所述方法还包括：
52.所述屏幕控制设备对所述第三图像中的坐标进行标定。
53.可选的，所述触控指令包括：点触指令、书写指令、缩放指令、移动指令、旋转指令以及标记指令。
54.本技术第三方面提供了一种屏幕控制设备，所述屏幕控制设备安装于显示设备上，所述屏幕控制设备包括：
55.第一拍摄单元，用于实时拍摄所述显示设备的显示区域；
56.确定单元，用于当检测到所述显示区域产生触控操作时，确定所述触控操作的坐标位置以及触控操作对应的指令；
57.发送单元，用于将所述坐标位置以及指令发送给所述显示设备，以使得所述显示设备根据所述坐标位置以及指令进行响应操作。
58.可选的，所述确定单元具体用于：
59.通过所拍摄的画面检测到触控件与所述显示区域之间的距离小于预设值时，获取当前时刻之后的所述触控件的运动轨迹，根据所述运动轨迹确定触控操作。
60.可选的，所述屏幕控制设备还包括：
61.第一标定单元，用于与所述显示设备进行画面标定。
62.可选的，所述第一标定单元具体用于：
63.获取所述显示设备的显示规格参数；
64.将拍摄的样本图像按照所述显示规格参数进行形变匹配；
65.保存匹配后的形变参数。
66.可选的，所述确定单元具体用于：
67.将拍摄的第一图像按照所述形变参数进行形变后得到第二图像；
68.根据所述第二图像确定所述触控操作的坐标位置以及触控操作对应的指令。
69.可选的，所述第一标定单元具体还用于：
70.获取所述显示设备的显示规格参数；
71.将拍摄的样本图像与所述显示规格参数进行坐标映射；
72.保存坐标映射关系。
73.可选的，所述确定单元具体还用于：
74.根据拍摄的第一图像确定触控操作的坐标位置以及触控操作对应的指令；
75.根据所述坐标映射关系调整所述坐标位置以及触控操作对应的指令。
76.本技术第四方面提供了另一种屏幕控制设备，所述屏幕控制设备安装于显示设备上，所述屏幕控制设备包括：
77.第二拍摄单元，用于实时拍摄所述显示设备的画面内容；
78.显示单元，用于当检测到触控指令时，将当前获取的第三图像通过所述显示设备进行显示；
79.采集单元，用于采集用户的触控指令；
80.更新单元，用于根据所述触控指令对所述显示设备所显示的所述第三图像进行更新处理。
81.可选的，所述屏幕控制设备包括第一摄像头和控制器，所述采集单元具体用于：
82.通过所述第一摄像头实时抓拍触控物位于图像中的位置，生成第四图像；
83.通过所述控制器将所述第三图像和所述第四图像进行比对，确定所述第四图像中被遮挡位置的第一坐标；
84.通过所述第一摄像头抓拍预设时间后触控物位于图像中的位置，生成第五图像；
85.通过所述控制器将所述第三图像和所述第五图像进行比对，确定所述第五图像中被遮挡位置的第二坐标；
86.通过所述控制器根据所述第一坐标和所述第二坐标确定用户的触控指令。
87.可选的，所述屏幕控制设备包括第二摄像头，所述采集单元具体用于：
88.通过所述第二摄像头采集用户的操作图像；
89.通过所述第二摄像头根据预设模型确定所述操作图像中的触控指令。
90.可选的，所述显示单元具体用于：
91.向所述显示设备发送截屏请求，并获取当前截屏得到的第三图像；
92.通过所述显示设备显示所述第三图像。
93.可选的，所述显示单元具体还用于：
94.将当前抓拍的第三图像通过所述显示设备进行显示。
95.可选的，所述屏幕控制设备还包括：
96.匹配单元，用于对当前抓拍的第三图像进行与所述显示设备的匹配和校准。
97.可选的，所述匹配单元具体用于：
98.获取所述显示设备的屏幕规格参数；
99.根据所述屏幕规格参数对当前抓拍的第三图像进行与所述显示设备的匹配和校准。
100.可选的，所述屏幕控制设备还包括：
101.第二标定单元，用于对所述第三图像中的坐标进行标定。
102.可选的，所述触控指令包括：点触指令、书写指令、缩放指令、移动指令、旋转指令以及标记指令。
103.本技术第五方面提供了一种基于屏幕识别实现触控的装置，所述装置包括：
104.处理器、存储器、输入输出单元以及总线；
105.所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
106.所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的基于屏幕识别实现触控的方法，或执行第二方面以及第二方面中任一项可选的基于屏幕识别实现触控的方法。
107.本技术第六方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的基于屏幕识别实现触控的方法，或执行第二方面以及第二方面中任一项可选的基于屏幕识别实现触控的方法。
108.从以上技术方案可以看出，本技术具有以下优点：
109.本技术提供的基于屏幕识别实现触控的方法通过屏幕控制设备实现，通过屏幕控制设备实时拍摄显示设备的显示区域，为用户提供了两种触控应用场景。其一是通过屏幕控制设备检测用户的触控操作并产生相应的触控指令发送给显示设备，使得显示设备进行触控响应。其二当用户触发触控功能时，屏幕控制设备将当前拍摄到的画面内容(第三图像)投放至显示设备上，屏幕控制设备再继续采集用户的触控动作，屏幕控制设备根据用户不同的触控动作，对第三图像进行相应的更新处理。
110.通过上述两种方式能够在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果，极大地降低了触摸屏的成本，且安装方便，适用性广。
附图说明
111.为了更清楚地说明本技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
112.图1为本技术提供的基于屏幕识别实现触控的方法的第一种应用场景下一个实施例流程示意图；
113.图2为本技术提供的基于屏幕识别实现触控的方法的第一种应用场景下另一个实施例流程示意图；
114.图3为本技术提供的基于屏幕识别实现触控的方法的第二种应用场景下一个实施例流程示意图；
115.图4为本技术提供的基于屏幕识别实现触控的方法的第二种应用场景下另一个实施例流程示意图；
116.图5为本技术提供的基于屏幕识别实现触控的方法的第二种应用场景下另一个实施例流程示意图；
117.图6为本技术提供的屏幕控制设备一个实施例结构示意图；
118.图7为本技术提供的屏幕控制设备另一个实施例结构示意图；
119.图8为本技术提供的基于屏幕识别实现触控的装置一个实施例结构示意图。
具体实施方式
120.本技术提供了一种基于屏幕识别实现触控的方法、装置及存储介质，用于在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果。
121.需要说明的是，本技术提供的基于屏幕识别实现触控的方法，应用于屏幕控制设备，该屏幕控制设备安装在显示设备上，并与显示设备通信连接，本技术中的显示设备是指电视、显示器、投影、视频会议终端等具有显示功能的电子设备。该屏幕控制设备可以是将处理元件集成在摄像头中，以摄像头的形式进行布置，还可以是以摄像头外接处理元件的形式进行布置，具体此处不做限定。
122.本技术提供的基于屏幕识别实现触控的方法能够实现应用于智能化的显示设备，也可以应用于仅具有单一显示功能的显示设备，下面分别进行描述。
123.一、智能化的显示设备：
124.智能化的显示设备是指能够通过遥控器、鼠标等控制器进行功能控制的显示设备，例如智能电视可以通过遥控器进行应用软件的选取、视频的选择以及快进后退等，电脑显示器、投影或视频会议设备所投放的画面(电脑桌面)可以通过鼠标进行控制，针对这类显示设备，通过本技术提供的基于屏幕识别实现触控的方法可以将显示设备已有的功能转换为触控操作来实现。
125.在使用屏幕控制设备之前，需要将屏幕控制设备安装在显示设备上，通过hdmi或usb接口连接显示设备，与显示设备建立通信连接，使显示设备能够识别屏幕控制设备所发送的相关指令，目的是使显示设备不仅能够由原来的遥控器\鼠标实现操控，还能由屏幕控制设备所发送的指令实现操控。
126.请参阅图1，图1为本技术提供的基于屏幕识别实现触控的方法的一个实施例，该方法包括：
127.101、屏幕控制设备实时拍摄显示设备的显示区域；
128.本实施例提供的方法应用于屏幕控制设备，该屏幕控制设备对显示设备进行拍摄和处理以实现触控，屏幕控制设备上设置有摄像头，摄像头用于对显示设备的显示区域进行拍摄。
129.用户将屏幕控制设备与显示设备进行连接，然后将屏幕控制设备上搭载的摄像头对准显示设备的显示区域进行拍摄，使得屏幕控制设备能够实时抓取当前显示设备上的视频画面内容，屏幕控制设备具体拍摄的帧率可与显示设备屏幕刷新速率保持一致。
130.具体的，当显示设备处于显示状态时，其显示区域相较于其他非显示区域会存在画面变化，在实际应用中，显示区域画面变化速度比非显示区域的变化速度快，屏幕控制设备可根据该特性来确定显示设备的显示区域，从而进行对显示设备的画面内容的拍摄。
131.需要说明的是，屏幕控制设备优选设置于显示设备的上边缘正中间，并以一定的倾斜角度对屏幕进行拍摄，在使用屏幕控制设备之前，可以先进行显示设备的显示区域检测，用户购买设备后在自己的屏幕上进行第一次安装时，则在安装完毕后自动触发显示区域的检测步骤。
132.102、当检测到显示区域产生触控操作时，屏幕控制设备确定触控操作的坐标位置以及触控操作对应的指令；
133.屏幕控制设备在拍摄显示设备的显示区域时，不断检测显示区域中是否存在触控操作，该触控操作是指用户通过手指或其它触控件在显示设备的屏幕上接触所产生的操作。当检测到显示区域中存在触控操作时，屏幕控制设备则通过触控操作所在的位置确定该触控操作在显示区域中的坐标位置，通过触控操作的具体内容确定该触控操作对应的指令。
134.需要说明的是，触控操作对应的指令是指显示设备已有的功能，例如点触的触控指令对应显示设备的点击功能，类似于鼠标左键的点击指令，滑动的触控指令对应显示设备的滑动功能或翻页功能，屏幕控制设备在确定用户的触控操作后，需要根据预先建立的触控操作与显示设备已有功能之间的映射关系，确定触控操作对应的指令。
135.103、屏幕控制设备将坐标位置以及指令发送给显示设备，以使得显示设备根据坐标位置以及指令进行响应操作。
136.在确定了用户触控操作的坐标位置，以及触控操作所对应的指令后，则将该坐标位置以及对应的指令发送给显示设备，显示设备根据所接收到的指令，以及指令的坐标位置进行响应，从而达到触控的效果。例如用户在坐标a处进行点触，屏幕控制设备则将坐标a，以及点触操作对应的点击指令发送至显示设备，显示设备则对坐标a处进行点击指令的响应。
137.在本实施例中，将显示设备已有的功能转换为通过触控操作实现，在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果，极大地降低了触摸屏的成本，且安装方便，适用性广。
138.具体的，在视频会议场景中，屏幕控制设备对准视频会议设备的显示区域进行拍摄，当用户需要为与会人员讲解某个文档的具体内容时，则可以通过点触的触控操作点触显示区域中文档所在的位置，屏幕控制设备检测到显示区域存在触控操作时，则获取该点触操作的坐标位置，即在显示区域中的坐标位置，并确定点触的触控操作对应的点击指令；屏幕控制设备将该点触的触控操作的坐标位置以及对应的点击指令发送至视频会议设备，使得视频会议设备响应于该点击指令，将用户在目标位置的点触操作转换为点击指定，打开目标位置的文档。用户在打开文档后还可以通过滑动的触控操作对文档进行浏览，用户还可以点触软件中的具体功能，例如点触软件中的标记功能，此时滑动操作对应的指令就转变为标记指令，用户就可以在文档上进行标记。
139.请参阅图2，图2为本技术提供的基于屏幕识别实现触控的方法的另一个实施例，该方法包括：
140.201、屏幕控制设备实时拍摄显示设备的显示区域；
141.在本实施例中，步骤201与前述实施例步骤101类似，此处不再赘述。
142.202、屏幕控制设备与显示设备进行画面标定；
143.屏幕控制设备是通过摄像头对显示设备的显示区域进行拍摄确定用户在显示区域的触控操作，但由于摄像头摆设的位置及摄像头拍摄的角度不定，或摄像头自身存在的畸变，屏幕控制设备所拍摄的显示区域会存在一定畸变，导致屏幕控制设备所拍摄的显示区域与显示设备显示的真实画面内容存在差异。因此在使用屏幕控制设备之前，需要对屏幕控制设备所拍摄的画面内容与显示设备所显示的真实画面内容之间进行画面标定，进行画面标定的目的是为了建立屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之
间的映射关系。
144.具体的，屏幕控制设备可以通过usbcam数据或通过抓取显示设备截屏的方式获取显示设备的真实画面内容。
145.建立屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之间的映射关系可以是通过畸变矫正建立，还可以是通过网格法建立，下面分别进行描述：
146.a)畸变矫正；
147.在一些具体的实施例中，屏幕控制设备先获取显示设备的显示规格参数，该显示规格参数包含显示设备的屏幕大小，屏幕分辨率等参数。屏幕控制设备再将拍摄显示区域得到的样本图像，按照显示规格参数进行形变，使样本图像与显示设备的真实画面内容大小形状相匹配，然后屏幕控制设备保存匹配成功后的形变参数，从而根据该形变参数来进行屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之间的映射。
148.b)网格法；
149.在另一些具体的实施例中，屏幕控制设备先获取显示设备的显示规格参数，屏幕控制设备将拍摄显示区域得到的样本图像通过网格进行划分，同时根据显示规格参数将显示设备的真实画面通过相同数量的网格进行划分，再建立两者之间的映射关系，保存网格之间坐标的映射关系，从而根据该坐标映射关系来进行屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之间的映射。
150.203、屏幕控制设备通过所拍摄的画面检测到触控件与显示区域之间的距离小于预设值时，屏幕控制设备获取当前时刻之后的触控件的运动轨迹，根据运动轨迹确定触控操作；
151.屏幕控制设备通过检测用户的手指或其它触控件与显示区域(显示设备的屏幕)之间的距离，来判断显示区域内是否存在触控操作。当检测到触控件与显示区域的距离小于预设值时，则确定当前时刻显示区域内存在触控操作，触控操作包含点触、长按、滑动等，因此还需要获取当前时刻之后一定时间段内该触控件的运动轨迹，根据触控件的运动轨迹来确定具体的触控操作。
152.例如，屏幕控制设备拍摄到触控件在显示区域内的运动轨迹为一段距离，则确定对应的触控操作为滑动，屏幕控制设备拍摄到触控件在显示区域内的运动轨迹为在目标位置停留，则根据停留的时间确定对应的触控操作为点触或长按。
153.204、屏幕控制设备确定触控操作的坐标位置以及触控操作对应的指令；
154.当确定显示区域中存在触控操作时，屏幕控制设备则根据触控操作的运动轨迹确定该触控操作在显示区域中的坐标位置，通过触控操作的具体内容确定该触控操作对应的指令。
155.需要说明的是，触控操作对应的指令是指显示设备已有的功能，例如点触的触控指令对应显示设备的点击功能，类似于鼠标左键的点击指令，滑动的触控指令对应显示设备的滑动功能或翻页功能，屏幕控制设备在确定用户的触控操作后，需要根据预先建立的触控操作与显示设备已有功能之间的映射关系，确定触控操作对应的指令。
156.具体的，屏幕控制设备可以通过将摄像头拍摄得到的显示内容与显示设备的真实画面内容进行比对，找出触控件在图像中的位置或被触控件遮挡的显示内容，从而确定触控操作的坐标位置。
157.在一些具体的实施例中，如果在步骤202中是通过畸变矫正来进行屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之间的映射，那么在确定触控操作的坐标位置之前，屏幕控制设备需要先将拍摄用户的触控操作得到的第一图像按照该形变参数进行形变，得到第二图像，再根据第二图像确定触控操作的坐标位置以及触控操作对应的指令。
158.在另一些具体的实施例中，如果在步骤202中是通过网格法来进行屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之间的映射，那么屏幕控制设备直接在拍摄用户的触控操作得到的第一图像中确定触控操作的坐标位置(拍摄图像中触控操作所在网格的坐标位置)，再根据预先保存的坐标映射关系找到与该坐标位置对应的真实画面坐标位置(真实画面中触控操作所在网格的坐标位置)。
159.205、屏幕控制设备将坐标位置以及指令发送给显示设备，以使得显示设备根据坐标位置以及指令进行响应操作。
160.在本实施例中，步骤205与前述实施例步骤103类似，此处不再赘述。
161.在本实施例中，为了确定触控操作的坐标位置，屏幕控制设备需要与显示设备进行画面标定，标定的目的是为了建立屏幕控制设备的拍摄画面坐标与显示设备的真实画面坐标之间的映射关系，具体可以是通过畸变矫正来建立，还可以是通过网格法来建立。通过将显示设备已有的功能转换为通过触控操作实现，在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果，极大地降低了触摸屏的成本，且安装方便，适用性广。
162.二、仅具有单一显示功能的显示设备：
163.仅具有单一显示功能的显示设备是指类似于投影仪、幻灯机、普通电视等仅能够显示画面，但不具有处理能力的显示设备。对于这类显示设备，无法实现复杂功能的触控操作，但通过本技术提供的基于屏幕识别实现触控的方法可以为用户提供简单的书写、标记、放大缩小等触控的反馈，下面进行详细说明。
164.请参阅图3，图3为本技术提供的基于屏幕识别实现触控的方法的另一个实施例，该方法包括：
165.301、屏幕控制设备实时拍摄显示设备的显示区域；
166.本实施例提供的方法应用于屏幕控制设备，该屏幕控制设备对显示设备进行拍摄和处理以实现触控，屏幕控制设备上设置有摄像头，摄像头用于对显示设备的显示区域进行拍摄。
167.用户将屏幕控制设备与显示设备进行连接，然后将屏幕控制设备上搭载的摄像头对准显示设备的显示区域进行拍摄，使得屏幕控制设备能够实时抓取当前显示设备上的视频画面内容，屏幕控制设备具体拍摄的帧率可与显示设备屏幕刷新速率保持一致。
168.具体的，当显示设备处于显示状态时，其显示区域相较于其他非显示区域会存在画面变化，在实际应用中，显示区域画面变化速度比非显示区域的变化速度快，屏幕控制设备可根据该特性来确定显示设备的显示区域，从而进行对显示设备的画面内容的拍摄。
169.需要说明的是，屏幕控制设备优选设置于显示设备的上边缘正中间，并以一定的倾斜角度对屏幕进行拍摄，在使用屏幕控制设备之前，可以先进行显示设备的显示区域检测，用户购买设备后在自己的屏幕上进行第一次安装时，则在安装完毕后自动触发显示区域的检测步骤。
170.例如，在一些视频会议场景或者教育场景中，在需要对屏幕当前显示的内容进行讲解时，经常需要在画面中做一些标记或书写一些内容，如果屏幕不具备触控元器件时，就无法实现这些操作。但通过本技术提供的屏幕控制设备，能够实时拍摄显示设备(投影或电视)的画面内容，然后在用户需要进行书写或标记等触控操作时，屏幕控制设备会通过摄像头捕捉用户的触控操作，再根据用户的触控操作来更新显示设备所显示的内容，从而达到触控的效果。
171.302、当检测到触控指令时，屏幕控制设备将当前获取的第三图像通过显示设备进行显示；
172.当屏幕控制设备检测到用户的触控指令时，该屏幕控制设备获取当前显示设备的画面内容，即第三图像，并将第三图像投放至显示设备进行显示。
173.具体的，该触控指令可以是由遥控器触发，还可以是由用户的触控动作或手势动作触发，例如用户点击遥控器上的暂停按键，或用户点击了显示设备的屏幕指定区域被摄像头所采集，还可以是用户比划了一个暂停的手势动作被摄像头所采集。当检测到上述触控指令时，屏幕控制设备获取当前时刻显示设备显示的第三图像，再经过预处理使第三图像满足一定的显示要求，再将第三图像传输至显示设备进行显示，在后续过程中用户可以对该第三图像进行一定的触控操作。
174.需要说明的是，屏幕控制设备获取当前时刻显示设备显示的第三图像可以是通过摄像头拍摄显示设备的显示内容得到，还可以是通过显示设备截屏得到，具体此处不做限定。
175.303、屏幕控制设备采集用户的触控指令；
176.在屏幕控制设备将第三图像投放至显示设备进行显示的同时，屏幕控制设备还通过摄像头持续采集用户的触控指令，该触控指令具体为一些触控动作，例如点触、书写、缩放图像、移动、旋转、或者标记等，这些触控动作均可通过摄像头采集。
177.304、屏幕控制设备根据触控指令对显示设备所显示的第三图像进行更新处理。
178.屏幕控制设备根据所采集到的触控指令，对显示设备当前显示的第三图像进行相应的更新处理，从而实现触控。
179.例如，用户a通过购买该屏幕控制设备，安装在视频会议设备上，摄像头实时抓取视频会议设备上屏幕的视频帧。当用户a通过遥控器进行暂停播放时，或者用户a点击了屏幕的指定区域时，又或者是用户a走近屏幕比划了一个暂停的手势动作时，屏幕控制设备将摄像头当前所抓取的图像通过屏幕进行显示，此时用户a在屏幕上可通过一些触控指令，比如书写、缩放图像、移动、旋转、或者标记等，这些触控指令均可通过摄像头采集获得。屏幕控制设备则可以根据摄像头所采集的触控指令，对屏幕所显示的图像进行相应的更新，即当用户在屏幕上进行书写的触控时，屏幕控制设备则在所显示的图像中生成相应的书写内容，当用户在屏幕上进行缩放的触控时，屏幕控制设备则对所显示的图像进行缩放，当用户在电视屏幕上进行书写的触控时，屏幕控制设备则在所显示的图像中书写相应的内容。
180.在本实施例中，本技术提供的基于屏幕识别实现触控的方法通过屏幕控制设备实现，该屏幕控制设备实时拍摄显示设备的画面内容，当用户触发触控功能时，屏幕控制设备将当前拍摄到的画面内容(第三图像)投放至显示设备上，屏幕控制设备再继续采集用户的触控动作，屏幕控制设备根据用户不同的触控动作，对第三图像进行相应的更新处理。由此
能够在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果，极大地降低了触摸屏的成本，且安装方便，适用性广。
181.本技术提供的屏幕控制设备中，可以通过同一个摄像头同时实现屏幕的拍摄和用户触控指令的采集，还可以通过多个摄像头来分别进行屏幕的拍摄和用户触控指令的采集，下面分别进行描述。
182.1、同一个摄像头同时实现屏幕的拍摄和用户触控指令的采集：
183.请参阅图4，图4为本技术提供的基于屏幕识别实现触控的方法的一个实施例，该方法包括：
184.401、屏幕控制设备实时拍摄显示设备的显示区域；
185.在本实施例中，步骤401与前述实施例步骤301类似，此处不再赘述。
186.需要说明的是，在本实施例中，使用同一个摄像头同时实现屏幕的拍摄和用户触控指令的采集，即屏幕控制设备至少包含第一摄像头和控制器，屏幕控制设备通过第一摄像头实时抓拍显示设备的画面内容，屏幕控制设备还将通过第一摄像头采集用户的触控指令。
187.402、当检测到触控指令时，屏幕控制设备对当前获取的第三图像进行与显示设备的匹配和校准；
188.当屏幕控制设备检测到用户的触控指令时，该屏幕控制设备获取显示设备当前显示的画面内容，即第三图像。
189.屏幕控制设备获取显示设备当前显示的画面内容的方式有如下两种，下面分别进行描述：
190.a、屏幕控制设备通过第一摄像头抓拍显示设备当前显示的的画面内容；
191.屏幕控制设备可以通过第一摄像头抓拍显示设备当前显示的的画面内容，即第三图像，但是由于一些摄像头可能存在畸变，且屏幕控制设备的安装位置会影响到第一摄像头的拍摄角度，导致第一摄像头所拍摄的第三图像存在畸变，因此需要先对第三图像进行与显示设备的匹配和校准，使第三图像与显示设备的显示内容更加匹配。
192.在一些具体的实施例中，屏幕控制设备可以先获取显示设备的屏幕规格参数，例如显示设备的屏幕尺寸、比例、分辨率等规格参数，再通过这些规格参数对抓拍的第三图像进行剪裁、放大以及畸变矫正，使得处理后的第三图像与显示设备的显示内容更加匹配。
193.b、屏幕控制设备通过显示设备的截屏功能获取显示设备当前显示的的画面内容；
194.如果显示设备具有截屏功能，或者能够通过安装一些软件实现截屏功能，屏幕控制设备则可在检测到触控指令时，直接向显示设备发送截屏请求，以获取显示设备当前显示的画面内容，即第三图像。需要说明的是，由于该第三图像为显示设备截屏得到，满足显示设备的显示要求，因此实际上屏幕控制设备不需要执行步骤402以进行第三图像与显示设备的匹配和校准，而是在屏幕控制设备检测到触控指令并获取到显示设备截屏得到的第三图像后，直接执行步骤403通过显示设备显示该第三图像。
195.403、屏幕控制设备将第三图像通过显示设备进行显示；
196.屏幕控制设备在对第三图像进行与显示设备的匹配和校准，使第三图像与显示设备的显示内容更加匹配，屏幕控制设备将处理后的第三图像通过显示设备进行显示。
197.如果第三图像是通过显示设备截屏得到，那么则不需要对第三图像进行与显示设
备的匹配和校准，直接通过显示设备显示该第三图像即可。
198.404、屏幕控制设备对第三图像中的坐标进行标定；
199.本实施例中，为了对用户的触控指令进行定位从而实现触控操作，需要在采集用户的触控指令之前，先对第三图像中的坐标进行标定，这里的第三图像指的是经过匹配和校准处理后的第三图像，或显示设备截屏得到的第三图像，对第三图像中的坐标进行标定是为了后续能够对用户的触控指令进行识别和处理。
200.在一些具体的实施例中，可以通过网格法对第三图像中的坐标进行标定，即采用棋盘格或者其他任何适用的图形，按照不同的精度需求对第三图像进行网格切分，以单元网格的大小为基准，以各个网格线条的交点作为坐标点，建立网格坐标系。
201.在另一些具体的实施例中，还可以直接以第三图像的左上角为原点建立以像素为单位的图像坐标系，像素的横坐标与纵坐标分别是其在图像数组中的列数和行数，图像坐标系的建立适用于精度较高的应用场景。
202.405、第一摄像头实时抓拍触控物位于图像中的位置，生成第四图像；
203.在屏幕控制设备将第三图像投放至显示设备进行显示的同时，屏幕控制设备还通过第一摄像头持续采集用户的触控指令，该触控指令可以具体为一些触控动作，例如书写、缩放图像、移动、旋转、或者标记等，这些触控动作均可通过第一摄像头采集。
204.具体的，屏幕控制设备通过第一摄像头实时抓拍用户的手指或其它触控物位于第三图像中的位置，形成第四图像。
205.为了便于对用户的手指或其它触控物在图像中的位置进行确定，可以将用户的手指或其它触控物尖端处理为一个固定大小的圆形图块，通过该圆形图块在图像中的位置反映手指或其它触控物在图像中的位置。
206.406、控制器通过将第三图像和第四图像进行比对，确定第四图像中被遮挡位置的第一坐标；
207.屏幕控制设备中的控制器通过将第四图像与原第三图像进行比对，从而确定第四图像中被遮挡位置的坐标，将该坐标确定为触控动作的第一坐标。
208.需要说明的是，如果第三图像是通过摄像头拍摄得到，第四图像同样是通过摄像头拍摄得到，那么第三图像与第四图像之间拍摄角度相同，存在比对的基础。但如果第三图像是通过显示设备截屏得到，但第四图像是通过屏幕控制设备中的摄像头拍摄得到，那么前者和后者之间存在一定的大小差异和角度差异，因此在进行第三图像和第四图像的比对之前，需要先通过步骤402中同样的方式对第四图像进行与显示设备的匹配和校准，或者预先建立起摄像头拍摄得到的画面内容和显示设备的实际显示内容之间坐标的相对映射关系，从而使得第三图像和第四图像之间存在比对的基础。
209.407、第一摄像头抓拍预设时间后触控物位于图像中的位置，生成第五图像；
210.然后在预设时间后(例如0.05秒后)，第一摄像头继续抓拍用户的手指或其它触控物位于第四图像中的位置，形成第五图像。
211.408、控制器通过将第三图像和第五图像进行比对，确定第五图像中被遮挡位置的第二坐标；
212.屏幕控制设备中的控制器再通过将第五图像与原第三图像进行再次比对，从而确定第五图像中被遮挡位置的坐标，将该坐标确定为触控动作的第二次坐标。
213.同理，如果第三图像是通过显示设备截屏得到，但第五图像是通过屏幕控制设备中的摄像头拍摄得到，那么在比对前需要对第五图像进行处理，使得两者之间存在比对的基础。
214.409、控制器根据第一坐标和第二坐标确定用户的触控指令；
215.控制器根据两次坐标或连续多次坐标的确定，从而确定用户触控动作的具体指令，即确定用户的触控指令的类型。例如，如果两个手指(两次的坐标)由近至远，则是放大指令，两个手指由远至近，则是缩小指令，如果一个手指不断移动形成了一段触控距离，则是标记指令等等。
216.410、屏幕控制设备根据触控指令对显示设备所显示的第三图像进行更新处理。
217.屏幕控制设备在确定了用户的触控指令后，则对显示设备当前显示的第三图像进行相应的更新处理，从而实现触控。例如确定用户的触控指令为放大指令，则相应地对第三图像进行放大处理，确定用户的触控指令为标记指令，则对应地在第三图像中的相应位置进行标记处理。
218.在本实施例中，当用户触发触控功能时，屏幕控制设备将第一摄像头当前拍摄到的画面内容(第三图像)进行匹配和校准，再投放至显示设备上，屏幕控制设备再通过第一摄像头继续采集用户的触控动作，具体可以通过遮挡对比法来确定用户的触控动作，屏幕控制设备根据用户不同的触控动作，对第三图像进行相应的更新处理。由此能够在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果，极大地降低了触摸屏的成本，且安装方便，适用性广。
219.2、多个摄像头来分别进行屏幕的拍摄和用户触控指令的采集：
220.请参阅图5，图5为本技术提供的基于屏幕识别实现触控的方法的一个实施例，该方法包括：
221.501、屏幕控制设备实时拍摄显示设备的显示区域；
222.在本实施例中，步骤501与前述实施例步骤401类似，此处不再赘述。
223.需要说明的是，在本实施例中，使用多个摄像头分别实现屏幕的拍摄和用户触控指令的采集，即屏幕控制设备至少包含第一摄像头和第二摄像头，屏幕控制设备通过第一摄像头实时抓拍显示设备的显示区域，再通过第二摄像头来采集用户的触控指令。
224.502、当检测到触控指令时，屏幕控制设备对当前获取的第三图像进行与显示设备的匹配和校准；
225.503、屏幕控制设备将第三图像通过显示设备进行显示；
226.504、屏幕控制设备对第三图像中的坐标进行标定；
227.在本实施例中，步骤502至步骤504与前述实施例步骤402至步骤404类似，此处不再赘述。
228.505、第二摄像头采集用户的操作图像；
229.在屏幕控制设备将第一摄像头抓拍的第三图像投放至显示设备进行显示的同时，屏幕控制设备还通过第二摄像头持续采集用户的触控指令，该触控指令可以具体为一些触控动作，例如书写、缩放图像、移动、旋转、或者标记等，这些触控动作均可通过第一摄像头采集。
230.具体的，屏幕控制设备可以直接使用训练好的触控动作识别模型来直接识别用户
的触控动作，从而确定相应的触控指令。屏幕控制设备上设置有一个专门用于识别用户触控动作的第二摄像头，第二摄像头实时采集用户的触控动作图像，然后将该触控动作图像输入至训练好的触控动作识别模型中，接收触控动作识别模型输出的触控动作识别结果，再根据该触控动作识别结果确定相应的触控指令。
231.需要说明的是，该触控动作识别模型通过深度学习思想，基于大量的触控动作数据集训练得到，该触控动作识别模型用于识别用户的触控动作，输出对应的触控结果，该触控动作识别模型能够识别的触控动作包括但不限于书写动作、放大动作、缩小动作、移动动作和旋转动作。
232.506、第二摄像头根据预设模型确定操作图像中的触控指令；
233.第二摄像头将采集到的操作图像输入至训练好的触控动作识别模型中，然后获取触控动作识别模型输出的触控动作识别结果，再根据该触控动作识别结果确定相应的触控指令。
234.507、屏幕控制设备根据触控指令对显示设备所显示的第三图像进行更新处理。
235.在本实施例中，步骤507与前述实施例步骤410类似，此处不再赘述。
236.在本实施例中，当用户触发触控功能时，屏幕控制设备将第一摄像头当前拍摄到的画面内容(第三图像)进行匹配和校准，再投放至显示设备上，屏幕控制设备再通过第二摄像头继续采集用户的触控动作，具体可以通过训练好的触控动作识别模型来直接识别用户的触控动作，确定相应的触控指令。屏幕控制设备根据用户不同的触控动作，对第三图像进行相应的更新处理。由此能够在显示设备不带触控器件，不具备触控功能的情况下，使市面上大多数显示设备实现触摸屏的效果，极大地降低了触摸屏的成本，且安装方便，适用性广。
237.下面对本技术提供的屏幕控制设备进行详细描述，请参阅图6，图6为本技术提供的屏幕控制设备一个实施例，该屏幕控制设备包括：
238.第一拍摄单元601，用于实时拍摄显示设备的显示区域；
239.确定单元602，用于当检测到显示区域产生触控操作时，确定触控操作的坐标位置以及触控操作对应的指令；
240.发送单元603，用于将坐标位置以及指令发送给显示设备，以使得显示设备根据坐标位置以及指令进行响应操作。
241.可选的，确定单元602具体用于：
242.通过所拍摄的画面检测到触控件与显示区域之间的距离小于预设值时，获取当前时刻之后的触控件的运动轨迹，根据运动轨迹确定触控操作。
243.可选的，屏幕控制设备还包括：
244.第一标定单元604，用于与显示设备进行画面标定。
245.可选的，第一标定单元604具体用于：
246.获取显示设备的显示规格参数；
247.将拍摄的样本图像按照显示规格参数进行形变匹配；
248.保存匹配后的形变参数。
249.可选的，确定单元602具体用于：
250.将拍摄的第一图像按照形变参数进行形变后得到第二图像；
251.根据第二图像确定触控操作的坐标位置以及触控操作对应的指令。
252.可选的，第一标定单元604具体还用于：
253.获取显示设备的显示规格参数；
254.将拍摄的样本图像与显示规格参数进行坐标映射；
255.保存坐标映射关系。
256.可选的，确定单元602具体还用于：
257.根据拍摄的第一图像确定触控操作的坐标位置以及触控操作对应的指令；
258.根据坐标映射关系调整坐标位置以及触控操作对应的指令。
259.本实施例装置中，各单元的功能与前述图1和2所示方法实施例中的步骤对应，此处不再赘述。
260.请参阅图7，图7为本技术提供的屏幕控制设备另一个实施例，该屏幕控制设备包括：
261.第二拍摄单元701，用于实时拍摄显示设备的画面内容；
262.显示单元702，用于当检测到触控指令时，将当前获取的第三图像通过显示设备进行显示；
263.采集单元703，用于采集用户的触控指令；
264.更新单元704，用于根据触控指令对显示设备所显示的第三图像进行更新处理。
265.可选的，屏幕控制设备包括第一摄像头和控制器，采集单元704具体用于：
266.通过第一摄像头实时抓拍触控物位于图像中的位置，生成第四图像；
267.通过控制器将第三图像和第四图像进行比对，确定第四图像中被遮挡位置的第一坐标；
268.通过第一摄像头抓拍预设时间后触控物位于图像中的位置，生成第五图像；
269.通过控制器将第三图像和第五图像进行比对，确定第五图像中被遮挡位置的第二坐标；
270.通过控制器根据第一坐标和第二坐标确定用户的触控指令。
271.可选的，屏幕控制设备包括第二摄像头，采集单元704具体用于：
272.通过第二摄像头采集用户的操作图像；
273.通过第二摄像头根据预设模型确定操作图像中的触控指令。
274.可选的，显示单元702具体用于：
275.向显示设备发送截屏请求，并获取当前截屏得到的第三图像；
276.通过显示设备显示第三图像。
277.可选的，显示单元702具体还用于：
278.将当前抓拍的第三图像通过显示设备进行显示。
279.可选的，屏幕控制设备还包括：
280.匹配单元705，用于对当前抓拍的第三图像进行与显示设备的匹配和校准。
281.可选的，匹配单元705具体用于：
282.获取显示设备的屏幕规格参数；
283.根据屏幕规格参数对当前抓拍的第三图像进行与显示设备的匹配和校准。
284.可选的，屏幕控制设备还包括：
285.第二标定单元706，用于对第三图像中的坐标进行标定。
286.可选的，触控指令包括：点触指令、书写指令、缩放指令、移动指令、旋转指令以及标记指令。
287.本实施例装置中，各单元的功能与前述图3、图4和图5所示方法实施例中的步骤对应，此处不再赘述。
288.本技术还提供了一种基于屏幕识别实现触控的装置，请参阅图8，图8为本技术提供的基于屏幕识别实现触控的装置一个实施例，该装置包括：
289.处理器801、存储器802、输入输出单元803、总线804；
290.处理器801与存储器802、输入输出单元803以及总线804相连；
291.存储器802保存有程序，处理器801调用程序以执行如上任一基于屏幕识别实现触控的方法。
292.本技术还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一基于屏幕识别实现触控的方法。
293.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
294.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
295.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
296.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
297.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。