一种基于AR的设备使用方法、设备及智能终端系统与流程

一种基于ar的设备使用方法、设备及智能终端系统
技术领域
1.本公开涉及金融科技技术领域，具体涉及一种基于ar的设备使用方法、设备及智能终端系统。


背景技术：

2.针对atm的使用帮助目前无技术方案，主要通过人工进行指导。人工进行指导虽然能够较好的完成操作的指引，但如遇需要帮助的人多时，人工帮助人员数量和精力有限，会导致帮助效果降低。且如果每人帮助的情况下，由于目前atm等自助终端设备功能都较多，会导致使用者在无指导的情况下无法完成操作。
3.增强现实技术(augmented reality，ar)可将原本在现实世界的空间范围中比较难以进行体验的实体信息在计算机等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用。实现虚拟物体与真实环境的叠加，能够在同一个画面及空间中同时存在。


技术实现要素：

4.(一)要解决的技术问题
5.针对上述问题，本公开提供了一种基于ar的设备使用方法、设备及智能终端系统，用于至少部分解决传统通过人工指引设备的使用效率低、效果差等技术问题。
6.(二)技术方案
7.本公开一方面提供了一种基于ar的设备使用方法，包括：向ar服务器发送拍摄信息，以使ar服务器生成针对拍摄信息的增强现实界面；在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令。
8.进一步地，向ar服务器发送拍摄信息包括：向ar服务器发送第一拍摄信息，第一拍摄信息为处理设备的设备标识信息；向ar服务器发送第二拍摄信息，第二拍摄信息为处理设备的当前状态信息。
9.进一步地，在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息包括：根据增强现实界面的提示信息进行第一交互操作；并向ar服务器发送第一交互操作的信息；向ar服务器发送更新的第二拍摄信息，重复上述操作直至交互结束。
10.进一步地，还包括：在处理设备进行第二交互操作，以使处理设备执行与第二交互操作对应的指令；向ar服务器发送第三拍摄信息，第三拍摄信息为处理设备的当前状态信息和环境信息。
11.进一步地，还包括：向ar服务器发送帮助信息，以使ar服务器生成针对帮助信息的实时指导信息。
12.本公开另一方面提供了一种基于ar的设备使用方法，包括：获取智能终端发送的拍摄信息，生成针对拍摄信息的增强现实界面；获取智能终端发送的第一交互操作的信息，确定与第一交互操作的信息对应的现实触发信息；向处理设备发送现实触发信息，以使处
理设备执行与现实触发信息对应的指令。
13.进一步地，获取智能终端发送的拍摄信息包括：获取智能终端发送的第一拍摄信息，第一拍摄信息为处理设备的设备标识信息；获取智能终端发送的第二拍摄信息，第二拍摄信息为处理设备的当前状态信息。
14.进一步地，生成针对拍摄信息的增强现实界面包括：根据第一拍摄信息确定与处理设备相匹配的ar模型；根据第二拍摄信息确定处理设备的当前状态信息；根据ar模型和处理设备的当前状态信息生成针对拍摄信息的增强现实界面。
15.进一步地，还包括：获取智能终端发送的第三拍摄信息，第三拍摄信息为处理设备的当前状态信息和环境信息；根据当前状态信息和环境信息更新增强现实界面。
16.进一步地，增强现实界面包括文字、动画、语音中的至少一种提示信息。
17.本公开还有一方面提供了一种基于ar的设备使用方法，包括：获取ar服务器发送的现实触发信息，执行与现实触发信息对应的指令；其中，现实触发信息为ar服务器根据智能终端发送的第一交互操作的信息所确定。
18.本公开还有一方面提供了一种基于ar的设备，包括：智能终端，用于向ar服务器发送拍摄信息，以使ar服务器生成针对拍摄信息的增强现实界面；在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令；ar服务器，用于获取智能终端发送的拍摄信息，生成针对拍摄信息的增强现实界面；获取智能终端发送的第一交互操作的信息，确定与第一交互操作的信息对应的现实触发信息；向处理设备发送现实触发信息，以使处理设备执行与现实触发信息对应的指令；处理设备，用于获取ar服务器发送的现实触发信息，执行与现实触发信息对应的指令。
19.本公开还有一方面提供了一种基于ar的智能终端系统，包括：发送模块，用于向ar服务器发送拍摄信息，以使ar服务器生成针对拍摄信息的增强现实界面；操作模块，用于在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令。
20.本公开还有一方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，使得处理器执行如前述的基于ar的设备使用方法。
21.本公开还有一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前述的基于ar的设备使用方法。
22.本公开还有一方面提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如前述的基于ar的设备使用方法。
23.(三)有益效果
24.本公开提供的一种基于ar的设备使用方法、设备及智能终端系统，通过智能终端拍摄真实场景中的目标设备，由此生成增强现实界面，并将该增强现实界面在智能终端显示，使得用户能够在智能终端上看到与真实场景中的目标设备相同的界面；进一步地，当用户对智能终端进行操作时，可直接实现对目标设备的操作，提高了目标设备的使用效率和便捷性。
附图说明
25.为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
26.图1示意性示出了根据本公开实施例的基于ar的设备使用方法的应用场景示意图；
27.图2示意性示出了根据本公开实施例的基于ar的设备使用方法第一的流程图；
28.图3示意性示出了根据本公开实施例的增强现实界面的照片；
29.图4示意性示出了根据本公开实施例的智能终端、ar服务器和处理设备之间的流程交互示意图；
30.图5示意性示出了根据本公开实施例的向ar服务器发送拍摄信息的方法流程图；
31.图6示意性示出了根据本公开实施例在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息的方法流程图；
32.图7示意性示出了根据本公开实施例在处理设备进行第二交互操作的方法流程图；
33.图8示意性示出了根据本公开实施例智能终端的交互操作的方法流程图；
34.图9示意性示出了根据本公开实施例的基于ar的设备使用方法的第二流程图；
35.图10示意性示出了根据本公开实施例的生成针对拍摄信息的增强现实界面方法的流程图；
36.图11示意性示出了根据本公开实施例的基于ar的设备的方框图；
37.图12示意性示出了根据本公开一实施例的基于ar的智能终端系统的方框图；
38.图13示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。
具体实施方式
39.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
40.在本公开的技术方案中，所涉及的用户个人信息的获取、存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
41.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
42.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
43.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或
具有a、b、c的系统等)。在使用类似于“a、b或c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b或c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
44.附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
45.基于传统的设备操作指引方法的缺点，本公开的实施例提供了一种基于ar的设备使用方法、设备及智能终端系统，能够在无人值守的情况下，通过手机等智能终端屏幕正确地帮助atm等自助终端使用者完成操作。对于在系统指导下仍无法完成操作的使用者，且无人值守的情况下，可联系远程帮助人员，并在手机等移动终端屏幕上进行操作指导。在操作过程中，在手机等移动终端屏幕上显示的敏感信息将会自动进行实时地屏蔽处理。
46.图1示意性示出了根据本公开实施例的可以应用于基于ar的设备使用方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
47.如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
48.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、社交平台软件等(仅为示例)。
49.终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
50.服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
51.需要说明的是，本公开实施例所提供的基于ar的设备使用方法一般可以由终端设备101、102、103和服务器105执行。相应地，本公开实施例所提供的基于ar的智能终端系统一般可以设置于终端设备101、102、103和服务器105中。本公开实施例所提供的基于ar的设备使用方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于ar的智能终端系统也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
52.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
53.图2示意性示出了根据本公开实施例的基于ar的设备使用方法的第一流程图。
54.如图2所示，该基于ar的设备使用方法200可以包括操作s210～s220。
55.在操作s210，向ar服务器发送拍摄信息，以使ar服务器生成针对拍摄信息的增强现实界面。
56.本实施例中，当用户在设备使用过程中需要帮助时，可以通过智能终端获取ar的帮助，并可以在ar界面直接操作，以实现对处理设备的操作。以用户使用银行atm机为例，当用户需要使用转账功能时，可以使用手机拍摄atm机的当前界面，并上传至ar服务器；ar服务器识别当前界面，并生成对应的虚拟数据，将当前界面与虚拟数据结合生成与当前界面对应的增强现实数据，并根据该增强现实数据生成增强现实界面。手机可通过网络接收ar服务器发送的增强现实界面，从而获得帮助指引，如图3所示。
57.在操作s220，在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令。
58.智能终端在获取增强现实界面的帮助指引后，即可直接在该界面进行操作。例如用户通过手指在该界面进行点击的操作，ar服务器获取该第一交互操作的信息，具体包括手指点击的位置等信息，并根据该信息确定用户的目标操作，并发送给处理设备执行该目标操作对应的指令。根据上述实施例，如图3所示，当用户拍摄atm机的当前界面为转账界面时，ar服务器根据该界面生成一个虚拟小人，并通过小人的手势结合文字的方式提示“行内转账请点这里”，用户收到该界面可以直接点击“工行内转账”的图片按钮区域，ar服务器获取该操作信息，发送给处理设备，处理设备接收到“工行内转账”执行信号，进入该操作下的下一个界面。
59.图4示意性示出了根据本公开实施例的智能终端、ar服务器和处理设备之间的流程交互示意图。传统的设备操作方法是用户直接在处理设备上通过实体按键进行操作，本公开提供了一种基于ar的设备使用方法，智能终端401首先拍摄真实场景中的目标设备，并将拍摄信息发送给ar服务器402，ar服务器402根据该拍摄信息生成增强现实界面，并将该增强现实界面在智能终端401上显示，使得用户能够在智能终端401上看到与真实场景中的目标设备相同的界面。需要说明的是，这里的目标设备即为处理设备403。进一步地，当用户对智能终端401进行操作时，智能终端401将交互操作信息发送给ar服务器402，ar服务器402根据该交互操作信息生成现实触发信息，发送给处理设备403；处理设备403根据该现实触发信息执行相应指令，并将执行结果发送给ar服务器402，完成当前操作。本公开的方法实现了通过智能终端直接对目标设备的操作，提高了目标设备的使用效率和便捷性。
60.图5示意性示出了根据本公开实施例的向ar服务器发送拍摄信息的方法流程图。
61.如图5所示，向ar服务器发送拍摄信息的方法包括：
62.在操作s211，向ar服务器发送第一拍摄信息，第一拍摄信息为处理设备的设备标识信息。
63.智能终端在拍摄处理设备的当前状态之前，还需要首先拍摄识别处理设备的标识，该标识携带有处理设备相关的型号和识别代码等信息，用于使ar服务器确定该处理设备。具体地，该标识包括但不限于条码、二维码。
64.在操作s212，向ar服务器发送第二拍摄信息，第二拍摄信息为处理设备的当前状态信息。
65.智能终端可通过安装在其上的图像捕捉设备拍摄真实场景中的处理设备的当前状态，处理设备的当前状态包括当前的操作界面状态，ar服务器即根据该当前的操作界面状态生成对应的虚拟数据，将当前界面与虚拟数据结合生成与当前界面对应的增强现实数据，并根据该增强现实数据生成增强现实界面。
66.图6示意性示出了根据本公开实施例在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息的方法流程图。
67.如图6所示，该在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息的方法包括：
68.在操作s221，根据增强现实界面的提示信息进行第一交互操作。
69.用户在智能终端显示的增强现实界面上根据提示信息进行交互操作。根据上述实施例，例如可以是点击增强现实界面的“工行内转账”的图片按钮区域，还可以是点击“返回”的图片按钮区域等等。这里，针对此类操作，用户可以直接在智能终端上完成，不必再使用处理设备的实体按键。
70.在操作s222，并向ar服务器发送第一交互操作的信息。
71.用户在增强现实界面的操作信息发送给ar服务器，ar服务器对该操作信息进行处理，并下达相应的操作指令给处理设备执行。执行后，处理设备返回执行结果。
72.在操作s223，向ar服务器发送更新的第二拍摄信息，重复上述操作直至交互结束。
73.处理设备执行上述第一交互操作的信息对应的指令后，处理设备的操作界面会随之更新，进入下一步的界面状态。这时，智能终端拍摄到处理设备更新后的操作界面，向ar服务器发送更新后的第二拍摄信息，ar服务器根据更新后的第二拍摄信息向智能终端发送更新后的增强现实界面，用户在更新后的增强现实界面进行下一步操作，直至交互结束。
74.图7示意性示出了根据本公开实施例在处理设备进行第二交互操作的方法流程图。
75.如图7所示，该在处理设备进行第二交互操作的方法包括：
76.在操作s231，在处理设备进行第二交互操作，以使处理设备执行与第二交互操作对应的指令。
77.当交互操作无法在智能终端上进行时，用户则需要在处理设备进行第二交互操作。根据上述实施例，在处理设备为atm机时，点击按键等属于第一交互操作，可以在智能终端上进行；而插卡、存款、取款等属于第二交互操作，只能在处理设备上进行。需要说明的是，完整的交互操作可以只有第一交互操作，也可以只有第二交互操作，也可以同时有第一交互操作和第二交互操作。
78.在操作s232，向ar服务器发送第三拍摄信息，第三拍摄信息为处理设备的当前状态信息和环境信息。
79.用户进行第二交互操作时，智能终端仍持续拍摄处理设备的当前状态信息和环境信息。根据上述实施例，环境信息可以是插卡操作时的卡面信息，ar服务器根据该环境信息可以对卡面信息进行识别，通过验证卡面中是否存在卡片安全码格式的内容，以及能否识别出正确卡号格式内容，来验证是否卡面或方向有误。环境信息还可以是取款时的出钞口
信息，ar服务器根据该环境信息可以对出钞口进行检查，取款后验证是否将atm中的现金全部取出等。
80.图8示意性示出了根据本公开实施例智能终端的交互操作的方法流程图。步骤801，智能终端首先发送第一拍摄信息，向ar服务器提供处理设备的设备标识信息；步骤802，获取ar服务器发送的增强现实界面；步骤803，判断是否有实体操作；若有，进入步骤804，在处理设备进行第二交互操作；步骤805，向ar服务器发送第三拍摄信息，包括处理设备的当前状态信息和环境信息，若操作未结束，则循环回到步骤802，获取更新的增强现实界面，继续操作。若没有实体操作，进入步骤807，直接在智能终端进行第一交互操作；步骤808，发送第二拍摄信息，包括处理设备的当前状态信息，若操作未结束，则循环回到步骤802，获取更新的增强现实界面，继续操作；步骤806，交互操作结束。
81.在上述实施例的基础上，还包括：向ar服务器发送帮助信息，以使ar服务器生成针对帮助信息的实时指导信息。
82.具体地，通过与人工客服联系，结合智能终端摄像头采集的信息，解决ar指导无法帮助用户解决的问题。远程人工客服可通过用户智能终端摄像头上传的实时图像对客户进行指导，客服可将指导信息直接显示在客户终端屏幕上，具体形式与前述增强现实界面相似，并结合语音指导辅助客户完成操作。
83.图9示意性示出了根据本公开实施例的基于ar的设备使用方法的第二流程图。
84.如图9所示，该基于ar的设备使用方法900可以包括操作s910～s930。
85.在操作s910，获取智能终端发送的拍摄信息，生成针对拍摄信息的增强现实界面。
86.ar服务器获取智能终端发送的拍摄信息，生成对应的虚拟数据，将拍摄信息中的当前界面与虚拟数据结合生成与当前界面对应的增强现实数据，并根据该增强现实数据生成增强现实界面。
87.在操作s920，获取智能终端发送的第一交互操作的信息，确定与第一交互操作的信息对应的现实触发信息。
88.ar服务器获取智能终端发送的第一交互操作的信息，该第一交互操作为用户直接在智能终端上的操作，并根据该信息确定用户的目标操作得到现实触发信息。
89.在操作s930，向处理设备发送现实触发信息，以使处理设备执行与现实触发信息对应的指令。
90.ar服务器向处理设备发送现实触发信息，处理设备根据该现实触发信息执行对应的指令。
91.在上述实施例的基础上，获取智能终端发送的拍摄信息包括：获取智能终端发送的第一拍摄信息，第一拍摄信息为处理设备的设备标识信息；获取智能终端发送的第二拍摄信息，第二拍摄信息为处理设备的当前状态信息。
92.第一拍摄信息和第二拍摄信息已在前述步骤s211～s212中已经详细描述，这里不再赘述。
93.图10示意性示出了根据本公开实施例的生成针对拍摄信息的增强现实界面方法的流程图。
94.如图10所示，该生成针对拍摄信息的增强现实界面可以包括操作s1010～s1030。
95.在操作s1010，根据第一拍摄信息确定与处理设备相匹配的ar模型。
96.ar服务器根据第一拍摄信息确定处理设备相关的型号和识别代码等信息，并匹配与该处理设备相应的ar模型。
97.在操作s1020，根据第二拍摄信息确定处理设备的当前状态信息。
98.处理设备的当前状态包括当前的操作界面状态。
99.在操作s1030，根据ar模型和处理设备的当前状态信息生成针对拍摄信息的增强现实界面。
100.ar服务器根据匹配的ar模型和当前的操作界面状态信息，生成对应的虚拟数据，将当前界面与虚拟数据结合生成与当前界面对应的增强现实数据，并根据该增强现实数据生成增强现实界面。
101.在上述实施例的基础上，还包括：获取智能终端发送的第三拍摄信息，第三拍摄信息为处理设备的当前状态信息和环境信息；根据当前状态信息和环境信息更新增强现实界面。
102.第三拍摄信息已在前述步骤s231～s232中已经详细描述，这里不再赘述。增强现实界面包括文字、动画、语音中的至少一种提示信息，增强现实界面可以有多样化的表示方式。
103.本公开还提供了基于ar的设备使用方法的第三流程，包括处理设备获取ar服务器发送的现实触发信息，执行与现实触发信息对应的指令；其中，现实触发信息为ar服务器根据智能终端发送的第一交互操作的信息所确定。
104.本公开还提供了一种基于ar的设备，如图4所示，包括：智能终端，用于向ar服务器发送拍摄信息，以使ar服务器生成针对拍摄信息的增强现实界面；在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令；ar服务器，用于获取智能终端发送的拍摄信息，生成针对拍摄信息的增强现实界面；获取智能终端发送的第一交互操作的信息，确定与第一交互操作的信息对应的现实触发信息；向处理设备发送现实触发信息，以使处理设备执行与现实触发信息对应的指令；处理设备，用于获取ar服务器发送的现实触发信息，执行与现实触发信息对应的指令。
105.下面以一具体实施例对本方法中基于ar的设备进行进一步说明。如图11所示，该基于ar的设备1100(以处理设备为atm机为例)包括：
106.1.操作助手模块1101
107.该模块主要根据用户提出的操作内容，对用户进行指导。利用ar技术通过手机摄像头识别atm机信息，也可通过atm机上的二维码识别并定为具体某一台终端。在手机屏幕中显示针对性的指导信息，并同时提供文字、动画、语音的提示信息。提示信息包含询问需要进行的操作、操作的具体方法。
108.2.远程操控模块1102
109.用户通过扫描atm机二维码进行与atm机的操作绑定，之后利用手机摄像头采集的atm图像信息进行分析，通过图像识别算法识别出当前屏幕中或机器上的按键，用户可直接再在手机上点击对应的按键进行操作，无须再到atm机上继续进行操作，达到手机操控atm机的目的。可结合操作助手模块的操作指引，可以方便快速地完成操作。
110.3.操作验证模块1103
111.该模块通过图像识别技术，通过手机摄像头在操作如插卡、存款、取款等操作时，
对卡面信息进行识别，如在需要插卡时通过验证卡面中是否存在卡片安全码格式的内容，以及能否识别出正确卡号格式内容，来验证是否卡面或方向有误。或者在取款后对出钞口进行检查，验证取款后验证是否将atm中的现金全部取出等。
112.4.人工语音帮助模块1104
113.该模块通过与人工客服联系，结合手机摄像头采集信息，解决ar指导无法帮助用户解决的问题。远程人工客服可通过用户手机等终端摄像头上传的实时图像对客户进行指导，客服可将指导信息直接显示在客户终端屏幕上，具体形式与操作助手模块相似，并结合语音指导辅助客户完成操作。
114.5.敏感信息屏蔽模块1105
115.该模块通过ar技术，动态识别用户操作区域，如操作区域为密码键盘则自动在手机屏幕上对该区域进行打码，并提示用户注意周围环境，防止周围有人通过屏幕获取密码或者通过人工语音帮助时泄露输入内容。如果扫描识别出用户的卡号、信用卡安全码等信息，实时进行打码。
116.本公开提供的基于ar的设备使用方法及设备能够在无人值守时提供atm终端使用帮助时对客户进行指导，同时可利用手机直接对atm机进行操作，并能够检查客户操作的正确性，有效地帮助客户完成操作。
117.图12示意性示出了根据本公开一实施例的基于ar的智能终端系统的方框图。
118.如图12所示，该基于ar的智能终端系统1200包括：发送模块1210、操作模块1220。
119.发送模块1210，用于向ar服务器发送拍摄信息，以使ar服务器生成针对拍摄信息的增强现实界面；根据本公开的实施例，发送模块1210例如可以用于执行上文参考图2所描述的s210步骤，在此不再赘述。
120.操作模块1220，用于在增强现实界面进行第一交互操作，并向ar服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令。根据本公开的实施例，该操作模块1220例如可以用于执行上文参考图2所描述的s220步骤，在此不再赘述。
121.需说明的是，根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
122.例如，发送模块1210、操作模块1220中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，发送模块1210、操作模块1220中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬
件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，发送模块1210、操作模块1220中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
123.本公开提供的一种基于ar的设备使用方法、设备及智能终端系统，可用于金融科技等领域，提供了一种能够在无人值守的情况下，通过手机等移动终端屏幕正确的帮助atm等自助终端使用者完成操作的方法，提高了自助终端的使用效率和便捷性。
124.图13示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的方框图。图13示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
125.如图13所示，本实施例中所描述的电子设备1300，包括：处理器1301，其可以根据存储在只读存储器(rom)1302中的程序或者从存储部分1308加载到随机访问存储器(ram)1303中的程序而执行各种适当的动作和处理。处理器1301例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器1301还可以包括用于缓存用途的板载存储器。处理器1301可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
126.在ram 1303中，存储有系统1300操作所需的各种程序和数据。处理器1301、rom 1302以及ram 1303通过总线1304彼此相连。处理器1301通过执行rom 1302和/或ram 1303中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，程序也可以存储在除rom 1302和ram 1303以外的一个或多个存储器中。处理器1301也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
127.根据本公开的实施例，电子设备1300还可以包括输入/输出(i/o)接口1305，输入/输出(i/o)接口1305也连接至总线1304。系统1300还可以包括连接至i/o接口1305的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至i/o接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。
128.根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
129.本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的基于ar的设备使用方法。
130.根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 1302和/或ram 1303和/或rom1302和ram 1303以外的一个或多个存储器。
131.本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的基于ar的设备使用方法。
132.在该计算机程序被处理器1301执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
133.在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1309被下载和安装，和/或从可拆卸介质1311被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
134.在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被处理器1301执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
135.根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c ，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
136.需要说明的是，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
137.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个
用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
138.本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
139.尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

技术特征：
1.一种基于ar的设备使用方法，其特征在于，包括：向ar服务器发送拍摄信息，以使所述ar服务器生成针对所述拍摄信息的增强现实界面；在所述增强现实界面进行第一交互操作，并向ar服务器发送所述第一交互操作的信息，以使处理设备执行与所述第一交互操作对应的指令。2.根据权利要求1所述的基于ar的设备使用方法，其特征在于，所述向ar服务器发送拍摄信息包括：向ar服务器发送第一拍摄信息，所述第一拍摄信息为所述处理设备的设备标识信息；向ar服务器发送第二拍摄信息，所述第二拍摄信息为所述处理设备的当前状态信息。3.根据权利要求2所述的基于ar的设备使用方法，其特征在于，所述在所述增强现实界面进行第一交互操作，并向ar服务器发送所述第一交互操作的信息包括：根据所述增强现实界面的提示信息进行第一交互操作；并向ar服务器发送所述第一交互操作的信息；向ar服务器发送更新的第二拍摄信息，重复上述操作直至交互结束。4.根据权利要求1所述的基于ar的设备使用方法，其特征在于，还包括：在所述处理设备进行第二交互操作，以使处理设备执行与所述第二交互操作对应的指令；向ar服务器发送第三拍摄信息，所述第三拍摄信息为所述处理设备的当前状态信息和环境信息。5.根据权利要求1所述的基于ar的设备使用方法，其特征在于，还包括：向ar服务器发送帮助信息，以使所述ar服务器生成针对所述帮助信息的实时指导信息。6.一种基于ar的设备使用方法，其特征在于，包括：获取智能终端发送的拍摄信息，生成针对所述拍摄信息的增强现实界面；获取智能终端发送的第一交互操作的信息，确定与所述第一交互操作的信息对应的现实触发信息；向处理设备发送所述现实触发信息，以使所述处理设备执行与所述现实触发信息对应的指令。7.根据权利要求6所述的基于ar的设备使用方法，其特征在于，所述获取智能终端发送的拍摄信息包括：获取智能终端发送的第一拍摄信息，所述第一拍摄信息为所述处理设备的设备标识信息；获取智能终端发送的第二拍摄信息，所述第二拍摄信息为所述处理设备的当前状态信息。8.根据权利要求7所述的基于ar的设备使用方法，其特征在于，所述生成针对所述拍摄信息的增强现实界面包括：根据所述第一拍摄信息确定与所述处理设备相匹配的ar模型；根据所述第二拍摄信息确定所述处理设备的当前状态信息；根据所述ar模型和所述处理设备的当前状态信息生成针对所述拍摄信息的增强现实
界面。9.根据权利要求6所述的基于ar的设备使用方法，其特征在于，还包括：获取智能终端发送的第三拍摄信息，所述第三拍摄信息为所述处理设备的当前状态信息和环境信息；根据所述当前状态信息和环境信息更新所述增强现实界面。10.根据权利要求6所述的基于ar的设备使用方法，其特征在于，所述增强现实界面包括文字、动画、语音中的至少一种提示信息。11.一种基于ar的设备使用方法，其特征在于，包括：获取ar服务器发送的现实触发信息，执行与所述现实触发信息对应的指令；其中，所述现实触发信息为所述ar服务器根据智能终端发送的第一交互操作的信息所确定。12.一种基于ar的设备，其特征在于，包括：智能终端，用于向ar服务器发送拍摄信息，以使所述ar服务器生成针对所述拍摄信息的增强现实界面；在所述增强现实界面进行第一交互操作，并向ar服务器发送所述第一交互操作的信息，以使处理设备执行与所述第一交互操作对应的指令；ar服务器，用于获取智能终端发送的拍摄信息，生成针对所述拍摄信息的增强现实界面；获取智能终端发送的第一交互操作的信息，确定与所述第一交互操作的信息对应的现实触发信息；向处理设备发送所述现实触发信息，以使所述处理设备执行与所述现实触发信息对应的指令；处理设备，用于获取ar服务器发送的现实触发信息，执行与所述现实触发信息对应的指令。13.一种基于ar的智能终端系统，其特征在于，包括：发送模块，用于向ar服务器发送拍摄信息，以使所述ar服务器生成针对所述拍摄信息的增强现实界面；操作模块，用于在所述增强现实界面进行第一交互操作，并向ar服务器发送所述第一交互操作的信息，以使处理设备执行与所述第一交互操作对应的指令。14.一种电子设备，包括：处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行根据权利要求1～5或权利要求6～10或权利要求11中任意一项所述的基于ar的设备使用方法。15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现根据权利要求1～5或权利要求6～10或权利要求11中任意一项所述的基于ar的设备使用方法。16.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～5或权利要求6～10或权利要求11中任意一项所述的基于ar的设备使用方法。

技术总结
本公开提供了一种基于AR的设备使用方法，应用于金融科技领域或其它领域，该设备使用方法包括：向AR服务器发送拍摄信息，以使AR服务器生成针对拍摄信息的增强现实界面；在增强现实界面进行第一交互操作，并向AR服务器发送第一交互操作的信息，以使处理设备执行与第一交互操作对应的指令。本公开还提供了一种基于AR的设备、一种基于AR的智能终端系统、电子设备、计算机可读存储介质和程序产品。计算机可读存储介质和程序产品。计算机可读存储介质和程序产品。


技术研发人员：翁丛
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2022.02.18
技术公布日：2022/5/25