基于人形机器人的手语教学方法及相关产品与流程

    专利查询2025-11-26  8


    本发明涉及机器人,尤其涉及基于人形机器人的手语教学方法及相关产品。


    背景技术:

    1、手语作为一种独特的语言体系,具有丰富的词汇和语法结构,能够准确地传达各种复杂的信息,听障人士在日常生活中主要依靠手语进行交流,手语是他们表达自己、理解他人的重要工具,随着社会对残障群体的关注度不断提高,促进听障人士与健听人之间的有效沟通变得至关重要,社会各界也越来越重视手语的普及,许多志愿者、服务行业人员等都有学习手语的需求,以更好地为听障人士提供服务,促进社会的融合与包容,此外,手语除了用于听障人士与健听人士之间的有效沟通,还可以用于在嘈杂环境例如工厂或公共场所等环境下的沟通。

    2、传统的手语教学主要依靠手语教师现场示范、讲解,或者通过视频、图片等资料进行教学,这些教学方式存在一定的局限性,如教师资源有限、教学进度难以满足不同手语学习者的需求、视频和图片的观感单一等,难以直观地进行教学,导致手语学习者的学习效率不能得到保证,目前的通用型机器人也不具备手语教学的能力。

    3、因此,亟需一种基于人形机器人的手语教学方法,以满足手语学习者的手语学习需求,提高手语学习者的手语学习效率。


    技术实现思路

    1、为了解决上述问题,本发明实施例提供了一种基于人形机器人的手语教学方法及相关产品,通过人形机器人对手语学习者进行手语教学,以满足手语学习者的手语学习需求,提高手语学习者的手语学习效率。

    2、第一方面,本发明实施例提供了一种基于人形机器人的手语教学方法,所述基于人形机器人的手语教学方法应用于人形机器人,所述人形机器人包括视觉模块和手语演示组件;所述基于人形机器人的手语教学方法包括:

    3、获取用户的手语教学指令;

    4、响应于所述手语教学指令,通过所述视觉模块确定所述用户与所述人形机器人之间的第一相对位置信息;

    5、基于所述第一相对位置信息调整所述人形机器人的初始位置、初始姿态以及初始方位,得到第一位置、第一姿态和第一方位,以使所述人形机器人处于所述第一位置、所述第一姿态和所述第一方位与所述用户互动;

    6、获取目标场景模式;

    7、在所述目标场景模式为教学模式时,获取目标学习内容;

    8、确定与所述目标学习内容对应的第一手语动作;

    9、基于所述第一手语动作调整所述人形机器人的所述第一位置、所述第一姿态以及所述第一方位,得到第二位置、第二姿态和第二方位,以使所述人形机器人处于所述第二位置、所述第二姿态和所述第二方位与所述用户互动;

    10、控制所述人形机器人通过所述手语演示组件演示所述第一手语动作,以引导所述用户跟随所述人形机器人进行所述第一手语动作学习,并通过所述视觉模块获取所述用户的第二手语动作;

    11、确定所述第一手语动作与所述第二手语动作的相似度,得到第一相似度;

    12、基于所述第一相似度确定所述第二手语动作的手语正确率,并将所述手语正确率反馈给所述用户。

    13、第二方面,本发明实施例提供了一种基于人形机器人的手语教学装置,所述基于人形机器人的手语教学装置应用于人形机器人,所述人形机器人包括视觉模块和手语演示组件;所述基于人形机器人的手语教学装置包括获取单元和处理单元;

    14、所述获取单元,用于获取用户的手语教学指令;

    15、所述处理单元,用于响应于所述手语教学指令,通过所述视觉模块确定所述用户与所述人形机器人之间的第一相对位置信息;

    16、基于所述第一相对位置信息调整所述人形机器人的初始位置、初始姿态以及初始方位,得到第一位置、第一姿态和第一方位,以使所述人形机器人处于所述第一位置、所述第一姿态和所述第一方位与所述用户互动;

    17、获取目标场景模式;

    18、在所述目标场景模式为教学模式时,获取目标学习内容;

    19、确定与所述目标学习内容对应的第一手语动作;

    20、基于所述第一手语动作调整所述人形机器人的所述第一位置、所述第一姿态以及所述第一方位,得到第二位置、第二姿态和第二方位,以使所述人形机器人处于所述第二位置、所述第二姿态和所述第二方位与所述用户互动;

    21、控制所述人形机器人通过所述手语演示组件演示所述第一手语动作,以引导所述用户跟随所述人形机器人进行所述第一手语动作学习,并通过所述视觉模块获取所述用户的第二手语动作;

    22、确定所述第一手语动作与所述第二手语动作的相似度,得到第一相似度;

    23、基于所述第一相似度确定所述第二手语动作的手语正确率,并将所述手语正确率反馈给所述用户。

    24、第三方面,本发明实施例提供了一种人形机器人,所述人形机器人包括:处理器和存储器,所述处理器与所述存储器相连,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序,以使得所述人形机器人执行如第一方面所述的方法。

    25、实施本申请实施例,具有如下有益效果:

    26、在本申请实施方式中,先获取用户的手语教学指令,并响应于手语教学指令,通过视觉模块确定用户与人形机器人之间的第一相对位置信息,基于第一相对位置信息调整人形机器人的初始位置、初始姿态以及初始方位,得到第一位置、第一姿态和第一方位,以使人形机器人处于第一位置、第一姿态和第一方位与用户互动,然后,获取目标场景模式,在目标场景模式为教学模式时,获取目标学习内容,确定与目标学习内容对应的第一手语动作,基于第一手语动作调整人形机器人的第一位置、第一姿态以及第一方位,得到第二位置、第二姿态和第二方位,以使人形机器人处于第二位置、第二姿态和第二方位与用户互动,然后,控制人形机器人通过手语演示组件演示第一手语动作,以引导用户跟随人形机器人进行第一手语动作学习,并通过视觉模块获取用户的第二手语动作,确定第一手语动作与第二手语动作的相似度,得到第一相似度,基于第一相似度确定第二手语动作的手语正确率,并将手语正确率反馈给用户。由此,通过对人形机器人位置、姿态和方位的调整,以及在教学模式下获取目标学习内容以及确定与目标学习内容对应的第一手语动作,然后通过手语演示组件对第一手语动作进行演示,以及将用户的手语正确率反馈给用户,能够根据不同用户实现个性化手语教学,提高了用户的手语学习效果和手语学习效率。



    技术特征:

    1.一种基于人形机器人的手语教学方法,其特征在于,应用于人形机器人,所述人形机器人包括视觉模块和手语演示组件;所述方法包括:

    2.如权利要求1所述的方法,其特征在于,所述基于所述第一相对位置信息调整所述人形机器人的初始位置、初始姿态以及初始方位,得到第一位置、第一姿态和第一方位,包括:

    3.如权利要求2所述的方法,其特征在于,所述基于所述第一手语动作调整所述人形机器人的所述第一位置、所述第一姿态以及所述第一方位,得到第二位置、第二姿态和第二方位,包括:

    4.如权利要求1-3任一项所述的方法,其特征在于,所述控制所述人形机器人通过所述手语演示组件演示所述第一手语动作,包括:

    5.如权利要求4所述的方法,其特征在于,所述通过所述视觉模块获取所述用户的第二手语动作,包括:

    6.如权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

    7.如权利要求6所述的方法,其特征在于,所述方法还包括:

    8.如权利要求7所述的方法,其特征在于,所述方法还包括:

    9.一种基于人形机器人的手语教学装置,其特征在于,应用于人形机器人,所述人形机器人包括视觉模块和手语演示组件;所述基于人形机器人的手语教学装置包括获取单元和处理单元;

    10.一种人形机器人,其特征在于,包括:处理器和存储器,所述处理器与所述存储器相连,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序,以使得所述人形机器人执行如权利要求1-8任一项所述的方法。


    技术总结
    本发明实施例公开了一种基于人形机器人的手语教学方法及相关产品,该方法包括:获取手语教学指令;确定第一相对位置信息;基于第一相对位置信息调整人形机器人的初始位置、初始姿态以及初始方位,以使人形机器人处于第一位置、第一姿态和第一方位与用户互动;在目标场景模式为教学模式时,确定与目标学习内容对应的第一手语动作;基于第一手语动作调整人形机器人的第一位置、第一姿态以及第一方位,以使人形机器人处于第二位置、第二姿态和第二方位与用户互动;演示第一手语动作,并获取用户的第二手语动作;确定第一手语动作与第二手语动作的相似度,得到第一相似度;基于第一相似度确定第二手语动作的手语正确率,并将手语正确率反馈给用户。

    技术研发人员:付金成,姚开然,陈鑫
    受保护的技术使用者:上海傅利叶智能科技有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-32206.html

    最新回复(0)