信息处理方法、机器人、电子设备及介质与流程

    专利查询2026-01-02  1


    本申请涉及机器人控制,具体涉及一种信息处理方法、机器人、电子设备及介质。


    背景技术:

    1、具身智能(embodied intelligence)是一个多学科交叉的研究领域,具身智能机器人在执行任务时一般需要处理多模态信息。多模态信息中可能包括数据量很高的信息,具身智能机器人在根据多模态信息执行相关任务时会消耗大量的算力、显存,导致计算效率低。


    技术实现思路

    1、有鉴于此,本申请实施例提供了一种信息处理方法、机器人、电子设备及介质,能够降低算力需求,提高计算效率。

    2、第一方面,本申请的实施例提供了一种信息处理方法,包括:获取针对目标任务的至少两种模态信息,至少两种模态信息包括第一模态信息和第二模态信息,第一模态信息的密度高于第二模态信息的密度;基于第二模态信息的第一查询向量组和第一模态信息的部分值向量进行第一注意力计算,得到第一模态信息的第一输出信息,第一注意力计算包括稀疏注意力计算;基于第二模态信息的第二查询向量组和第二模态信息的至少部分值向量进行第二注意力计算,得到第二模态信息的第二输出信息;基于第一输出信息和第二输出信息进行融合处理,得到针对目标任务的输出信息,输出信息用于执行目标任务。

    3、第二方面,本申请的实施例提供了一种信息处理装置,包括:获取模块,用于获取针对目标任务的至少两种模态信息,至少两种模态信息包括第一模态信息和第二模态信息,第一模态信息的密度高于第二模态信息的密度;计算模块,用于基于第二模态信息的第一查询向量组和第一模态信息的部分值向量进行第一注意力计算,得到第一模态信息的第一输出信息,第一注意力计算包括稀疏注意力计算,并基于第二模态信息的第二查询向量组和第二模态信息的至少部分值向量进行第二注意力计算,得到第二模态信息的第二输出信息;融合模块,用于基于第一输出信息和第二输出信息进行融合处理,得到针对目标任务的输出信息,输出信息用于执行目标任务。

    4、第三方面,本申请的实施例提供了一种机器人,包括控制模块,控制模块用于执行上述第一方面所述的信息处理方法。

    5、第四方面,本申请的实施例提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器,其中,处理器用于执行上述第一方面所述的信息处理方法。

    6、第五方面,本申请的实施例提供了一种计算机可读存储介质,存储介质存储有计算机程序,计算机程序用于执行上述第一方面所述的信息处理方法。

    7、第六方面,本申请的实施例提供了一种计算机程序产品,计算机程序产品中包括计算机程序,计算机程序被计算机设备的处理器执行时,使得计算机设备能够执行上述第一方面所述的信息处理方法。

    8、第七方面,本申请的实施例提供了一种芯片,包括:处理器;用于存储处理器可执行指令的存储器,其中,处理器用于执行上述第一方面所述的信息处理方法。

    9、本申请实施例提供了一种信息处理方法、机器人、电子设备及介质,通过获取针对目标任务的至少两种模态信息,根据每种模态信息的密度选择合适的注意力计算方法,从而可以降低算力需求,提高计算效率。



    技术特征:

    1.一种信息处理方法,其特征在于,包括:

    2.根据权利要求1所述的信息处理方法,其特征在于,还包括:

    3.根据权利要求1所述的信息处理方法,其特征在于,所述基于所述第二模态信息的第一查询向量组和所述第一模态信息的部分值向量进行第一注意力计算,得到第一模态信息的第一输出信息,包括:

    4.根据权利要求3所述的信息处理方法,其特征在于,所述根据所述第一权重组对所述第一模态信息的部分值向量进行加权求和,得到所述第一输出信息,包括:

    5.根据权利要求1所述的信息处理方法,其特征在于,所述第一注意力计算包括多尺度可变形注意力计算。

    6.根据权利要求1所述的信息处理方法,其特征在于,所述第二注意力计算包括多头注意力计算。

    7.根据权利要求2所述的信息处理方法,其特征在于,所述融合处理包括归一化处理,所述基于所述第一输出信息、所述第二输出信息、所述第三输出信息和所述第四输出信息进行所述融合处理,得到针对所述目标任务的输出信息,包括:

    8.根据权利要求1所述的信息处理方法,其特征在于,所述获取针对目标任务的至少两种模态信息,包括:

    9.根据权利要求8所述的信息处理方法,其特征在于,所述融合处理包括归一化处理和拼接处理,所述基于所述第一输出信息和所述第二输出信息进行融合处理,得到针对所述目标任务的输出信息,包括:

    10.根据权利要求1至9中任一项所述的信息处理方法,其特征在于,所述第一模态信息包括触觉信息,所述触觉信息包括在多个第一时刻通过触觉传感器采集的信号,所述第二模态信息包括图像信息或语言信息,所述图像信息包括在多个第二时刻通过图像采集设备采集的多帧图像,所述语言信息包括在预设时间段通过语言采集设备采集的信号。

    11.一种机器人,其特征在于,包括控制模块,所述控制模块用于执行上述权利要求1至10中任一项所述的信息处理方法。

    12.一种电子设备,其特征在于,包括:

    13.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1至10中任一项所述的信息处理方法。

    14.一种计算机程序产品,其特征在于,所述计算机程序产品中包括计算机程序,所述计算机程序被计算机设备的处理器执行时,使得所述计算机设备能够执行上述权利要求1至10中任一项所述的信息处理方法。


    技术总结
    本申请提供了一种信息处理方法、机器人、电子设备及介质,该信息处理方法包括:获取针对目标任务的至少两种模态信息,至少两种模态信息包括第一模态信息和第二模态信息,第一模态信息的密度高于第二模态信息的密度;基于第二模态信息的第一查询向量组和第一模态信息的部分值向量进行第一注意力计算,得到第一模态信息的第一输出信息,第一注意力计算包括稀疏注意力计算;基于第二模态信息的第二查询向量组和第二模态信息的至少部分值向量进行第二注意力计算,得到第二模态信息的第二输出信息;基于第一输出信息和第二输出信息进行融合处理,得到针对目标任务的输出信息。本申请的技术方案能够降低算力需求,提高计算效率。

    技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名
    受保护的技术使用者:上海智元新创技术有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-33388.html

    最新回复(0)