对象特征的处理方法和装置、存储介质及电子设备与流程

    专利查询2026-09-22  15


    本发明涉及计算机领域,具体而言,涉及一种对象特征的处理方法和装置、存储介质及电子设备。


    背景技术:

    1、随着计算机科学和人工智能技术(artificial intelligence,ai)的不断进步,机器学习(machine learning,ml)应运而生。作为ai领域的关键分支,机器学习专注于探索计算机如何通过模拟人类学习过程来获得新知识或技能,并且通过优化现有知识体系来提升其性能。机器学习不仅是人工智能的基石,更是赋予计算机智能的关键手段。其应用领域广泛,覆盖了人工智能的多个方面。

    2、现有的神经网络在处理对象任务时,往往依赖于庞大的参数集,这导致它们在实际应用中面临存储空间的大量占用和计算资源的高消耗。换言之,这些模型在任务处理效率上存在显著局限,因为它们需要处理和存储大量的数据。也就是说,相关技术领域中基于神经网络进行任务处理的效率较低。

    3、针对上述的问题,目前尚未提出有效的解决方案。


    技术实现思路

    1、本发明实施例提供了一种对象特征的处理方法和装置、存储介质及电子设备,以至少解决相关领域中的任务处理方法存在处理效率较低的技术问题。

    2、根据本发明实施例的一个方面,提供了一种对象特征的处理方法,包括:通过目标处理模块获取第一对象特征中的第一子特征,其中,上述目标处理模块为目标神经网络的特征处理层中的一个特征处理模块,上述特征处理层中包括上述目标处理模块和至少一个参考处理模块,至少一个上述参考处理模块用于对根据上述第一对象特征确定的至少一个第二子特征分别进行处理;根据与上述目标处理模块匹配的至少一个目标投影矩阵,确定与上述第一子特征匹配的权重矩阵,并根据上述第一子特征和上述权重矩阵确定第三子特征,其中,上述目标投影矩阵的矩阵维度与上述第一子特征的特征维度相匹配;获取至少一个上述参考处理模块对各自对应的上述第二子特征处理得到的至少一个第四子特征;根据上述第三子特征和至少一个上述第四子特征,确定与上述第一对象特征匹配的第二对象特征。

    3、根据本发明实施例的另一个方面,还提供了一种对象特征的处理装置,包括:第一获取单元,用于通过目标处理模块获取第一对象特征中的第一子特征,其中,上述目标处理模块为目标神经网络的特征处理层中的一个特征处理模块,上述特征处理层中包括上述目标处理模块和至少一个参考处理模块,至少一个上述参考处理模块用于对根据上述第一对象特征确定的至少一个第二子特征分别进行处理;第一确定单元,用于根据与上述目标处理模块匹配的至少一个目标投影矩阵,确定与上述第一子特征匹配的权重矩阵,并根据上述第一子特征和上述权重矩阵确定第三子特征,其中,上述目标投影矩阵的矩阵维度与上述第一子特征的特征维度相匹配;第二获取单元,用于获取至少一个上述参考处理模块对各自对应的上述第二子特征处理得到的至少一个第四子特征;第二确定单元,用于根据上述第三子特征和至少一个上述第四子特征,确定与上述第一对象特征匹配的第二对象特征。

    4、可选地,上述第一确定单元,包括:第一确定模块,用于确定至少一个上述目标投影矩阵中包括的查询投影矩阵,键投影矩阵和值投影矩阵,其中,上述查询投影矩阵,上述键投影矩阵和上述值投影矩阵的矩阵维度与上述第一子特征的特征维度相匹配;第二确定模块,用于根据上述第一子特征和上述查询投影矩阵,确定查询特征矩阵,并根据上述第一子特征和上述键投影矩阵,确定键特征矩阵;第三确定模块,用于基于上述查询特征矩阵和上述键特征矩阵确定与上述第一子特征匹配的上述权重矩阵;第四确定模块,用于根据上述第一子特征和上述值投影矩阵,确定值特征矩阵,并基于上述权重矩阵和上述值特征矩阵确定上述第三子特征。

    5、可选地,上述对象特征的处理装置,还包括:第三确定单元,用于通过第i个上述参考处理模块获取第i个上述第二子特征,其中,上述i为大于或等于1,且小于或等于n的整数,上述n为上述特征处理层中包括的上述参考处理模块的数量;根据与第i个上述参考处理模块匹配的至少一个参考投影矩阵,确定与第i个上述第二子特征匹配的权重矩阵,并根据第i个上述第二子特征和上述权重矩阵确定第i个上述第四子特征。

    6、可选地,上述第二确定单元,包括:拼接模块,用于将用于表征上述第三子特征的第三子特征矩阵,和分别用于表征至少一个上述第四子特征的至少一个第四子特征矩阵进行拼接,得到参考特征矩阵;根据与上述特征处理层匹配的特征投影矩阵,确定用于表征上述第二对象特征的对象特征矩阵。

    7、可选地,上述第一确定模块,用于以下至少之一:获取第一查询投影子矩阵和第二查询投影子矩阵,根据上述第一查询投影子矩阵和上述第二查询投影子矩阵之间的第一矩阵乘积结果,确定上述查询投影矩阵;获取第一键投影子矩阵和第二键投影子矩阵,根据上述第一键投影子矩阵和上述第二键投影子矩阵之间的第二矩阵乘积结果,确定上述键投影矩阵;获取第一值投影子矩阵和第二值投影子矩阵,根据上述第一值投影子矩阵和上述第二值投影子矩阵之间的第三矩阵乘积结果,确定上述值投影矩阵。

    8、可选地,上述对象特征的处理装置,包括:第四确定单元,用于在上述特征处理层为上述目标神经网络中的多头自注意力层的情况下,根据与上述多头自注意力层连接的规范化处理层对上述第二对象特征进行处理,得到规范化对象特征;根据与前馈处理层匹配的第一前馈子矩阵和第二前馈子矩阵,确定目标前馈矩阵;根据上述目标前馈矩阵对上述规范化对象特征进行处理,得到目标对象特征;在上述多头自注意力层为上述目标神经网络中的最后一个多头自注意力层的情况下,根据上述目标对象特征确定特征处理结果;在上述多头自注意力层并非上述目标神经网络中的最后一个多头自注意力层的情况下,将上述目标对象特征输入下一个上述多头自注意力层。

    9、可选地,上述第一确定模块,用于:获取共享查询投影子矩阵;将上述第一矩阵乘积结果对应的参考投影子矩阵与上述共享查询投影子矩阵之间的第四矩阵乘积结果,确定为上述查询投影矩阵;其中,上述共享查询投影子矩阵用于确定与多个特征处理模块各自对应的上述查询投影矩阵;获取共享键投影子矩阵;将上述第二矩阵乘积结果对应的参考投影子矩阵与上述共享键投影子矩阵之间的第五矩阵乘积结果,确定为上述键投影矩阵;其中,上述共享键投影子矩阵用于确定与多个特征处理模块各自对应的上述键投影矩阵;获取共享值投影子矩阵;将上述第三矩阵乘积结果对应的参考投影子矩阵与上述共享值投影子矩阵之间的第六矩阵乘积结果,确定为上述值投影矩阵;其中,上述共享键投影子矩阵用于确定与多个特征处理模块各自对应的上述值投影矩阵。

    10、可选地,上述对象特征的处理装置,还包括:网络压缩单元,用于获取第一文本处理网络,其中,上述第一文本处理网络中包括多个依次连接的文本特征编码器和多个依次连接的文本特征解码器,上述文本特征编码器和上述文本特征解码器中包括依次连接的多头自注意力层,规范化处理层和前馈处理层;根据上述第一文本处理网络中与上述多头自注意力层匹配的至少一个文本特征投影矩阵,确定出与上述多头自注意力层中的多个上述特征处理模块分别匹配的至少一个参考特征投影矩阵;将上述参考特征投影矩阵进行低秩分解处理,得到与上述参考特征投影矩阵匹配的多个投影子矩阵,其中,多个上述投影子矩阵各自的矩阵维度小于上述参考特征投影矩阵的矩阵维度;根据多个上述投影子矩阵替换与上述多头自注意力层匹配的至少一个上述文本特征投影矩阵,得到第二文本处理网络;对上述第二文本处理网络进行训练,得到上述目标神经网络,其中,上述目标神经网络用于对文本序列进行处理。

    11、可选地,上述网络压缩单元,还用于:将上述第二文本处理网络中与上述前馈处理层匹配的参考前馈矩阵进行低秩分解处理,得到与上述参考前馈矩阵匹配多个前馈子矩阵,其中,多个上述前馈子矩阵各自的矩阵维度小于上述参考前馈矩阵的矩阵维度;利用多个上述前馈子矩阵替换与上述前馈处理层匹配的上述参考前馈矩阵,得到待训练的上述第二文本处理网络。

    12、可选地,上述网络压缩单元,用于:获取样本集合,其中,上述样本集合中包括多个文本序列以及与多个上述文本序列分别匹配的文本标签;利用上述样本集合对上述第二文本处理网络进行训练;在上述第二文本处理网络未满足训练条件的情况下,对与上述第二文本处理网络关联的矩阵参数进行调整,其中,上述矩阵参数为多个上述投影子矩阵和多个上述前馈子矩阵所指示的参数集合中的参数;在上述第二文本处理网络满足训练条件的情况下,将上述第二文本处理网络确定为上述目标神经网络。

    13、可选地,上述网络压缩单元,还用于:重复如下操作,直至从多个压缩处理向量中确定出目标压缩处理向量,其中,上述压缩处理向量中包括多个处理参数,每个处理参数分别指示对上述第一文本处理网络执行的一次参数压缩操作,上述参数压缩操作包括矩阵拆解处理和矩阵低秩分解处理中的至少一种,上述目标压缩处理向量用于将上述第一文本处理网络调整为上述第二文本处理网络:获取上一轮操作得到的多个上述压缩处理向量;基于多个上述压缩处理向量对上述第一文本处理网络分别处理,得到与多个上述压缩处理向量分别对应的参考文本处理网络;根据目标样本集合,获取多个上述参考文本处理网络各自的文本处理损失;基于多个上述参考文本处理网络各自的上述文本处理损失,确定出与多个上述压缩处理向量各自匹配的处理评价指数;在多个上述压缩处理向量中不包括上述处理评价指数满足目标条件的第一压缩处理向量的情况下,根据上述处理评价指数从多个上述压缩处理向量确定出至少一个第二压缩处理向量;对至少一个上述第二压缩处理向量依次执行向量操作,得到更新后的至少一个上述第二压缩处理向量;将更新后的至少一个上述第二压缩处理向量添加至多个上述压缩处理向量中;在多个上述压缩处理向量中包括上述处理评价指数满足上述目标条件的上述第一压缩处理向量的情况下,将上述第一压缩处理向量确定为上述目标压缩处理向量。

    14、根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述对象特征的处理方法。

    15、根据本技术实施例的又一个方面,提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行如以上对象特征的处理方法。

    16、根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器和处理器,上述存储器中存储有计算机程序,上述处理器被设置为通过上述计算机程序执行上述的对象特征的处理方法。

    17、在上述对象特征的处理方法中,通过目标处理模块获取第一对象特征中的第一子特征,其中,目标处理模块为目标神经网络的特征处理层中的一个特征处理模块,特征处理层中包括目标处理模块和至少一个参考处理模块,至少一个参考处理模块用于对根据第一对象特征确定的至少一个第二子特征分别进行处理;根据与目标处理模块匹配的至少一个目标投影矩阵,确定与第一子特征匹配的权重矩阵,并根据第一子特征和权重矩阵确定第三子特征,其中,目标投影矩阵的矩阵维度与第一子特征的特征维度相匹配;获取至少一个参考处理模块对各自对应的第二子特征处理得到的至少一个第四子特征;根据第三子特征和至少一个第四子特征,确定与第一对象特征匹配的第二对象特征,从而实现了在根据神经网络处理对象任务的过程中对对象特征进行了高效处理。

    18、在上述神经网络中处理对象特征的过程中,采用了一种优化方法来提高处理效率。首先,在特征处理层,将对象特征拆分为多个子特征,并在不同的特征处理模块中对这些子特征进行独立处理。特别地,在目标特征处理模块中,使用与子特征维度相匹配的投影矩阵来优化处理过程。由于每个模块只处理分配给它的子特征,进而避免了在特征处理层中存储高维度的投影矩阵,进而减少了对大规模数学计算的需求,降低了参数存储空间的需求,减少了计算资源的消耗。进一步地,在神经网络处理对象任务的过程中,涉及大量对象特征处理操作,进而可以通过在不同的对象特征处理操作中复用上述实施方式,在提升了特征处理效率的同时,进一步提升了整个神经网络处理对象任务的效率。


    技术特征:

    1.一种对象特征的处理方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,所述根据与所述目标处理模块匹配的至少一个目标投影矩阵,确定与所述第一子特征匹配的权重矩阵,并根据所述第一子特征和所述权重矩阵确定第三子特征,包括:

    3.根据权利要求2所述的方法,其特征在于,所述获取至少一个所述参考处理模块对各自对应的所述第二子特征处理得到的至少一个第四子特征之前,还包括:

    4.根据权利要求2所述的方法,其特征在于,所述根据所述第三子特征和至少一个所述第四子特征,确定与所述第一对象特征匹配的第二对象特征,包括:

    5.根据权利要求2所述的方法,其特征在于,所述确定至少一个所述目标投影矩阵中包括的查询投影矩阵,键投影矩阵和值投影矩阵,包括以下至少之一:

    6.根据权利要求5所述的方法,其特征在于,所述根据所述第三子特征和至少一个所述第四子特征,确定与所述第一对象特征匹配的第二对象特征之后,包括:

    7.根据权利要求5所述的方法,其特征在于,

    8.根据权利要求1所述的方法,其特征在于,所述通过目标处理模块获取第一对象特征中的第一子特征之前,还包括:

    9.根据权利要求8所述的方法,其特征在于,所述对所述第二文本处理网络进行训练,得到所述目标神经网络之前,还包括:

    10.根据权利要求9所述的方法,其特征在于,所述对所述第二文本处理网络进行训练,得到所述目标神经网络,其中,所述目标神经网络用于对文本序列进行处理,包括:

    11.根据权利要求8所述的方法,其特征在于,所述根据所述第一文本处理网络中与所述多头自注意力层匹配的至少一个文本特征投影矩阵,确定出与所述多头自注意力层中的多个所述特征处理模块分别匹配的至少一个参考特征投影矩阵之前,还包括:

    12.一种对象特征的处理装置,其特征在于,包括:

    13.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至11任一项中所述的方法。

    14.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至11中任一项所述方法的步骤。

    15.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。


    技术总结
    本公开提供了一种对象特征的处理方法和装置、存储介质及电子设备。其中,该方法包括:通过目标处理模块获取第一对象特征中的第一子特征,目标处理模块为目标神经网络的特征处理层中的一个特征处理模块,特征处理层中包括目标处理模块和至少一个参考处理模块;根据与目标处理模块匹配的至少一个目标投影矩阵,确定与第一子特征匹配的权重矩阵,并根据第一子特征和权重矩阵确定第三子特征;获取至少一个参考处理模块对各自对应的第二子特征处理得到的至少一个第四子特征;根据第三子特征和至少一个第四子特征,确定与第一对象特征匹配的第二对象特征。本公开解决了相关任务处理方法的效率较低的技术问题。

    技术研发人员:崔开元
    受保护的技术使用者:腾讯科技(深圳)有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-39192.html

    最新回复(0)