一种基于语言模型理解用户表征的方法和装置与流程

    专利查询2025-12-30  11


    本发明涉及计算机,更具体地,涉及一种基于语言模型理解用户表征的方法和装置。


    背景技术:

    1、用户表征是指人工智能算法中对于用户的抽象表示,上述用户表征被使用在多种领域的算法中,例如,推荐系统算法、用户画像算法等;但是当前用户表征的相关算法模型缺乏解释性,无法在应用层面上针对上述用户表征提供解释;从用户的角度来说,用户只能得到算法模型的结果,却无法得知算法模型提供结果的原因,例如,用户被推荐了某个商品,却无法得知自己在算法模型中是如何被理解的,这会影响用户对算法模型输出结果的信服力。

    2、随着大规模语言模型的发展,上述大规模语言模型在不同的应用中展现了惊人的效果,尤其是知识记忆、文本理解和文本生成等方面,但是现有的大规模语言模型通常只能理解文本模态,无法直接理解算法模型中的用户表征。

    3、综上所述,如何基于大规模语言模型理解用户表征,是目前需要解决的问题。


    技术实现思路

    1、有鉴于此,本发明实施例提供了一种基于语言模型理解用户表征的方法和装置,使大规模语言模型输出理解用户表征的自然语言文本,实现了人工智能算法中用户表征的可解释性。

    2、第一方面,本发明实施例提供了一种基于语言模型理解用户表征的方法,所述方法包括:

    3、获取第一用户表征,其中,所述用户表征为设定算法中对于用户的向量表示;

    4、将所述第一用户表征输入到查询转换器q-transformer模型,生成第二用户表征,其中,所述第二用户表征中包括所述第一用户表征中的部分信息;

    5、将所述第二用户表征输入到独立线性层,通过向量空间转换生成第三用户表征,其中,所述第三用户表征的向量表示为大规模语言模型可使用的向量空间格式;

    6、将所述第三用户表征和第一问题信息输入到所述大规模语言模型,生成用户表征理解文本。

    7、可选的,所述方法还包括:

    8、保存所述第三用户表征。

    9、可选的,所述方法还包括:

    10、将第二问题信息输入到所述大规模语言模型;

    11、根据所述第二问题信息、所述第三用户表征和所述第一问题信息,生成用户表征深度理解文本。

    12、可选的,所述获取第一用户表征,具体包括:

    13、获取用户基本信息;

    14、将所述用户基本信息输入到用户表征生成器,生成所述第一用户表征。

    15、可选的,所述将所述第一用户表征输入到q-transformer模型,生成第二用户表征,具体包括:

    16、将所述第一用户表征输入到q-transformer模型的线性层,通过向量空间转换生成中间用户表征,其中,所述中间用户表征的向量表示为所述q-transformer模型可使用的向量空间格式;

    17、根据所述中间用户表征和所述q-transformer模型的可学习向量,生成所述第二用户表征。

    18、可选的,所述q-transformer模型的训练过程包括:

    19、获取用户表征样本和描述文本样本;

    20、根据所述用户表征样本和描述文本样本更新所述q-transformer模型的参数。

    21、可选的,所述根据所述用户表征样本和描述文本样本更新所述q-transformer模型的参数,具体包括:

    22、将所述用户表征样本和描述文本样本进行对比学习任务、匹配任务和文本生成任务,更新所述q-transformer模型以及所述q-transformer模型的可学习向量的参数。

    23、可选的,所述方法还包括:

    24、将所述用户表征样本通过交叉注意力层输入到所述q-transformer模型的线性层,通过向量空间转换生成中间用户表征样本,其中,所述中间用户表征样本的向量表示为所述q-transformer模型可使用的向量空间格式;

    25、将所述描述文本样本通过输入层输入到所述q-transformer模型。

    26、可选的,所述方法还包括:

    27、根据大规模语言模型生成所述描述文本样本。

    28、可选的,所述方法还包括:

    29、将所述中间用户表征样本输入到独立线性层,通过向量空间转换生成目标用户表征样本,其中,所述目标用户表征样本的向量表示为大规模语言模型可使用的向量空间格式;

    30、将所述目标用户表征样本和问题信息样本输入到所述大规模语言模型,生成用户表征理解文本样本;

    31、将所述用户表征理解文本样本与所述描述文本样本进行比对,更新所述q-transformer模型以及所述独立线性层的参数。

    32、第二方面,本发明实施例提供了一种基于语言模型理解用户表征的装置,所述装置包括:

    33、获取单元,用于获取第一用户表征,其中,所述用户表征为设定算法中对于用户的向量表示;

    34、第一生成单元,用于将所述第一用户表征输入到查询转换器q-transformer模型,生成第二用户表征,其中,所述第二用户表征中包括所述第一用户表征中的部分信息;

    35、第二生成单元,用于将所述第二用户表征输入到独立线性层,通过向量空间转换生成第三用户表征,其中,所述第三用户表征的向量表示为大规模语言模型可使用的向量空间格式;

    36、第三生成单元,用于将所述第三用户表征和第一问题信息输入到所述大规模语言模型,生成用户表征理解文本。

    37、可选的,该装置还包括:

    38、保存单元,用于保存所述第三用户表征。

    39、可选的,所述第三生成单元还用于:

    40、将第二问题信息输入到所述大规模语言模型;

    41、根据所述第二问题信息、所述第三用户表征和所述第一问题信息,生成用户表征深度理解文本。

    42、可选的,所述获取单元具体用于:

    43、获取用户基本信息;

    44、将所述用户基本信息输入到用户表征生成器,生成所述第一用户表征。

    45、可选的,所述第一生成单元具体用于:

    46、将所述第一用户表征输入到q-transformer模型的线性层,通过向量空间转换生成中间用户表征,其中,所述中间用户表征的向量表示为所述q-transformer模型可使用的向量空间格式;

    47、根据所述中间用户表征和所述q-transformer模型的可学习向量,生成所述第二用户表征。

    48、可选的,所述q-transformer模型的训练过程中,所述获取单元还用于:

    49、获取用户表征样本和描述文本样本;

    50、所述装置还包括:

    51、更新单元,用于根据所述用户表征样本和描述文本样本更新所述q-transformer模型的参数。

    52、可选的,所述更新单元具体用于:

    53、将所述用户表征样本和描述文本样本进行对比学习任务、匹配任务和文本生成任务,更新所述q-transformer模型以及所述q-transformer模型的可学习向量的参数。

    54、可选的,所述装置还包括:

    55、输入单元,用于将所述用户表征样本通过交叉注意力层输入到所述q-transformer模型的线性层,通过向量空间转换生成中间用户表征样本,其中,所述中间用户表征样本的向量表示为所述q-transformer模型可使用的向量空间格式;

    56、将所述描述文本样本通过输入层输入到所述q-transformer模型。

    57、可选的,所述装置还包括:

    58、第四生成单元,用于根据大规模语言模型生成所述描述文本样本。

    59、可选的,所述更新单元还用于:

    60、将所述中间用户表征样本输入到独立线性层,通过向量空间转换生成目标用户表征样本,其中,所述目标用户表征样本的向量表示为大规模语言模型可使用的向量空间格式;

    61、将所述目标用户表征样本和问题信息样本输入到所述大规模语言模型,生成用户表征理解文本样本;

    62、将所述用户表征理解文本样本与所述描述文本样本进行比对,更新所述q-transformer模型以及所述独立线性层的参数。

    63、第三方面,本发明实施例提供了一种电子设备,包括存储器和处理器,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能中任一项所述的方法。

    64、第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储计算机程序指令,所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。

    65、本发明实施例中,通过获取第一用户表征,其中,所述用户表征为设定算法中对于用户的向量表示;将所述第一用户表征输入到q-transformer模型,生成第二用户表征,其中,所述第二用户表征中包括所述第一用户表征中的部分信息;将所述第二用户表征输入到独立线性层,通过向量空间转换生成第三用户表征,其中,所述第三用户表征的向量表示为大规模语言模型可使用的向量空间格式;将所述第三用户表征和第一问题信息输入到所述大规模语言模型,生成用户表征理解文本。通过上述方法,使大规模语言模型输出理解用户表征的自然语言文本,实现了人工智能算法中用户表征的可解释性。


    技术特征:

    1.一种基于语言模型理解用户表征的方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

    3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

    4.根据权利要求1所述的方法,其特征在于,所述获取第一用户表征,具体包括:

    5.根据权利要求1所述的方法,其特征在于,所述将所述第一用户表征输入到查询转换器q-transformer模型,生成第二用户表征,具体包括:

    6.根据权利要求1所述的方法,其特征在于,所述q-transformer模型的训练过程包括:

    7.根据权利要求6所述的方法,其特征在于,所述根据所述用户表征样本和描述文本样本更新所述q-transformer模型的参数,具体包括:

    8.根据权利要求6所述的方法,其特征在于,所述方法还包括:

    9.根据权利要求6所述的方法,其特征在于,所述方法还包括:

    10.根据权利要求8所述的方法,其特征在于,所述方法还包括:

    11.一种基于语言模型理解用户表征的装置,其特征在于,所述装置包括:

    12.一种电子设备,包括存储器和处理器,其特征在于,所述存储器用于存储一条或多条计算机程序指令,其中,所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-10中任一项所述的方法。

    13.一种计算机可读存储介质,其特征在于,所述计算机可读存储


    技术总结
    本发明实施例公开了一种基于语言模型理解用户表征的方法和装置。本发明实施例中,通过获取第一用户表征,其中,所述用户表征为设定算法中对于用户的向量表示;将所述第一用户表征输入到查询转换器Q‑Transformer模型,生成第二用户表征,其中,所述第二用户表征中包括所述第一用户表征中的部分信息;将所述第二用户表征输入到独立线性层,通过向量空间转换生成第三用户表征,其中,所述第三用户表征的向量表示为大规模语言模型可使用的向量空间格式;将所述第三用户表征和第一问题信息输入到所述大规模语言模型,生成用户表征理解文本。通过上述方法,使大规模语言模型输出理解用户表征的自然语言文本,实现了人工智能算法中用户表征的可解释性。

    技术研发人员:罗昱冬,黄涛,杨贝,徐萧萧
    受保护的技术使用者:阿里巴巴(中国)有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-33284.html

    最新回复(0)