一种商品类目预测方法、装置、设备及存储介质与流程

1.本发明涉及人工智能技术领域，特别涉及一种商品类目预测方法、装置、设备及存储介质。


背景技术：

2.大数据无处不在，特别是在迅速发展的电商平台，数据维护显得尤为重要。其中，大量的商品类目是治理的重中之重，由于每个电商平台都设置有自己独特的商品类目，如何根据不同平台自适应的对所有商品进行类目整理和多级类目梳理是提高平台竞争力和工作效率的必经之路。现有的商品类目治理方案大多将“直接人工标注”和“微调模型”结合在一起，然而商品的类目标注较为复杂，人工标注成本较高且效率较低，同时也无法保证正确率。
3.因此，如何提供一种高效且准确的商品类目预测方法是本领域技术人员亟待解决的技术问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种商品类目预测方法、装置、设备及存储介质，能够避免大量人工标注过程，提高商品类目预测效率和准确率。其具体方案如下：
5.本技术的第一方面提供了一种商品类目预测方法，包括：
6.将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；
7.对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；
8.利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。
9.可选的，所述将预设商品信息输入至预训练模型进行处理之前，还包括：
10.获取第三方商品信息及对应商品类目；
11.通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，以利用清洗后的数据对所述预训练模型进行模型微调。
12.可选的，所述通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，包括：
13.分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练；
14.利用训练后的分类器对对应的第三方商品信息的商品类目进行预测，并将置信度小于第一预设阈值的第三方商品信息进行删除。
15.可选的，所述分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练之前，还包括：
16.将第三方商品信息及对应商品类目划分为训练集、测试集和验证集，并从所述训练集中筛选第三方商品信息以对对应种类的商品类目的分类器进行训练。
17.可选的，所述商品类目预测方法，还包括：
18.通过五折交叉验证的方式对每种商品类目的训练后的分类器进行模型效果验证。
19.可选的，所述通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，包括：
20.利用查询函数对第三方商品信息按照商品类目种类进行样本划分，分别得到与每种商品类目对应的正样本和负样本；其中，所述正样本中包含商品类目一致且为对应种类的第三方商品信息，所述负样本包含商品类目为其他种类的第三方商品信息；
21.分别利用所述正样本和所述负样本对对应种类的商品类目的分类器进行训练，并将训练过程中所述负样本中置信度大于第二预设阈值的第三方商品信息移入所述正样本继续训练直至分类器收敛。
22.可选的，所述对与所述预设商品信息对应的商品类目进行分布统计，包括：
23.从所述预设商品信息中确定出采样商品信息，并对所述采样商品信息的商品类目进行校验，以对校验后的所述采样商品信息对应的商品类目进行分布统计。
24.本技术的第二方面提供了一种商品类目预测装置，包括：
25.预处理模块，用于将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；
26.分布对齐模块，用于对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；
27.第一微调模块，用于利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。
28.本技术的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述商品类目预测方法。
29.本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述商品类目预测方法。
30.本技术中，先将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；然后对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；最后利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。可见，本技术将大规模的语料训练出来的预训练模型迁移至目标预测模型，也即商品类目信息迁移至所述目标预测模型中，避免大量人工标注过程，提高商品类目预测效率和准确率。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
32.图1为本技术提供的一种商品类目预测方法流程图；
33.图2为本技术提供的一种具体的商品类目预测方法示意图；
34.图3为本技术提供的一种具体的数据清洗过程图；
35.图4为本技术提供的一种商品类目预测装置结构示意图；
36.图5为本技术提供的一种商品类目预测电子设备结构图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.现有的商品类目治理方案大多将“直接人工标注”和“微调模型”结合在一起，然而商品的类目标注较为复杂，人工标注成本较高且效率较低，同时也无法保证正确率。针对上述技术缺陷，本技术提供一种商品类目预测方案，能够避免大量人工标注过程，提高商品类目预测效率和准确率。
39.图1为本技术实施例提供的一种商品类目预测方法流程图。参见图1所示，该商品类目预测方法包括：
40.s11：将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型。
41.本实施例中，将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目。所述预训练模型为已有的用于对商品类目进行预测的训练后模型。具体的，所述预训练模型(ptm)指的是利用大量在人们生活中出现过的文本来训练，使模型在这些文本中学习到每一个词或字出现的概率分布，以此来建模出符合这些文本分布的模型。语言模型的语料的标签就是它的上下文，这就决定了几乎可以无限制地利用大规模的语料来训练语言模型，这些大规模的预料，使所述预训练模型得以获得强大的能力，通过所述预训练模型也即利用大规模的语料训练出来的语言模型，让下游的类目治理任务展现出更出色的效果。另外，在预训练模型的基础上，还可以在下游接入各种分类、回归nlp任务。
42.进一步的，为了保证迁移效果，利用现有开源的、在大规模公开语料上训练出来的所述预训练模型外，还需要在第三方公开商品类目数据上对所述预训练模型进行微调(finetune)。微调就是指将预训练过的模型作用于自己的数据集，并使参数适应自己数据集的过程。具体的，本实施例先获取第三方商品信息及对应商品类目，然后通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，以利用清洗后的数据对所述预训练模型进行模型微调。由于公开语料存在标注不一致、商品名称歧义等常见nlp问题。上述过程在获取到第三方数据后先利用主动学习的思想对标注语料进行清理。
43.本实施例中的数据清洗有两种方案。在一种实施例中，先将第三方商品信息及对应商品类目划分为训练集、测试集和验证集，也即拆分数据集为train、test、valid，其中valid固定不变，train、test根据方案圈选。并从所述训练集中筛选第三方商品信息以对对应种类的商品类目的分类器进行训练。然后分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练；最后利用训练后的分类器对对应的第三方商品信息的商品类目进行预测，并将置信度小于第一预设阈值的第三方商品信息进行删除。通过主动学习，将模型训练中的不置信样本剔除，对模型打标后的商品类目进行不断迭代，从而提升商品类目预测准确率。
44.另外，为了保证清洗效果，还可以通过五折交叉验证的方式对每种商品类目的训练后的分类器进行模型效果验证。五折交叉验证也即将有标注的数据拆分成五份，每一份轮流作为验证集，剩余四份作为训练集。用训练集训练模型、验证集观测模型预测效果。观测五份验证集的效果，往往会比一份结果更能充分说明模型的真实效果。
45.在另一种实施例中，先利用查询函数对第三方商品信息按照商品类目种类进行样本划分，分别得到与每种商品类目对应的正样本和负样本。所述查询函数(query function)为主动学习中的查询函数。机器学习模型的更新的过程为：通过增量学习或者重新学习的方式更新模型，从而将人工标注的数据融入机器学习模型中，提升模型效果。其中，所述正样本中包含商品类目一致且为对应种类的第三方商品信息，所述负样本包含商品类目为其他种类的第三方商品信息。然后分别利用所述正样本和所述负样本对对应种类的商品类目的分类器进行训练，并将训练过程中所述负样本中置信度大于第二预设阈值的第三方商品信息移入所述正样本继续训练直至分类器收敛。也即，首先随机挑选正样本p(positive)，然后从剩余数据中挑选少量数据u(unlabelled)，作为负样本。接着训练分类器预测没有被选中的u，将置信度较高的加入p，剩余的数据继续放入u中。重复上述过程多次，直至收敛。具体参照图3所示。
46.s12：对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理。
47.本实施例中，对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理。为了提高处理效率，只需对小部分商品信息及类目进行分布统计，因此，在此之前，对所有商品类目数据随机采样一小部分，并对这部分数据进行人工校验，仅统计经人工校验后的类目分布。根据该分布，对所有商品数据进行分布对齐。具体来说，从所述预设商品信息中确定出采样商品信息，并对所述采样商品信息的商品类目进行校验，以对校验后的所述采样商品信息对应的商品类目进行分布统计。可以理解，采样也即抽取一部分数据。往往是因为全局数据量太大超出人工或者机器计算能力，需要抽取一部分数据出来用于人工标记或者模型训练。采样的方法很多，主要根据采样的目的进行灵活选择。同时，在实际场景中，采样的数据量往往根据类目数量和人工量确定，本实施例对此不进行限定。
48.需要说明的是，分布对齐指的是将待对齐的数据每个类目缩减后类目分布和期望分布近似。但在实际操作中，由于商品类目分布具有长尾性，而数据量过少的类目不利于模型学习训练出相关信息。因此，对于尾部类目，不需要缩减。
49.s13：利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到
目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。
50.本实施例中，利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。该过程也即用对齐后的数据重新微调预训练语言模型，重复以上步骤，直至收敛。至此，迁移学习完成，将人工成本降到最低，不需要大量人工直接对本方数据进行标注，且能将模型效果较好的迁移到本方数据中。可以裂解，迁移学习就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。
51.可见，本技术实施例先将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；然后对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；最后利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。本技术实施例将大规模的语料训练出来的预训练模型迁移至目标预测模型，也即商品类目信息迁移至所述目标预测模型中，避免大量人工标注过程，提高商品类目预测效率和准确率。
52.参见图4所示，本技术实施例还相应公开了一种商品类目预测装置，包括：
53.预处理模块11，用于将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；
54.分布对齐模块12，用于对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；
55.第一微调模块13，用于利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。
56.可见，本技术实施例先将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；然后对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；最后利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。本技术实施例将大规模的语料训练出来的预训练模型迁移至目标预测模型，也即商品类目信息迁移至所述目标预测模型中，避免大量人工标注过程，提高商品类目预测效率和准确率。
57.在一些具体实施例中，所述商品类目预测装置还包括：
58.获取模块，用于获取第三方商品信息及对应商品类目；
59.清洗模块，用于通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗；
60.第二微调模块，用于利用清洗后的数据对所述预训练模型进行模型微调。
61.在一些具体实施例中，所述清洗模块，具体包括第一清洗子模块和第二清洗子模块，其中，所述第一清洗子模块包括：
62.第一数据划分单元，用于将第三方商品信息及对应商品类目划分为训练集、测试集和验证集，并从所述训练集中筛选第三方商品信息以对对应种类的商品类目的分类器进行训练；
63.第一训练单元，用于分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练；
64.预测单元，用于利用训练后的分类器对对应的第三方商品信息的商品类目进行预测；
65.删除单元，用于并将置信度小于第一预设阈值的第三方商品信息进行删除；
66.验证单元，用于通过五折交叉验证的方式对每种商品类目的训练后的分类器进行模型效果验证；
67.所述第二清洗子模块包括：
68.第二数据划分单元，用于利用查询函数对第三方商品信息按照商品类目种类进行样本划分，分别得到与每种商品类目对应的正样本和负样本；其中，所述正样本中包含商品类目一致且为对应种类的第三方商品信息，所述负样本包含商品类目为其他种类的第三方商品信息；
69.第二训练单元，用于分别利用所述正样本和所述负样本对对应种类的商品类目的分类器进行训练，并将训练过程中所述负样本中置信度大于第二预设阈值的第三方商品信息移入所述正样本继续训练直至分类器收敛。
70.在一些具体实施例中，所述分布对齐模块，具体还用于从所述预设商品信息中确定出采样商品信息，并对所述采样商品信息的商品类目进行校验，以对校验后的所述采样商品信息对应的商品类目进行分布统计。
71.进一步的，本技术实施例还提供了一种电子设备。图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
72.图5为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的商品类目预测方法中的相关步骤。
73.本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
74.另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
75.其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序
222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的商品类目预测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的样本数据。
76.进一步的，本技术实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的商品类目预测方法步骤。
77.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
78.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
79.以上对本发明所提供的商品类目预测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种商品类目预测方法，其特征在于，包括：将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。2.根据权利要求1所述的商品类目预测方法，其特征在于，所述将预设商品信息输入至预训练模型进行处理之前，还包括：获取第三方商品信息及对应商品类目；通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，以利用清洗后的数据对所述预训练模型进行模型微调。3.根据权利要求2所述的商品类目预测方法，其特征在于，所述通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，包括：分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练；利用训练后的分类器对对应的第三方商品信息的商品类目进行预测，并将置信度小于第一预设阈值的第三方商品信息进行删除。4.根据权利要求3所述的商品类目预测方法，其特征在于，所述分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练之前，还包括：将第三方商品信息及对应商品类目划分为训练集、测试集和验证集，并从所述训练集中筛选第三方商品信息以对对应种类的商品类目的分类器进行训练。5.根据权利要求3所述的商品类目预测方法，其特征在于，还包括：通过五折交叉验证的方式对每种商品类目的训练后的分类器进行模型效果验证。6.根据权利要求2所述的商品类目预测方法，其特征在于，所述通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，包括：利用查询函数对第三方商品信息按照商品类目种类进行样本划分，分别得到与每种商品类目对应的正样本和负样本；其中，所述正样本中包含商品类目一致且为对应种类的第三方商品信息，所述负样本包含商品类目为其他种类的第三方商品信息；分别利用所述正样本和所述负样本对对应种类的商品类目的分类器进行训练，并将训练过程中所述负样本中置信度大于第二预设阈值的第三方商品信息移入所述正样本继续训练直至分类器收敛。7.根据权利要求1至6任一项所述的商品类目预测方法，其特征在于，所述对与所述预设商品信息对应的商品类目进行分布统计，包括：从所述预设商品信息中确定出采样商品信息，并对所述采样商品信息的商品类目进行校验，以对校验后的所述采样商品信息对应的商品类目进行分布统计。8.一种商品类目预测装置，其特征在于，包括：预处理模块，用于将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后
模型；分布对齐模块，用于对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；第一微调模块，用于利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的商品类目预测方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的商品类目预测方法。

技术总结
本申请公开了一种商品类目预测方法、装置、设备及存储介质，包括：将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。本申请将大规模的语料训练出来的预训练模型迁移至目标预测模型，避免大量人工标注过程，提高商品类目预测效率和准确率。率。率。


技术研发人员：薛睿蓉 王成 陈承泽
受保护的技术使用者：上海微盟企业发展有限公司
技术研发日：2022.03.10
技术公布日：2022/5/25