信息检测方法和装置与流程

1.本发明涉及计算机技术领域，尤其涉及一种信息检测方法和装置。


背景技术：

2.一品多商是指一品多供应商，即同一个商品有多个供应商。一品多商问题的存在会严重影响商品池标准化和规范化，影响供应链上下游的商品信息统一，引起数据冗余。目前，一品多商问题的检测单纯依赖对比商品品牌、型号、订货号等信息进行检测。然而，由于工业品商品池数据存在类目乱挂、品牌乱挂、订货号和规格型号等参数不规范的问题，单纯对比商品品牌、型号以及订货号信息会导致大量一品多商的错检、漏检。并且，不同品类的商品存在不同的行业专业属性，商品的基础信息、规格参数、扩展属性均需要按照类目特点进行处理。


技术实现要素：

3.有鉴于此，本发明实施例提供一种信息检测方法和装置，能够自动检测一品多商，节省了人力，降低了成本，而且本发明实施例在检测一品多商之前，筛选出了类目乱挂和品牌乱挂的物品，提高了检测的准确性；在检测时基于物品各类属性的重要程度计算任意物品间的相似性程度，根据相似性程度确定一品多商的物品，在检测过程中使用了丰富的属性信息，有效保证了检测的准确率。
4.为实现上述目的，根据本发明实施例的一个方面，提供了一种信息检测方法，包括：
5.获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
6.根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；
7.针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
8.根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
9.可选地，根据所述详情数据，确定类目信息错误的待分析物品的步骤包括：
10.获取类目关键词词典；
11.利用预设的检测方法和所述类目关键词词典，识别所述待分析物品的类目关键词，得到待匹配关键词；
12.将所述待匹配关键词和所述详情数据中的类目信息进行匹配，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品。
13.可选地，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品的步骤包括：
14.将所述待匹配关键词和所述详情数据中的类目信息匹配的待分析物品作为第一
物品，以及将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为第二物品；
15.根据所述第一物品的详情数据，训练类目分类模型；
16.根据所述类目分类模型和所述第二物品的详情数据，确定所述第二物品的待匹配类目；
17.比较所述第二物品的待匹配类目和所述详情数据中的类目信息，若所述第二物品的待匹配类目与所述详情数据中的类目信息不一致，则确定所述第二物品为类目信息错误的待分析物品。
18.可选地，根据所述详情数据，确定品牌信息错误的待分析物品的步骤包括：
19.获取品牌词典；
20.针对每一待分析物品，基于所述品牌词典，提取所述待分析物品名称中的待匹配品牌词；
21.将所述待匹配品牌词与所述详情数据中的品牌信息进行比较，若所述待匹配品牌词与所述详情数据中的品牌信息不一致，则确定所述待分析物品为品牌信息错误的待分析物品。
22.可选地，所述品牌词典根据如下过程获得：将同一品牌的多个不同语种的名称进行归一化处理，以将所述品牌的多个不同语种的名称映射为标准名称；基于所述品牌的多个不同语种的名称以及所映射的标准名称，生成品牌词典。
23.可选地，其特征在于，所述方法还包括：接收权重配置信息，所述权重配置信息按照类目维度记录不同类目涉及的属性的数量及权重；
24.针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重的步骤包括：针对每一所述目标物品，根据所述权重配置信息，确定所述目标物品的多个属性以及与每一所述属性对应的权重。
25.可选地，根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品的步骤包括：
26.根据目标物品的类目信息，对所述目标物品进行分组；
27.针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
28.可选地，针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品的步骤包括：
29.针对每一组目标物品，确定该组目标物品中任意两个目标物品，根据所述任意两个目标物品的多个属性，计算所述任意两个目标物品同种属性的属性相似度；
30.根据与每一所述属性对应的权重，计算所述属性相似度的加权和；
31.根据所述属性相似度的加权和以及所述任意两个目标物品的品牌信息，计算所述任意两个目标物品之间的相似度；
32.若所述任意两个目标物品之间的相似度大于预设的阈值，则确定所述任意两个目
标物品确定属于一品多商的目标物品。
33.可选地，计算所述任意两个目标物品同种属性的属性相似度的步骤包括：将所述任意两个目标物品同种属性的属性值转化为特征向量；计算所述特征向量的相似度，将所述特征向量的相似度作为所述任意两个目标物品同种属性的属性相似度。
34.为实现上述目的，根据本发明实施例的另一个方面，提供了一种信息检测装置，包括：
35.获取模块，用于获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
36.筛选模块，用于根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；
37.确定模块，用于针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
38.检测模块，用于根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
39.可选地，所述筛选模块还用于：获取类目关键词词典；利用预设的检测方法和所述类目关键词词典，识别所述待分析物品的类目关键词，得到待匹配关键词；将所述待匹配关键词和所述详情数据中的类目信息进行匹配，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品。
40.可选地，所述筛选模块还用于：
41.将所述待匹配关键词和所述详情数据中的类目信息匹配的待分析物品作为第一物品，以及将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为第二物品；
42.根据所述第一物品的详情数据，训练类目分类模型；
43.根据所述类目分类模型和所述第二物品的详情数据，确定所述第二物品的待匹配类目；
44.比较所述第二物品的待匹配类目和所述详情数据中的类目信息，若所述第二物品的待匹配类目与所述详情数据中的类目信息不一致，则确定所述第二物品为类目信息错误的待分析物品。
45.可选地，所述筛选模块还用于：获取品牌词典；针对每一待分析物品，基于所述品牌词典，提取所述待分析物品名称中的待匹配品牌词；将所述待匹配品牌词与所述详情数据中的品牌信息进行比较，若所述待匹配品牌词与所述详情数据中的品牌信息不一致，则确定所述待分析物品为品牌信息错误的待分析物品。
46.可选地，所述装置还包括词典构成模块，用于将同一品牌的多个不同语种的名称进行归一化处理，以将所述品牌的多个不同语种的名称映射为标准名称；基于所述品牌的多个不同语种的名称以及所映射的标准名称，生成品牌词典。
47.可选地，所述装置还包括接收模块，用于接收权重配置信息，所述权重配置信息按照类目维度记录不同类目涉及的属性的数量及权重；
48.所述确定模块还用于：针对每一所述目标物品，根据所述权重配置信息，确定所述
目标物品的多个属性以及与每一所述属性对应的权重。
49.可选地，所述检测模块还用于：根据所述目标物品的类目信息，对所述目标物品进行分组；针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
50.可选地，所述检测模块还用于：针对每一组目标物品，确定该组目标物品中任意两个目标物品，根据所述任意两个目标物品的多个属性，计算所述任意两个目标物品同种属性的属性相似度；根据与每一所述属性对应的权重，计算所述属性相似度的加权和；根据所述属性相似度的加权和以及所述任意两个目标物品的品牌信息，计算所述任意两个目标物品之间的相似度；若所述任意两个目标物品之间的相似度大于预设的阈值，则确定所述任意两个目标物品确定属于一品多商的目标物品。
51.可选地，所述检测模块还用于：将所述任意两个目标物品同种属性的属性值转化为特征向量；计算所述特征向量的相似度，将所述特征向量的相似度作为所述任意两个目标物品同种属性的属性相似度。
52.为实现上述目的，根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的信息检测方法。
53.为实现上述目的，根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的信息检测方法。
54.上述发明中的一个实施例具有如下优点或有益效果：通过获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品的技术手段，能够自动检测一品多商，节省了人力，降低了成本，而且本发明实施例基于物品各类属性的重要程度计算任意物品间的相似性程度，从而确定一品多商的物品其于使用了丰富的属性信息，有效保证了检测的准确率；在检测一品多商时，剔除了类目和品牌错误的物品，降低了噪音，提高了准确率。
55.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
56.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
57.图1是本发明一实施例的信息检测方法的主要流程的示意图；
58.图2是本发明实施例的信息检测方法的子流程的示意图；
59.图3是本发明又一实施例的信息检测方法的主要流程的示意图；
60.图4是本发明实施例的信息检测方法的主要流程的示意图；
61.图5是本发明实施例的信息检测装置的主要模块的示意图；
62.图6是本发明实施例可以应用于其中的示例性系统架构图；
63.图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
64.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
65.图1是本发明一实施例的信息检测方法主要步骤的流程示意图，如图1所示，该方法包括：
66.步骤s101：获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
67.步骤s102：根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；
68.步骤s103：针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
69.步骤s104：根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
70.对于步骤s101，当从供应商处采购到物品后，会将物品的各项数据记录在数据表中预定的文件中。该各项数据可以包括物品的基本信息(或发品信息)、规格型号以及参数等信息，例如类目、名称、品牌、型号、系列、价格、上架时间、产地、质保。因此，在获取待分析物品的详情数据时，可以获得待分析物品的基本信息(或发品信息)、规格型号以及参数等信息，例如类目信息、名称信息、品牌信息、型号信息等。
71.对于步骤s102，在本实施例中确定类目信息和品牌信息错误的待分析物品，不仅可以筛选出信息记录错误的待分析物品，即筛选出类目乱挂、品牌乱挂的待分析物品，还可以减少噪音，提高一品多商商品检测的准确度。在确定类目信息和品牌信息错误的待分析物品的过程中，可以训练机器模型预测待分析物品的类目和品牌，也可以基于词典识别待分析物品的类目和品牌，将预测的或识别到的类目、品牌与获取的详情数据中的类目信息、品牌信息进行比较，若一致，则确定为类目信息和品牌信息错误的待分析物品。在可选的实施例中，在确定类目信息和品牌信息错误的待分析物品之后，还可以将类目信息和品牌信息错误的待分析物品发送至物品管理员，以进行校验查证。
72.对于步骤s103，本发明实施例基于目标物品各类属性的重要程度来计算目标物品之间的相似性程度。因此需要确定各个目标物品的属性以及每一属性对应的权重。考虑到不同类目之间的物品的属性可能会存在较大的差异，所以在本实施例中可以预先针对每一类目物品的特点设置不同的属性以及对应的权重值。具体的，本发明实施例的信息检测方法还可以包括：接收权重配置信息，所述权重配置信息按照类目维度记录不同类目涉及的属性的数量及权重。为了更加精准的设定属性权重，可以由对应的品类专家按照类目维度
来确定当前类目涉及属性的权重和数量，权重范围为[0，1]，也可采用基于注意力机制的学习模型来自主学习各属性权重。
[0073]
因此，在确定每一目标物品的属性以及与每一属性对应的权重时，可以根据该目标物品的类目信息，查找权重配置信息中对应的属性以及与每一属性对应的权重。
[0074]
对于目标物品的属性，以工业品为可以将目标物品的属性分为发品字段、规格参数以及扩展属性三个部分。发品字段一般包括商品基本信息，如品牌、型号、系列、是否危险品等；商业信息，如价格、单位、上架时间、产地、质保等。规格参数可以包括体积、重量等。扩展属性可以包括额定电压、额定电流等。
[0075]
对于步骤s104，不同类目的物品一般不属于同一商品，也不存在一品多商问题。因此，在本步骤中确定属于一品多商的目标物品属于同一类目。具体的，该步骤包括：根据所述目标物品的类目信息，对所述目标物品进行分组；针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。更具体的，如图2所示，该步骤包括：
[0076]
步骤s201：针对每一组目标物品，确定该组目标物品中任意两个目标物品，根据所述任意两个目标物品的多个属性，计算所述任意两个目标物品同种属性的属性相似度；
[0077]
步骤s202：根据与每一所述属性对应的权重，计算所述属性相似度的加权和；
[0078]
步骤s203：根据所述属性相似度的加权和以及所述任意两个目标物品的品牌信息，计算所述任意两个目标物品之间的相似度；
[0079]
步骤s204：若所述任意两个目标物品之间的相似度大于预设的阈值，则确定所述任意两个目标物品确定属于一品多商的目标物品。
[0080]
其中，在步骤s201中，考虑到由于属性内容多样，且规格型号等属性中存在一些不规范现象，很难使用精准的文本距离公式来计算相似度这一问题，所以本发明实施例通过将属性内容转换为特征向量的形式，并将特征向量的相似度作为属性相似度。具体的，该步骤包括：将所述任意两个目标物品同种属性的属性值转化为特征向量；计算所述特征向量的相似度，将所述特征向量的相似度作为所述任意两个目标物品同种属性的属性相似度。作为示例，可以采用fasttex方法将所有属性的属性值转换为特征向量的形式，并使用余弦相似度公式计算特征向量间的相似度。其中，fasttext是谷歌开源的另一款计算词向量的工具。
[0081]
对于步骤s202，在确定任意两个目标物品同种属性的属性相似度之后，基于确定的属性权重对所有属性相似度进行加权求和。
[0082]
对于步骤s203，在本实施例中，针对一品多商问题的检测，将其定义为两物品间的相似度计算问题，可以通过依据类目维度设置不同的阈值，即两物品间的相似度大于阈值时即可检测出一品多商的物品。在实际场景中，不同品牌的物品不属于同一商品，所以不同品牌的目标物品不属于一品多商。因此，在本实施例中可以设置品牌得分这一参数来表明两个目标物品的品牌是否相同，若两个目标物品的品牌信息相同，则设置该两个目标物品的品牌得分为1，不同则为0。在确定任意两个目标物品的品牌得分之后，计算该两个目标物品的品牌得分与属性相似度的加权和的乘积，将该乘积作为两个目标物品之间的相似度，若乘积大于预设的阈值，则确定该两个目标物品属于一品多商。
[0083]
具体的，可以根据下式计算任意两个目标物品之间的相似度：
[0084][0085]
其中，s
ij
表示任意两个目标物品之间的相似度，n表示物品共涉及的属性数量；λm表示不同属性对物品身份确定的影响权重；表示两个物品间同种属性的相似度，表示当两个物品的品牌相同时该项得分为1，不同得分为0，即品牌不同则肯定不属于同一物品。
[0086]
本发明实施例的信息检测方法，能够自动检测一品多商，节省了人力，降低了成本，而且本发明实施例基于物品各类属性的重要程度计算任意物品间的相似性程度，从而确定一品多商的物品其于使用了丰富的属性信息，有效保证了检测的准确率；在检测一品多商时，剔除了类目和品牌错误的物品，降低了噪音，提高了准确率。
[0087]
在可选的实施例中，在检测出一品多商的物品之后，可以针对一品多商的物品设置唯一的物品编码，从而合并不同供应商的同一个物品，提高物品信息的标准化及规范化程度。
[0088]
图3是本发明另一实施例的信息检测方法主要步骤的流程示意图，如图3所示，该方法包括：
[0089]
步骤s301：获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
[0090]
步骤s302：获取类目关键词词典；
[0091]
步骤s303：利用预设的检测方法和所述类目关键词词典，识别所述待分析物品的类目关键词，得到待匹配关键词；
[0092]
步骤s304：将所述待匹配关键词和所述详情数据中的类目信息进行匹配，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品；
[0093]
步骤s305：获取品牌词典；
[0094]
步骤s306：针对每一待分析物品，基于所述品牌词典，提取所述待分析物品名称中的待匹配品牌词；
[0095]
步骤s307：将所述待匹配品牌词与所述详情数据中的品牌信息进行比较，若所述待匹配品牌词与所述详情数据中的品牌信息不一致，则确定所述待分析物品为品牌信息错误的待分析物品；
[0096]
步骤s308：将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
[0097]
步骤s309：根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
[0098]
其中，步骤s301、s308和s309与图1所示的实施例相同，本发明在此不再赘述。
[0099]
对于步骤s302-s304，其用于去除类目乱挂的待分析物品。在应用时，可以基于收集的类目关键词，获得类目关键词词典。基于该类目关键词，使用dfa关键词匹配方法对待分析物品的详情数据进行识别，得到待匹配关键词。若命中的待匹配关键词与详情数据中的类目信息不相符，则确定该待分析物品为类目信息错误的待分析物品。其中，dfa，全称deterministic finite automaton，即确定有穷自动机，从一个状态通过一系列的事件转换到另一个状态。dfa在关键词匹配领域，可以将每个文本片段作为状态，它对每个输入的文本片段做识别和判断，以确定其能到达的最终状态或状态集和路径。
[0100]
对于步骤s305-s307，其在针对消除类目乱挂的待分析物品进行品牌乱挂检测。首先将物品池覆盖的品牌进行归一化处理，将同一品牌的不同形式的名称如中英文、中文、英文名形成归一映射，以将所述品牌的多个不同语种的名称映射为标准名称；基于所述品牌的多个不同语种的名称以及所映射的标准名称，生成品牌词典。基于归一后的品牌词典，提取待分析物品品名中的品牌词，并与物品挂载的品牌字段(即详情数据中的品牌信息)进行对比，若存在不同则判定为品牌乱挂，即该待分析物品为品牌信息错误的待分析物品。
[0101]
在可选的实施例中，也可以先执行步骤s305-s307，再执行步骤s302-s304，即可以先检测品牌乱挂的待分析物品，再针对去除品牌乱挂的待分析物品进行类目乱挂检测。
[0102]
本发明实施例的信息检测方法，能够自动检测一品多商，节省了人力，降低了成本，而且本发明实施例基于物品各类属性的重要程度计算任意物品间的相似性程度，从而确定一品多商的物品其于使用了丰富的属性信息，有效保证了检测的准确率；在剔除类目和品牌乱挂的物品之后，进行一品多商检测，减少了噪音数据，提高了准确率；而且基于类目关键词校验和品牌词校验来识别类目和品牌乱挂的物品，简单方便，提高了检测效率。
[0103]
图4是本发明又一实施例的信息检测方法主要步骤的流程示意图，如图4所示，该方法包括：
[0104]
步骤s401：获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
[0105]
步骤s402：获取类目关键词词典；
[0106]
步骤s403：利用预设的检测方法和所述类目关键词词典，识别所述待分析物品的类目关键词，得到待匹配关键词；
[0107]
步骤s404：比较所述待匹配关键词和所述详情数据中的类目信息，将所述待匹配关键词和所述详情数据中的类目信息匹配的待分析物品作为第一物品，以及将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为第二物品；
[0108]
步骤s405：根据所述第一物品的详情数据，训练类目分类模型；
[0109]
步骤s406：根据所述类目分类模型和所述第二物品的详情数据，确定所述第二物品的待匹配类目；
[0110]
步骤s407：针对每一所述第二物品，比较所述第二物品的待匹配类目和详情数据中的类目信息，若所述第二物品的待匹配类目与所述详情数据中的类目信息不一致，则确定所述第二物品为类目信息错误的待分析物品。
[0111]
步骤s408：获取品牌词典；
[0112]
步骤s409：针对每一待分析物品，基于所述品牌词典，提取所述待分析物品名称中
的待匹配品牌词；
[0113]
步骤s410：将所述待匹配品牌词与所述详情数据中的品牌信息进行比较，若所述待匹配品牌词与所述详情数据中的品牌信息不一致，则确定所述待分析物品为品牌信息错误的待分析物品；
[0114]
步骤s411：将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
[0115]
步骤s412：根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
[0116]
在本实施例中，步骤s401、s408-s412与图3所示的实施例相同，本发明在此不再赘述。
[0117]
对于步骤s402-s407，在基于类目关键词词典，识别到类目关键词与类目信息不相符的待分析物品之后，将类目关键词与类目信息一致的的待分析物品的名称信息和型号信息作为训练数据，并使用bert-crf方法进行类目分类模型训练，将训练好的类目分类模型对类目关键词未响应的商品进行类目预测，即对第二物品进行类目预测，得到待匹配类目。若预测到的待匹配类目与挂载的类目不符，则判定为类目乱挂物品，即确定第二物品为类目信息错误的待分析物品。
[0118]
本发明实施例的信息检测方法与图2所示实施例不同的是，本实施例在基于类目关键词词典识别类目乱挂的待分析物品之后，对识别出的类目乱挂的待分析物品进行二次检测，降低误识别的概率，提高了检测的准确度。
[0119]
图5是本发明实施例的一种信息检测装置500的主要模块的示意图，如图5所示，该信息检测装置500包括：
[0120]
获取模块501，用于获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
[0121]
筛选模块502，用于根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；
[0122]
确定模块503，用于针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
[0123]
检测模块504，用于根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
[0124]
可选地，所述筛选模块还用于：获取类目关键词词典；利用预设的检测方法和所述类目关键词词典，识别所述待分析物品的类目关键词，得到待匹配关键词；将所述待匹配关键词和所述详情数据中的类目信息进行匹配，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品。
[0125]
可选地，所述筛选模块还用于：
[0126]
将所述待匹配关键词和所述详情数据中的类目信息匹配的待分析物品作为第一物品，以及将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为第
二物品；
[0127]
根据所述第一物品的详情数据，训练类目分类模型；
[0128]
根据所述类目分类模型和所述第二物品的详情数据，确定所述第二物品的待匹配类目；
[0129]
比较所述第二物品的待匹配类目和所述详情数据中的类目信息，若所述第二物品的待匹配类目与所述详情数据中的类目信息不一致，则确定所述第二物品为类目信息错误的待分析物品。
[0130]
可选地，所述筛选模块还用于：获取品牌词典；针对每一待分析物品，基于所述品牌词典，提取所述待分析物品名称中的待匹配品牌词；将所述待匹配品牌词与所述详情数据中的品牌信息进行比较，若所述待匹配品牌词与所述详情数据中的品牌信息不一致，则确定所述待分析物品为品牌信息错误的待分析物品。
[0131]
可选地，所述装置还包括接收模块，用于接收权重配置信息，所述权重配置信息按照类目维度记录不同类目涉及的属性的数量及权重；
[0132]
所述确定模块还用于：针对每一所述目标物品，根据所述权重配置信息，确定所述目标物品的多个属性以及与每一所述属性对应的权重。
[0133]
可选地，所述检测模块还用于：根据所述目标物品的类目信息，对所述目标物品进行分组；针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。
[0134]
可选地，所述检测模块还用于：针对每一组目标物品，确定该组目标物品中任意两个目标物品，根据所述任意两个目标物品的多个属性，计算所述任意两个目标物品同种属性的属性相似度；根据与每一所述属性对应的权重，计算所述属性相似度的加权和；根据所述属性相似度的加权和以及所述任意两个目标物品的品牌信息，计算所述任意两个目标物品之间的相似度；若所述任意两个目标物品之间的相似度大于预设的阈值，则确定所述任意两个目标物品确定属于一品多商的目标物品。
[0135]
可选地，所述检测模块还用于：将所述任意两个目标物品同种属性的属性值转化为特征向量；计算所述特征向量的相似度，将所述特征向量的相似度作为所述任意两个目标物品同种属性的属性相似度。
[0136]
本发明实施例的信息检测装置，通过获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，确定属于一品多商的目标物品的技术手段，能够自动检测一品多商，节省了人力，降低了成本，而且本发明实施例基于物品各类属性的重要程度计算任意物品间的相似性程度，从而确定一品多商的物品其于使用了丰富的属性信息，有效保证了检测的准确率；在检测一品多商时，剔除了类目和品牌错误的物品，降低了噪音，提高了准确率。
[0137]
上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
[0138]
图6示出了可以应用本发明实施例的信息检测方法或信息检测装置的示例性系统架构600。
[0139]
如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
[0140]
用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
[0141]
终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0142]
服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。
[0143]
需要说明的是，本发明实施例所提供的信息检测方法一般由服务器605执行，相应地，信息检测装置一般设置于服务器605中。
[0144]
应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0145]
下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0146]
如图7所示，计算机系统700包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有系统700操作所需的各种程序和数据。cpu 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0147]
以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0148]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本发明的系统中限定的上述功能。
[0149]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计
算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0150]
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0151]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
[0152]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
[0153]
获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；
[0154]
根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；
[0155]
针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；
[0156]
根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品的相似度，根据所述相似度确定属于一品多商的目标物品。
[0157]
本发明实施例的技术方案，能够自动检测一品多商，节省了人力，降低了成本，而且本发明实施例基于物品各类属性的重要程度计算任意物品间的相似性程度，从而确定一品多商的物品其于使用了丰富的属性信息，有效保证了检测的准确率；在检测一品多商时，剔除了类目和品牌错误的物品，降低了噪音，提高了准确率。
[0158]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种信息检测方法，其特征在于，包括：获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。2.根据权利要求1所述的方法，其特征在于，根据所述详情数据，确定类目信息错误的待分析物品的步骤包括：获取类目关键词词典；利用预设的检测方法和所述类目关键词词典，识别所述待分析物品的类目关键词，得到待匹配关键词；将所述待匹配关键词和所述详情数据中的类目信息进行匹配，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品。3.根据权利要求2所述的方法，其特征在于，将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为类目信息错误的待分析物品的步骤包括：将所述待匹配关键词和所述详情数据中的类目信息匹配的待分析物品作为第一物品，以及将所述待匹配关键词和所述详情数据中的类目信息不匹配的待分析物品作为第二物品；根据所述第一物品的详情数据，训练类目分类模型；根据所述类目分类模型和所述第二物品的详情数据，确定所述第二物品的待匹配类目；比较所述第二物品的待匹配类目和所述详情数据中的类目信息，若所述第二物品的待匹配类目与所述详情数据中的类目信息不一致，则确定所述第二物品为类目信息错误的待分析物品。4.根据权利要求1所述的方法，其特征在于，根据所述详情数据，确定品牌信息错误的待分析物品的步骤包括：获取品牌词典；针对每一待分析物品，基于所述品牌词典，提取所述待分析物品名称中的待匹配品牌词；将所述待匹配品牌词与所述详情数据中的品牌信息进行比较，若所述待匹配品牌词与所述详情数据中的品牌信息不一致，则确定所述待分析物品为品牌信息错误的待分析物品。5.根据权利要求4所述的方法，其特征在于，所述品牌词典根据如下过程获得：将同一品牌的多个不同语种的名称进行归一化处理，以将所述品牌的多个不同语种的名称映射为标准名称；基于所述品牌的多个不同语种的名称以及所映射的标准名称，生成品牌词典。6.根据权利要求1所述的方法，其特征在于，其特征在于，所述方法还包括：
接收权重配置信息，所述权重配置信息按照类目维度记录不同类目涉及的属性的数量及权重；针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重的步骤包括：针对每一所述目标物品，根据所述权重配置信息，确定所述目标物品的多个属性以及与每一所述属性对应的权重。7.根据权利要求1所述的方法，其特征在于，根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品的步骤包括：根据目标物品的类目信息，对所述目标物品进行分组；针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。8.根据权利要求1或7所述的方法，其特征在于，针对每一组目标物品，根据该组中任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品的步骤包括：针对每一组目标物品，确定该组目标物品中任意两个目标物品，根据所述任意两个目标物品的多个属性，计算所述任意两个目标物品同种属性的属性相似度；根据与每一所述属性对应的权重，计算所述属性相似度的加权和；根据所述属性相似度的加权和以及所述任意两个目标物品的品牌信息，计算所述任意两个目标物品之间的相似度；若所述任意两个目标物品之间的相似度大于预设的阈值，则确定所述任意两个目标物品属于一品多商。9.根据权利要求8所述的方法，其特征在于，计算所述任意两个目标物品同种属性的属性相似度的步骤包括：将所述任意两个目标物品同种属性的属性值转化为特征向量；计算所述特征向量的相似度，将所述特征向量的相似度作为所述任意两个目标物品同种属性的属性相似度。10.一种信息检测装置，其特征在于，包括：获取模块，用于获取多个待分析物品的详情数据，所述详情数据包括类目信息和品牌信息；筛选模块，用于根据所述详情数据，确定类目信息和品牌信息错误的待分析物品，将所述品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；确定模块，用于针对每一所述目标物品，确定所述目标物品的多个属性以及与每一所述属性对应的权重；检测模块，用于根据任意两个目标物品的多个属性以及与每一所述属性对应的权重，计算所述任意两个目标物品之间的相似度，根据所述相似度确定属于一品多商的目标物品。11.一种电子设备，其特征在于，包括：
一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。

技术总结
本发明公开了一种信息检测方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取多个待分析物品的详情数据，详情数据包括类目信息和品牌信息；根据详情数据，确定类目信息和品牌信息错误的待分析物品，将品牌信息和类目信息错误的待分析物品之外的待分析物品作为目标物品；针对每一目标物品，确定目标物品的多个属性以及与每一属性对应的权重；根据任意两个目标物品的多个属性以及对应的权重，计算任意两个目标物品之间的相似度，根据相似度确定属于一品多商的目标物品。该实施方式能够在筛选出类目乱挂和品牌乱挂的物品之后进行一品多商检测，提高了检测的准确率；使用了丰富的属性信息进行检测，有效保证了检测的准确率。了检测的准确率。了检测的准确率。


技术研发人员：刘洪森 张龙温 陈伟 程晓培
受保护的技术使用者：北京电解智科技有限公司
技术研发日：2022.02.08
技术公布日：2022/5/25