基于烟酒销售的数据标签实现方法及系统与流程

1.本发明涉及大数据处理技术领域，具体地说是一种基于烟酒销售的数据标签实现方法及系统。


背景技术：

2.近几年，随着大数据技术的发展，数据爆炸式增长，基于大数据的画像、标签系统成为一种比较热门的话题。
3.对主体业务对象进行打标签，当前比较流行的方式是纯手动编写sql的方式进行数据分析，完成数据打标签。工作任务繁杂、重复、且不能快速响应。故如何对数据进行快速准确的打标签成为当前解放人力，提高生产力的一个亟待解决的问题。


技术实现要素：

4.本发明的技术任务是提供一种基于烟酒销售的数据标签实现方法及系统，来解决如何对数据进行快速准确的打标签，解放人力，提高生产力的问题。
5.本发明的技术任务是按以下方式实现的，一种基于烟酒销售的数据标签实现方法，该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持数据标签的快速展示；具体如下：
6.定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；
7.线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；
8.汇聚型标签引擎：针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；
9.定义标签规则：根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；用户自定义，比如定义一年能销售额大于1kw元且每天销售量大于1k件定义为优质经销商；支持用户在页面中定义标签的名称和标签的限定条件；
10.定义标签组：通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；
11.画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。其中，经销商、烟酒(其特征有度数、销量等，标签有热销产品、冷门产品、高度白酒、低度白酒等)、中小企业(其特征有规模、注册资金，标签可以有小企业、资金紧张企业、风险高企业等)。
12.作为优选，所述线性特征是指数据关系为单表或者关联关系为一对一关系的特征类型；所述汇聚型特征是指关联关系为一对多、多对一或者为汇聚函数型特征。
13.更优地，计算规则定义时，包括如下情况：
14.①
、线性特征需要指定数据表、数据表的关联关系和特征字段；
15.②
、汇聚型特征需要编写sql,以计算出对应的特征数据；其中，编写sql(sparksql)时，基于特定的业务场景的数据，定义对应的sql,每个sql查询结果，对应一个特征；
16.针对每个经销商的一年内的销量，编写的sql具体为：select${经销商id},sum(${每单销量})from订单表where${一年内时间}。
17.作为优选，线性特征处理引擎具体如下：
18.针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；
19.由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。
20.更优地，特征分析引擎是指具体运行线性特征中定义规则的一个引擎，用于对实时抽取的数据逐条分析，根据定义的特征规则，转换成对应的特征，发送到特征库进行存储；
21.其中，存储到特征具体实现方法如下：
22.对于每条数据与定义的所有特征进行一次扫描，判断是否复合对应特征：
23.若符合，则对应特征的拼装成《id,特征》的形式存储的特征库；
24.若不符合，则不处理。
25.更优地，数据抽取程序单元是读取业务库的数据，发送到线性特征引擎的一个程序；数据抽过去程序单元用于在线性特征处理引擎启动时，读取特征规则定义涉及表的全部数据，并监听业务库中对应表的数据变化，对有变化的数据进行抽取；
26.数据抽取程序单元工作过程具体如下：
27.线性特征处理引擎启动时，全表读取数据，数据变化时：对于有监听器的业务库设置监听器，监听到数据变化进行发送，对于没有监听器的规定数据的任何的增删改，增加一条日志，使用flume组件监听到日志变化时，抽取消息内容为数据，发送到线性特征处理引擎。
28.一种基于烟酒销售的数据标签系统，该系统包括，
29.特征规则定义单元，用于定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；
30.线性特征处理引擎单元，用于对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；
31.汇聚型标签引擎单元，用于针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；
32.标签规则定义单元，用于根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；用户自定义，比如定义一年能销售额大于1kw元且每天销售量大于1k件定义为优质经销商；支持用户在页面中定义标签的名称和标签的限定条件；
33.标签组定义单元，用于通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；
34.画像单元，用于通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。其中，经销商、烟酒(其特征有度数、销量等，标签有热销产品、冷门产品、高度白酒、低度白酒等)、中小企业(其特征有规模、注册资金，标签可以有小企业、资金紧张企业、风险高企业等)。
35.作为优选，线性特征处理引擎工作过程具体如下：
36.(1)、针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；
37.(2)、由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。
38.一种电子设备，包括：存储器和至少一个处理器；
39.其中，所述存储器上存储有计算机程序；
40.所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于烟酒销售的数据标签实现方法。
41.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于烟酒销售的数据标签实现方法。
42.本发明的基于烟酒销售的数据标签实现方法及系统具有以下优点：
43.(一)本发明从大数据中对业务主题的进行数据分析，定义标签规则，轻松完成数据标签的快速自动生成；
44.(二)本发明面向大数据，支持线性特征的实时计算，支持汇聚型特征的计算；
45.(三)本发明支持数据打标签和画像展示；
46.(四)本发明支持线性特征的实时更新；
47.(五)本发明支持汇聚型标签的计算方法；
48.(六)本发明支持对特定某个业务主体的标签的快速查询；
49.(七)本发明完成特征值的预处理的方式来支持标签的快速展示。
附图说明
50.下面结合附图对本发明进一步说明。
51.附图1为基于烟酒销售的数据标签实现方法的示意图。
具体实施方式
52.参照说明书附图和具体实施例对本发明的基于烟酒销售的数据标签实现方法及系统作以下详细地说明。
53.实施例1：
54.如附图1所示，本发明的基于烟酒销售的数据标签实现方法，该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持
数据标签的快速展示；具体如下：
55.s1、定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；
56.s2、线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；
57.s3、汇聚型标签引擎：针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；
58.s4、定义标签规则：根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；用户自定义，比如定义一年能销售额大于1kw元且每天销售量大于1k件定义为优质经销商；支持用户在页面中定义标签的名称和标签的限定条件；
59.s5、定义标签组：通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；
60.s6、画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。其中，经销商、烟酒(其特征有度数、销量等，标签有热销产品、冷门产品、高度白酒、低度白酒等)、中小企业(其特征有规模、注册资金，标签可以有小企业、资金紧张企业、风险高企业等)。
61.本实施例步骤s1中的线性特征是指数据关系为单表或者关联关系为一对一关系的特征类型；所述汇聚型特征是指关联关系为一对多、多对一或者为汇聚函数型特征。
62.本实施例中的计算规则定义时，包括如下情况：
63.①
、线性特征需要指定数据表、数据表的关联关系和特征字段；
64.②
、汇聚型特征需要编写sql,以计算出对应的特征数据；其中，编写sql(sparksql)时，基于特定的业务场景的数据，定义对应的sql,每个sql查询结果，对应一个特征；
65.针对每个经销商的一年内的销量，编写的sql具体为：select${经销商id},sum(${每单销量})from订单表where${一年内时间}。
66.本实施例步骤s2中的线性特征处理引擎具体如下：
67.s201、针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；
68.s202、由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。
69.本实施例步骤s201中的特征分析引擎是指具体运行线性特征中定义规则的一个引擎，用于对实时抽取的数据逐条分析，根据定义的特征规则，转换成对应的特征，发送到特征库进行存储；
70.其中，存储到特征具体实现方法如下：
71.对于每条数据与定义的所有特征进行一次扫描，判断是否复合对应特征：
72.若符合，则对应特征的拼装成《id,特征》的形式存储的特征库；
73.若不符合，则不处理。
74.本实施例步骤s201中的数据抽取程序单元是读取业务库的数据，发送到线性特征引擎的一个程序；数据抽过去程序单元用于在线性特征处理引擎启动时，读取特征规则定义涉及表的全部数据，并监听业务库中对应表的数据变化，对有变化的数据进行抽取；
75.数据抽取程序单元工作过程具体如下：
76.线性特征处理引擎启动时，全表读取数据，数据变化时：对于有监听器的业务库设置监听器，监听到数据变化进行发送，对于没有监听器的规定数据的任何的增删改，增加一条日志，使用flume组件监听到日志变化时，抽取消息内容为数据，发送到线性特征处理引擎。
77.实施例2：
78.本发明的基于烟酒销售的数据标签系统，该系统包括，
79.特征规则定义单元，用于定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；
80.线性特征处理引擎单元，用于对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；
81.汇聚型标签引擎单元，用于针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；
82.标签规则定义单元，用于根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；用户自定义，比如定义一年能销售额大于1kw元且每天销售量大于1k件定义为优质经销商；支持用户在页面中定义标签的名称和标签的限定条件；
83.标签组定义单元，用于通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；
84.画像单元，用于通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。其中，经销商、烟酒(其特征有度数、销量等，标签有热销产品、冷门产品、高度白酒、低度白酒等)、中小企业(其特征有规模、注册资金，标签可以有小企业、资金紧张企业、风险高企业等)。
85.本实施例中的线性特征处理引擎工作过程具体如下：
86.(1)、针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；
87.(2)、由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。
88.实施例3：
89.本发明实施例还提供了一种电子设备，包括：存储器和至少一个处理器；
90.其中，所述存储器存储计算机执行指令；
91.所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个
处理器执行本发明任一实施例中的基于烟酒销售的数据标签实现方法。
92.实施例4：
93.本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于烟酒销售的数据标签实现方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
94.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
95.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-rym、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
96.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
97.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
98.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种基于烟酒销售的数据标签实现方法，其特征在于，该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持数据标签的快速展示；具体如下：定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；汇聚型标签引擎：针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；定义标签规则：根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；定义标签组：通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。2.根据权利要求1所述的基于烟酒销售的数据标签实现方法，其特征在于，所述线性特征是指数据关系为单表或者关联关系为一对一关系的特征类型；所述汇聚型特征是指关联关系为一对多、多对一或者为汇聚函数型特征。3.根据权利要求1或2所述的基于烟酒销售的数据标签实现方法，其特征在于，计算规则定义时，包括如下情况：
①
、线性特征需要指定数据表、数据表的关联关系和特征字段；
②
、汇聚型特征需要编写sql,以计算出对应的特征数据；其中，编写sql时，基于特定的业务场景的数据，定义对应的sql,每个sql查询结果，对应一个特征；针对每个经销商的一年内的销量，编写的sql具体为：select${经销商id},sum(${每单销量})from订单表where${一年内时间}。4.根据权利要求1所述的基于烟酒销售的数据标签实现方法，其特征在于，线性特征处理引擎具体如下：针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。5.根据权利要求4所述的基于烟酒销售的数据标签实现方法，其特征在于，特征分析引擎是指具体运行线性特征中定义规则的一个引擎，用于对实时抽取的数据逐条分析，根据定义的特征规则，转换成对应的特征，发送到特征库进行存储；其中，存储到特征具体实现方法如下：对于每条数据与定义的所有特征进行一次扫描，判断是否复合对应特征：若符合，则对应特征的拼装成<id,特征>的形式存储的特征库；
若不符合，则不处理。6.根据权利要求4或5所述的基于烟酒销售的数据标签实现方法，其特征在于，数据抽取程序单元是读取业务库的数据，发送到线性特征引擎的一个程序；数据抽过去程序单元用于在线性特征处理引擎启动时，读取特征规则定义涉及表的全部数据，并监听业务库中对应表的数据变化，对有变化的数据进行抽取；数据抽取程序单元工作过程具体如下：线性特征处理引擎启动时，全表读取数据，数据变化时：对于有监听器的业务库设置监听器，监听到数据变化进行发送，对于没有监听器的规定数据的任何的增删改，增加一条日志，使用flume组件监听到日志变化时，抽取消息内容为数据，发送到线性特征处理引擎。7.一种基于烟酒销售的数据标签系统，其特征在于，该系统包括，特征规则定义单元，用于定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；线性特征处理引擎单元，用于对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；汇聚型标签引擎单元，用于针对每一个汇聚型标签，单独执行一个spark计算任务，通过sum、count及avg聚合函数计算每个经销商一年的销售额及每天的销量对应的特征值，写入特征库；标签规则定义单元，用于根据已经定义的特征值，配置标签所对应的特征值范围和各个特征之前的关系，定义一个标签；标签组定义单元，用于通过标签的组合定义一个标签组，通过标签组或标签来圈选出一组业务主体；画像单元，用于通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。8.根据权利要求7所述的基于烟酒销售的数据标签系统，其特征在于，线性特征处理引擎工作过程具体如下：(1)、针对每一个线性特征，通过数据抽取程序单元抽取指定的业务主体表，分析标签规则，抽取相关的关联表中的数据,并对抽取的关联表中的数据，标记上主体对象的标识，发送到特征分析引擎；(2)、由特征分析计算出对应的特征值，写入特征库,即elasticsearch中；其中，特征库是一张大宽表，主键为业务对象主体标识，依次为各特征列，每一列特征记录该对象的一个特征值。9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；其中，所述存储器上存储有计算机程序；所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至6任一项所述的基于烟酒销售的数据标签实现方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至6中任一项所述的基于烟酒销售的数据标签实现方法。

技术总结
本发明公开了基于烟酒销售的数据标签实现方法及系统，属于大数据处理技术领域，本发明要解决的技术问题为如何对数据进行快速准确的打标签，解放人力，提高生产力，采用的技术方案为：该方法是通过烟酒销售行业的业务主体中特征的分类，使用不同的处理方式，完成数据特征的预处理，从而支持数据标签的快速展示；具体如下：定义特征规则：定义特征类型、特征对应的计算规则及特征名称；特征类型包括线性特征或汇聚型特征；线性特征处理引擎：对每一个线性特征进行数据抽取，获取对应的特征值并写入特征库；汇聚型标签引擎；定义标签规则；定义标签组；画像：通过制定任一业务主体，展示该业务主体的所有标签，完成画像展示。完成画像展示。完成画像展示。


技术研发人员：王玉伟 单震
受保护的技术使用者：浪潮卓数大数据产业发展有限公司
技术研发日：2022.02.18
技术公布日：2022/5/25