本发明属于数据指标监控领域，尤其涉及基于大数据的电商数据指标监控方法及其平台。
背景技术：
1、在当今快速发展的电商行业中，大数据技术的应用已经成为各大电商平台提升运营效率和销售业绩的重要手段。通过对海量数据的分析，电商平台可以深入了解用户行为、市场趋势和商品销售情况，从而制定更加精准的营销策略和运营方案。然而，现有的电商数据分析方法和工具仍然存在一些显著的不足。
2、首先，传统的数据监控和分析方法通常依赖于简单的统计分析和规则算法，这些方法在处理复杂的用户行为模式和市场变化时显得力不从心。虽然一些平台开始引入机器学习和深度学习技术，但大多数方法依旧基于单一模型，缺乏多维度的综合分析能力，难以捕捉用户行为与销售指标之间的深层次关系。此外，这些方法往往只能对单个平台的数据进行分析，无法实现跨平台的数据整合和综合分析，导致数据孤岛现象严重，限制了数据的利用价值。
3、其次，现有的数据分析工具在数据隐私和安全方面也存在较大问题。随着数据隐私保护法规的日益严格，如何在保护用户隐私的前提下有效利用数据成为一个亟待解决的难题。传统的数据共享和整合方式往往需要将数据集中到一个中心节点，增加了数据泄露的风险，无法满足现代电商平台对数据隐私保护的高要求。
4、再者，当前的电商数据监控系统缺乏实时性和动态调整能力。大多数系统只能进行事后分析，无法实时监控和调整运营策略。这种滞后的数据分析和处理方式，往往不能及时应对市场变化和用户需求的快速变化，导致商机的错失和资源的浪费。
5、最后，现有的电商数据监控系统在应对复杂因果关系分析方面能力不足。传统的方法通常只能识别简单的相关性，无法深入挖掘指标之间的因果关系。这种局限性使得电商平台在制定运营和营销策略时，难以找到关键影响因素，导致决策的科学性和有效性不足。
技术实现思路
1、本发明的目的是提出基于大数据的电商数据指标监控方法及其平台，通过基于强化学习、联邦学习和贝叶斯网络的电商数据指标监控方法及其平台，旨在克服现有技术的缺点，提供一种更加智能、高效和安全的数据监控和分析解决方案。
2、为了达到上述目的，在本发明提供了基于大数据的电商数据指标监控方法，所述方法包括：
3、s1、从多个电商平台和数据源中采集数据，然后对数据进行清洗和标准化处理，然后对不同数据源的经过标准化处理的数据进行融合；其中，所述数据包括用户行为数据、销售数据和库存数据；
4、s2、构建联邦学习框架整合多个电商平台的数据，进行跨电商平台的数据协同分析和模型训练，得到全局数据；
5、s3、采用贝叶斯网络对电商平台的全局数据中的指标进行因果分析，识别影响电商平台运营的关键因素，制定电商平台运营策略；
6、s4、构建强化学习模型通过训练智能代理对电商平台运营策略进行优化，动态调整电商平台运营策略；
7、s5、构建异常检测模型，对电商平台进行实时监控和异常报警；
8、s6、设计用户可视化界面，展示电商平台关键指标和运营状态；
9、其中，所述s3，具体包括：
10、s301、从联邦学习整合后的全局数据集中采集关键指标数据，设指标数据集为d＝{d1,d2,…,dn}，其中di表示第i个指标的数据，对于每个指标di，标准化后的数据zi计算公式为：
11、
12、其中，dij为第i个指标在第j条记录中的值，μi和σi分别表示di的均值和标准差；
13、s302、从关键指标数据中自动学习贝叶斯网络的结构，根据贝叶斯网络的结构构建关键指标之间的因果关系图谱：
14、定义每个关键指标作为一个节点，设节点集合为v＝{v1,v2,…,vn}，其中vi表示第i个关键指标，节点之间的边表示因果关系，设边集合为e＝{e1,e2,…,em}，其中ei表示第i条因果关系边；
15、使用贝叶斯网络结构学习算法，从数据中学习网络结构，迭代更新节点和边，直至评分函数收敛或达到预设的迭代次数，表示如下：
16、设评分函数为s(g|d)，其中g为候选网络结构，d为数据集，通过最大化评分函数s(g|d)找到最优网络结构g*，表示如下：
17、
18、s303、确定贝叶斯网络中各节点的条件概率分布，量化关键指标之间的因果关系：
19、对于每个节点vi，学习其条件概率表p(vi|parents(vi))，其中parents(vi)表示节点vi的父节点集合，设vi的父节点集合为{vi1,vi2,…,vik}，则条件概率表p(vi|vi1,vi2,…,vik)的计算公式表示如下：
20、
21、使用期望最大化算法对条件概率表中的参数进行估计，设参数为θ，通过最大化对数似然函数l(θ|d)进行参数估计，表示如下：
22、
23、对数似然函数l(θ|d)的具体形式为：
24、
25、其中，m表示条件概率表中观测到的样本数量，n表示贝叶斯网络中的节点数量，dij表示第i个节点在第j个样本中的观测值，θ表示条件概率表中参数集合；
26、s304、基于贝叶斯网络进行因果推断，识别关键影响因素，得到最优运营决策：
27、使用贝叶斯网络进行因果推断，计算感兴趣的目标节点vt的条件概率分布，设目标节点为vt，感兴趣的变量为x，因果推断公式表示如下：
28、
29、其中parents表示目标节点vt的所有父节点；
30、通过因果推断，识别对目标节点影响最大的变量，设影响最大的变量集合为f，表示如下：
31、
32、基于识别出的关键因素，制定最优策略，设优化策略集合为o，优化目标函数为u(o)，则最优策略表示如下：
33、
34、其中，表示通过遍历所有可能的策略集合o，找到使优化目标函数u(o)取得最大值的策略o。
35、进一步地，所述对数据进行清洗和标准化处理，然后对不同数据源的经过标准化处理的数据进行融合；其中，所述清洗包括缺失值处理和异常值处理，所述缺失值处理使用基于均值和基于邻域信息的双重插补法，所述异常值处理使用基于密度的局部异常因子方法检测异常值；所述标准化处理采用基于分位数的标准化方法；所述融合包括时间同步、唯一标识符匹配和数据融合，所述时间同步将不同数据源的数据按时间进行对齐，所述唯一标识符匹配确保不同数据源之间的记录通过唯一标识符进行匹配和关联，所述数据融合对多源数据进行聚合处理。
36、进一步地，所述联邦学习框架定义：
37、设有n个电商平台参与联邦学习，分别为p1,p2,…,pi,pn；
38、设一个中央服务器s，负责模型聚合和参数更新；
39、每个电商平台pi使用本地数据集di训练本地模型，假设使用的模型为神经网络模型，参数为θi，损失函数为li(θi)，通过梯度下降法更新参数，表示如下：
40、
41、其中，η表示学习率，表示损失函数的梯度，表示更新的神经网络模型参数。
42、进一步地，所述进行跨电商平台的数据协同分析和模型训练，具体包括：
43、每个电商平台pi将本地模型参数θi加密后发送到中央服务器s，同时使用同态加密技术对本地模型参数θi进行加密；设加密函数为e(·)，传输的加密参数为e(θi)；
44、中央服务器s接收到各电商平台传输的加密参数e(θi)后，对加密参数e(θi)进行聚合，聚合方法采用加权平均聚合，权重由各电商平台的数据量决定；设电商平台pi的数据量为|di|，全局模型参数θ的计算公式表示如下：
45、
46、其中，θ表示聚合后的全局模型参数，e(θi)表示电商平台pi的加密模型参数，|di|表示电商平台pi的数据量，nfed表示参与联邦学习的电商平台数量，iindex表示具体的某一个电商平台的索引，jindex表示在求和时用于遍历所有电商平台的索引；
47、中央服务器s将聚合后的全局模型参数θ解密，并将更新后的本地模型参数发送回各电商平台；
48、其中，本地模型更新，具体包括：
49、各电商平台接收到中央服务器s更新的全局模型参数θ后，将全局模型参数θ作为新的初始参数进行本地模型更新，表示如下：
50、
51、其中，表示新的初始参数；
52、各电商平台基于新的初始参数继续使用本地数据集di进行模型训练，更新本地模型参数θi，表示如下：
53、
54、其中，表示更新的初始参数；
55、本地模型更新重复多轮，每轮次包含本地模型训练、模型参数加密传输、中央服务器聚合更新、全局模型参数分发，直到模型收敛。
56、进一步地，所述联邦学习框架还包括验证与评估步骤，具体包括：
57、本地验证：各电商平台在本地数据集上进行模型验证，计算验证损失vi和验证精度ai；
58、全局评估：中央服务器收集各电商平台的验证结果，进行全局评估，综合各电商平台的验证损失和精度，计算全局验证损失v和全局验证精度a，表示如下：
59、
60、根据全局验证损失v和全局验证精度a，中央服务器和各电商平台共同优化模型参数和训练策略。
61、进一步地，在所述s4具体包括：
62、s401、定义状态空间表示电商平台当前的运营状态，动作空间表示电商平台采取的运营决策，奖励函数衡量每个动作在特定状态下的效果，指导智能代理的策略优化；其中，设状态向量为s＝[s1,s2,…,sn]，其中si表示第i个关键指标的当前值，动作向量为a＝[a1,a2,…,am]，其中ai表示第i个运营决策，奖励函数为r(s,a)，表示在状态s下采取动作a所获得的奖励，表示如下：
63、r(s,a)＝α1·δrv+α2·δua-α3·δis-α4·c
64、其中，δrv表示销售额的变化，δua表示用户活跃度的变化，δis表示库存水平的变化，c表示运营成本，α1,α2,α3,α4表示权重参数；
65、s402、多轮训练和迭代智能代理；
66、s403、实时采集和更新关键指标数据，构建当前状态st，根据当前状态st和q值函数q(st,a)，选择最优动作执行最优动作动态调整运营策略，表示如下：
67、
68、采集执行最优动作后的反馈数据，更新状态st+1和奖励rt，存储到经验回放缓冲区d中。
69、进一步地，所述s402，具体包括：
70、选择深度q网络作为强化学习算法，利用神经网络近似q值函数，q值函数表示在状态s下采取动作a所获得的累计奖励，设q值函数为q(s,a)；
71、采用经验回放和固定q目标技术，稳定训练过程，q值更新公式表示如下：
72、
73、其中，η为学习率，rt为即时奖励，γ为折扣因子，st+1为下一状态，a′为下一动作。
74、初始化q值函数q(s,a)和经验回放缓冲区d，在每个时间步t，根据∈-贪婪策略选择动作at，执行动作并观察奖励rt和下一状态st+1，将经验<st,at,rt,st+1>存储到d中，从d中随机采样小批量经验，更新q值函数q(s,a)；
75、重复上述过程，直至q值函数收敛。
76、进一步地，所述异常检测模型设异常检测函数为a(x)，x为当前状态向量，设定各关键指标的正常范围，假设销售额的正常范围为[l,u]，则异常检测条件表示如下：
77、
78、使用多重指标检测方法，监控多个关键指标的异常情况，设多个关键指标的正常范围为[li,ui]，其中i为第i个指标，则异常检测条件扩展表示如下：
79、
80、使用基于贝叶斯网络的动态阈值调整方法，根据实时数据变化动态调整各指标的阈值。设动态调整后的阈值为[li(t),ui(t)]，表示如下：
81、li(t)＝li+δi(t),ui(t)＝ui+δi(t)
82、其中，δi(t)表示时间t时刻的动态调整量；
83、当检测到异常情况，即a(x)＝1，自动触发报警机制。
84、进一步地，所述用户可视化界面包括实时监控模块、关键指标模块、因果分析模块、优化策略模块和报警信息模块。
85、在本发明的另一方面提供了基于大数据的电商数据指标监控平台，所述平台包括：
86、数据采集系统，用于从多个电商平台和数据源中采集数据，然后对数据进行清洗和标准化处理，然后对不同数据源的经过标准化处理的数据进行融合；其中，所述数据包括用户行为数据、销售数据和库存数据；
87、联邦学习系统，用于构建联邦学习框架整合多个电商平台的数据，进行跨电商平台的数据协同分析和模型训练，得到全局数据；
88、关键因素分析系统，用于采用贝叶斯网络对电商平台的全局数据中的指标进行因果分析，识别影响电商平台运营的关键因素，制定电商平台运营策略；
89、策略调整系统，用于构建强化学习模型通过训练智能代理对电商平台运营策略进行优化，动态调整电商平台运营策略；
90、异常检测系统，用于构建异常检测模型，对电商平台进行实时监控和异常报警；
91、界面设计系统，用于设计用户可视化界面，展示电商平台关键指标和运营状态；
92、其中，所述关键因素分析系统的执行步骤具体包括：
93、s301、从联邦学习整合后的全局数据集中采集关键指标数据，设指标数据集为d＝{d1,d2,…,dn}，其中di表示第i个指标的数据，对于每个指标di，标准化后的数据zi计算公式为：
94、
95、其中，dij为第i个指标在第j条记录中的值，μi和σi分别表示di的均值和标准差；
96、s302、从关键指标数据中自动学习贝叶斯网络的结构，根据贝叶斯网络的结构构建关键指标之间的因果关系图谱：
97、定义每个关键指标作为一个节点，设节点集合为v＝{v1,v2,…,vn}，其中vi表示第i个关键指标，节点之间的边表示因果关系，设边集合为e＝{e1,e2,…,em}，其中ei表示第i条因果关系边；
98、使用贝叶斯网络结构学习算法，从数据中学习网络结构，迭代更新节点和边，直至评分函数收敛或达到预设的迭代次数，表示如下：
99、设评分函数为s(g|d)，其中g为候选网络结构，d为数据集，通过最大化评分函数s(g|d)找到最优网络结构g*，表示如下：
100、
101、s303、确定贝叶斯网络中各节点的条件概率分布，量化关键指标之间的因果关系：
102、对于每个节点vi，学习其条件概率表p(vi|parents(vi))，其中parents(vi)表示节点vi的父节点集合，设vi的父节点集合为{vi1,vi2,…,vik}，则条件概率表p(vi|vi1,vi2,…,vik)的计算公式表示如下：
103、
104、使用期望最大化算法对条件概率表中的参数进行估计，设参数为θ，通过最大化对数似然函数l(θ|d)进行参数估计，表示如下：
105、
106、对数似然函数l(θ|d)的具体形式为：
107、
108、其中，m表示条件概率表中观测到的样本数量，n表示贝叶斯网络中的节点数量，dij表示第i个节点在第j个样本中的观测值，θ表示条件概率表中参数集合；
109、s304、基于贝叶斯网络进行因果推断，识别关键影响因素，得到最优运营决策：
110、使用贝叶斯网络进行因果推断，计算感兴趣的目标节点vt的条件概率分布，设目标节点为vt，感兴趣的变量为x，因果推断公式表示如下：
111、
112、其中，parents表示目标节点vt的所有父节点；
113、通过因果推断，识别对目标节点影响最大的变量，设影响最大的变量集合为f，表示如下：
114、
115、基于识别出的关键因素，制定最优策略，设优化策略集合为o，优化目标函数为u(o)，则最优策略表示如下：
116、
117、其中，表示通过遍历所有可能的策略集合o，找到使优化目标函数u(o)取得最大值的策略o。
118、本发明的有益技术效果至少在于以下：
119、(1)本发明通过引入贝叶斯网络，本发明能够构建复杂的因果关系图谱，深层次挖掘各关键指标之间的因果关系。相比于传统的相关性分析方法，贝叶斯网络能够识别出影响销售和运营的关键因素，帮助电商平台制定更加科学和有效的运营策略。
120、(2)本发明利用联邦学习技术，在保护数据隐私的前提下，实现跨平台的数据整合和综合分析。联邦学习通过分布式计算和加密技术，确保各平台数据的隐私和安全，同时打破数据孤岛现象，提高数据的利用价值。各电商平台可以在不共享具体数据的情况下，协同合作，共享分析结果和优化策略。
121、(3)本发明通过强化学习算法，实现对电商平台关键指标的实时监控和动态调整。强化学习模型能够根据实时数据进行策略优化，持续学习和调整，确保在面对市场变化和用户需求时，能够迅速做出响应。相比于传统的事后分析方法，强化学习提供了实时优化和自适应调整的能力，提高了运营效率和响应速度。
122、(4)本发明在数据采集和预处理阶段，采用先进的数据清洗和标准化技术，确保数据的质量和一致性。同时，利用多源数据融合技术，将不同来源的数据(如用户行为数据、销售数据、库存数据等)进行整合，为后续的分析和模型训练提供高质量的数据基础。
1.基于大数据的电商数据指标监控方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于大数据的电商数据指标监控方法，其特征在于，所述对数据进行清洗和标准化处理，然后对不同数据源的经过标准化处理的数据进行融合；其中，所述清洗包括缺失值处理和异常值处理，所述缺失值处理使用基于均值和基于邻域信息的双重插补法，所述异常值处理使用基于密度的局部异常因子方法检测异常值；所述标准化处理采用基于分位数的标准化方法；所述融合包括时间同步、唯一标识符匹配和数据融合，所述时间同步将不同数据源的数据按时间进行对齐，所述唯一标识符匹配确保不同数据源之间的记录通过唯一标识符进行匹配和关联，所述数据融合对多源数据进行聚合处理。
3.根据权利要求1所述的基于大数据的电商数据指标监控方法，其特征在于，所述联邦学习框架定义：
4.根据权利要求3所述的基于大数据的电商数据指标监控方法，其特征在于，所述进行跨电商平台的数据协同分析和模型训练，具体包括：
5.根据权利要求4所述的基于大数据的电商数据指标监控方法，其特征在于，所述联邦学习框架还包括验证与评估步骤，具体包括：
6.根据权利要求1所述的基于大数据的电商数据指标监控方法，其特征在于，在所述s4具体包括：
7.根据权利要求6所述的基于大数据的电商数据指标监控方法，其特征在于，所述s402，具体包括：
8.根据权利要求1所述的基于大数据的电商数据指标监控方法，其特征在于，所述异常检测模型设异常检测函数为a(x)，x为当前状态向量，设定各关键指标的正常范围，假设销售额的正常范围为[l,u]，则异常检测条件表示如下：
9.根据权利要求1所述的基于大数据的电商数据指标监控方法，其特征在于，所述用户可视化界面包括实时监控模块、关键指标模块、因果分析模块、优化策略模块和报警信息模块。
10.基于大数据的电商数据指标监控平台，其特征在于，所述平台包括：
