本发明属于移动通信领域，涉及一种数字孪生辅助的虚拟网络功能资源预测和迁移方法。
背景技术：
1、随着5g网络的发展，网络切片技术利用网络功能虚拟化(network functionvirtualization，nfv)和软件定义网络(software defined networking，sdn)技术，将单一物理网络划分为多个独立的虚拟网络，从而灵活地分配和管理资源，满足不同应用场景的需求，nfv通过将网络功能虚拟化为虚拟网络功能(virtual networking function，vnf)，在不同物理节点上动态部署，并形成服务功能链(sfc)提供服务。sdn则分离了网络的控制平面与数据平面，使得控制器能够集中控制和动态调整资源，然而，网络流量的动态变化引发了vnf迁移问题，尤其当物理节点或链路过载时，重新实例化vnf会导致状态信息丢失，威胁网络性能和服务质量。
2、现有的vnf迁移方法主要依赖历史资源使用数据进行预测和提前制定迁移计划。然而，这些方法存在不足，如链路过载和vnf监管不力的问题。此外，多数方法在sdn控制器上集中进行预测，难以处理大规模数据，并且在同步vnf资源需求数据时可能产生时延，导致无法及时调整迁移策略，影响网络服务的质量。面对复杂的高维迁移问题，传统启发式算法常无法找到最优迁移方案，限制了网络资源的利用效率和性能。
技术实现思路
1、有鉴于此，本发明的目的在于提供一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，解决vnf迁移带来的网络能耗、迁移成本和网络负载均衡问题，在物理资源和端到端延迟的限制下实现最大化网络系统的qos，同时通过预测vnf未来资源需求，提前制定迁移策略，保证迁移策略的时效性和网络性能的稳定性。
2、为达到上述目的，本发明提供如下技术方案：
3、一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其包括以下步骤：
4、s1、构建数字孪生辅助的vnf资源预测和迁移系统模型，其包括物理基础设施层、虚拟网络层和数字孪生网络层；
5、s2、根据vnf资源预测和迁移系统模型建立端到端延迟模型、系统能耗模型、成本模型、均衡负载模型、信息年龄违规概率模型以及最大化系统qos的优化目标；
6、s3、建立amt-dmg时空融合预测模型对vfn的资源需求进行预测，其中，通过基于注意力的多尺度时间卷积网络tcn和基于距离的多头图注意力网络gat分别提取时空特征并融合得到vnf的资源需求预测结果；在训练过程中，将基于可信度加权的群体学习框架嵌入至amt-dmg时空融合预测模型中，通过共享每个vdt节点处的amt-dmg时空融合预测模型的训练参数加速训练模型的收敛；
7、s4、根据vnf资源需求的预测结果的采用多智能体近端策略优化算法求解出以最大化系统qos为优化目标的迁移策略。
8、进一步，在步骤s1中，物理基础设施层为虚拟网络层提供物理网络资源，物理基础设施层建模为连通的无向图其中为底层物理节点集合，为底层物理链路集合，物理节点n的cpu资源和存储资源分别为和表示物理节点n与m之间的物理链路，物理链路lnm的带宽资源为物理节点包括用于构建vnf虚拟服务节点以及用于构建vnf数字孪生体的孪生服务节点。
9、虚拟网络层为由多个物理设备映射的虚拟节点和物理链路映射的虚拟链路构成的无向图结构网络，根据不同用户的业务请求构建服务功能链sfc；设有一组sfc的集合表示为每个sfc为由一组按顺序排列的vnf的集合，其中表示i第个sfc，表示第i个sfc的vnf集合，表示第i个sfc上的第j个vnf，为的虚拟链路集合，则抽象为一个有向图的cpu资源需求和存储资源需求分别为和虚拟链路表示与之间的虚拟链路，虚拟链路的带宽资源需求为定义二进制变量用于反应虚拟网络与物理网络的映射关系，当时，表示在t时刻映射到物理节点n上，当时，表示表示在t时刻没有映射到物理节点n上；当时，表示虚拟链路在t时刻映射到物理链路lnm上，当时，表示虚拟链路在t时刻没有映射到物理链路lnm上。
10、数字孪生网络层通过收集物理网络和虚拟网络中的有效状态信息来构建虚拟网络的数字孪生网络，每个vnf节点都会与数字孪生服务节点相关联，并构建对应的数字孪生体，vnf的数字孪生体被称为vdt节点，根据数据收集库中的历史资源数据来预测vdt节点未来资源需求结果，以此来判断下一时刻的vnf节点是否出现异常情况，提前制订vnf迁移策略，再通过sdn控制器下发策略到物理网络实施。
11、进一步，在步骤s2中，对于端到端延迟模型，一个sfc服务请求在t时刻的端到端延迟τtotal(t)表示为：
12、
13、其中，是的大小；为物理节点m与物理节点n之间的网络路由跳数；ψt为沿迁移路径传输一个单位数据所需的延迟，即vnf迁移的传输速率；θ为一个正系数；表示物理链路lnm的物理距离；c为光速；表示的处理速率；为数据包的处理速率系数；为sfc服务请求的数据包大小。
14、对于系统能耗模型，t时刻网络的总能耗ptotal(t)表示为：
15、
16、其中，底层物理节点n的能耗包括活跃状态的能耗休眠状态的能耗和切换状态的能耗bn(t)为物理节点的开关二进制变量，bn(t)＝1表示节点开启，zn(t)为物理节点n在t时刻的状态是否发生变化的二进制变量，表示为：
17、
18、其中，zn(t)＝1表示理节点n在t时刻的状态发生变化，zn(t)＝0表示理节点n在t时刻的状态未发生变化。
19、对于成本模型，当物理节点承载的vnf实例需要迁移到其他能满足vnf资源需求的物理节点上时，在t时刻，网络总体迁移成本表示为：
20、
21、其中，κ为迁移成本因子，是节点的大小，为物理节点m与物理节点n之间的网络路由跳数。
22、对于均衡负载模型，网络中cpu资源负载、存储资源负载和链路带宽资源负载的方差可以表示为：
23、
24、
25、
26、其中，和表示t时刻物理节点n的cpu资源和存储资源的负载，为物理链路的带宽资源负载，和表示在t时刻系统的cpu资源负载、存储资源负载和链路带宽资源负载的平均值，网络系统的负载均衡能力ltotal(t)表示为：
27、
28、其中μ1＝μ2＝μ3＝1/3，即cpu资源、存储资源和带宽资源对网络负载均衡的影响相同；
29、对于信息年龄违规概率模型，假设vdt同步信息的第个m数据包生成时间为tm，vdt节点接收到更新信息数据包的时间为t'm，xm＝tm-tm-1为相邻两个数据包生成的时间间隔，tm＝t'm-tm为数据包在系统中的时间，ym＝t'm-t'm-1为相邻两个数据包到达vdt节点的时间间隔，为aoi约束阈值，则在t时刻，瞬时信息年龄δ(t),t＞0表示为：
30、δ(t)＝t-max{tm:t'm≤t}
31、其中，max{tm:t'm≤t}为vdt节点在t时刻之前最近接收到更新信息的时间戳；g(m)表示第m个同步数据包的aoi大于阈值约束的持续时间，g(m)表示为：
32、
33、aoi的违规概率定义为vdt节点成功接收更新信息的aoi和超过给定aoi阈值的概率，表示为：
34、
35、其中，为vdt节点接收到更新信息数据包的次数。
36、进一步，在步骤s2中，系统的qos表示为：
37、q＝ξ1qcost+ξ2qpower+ξ3qload
38、其中，qcost、qpower和qload分别表示系统迁移成本的qos、系统能耗的qos以及系统负载均衡的qos，ξ1、ξ2、ξ3为迁移成本、能耗、负载均衡指标对系统qos的影响权重因子，ξ1+ξ2+ξ3＝1且满足ξ1,ξ2,ξ3∈(0,1)；优化目标受到以下条件约束：
39、c1:
40、c2:
41、c3:
42、c4:τtotal(t)≤τreq
43、c5:
44、c6:
45、c7:
46、c8:
47、c9:
48、c10:
49、c11:
50、c12:
51、c13:
52、c14:
53、其中，c1确保每个vnf只映射到一个物理节点；c2确保每条虚拟链路只映射到一条物理链路；c3表示孪生体同步数据的aoi违规概率限制，prmax为最大aoi违规概率；c4表示sfc的端到端延迟限制，为sfc请求的端到端延迟要求；c5表示承载了vnf的物理节点处于开启状态；c6-c8表示vnf的cpu资源和存储资源不能超过物理节点的资源限制，虚拟链路不能超过物理链路的带宽资源限制，和为物理网络资源的资源利用上限因子和下限因子；c9-c10表示虚拟链路映射到物理链路上时，对应的vnf节点也必须映射到对应的物理节点上；c11-14是vnf迁移过程中的二进制变量约束。
54、进一步，在步骤s3中，输入时间序列数据为x＝{x(t)|t＝1,2,...,t′}，t′为数据的时间步总长度，特征数据为x(t)＝{xj(t)|j＝1,2,...,n′},n′为vdt节点的总数，xj(t)为第j个vnf的特征数据，最后输出t+1时刻vnf的特征数据x(t+1)＝{xj(t+1)|j＝1,2,...,n′}；
55、其中，基于注意力的多尺度时间卷积网络tcn模型提取时间特征的过程为：
56、tcn模型包括个具有不同大小滤波器的tcn残差块，每个tcn残差块内包括两个扩张因果卷积和权重归一化，并通过残差连接和relu激活函数输出结果，其中，扩张因果卷积的计算公式为：
57、
58、式中，x(t)为输入的时序数据特征，为第个tcn中扩张因果卷积后的输出，为第个tcn的卷积核大小，f(g)为卷积核中的第g个元素，x(t-d·g)表示不同时间步的数据，d为膨胀系数；
59、残差连接的输出为不同时间尺度tcn网络提取到的时间特征计算公式如下：
60、
61、时间尺度注意力层的计算过程如下：
62、
63、
64、式中，w1、w2为权重系数，b为偏置系数，为归一化注意权重值，注意力层的输出用表示；
65、将经过重要性加权后的不同时间尺度tcn网络的结果进行拼接，随后输入平均池化层、全连接层，获得时间特征矩阵ht：
66、
67、其中，concat(·)表示拼接函数，avgpooling(·)为平均池化层操作，fc(·)为全连接层操作。
68、进一步，在步骤s3中，基于距离的多头图注意力网络gat模型提取空间特征过程为：
69、定义节点特征输入向量表示为：
70、
71、其中，为节点u的特征表示，为节点的特征向量维度，u为网络中vnf节点的数量；
72、每个节点的状态特征更新表示为：
73、
74、其中，δ(*)为非线性激活函数，通过聚合运算更新中心节点u的特征表示为λu表示节点u的邻居节点的标记集合，φ'uu′为注意力系数，表示为：
75、
76、其中，ε为注意力系数阈值，d'uu′为倒数归一化距离，φuu′是邻居节点u′对中心节点u影响程度的归一化注意力系数；
77、引入多头注意力机制关注输入的多个不同特征，设注意力机制的注意力头数为khead，则更新中心节点的特征表示为：
78、
79、聚合每个节点的更新结果，得到vnf节点的空间特征矩阵
80、将时间特征矩阵ht与空间特征矩阵hs输入全连接层进行融合与降维，得到vnf资源需求特征表示的时空特征矩阵，进而得到下一时刻的vnf资源需求的预测结果：
81、h＝fc2(fc1(ht,hs))
82、h＝{xj(t+1)|j＝1,2,...,n′}
83、其中，h＝fc2(fc1(ht,hs))为融合后的时空特征矩阵，fc1,fc2为不同的全连接层；h＝{xj(t+1)|j＝1,2,...,n′}为下一时刻的vnf资源需求的预测结果。
84、进一步，在步骤s3中，在amt-dmg时空融合预测模型中嵌入可信度加权的群体学习框架的过程为：
85、1)每个vdt节点具有本地的amt-dmg时空融合预测模型，首先在本地运行各自的amt-d时空融合预测模型，并将各自的本地模型训练参数上传到群体学习(swarmlearning，sl)网络：
86、sl网络初始化全局模型参数为θ，第j个vdt节点结合其本地样本数据集来训练本地模型参数使用梯度下降算法对本地训练模型参数进行更新：
87、
88、其中，λ′＞0为学习率，是损失函数对参数的梯度；
89、2)其次sl网络选择临时中央集成节点，临时中央集成节点使用可信度加权算法合并所有参与者的模型训练参数：
90、每个vdt的可信度值表示为为vdt节点总数，临时中央集成点的选择过程表示为：
91、
92、将所有参与者的模型参数上传至临时中央集成节点后，进行模型参数合并，使用加权平均函数得到全局模型参数θo，表示为：
93、
94、3)最后临时中央集成节点将合并之后的模型参数分发给其他参与者进行训练并动态更新本地模型，以此重复训练，直到整个训练过程收敛。
95、进一步，在步骤s4中，包括以下步骤：
96、s41：通过vnf的资源预测结果计算物理节点的cpu资源、存储资源以及带宽资源的资源利用率，筛选出需要迁移的过载或低负载vnf节点；
97、s42：对于vnf的迁移，在满足端到端延迟和数字孪生体同步数据信息年龄限制的条件下对系统qos进行最大化优化，其中，采用迁移成本、网络能耗和网络负载均衡三种指标俩衡量系统的qos；
98、s43：采用多智能体近端策略优化的深度强化学习算法来解决vnf迁移问题，将每一个sfc作为一个智能体，以最大化系统的全局奖励为优化目标，得到最优的vnf迁移策略。
99、进一步，在步骤s43中，多智能体近端策略优化算法求解迁移策略的过程为：
100、设有k个sfc请求，将每一个sfc定义为一个智能体，每个智能体的mdp模型定义为分别表示状态空间动作空间状态转移概率奖励函数
101、则多智能体系统的全局奖励rto表示为：
102、
103、其中，rtk表示智能体k的瞬时奖励；
104、每一个智能体都具有actor-critic结构，actor网络参数表示为critic网络参数表示为分别表示智能体k的actor网络参数和critic网络参数；
105、引入折扣因子γ∈[0,1)，全局累积折扣奖励其中，i表示从当前时间步起向未来推进的步数，表示t+i时刻的全局奖励；
106、设全局状态值函数为vπ(st)表示状态st下的长期总奖励，其中π为策略，状态值函数表示为：
107、
108、其中是期望算子，则最优的vnf迁移策略π*表示为：
109、
110、actor网络通过策略损失函数更新网络参数，智能体k对应的actor网络的策略损失函数表示为：
111、
112、其中，为actor网络新旧策略的比值，为优势函数，clip()是一个截断函数，为设置clip()函数剪裁范围的超参数；
113、critic网络的参数更新基于状态值损失函数，定义损失函数为累计折扣奖励与状态值函数之间的均方误差，其表示为：
114、
115、其中，为智能体k的累计折扣奖励，为智能体k的状态值函数；
116、最后采用梯度上升法来更新actor网络的参数，用梯度下降法更新critic网络的参数，分别表示为：
117、
118、
119、其中，αa和αc分别为actor网络和critic网络的学习率；
120、经过参数更新后，actor网络和critic网络将根据新的参数来改进策略和状态值函数，不断迭代训练完成对vnf迁移策略的优化。
121、进一步，对于每个智能体的mdp模型中的状态空间有：第k个智能体的状态空间定义为其中表示物理节点的网络状态空间，表示物理链路的状态空间，和表示一个sfc中的vnf的计算资源需求集合和存储资源需求集合，为虚拟链路带宽资源需求集合；
122、对于每个智能体的mdp模型中的动作空间有：定义第k个智能体的动作空间其中为虚拟节点映射动作的集合，为虚拟链路映射动作的集合；
123、对于每个智能体的mdp模型中的状态转移概率函数有：状态转移概率函数表示智能体在状态st下采取动作at，并在下一时刻转移到新的状态的条件概率分布，记为p:st×at×st+1→[0,1]，通常用一个集合来表示条件概率分布，它包含了当前状态下所采取的每个动作转移到下一个状态的概率，状态转移概率表示为
124、对于每个智能体的mdp模型中的奖励函数有：在t时刻第k个智能体在状态采取行动会生成策略根据vnf迁移问题的优化目标以及约束得到智能体k瞬时奖励rtk为：
125、
126、其中，qcost、qpower和qload分别表示系统迁移成本的qos、系统能耗的qos以及系统负载均衡的qos，ξ1、ξ2、ξ3为迁移成本、能耗、负载均衡指标对系统qos的影响权重因子，ω表示惩罚因子，是一个无穷小的正实数。
127、本发明的有益效果在于：
128、本发明针对由于网络业务的时变特性而引起的vnf迁移频繁问题，提出一种基于可信度加权的群体学习框架的amt-dmg时空融合特征提取的资源预测方案，这个方案通过对时间维度特征和空间维度特征的融合，提高资源预测结果的精度，同时利用群体学习框架缓解了集中式训练带来的数据压力和内存不足的问题，提高模型的训练效率，基于vnf的资源需求预测结果，提出一种基于多智能体的近端策略优化vnf迁移算法，实现在保证业务延迟的限制下对系统qos和网络性能的优化。
129、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：其包括以下步骤：
2.根据权利要求1所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s1中，物理基础设施层为虚拟网络层提供物理网络资源，物理基础设施层建模为连通的无向图其中为底层物理节点集合，为底层物理链路集合，物理节点n的cpu资源和存储资源分别为和表示物理节点n与m之间的物理链路，物理链路lnm的带宽资源为物理节点包括用于构建vnf虚拟服务节点以及用于构建vnf数字孪生体的孪生服务节点；
3.根据权利要求2所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s2中，对于端到端延迟模型，一个sfc服务请求在t时刻的端到端延迟τtotal(t)表示为：
4.根据权利要求3所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s2中，系统的qos表示为：
5.根据权利要求1所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s3中，输入时间序列数据为x＝{x(t)|t＝1,2,...,t′}，t′为数据的时间步总长度，特征数据为x(t)＝{xj(t)|j＝1,2,...,n′},n′为vdt节点的总数，xj(t)为第j个vnf的特征数据，最后输出t+1时刻vnf的特征数据x(t+1)＝{xj(t+1)|j＝1,2,...,n′}；
6.根据权利要求5所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s3中，基于距离的多头图注意力网络gat模型提取空间特征过程为：
7.根据权利要求5所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s3中，在amt-dmg时空融合预测模型中嵌入可信度加权的群体学习框架的过程为：
8.根据权利要求1所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s4中，包括以下步骤：
9.根据权利要求8所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：在步骤s43中，多智能体近端策略优化算法求解迁移策略的过程为：
10.根据权利要求9所述的一种数字孪生辅助的虚拟网络功能资源预测和迁移方法，其特征在于：对于每个智能体的mdp模型中的状态空间有：第k个智能体的状态空间定义为其中表示物理节点的网络状态空间，表示物理链路的状态空间，和表示一个sfc中的vnf的计算资源需求集合和存储资源需求集合，为虚拟链路带宽资源需求集合；
