本发明涉及智算融合网络，尤其涉及一种基于能源感知的智算融合网络功能卸载方法。
背景技术：
：：1、现有的网络体系架构存在算网深度融合受限、跨网调度困难和资源综合利用率低等问题，这些弊端导致多样化服务需求难以保障，无法满足用户对网络功能和性能的智慧化需求。智算融合网络通过研究“三层三域”网络模型、统一表征与动态标识技术，通过全网多空间、多维度资源的智慧融合，将现有互联网的服务层面与网络层面进行纵向关联，把标识作为网络访问和控制的基础；其中“三层”包括智慧服务层、资源适配层和网络组件层，“三域”包括实体域、行为域和知识域，“三域”贯穿“三层”；创新性引入知识空间，通过智能调度策略，为不同业务场景提供差异化、细粒度的网络服务，实现服务空间与网络空间对其所属资源的协同调动与智慧融合，提供个性化服务的按需供给与灵活组网的有效支撑。2、传统的网络中硬件与特定网络功能紧密耦合，导致网络功能的部署和维护成本高昂、灵活性低下。软件定义网络(software defined network，sdn)、网络功能虚拟化(network function virtualization，nfv)和智融标识网络等新型体系架构的提出，提高了网络的灵活性、可扩展性和融合性。sdn技术通过将网络控制平面与数据转发平面解耦，实现了网络资源的集中管理和动态配置，极大地提高了网络的灵活性和可编程性。nfv技术将传统的网络功能虚拟化为软件实体，可以在通用硬件上运行，从而实现了网络功能与底层硬件解耦。3、在智算网络中，网络功能得以软件的形式部署在通用硬件服务器，使得网络功能不再依赖于专用的硬件设备，实现软硬件的解耦。通过灵活调度虚拟网络中的流量，流经多个虚拟网络功能(virtualized network function，vnf)，动态、灵活地为不同用户、业务群体构建低时延、高带宽和强安全等可定制化的网络功能集合。此外，智算融合网络借助可编程数据平面(programmable data planes，pdp)利用p4(programming protocol-independent packet processors)语言，在智算网络组件上实现了网络功能的的用户自定义可编程和更加灵活的差异化服务传输控制，可编程交换机通过硬件处理能力，直接在数据平面上执行vnf，减少延迟并提高数据包处理速度，不仅可以优化资源利用效率，提升并行处理能力，还具有良好的可扩展性，适应网络拓扑和流量模式的变化，从而提供更高的网络服务质量。4、近年来，智能网卡因其强大的计算能力和灵活的编程接口，融合多核处理器和专用硬件加速器，能够在网络层实现复杂的数据处理和协议处理。通过p4编程语言，智能网卡实现了高度可编程性，使得网络功能可以根据具体需求灵活定义和动态调整。在智算中心中，智能网卡通过卸载计算密集型任务如虚拟网络功能，释放服务器cpu资源，提高系统性能和能源效率。5、在实际提供网络服务时，根据用户需求将网络服务的功能需求和质量需求构建成可定制化的服务功能链(service function chain，sfc)。sfc技术允许在数据包传输过程中动态定义、部署和管理服务功能，实现网络功能的灵活组合和定制化服务交付。智算融合网络体系通过引入知识空间，智能调度策略，为不同业务场景提供差异化、细粒度的网络服务，助力实现sfc资源的智能适配。基于实体域、行为域和知识域的关联性质，智算融合网络将上层应用构建成差异化的网络功能族群，利用其具备的隐藏终端异质网络资源融合、网络功能灵活组链、sfc动态配置等特性，通过与底层组件的映射执行，实现服务空间与网络空间对其所属资源的协同调动与智慧融合。同时，随着算力需求大幅增长，智算中心在处理服务器算力需求时，qos(quality of service)作为服务需求行为描述的典型指标，需要根据实时网络状态和用户需求高效动态地部署服务功能与优化服务路径。但考虑网络性能的方案鲜少有关注能源消耗问题，对此本发明关注了提高服务器利用率和性能效率，减少能源消耗与碳排放。6、目前，现有技术中的nfv技术与sdn技术虽然分别实现了网络功能与底层硬件解耦、网络控制平面与数据转发平面解耦，支撑业务多样化、弹性化，支持自动化部署和运维，但nfv技术与sdn技术采用的虚拟化方式较为局限，且对于服务功能链的应用场景的考虑较少。虚拟机、智能网卡虽然具有较为灵活的部署能力，但由其构建的服务功能链在性能方面有较大的瓶颈，难以支持较高qos(quality of service，服务质量)需求的业务。7、智算网络虽然能够通过“三层”、“三域”的体系架构，为不同行业与用户提供高效、灵活的差异化、定制化通信网络服务，但在考虑网络性能时鲜少有关注能源消耗问题。技术实现思路1、本发明的实施例提供了一种基于能源感知的智算融合网络功能卸载方法，以实现有效地动态调整和优化智算融合网络的资源分配。2、为了实现上述目的，本发明采取了如下技术方案。3、一种基于能源感知的智算融合网络功能卸载方法，包括：4、智算融合网络中的服务器利用深度强化学习dqn算法生成服务功能链sfc部署策略；5、通过控制面与决策面之间的交互将所述sfc部署策略转化为转发路径，将所述转发路径与决策面的决策进行关联保存；6、当执行本次决策时，获取本次决策对应的转发路径，根据所述转发路径实现本次决策的sfc数据包转发，通过被动int探测收集每个节点的网络状态信息，输出实际网络状态信息矩阵；7、每一次的sfc部署策略完成后，根据所述网络状态信息矩阵中的参数计算每次sfc部署的能耗，通过服务器节点状态转换机制对服务器的状态进行更新。8、优选地，所述的智算融合网络中的服务器利用深度强化学习dqn算法生成服务功能链sfc部署策略，包括：9、将能耗感知sfc的智能部署建模为马尔可夫过程，定义马尔可夫过程中的5元组<s，a，p，r，γ>，其中s表示状态集合，a表示动作集合，p表示状态转移概率分布，r表示奖励函数，γ为折扣因子；10、1)状态：系统的每一个状态st∈s，表示为一个状态空间矢量st＝[bt，dt，dt_sum，11、vt]，其中bt表示当前sfc请求的所需带宽矩阵，dt表示当前sfc请求的所需延迟矩阵，dt_sum示当前sfc请求的累积延迟信息，vt标记当前部署的vnf所处在一组vnf中的次序，这些信息经过预处理后作为神经网络的输入；12、2)动作：每一次的动作at∈a包含了为所提供的每一种虚拟网络功能按序选择的节点构成的节点组向量，若在所需带宽超出带宽阈值或当前累计延迟超过了延迟阈值的情况下将结束当前动作选择操作，即部署失败；13、3)奖励函数：以服务器能耗最小化与sfc部署性能qos最大化为优化目标设计vnf资源分配优化方案，将奖励reward定义为一条sfc实际qos与该sfc运行时效下各物理节点能量消耗归一化值的差值；14、15、一条sfc的qos等于带宽的qos减去延迟的qos，16、17、4)状态转移：mdp的状态转移定义为：st+1＝f(st、at、rt、st+1)，其中st表示当前网络状态，at表示当前网络状态下选择的动作，rt表示执行动作at后获得的奖励，st+1表示执行动作at后转移到的新的网络状态；18、采用dqn算法对所述马尔可夫过程进行优化，通过智能体与环境的不断交互，智能体中将逐步减少估计误差，获得训练好的智能体，利用训练好的智能体生成服务功能链sfc部署策略。19、优选地，所述的通过控制面与决策面之间的交互将所述sfc部署策略转化为转发路径，将所述转发路径与决策面的决策进行关联保存，包括：20、由智能体生成虚拟网络功能vnf的部署策略，根据当前服务功能链对应的sfc的服务路径标识符spi建立对应的动作数组，将动作数组写入决策清单，启动监控软件定义网络sdn控制器完成相关动作后发回的反馈信号，创建检查回执函数持续监视回执文件变化；21、sdn控制器捕捉到回执文件中的动作有更新后，根据vnf部署节点和服务器拓扑将所述sfc部署策略转化为转发路径，并下发流表，在转发路径中的服务功能转发交换机节点上按序调用服务功能对应的功能函数，实现服务功能；22、当sfc数据包转发与服务功能实现动作都完成后，sdn控制器向回执文件中写入回执信号“action completed”，表明已经能够接受下一次决策，通过读取决策函数监测决策清单是否更新，当智能体一旦读取到新的回执信号，就会立刻发送新的决策，实现自动化的智能体策略下发与控制器动作执行过程。23、优选地，所述的当执行本次决策时，获取本次决策对应的转发路径，根据所述转发路径实现本次决策的sfc数据包转发，通过被动int探测收集每个节点的网络状态信息，输出实际网络状态信息矩阵，包括：24、基于p4可编程数据平台自定义设计数据包头协议，利用nsh协议对sfc数据包进行封装，对于sfc数据包的头部定义包括以太网头部、服务功能链头部、ipv4头部、tcp头部和udp头部，以太网头部中的以太网头部的ethertype字段标识数据包类型：0x800表示数据包类型为ipv4包，0x894f标识数据包为sfc数据包，在sfc头部中定义的服务路径标识符，用来唯一标识服务功能链路径，用于选择特定服务路径，实现对数据包的定向路由和服务链路选择；利用服务标识si来指示数据包当前所需经过的服务功能，确定下一跳的服务功能，节点的si字段按顺序递增或递减，指示数据包经过的服务功能链完整路径，引导网络设备按照规定的顺序执行服务功能，通过对spi和si进行匹配进行sfc数据流的转发；25、遍历路径中的各个交换机节点进行流表项的配置，对于路径中的网络功能转发交换机节点，获取当前节点下一跳节点的mac地址和当前节点到下一跳节点的端口号，在当前节点的sfc_egress表中添加sfc_forward规则，通过查找下一个节点的地址或端口信息，将数据包转发到该地址，实现流量转发；26、在sfc流转发的同时，通过在p4平面定义int头部结构，编写数据包解析逻辑，填充了元数据类型、路径信息和时间戳字段，并在控制面添加int表项，通过被动int探测收集服务功能路径中每个节点的网络状态信息，并输出网络状态信息矩阵。27、优选地，所述的当执行本次决策时，获取本次决策对应的转发路径，根据所述转发路径实现本次决策的sfc数据包转发，通过被动int探测收集每个节点的网络状态信息，输出实际网络状态信息矩阵，还包括：28、对于路径中的第一个网络功能转发交换机节点，在该节点的控制器上添加一个流表项，在sfc_classifier表中添加sfc_encapsulation规则，实现根据数据包的服务路径标识spi对sfc的识别和封装，对于路径中的最后一个转发节点，在sfc_termination表中添加sfc_decapsulation规则，用于处理传入流量；29、设计基于p4编程的五种网络服务功能模块，分别为普通转发、防火墙、nat、counter、负载均衡，在接受到上层决策后，所述服务功能模块根据业务需求进行调度和动态组合，实现网络功能的按需组合和部署；通过p4控制器调用table_add方法向各服务功能的流表中添加表项，指定动作的名称、匹配字段和传递参数，实现服务功能与管理调度解耦。30、优选地，所述的每一次的sfc部署策略完成后，通过服务器节点状态转换机制对服务器的状态进行更新，包括：31、设置节点状态自适应转换机制，该机制通过在处理sfc请求时，动态地调整节点状态来分配sfc流量，设置服务器的三种不同状态：关闭off、空闲idle和活跃active，以及三种状态之间的转换方法，服务器状态在每次sfc部署后都要根据各服务器最新的vnf部署情况进行更新，具体规则如下：32、1)当服务器节点处于开机状态且有sfc部署请求时，该节点需要处理请求并实现服务功能，此时节点处于active状态；33、2)若active状态下的节点不再处理sfc请求，则转变为idle状态，在此状态下定义一个参数idletime，作为idle状态倒计时计数器，刚转为idle状态时将计数器调整为最大值，即三个时间步，并随着每一个step的完成将倒计时减1；34、3)若节点在倒计时结束后仍没有部署新的sfc请求时，该节点会自动转换到off状态，以减少能源消耗；但如果在倒计时未结束的时隙内有新的vnf部署需求，就回到active状态。35、优选地，所述的根据所述网络状态信息矩阵中的参数计算每次sfc部署的能耗，将vnfs动态分配到具有最优能源效率的服务器上，包括：36、将sfc能耗分为两部分计算，分别为运行功耗ep和空载功耗em，所述运行功耗在计算时考虑了节点是否卸载，并分别设置了交换机和服务器对应的功率参数psw和pse，τsfc为对每条sfc的请求处理引入的生存时间；维护功耗em计算了开关机产生的功耗和空载设备产生功耗，其中pidle为空载功率，eon/off为开关机能耗，num(on/off_nodes)为一条sfc中执行开关机动作的节点数；37、energy＝em+ep (3)38、ep＝bsfc×τsfc×(psw×num(sw_nodes)+pse×num(se_nodes)) (4)39、em＝num(on/off_nodes)×eon/off+pidle×τsfc (5)40、41、将所述运行功耗ep和空载功耗em相加后，经过归一化处理写入算法的奖励值中，通过监控网络服务的需求和节点的当前状态实现基于能耗感知的vnf动态分配策略，将vnfs动态分配到具有最优能源效率的服务器上。42、由上述本发明实施例提供的技术方案可以看出，本发明实施例利用智能网卡实现服务功能异构卸载，优化了网络服务质量。本发明在基于服务器和智能网卡的异构nfv框架基础上实现虚拟网络功能的卸载，从而实现网络负载的均衡和资源的有效利用。本发明旨在提供一种基于强化学习以实现能耗感知的服务功能链部署方法，可以根据实时的网络状态和用户qos需求，动态调整服务功能链的部署方式和流量路径，实现对网络资源的智能管理和优化。同时通过感知网络设备服务器的能耗情况，结合强化学习算法进行优化调度，降低能耗并提升能源利用效率。本发明还关注了提高服务器利用率和性能效率，减少能源消耗与碳排放，以响应我国实现碳达峰、碳中和目标。43、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。当前第1页12当前第1页12
技术特征：1.一种基于能源感知的智算融合网络功能卸载方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述的智算融合网络中的服务器利用深度强化学习dqn算法生成服务功能链sfc部署策略，包括：
3.根据权利要求2所述的方法，其特征在于，所述的通过控制面与决策面之间的交互将所述sfc部署策略转化为转发路径，将所述转发路径与决策面的决策进行关联保存，包括：
4.根据权利要求3所述的方法，其特征在于，所述的当执行本次决策时，获取本次决策对应的转发路径，根据所述转发路径实现本次决策的sfc数据包转发，通过被动int探测收集每个节点的网络状态信息，输出实际网络状态信息矩阵，包括：
5.根据权利要求4所述的方法，其特征在于，所述的当执行本次决策时，获取本次决策对应的转发路径，根据所述转发路径实现本次决策的sfc数据包转发，通过被动int探测收集每个节点的网络状态信息，输出实际网络状态信息矩阵，还包括：
6.根据权利要求4或者5所述的方法，其特征在于，所述的每一次的sfc部署策略完成后，通过服务器节点状态转换机制对服务器的状态进行更新，包括：
7.根据权利要求6所述的方法，其特征在于，所述的根据所述网络状态信息矩阵中的参数计算每次sfc部署的能耗，将vnfs动态分配到具有最优能源效率的服务器上，包括：
技术总结本发明提供了一种基于能源感知的智算融合网络功能卸载方法。该方法包括：智算融合网络中的服务器利用DQN算法生成SFC部署策略；通过控制面与决策面之间的交互将SFC部署策略转化为转发路径，将转发路径与决策面的决策进行关联保存；当执行本次决策时，获取本次决策对应的转发路径，根据转发路径实现本次决策的SFC数据包转发，通过被动INT探测收集每个节点的网络状态信息，输出实际网络状态信息矩阵；每一次的SFC部署策略完成后，根据网络状态信息矩阵中的参数计算每次SFC部署的能耗，通过服务器节点状态转换机制对服务器的状态进行更新。本发明可以动态调整服务功能链的部署方式和流量路径，实现对网络资源的智能管理和优化，提高服务器利用率和能源效率。
技术研发人员：高德云,张宏科,杨冬,杨柳雨,庞博,尚雪宁
受保护的技术使用者：北京交通大学
技术研发日：技术公布日：2024/11/26
