本发明涉及网络流量控制领域，具体涉及一种基于链路状态感知增强的路径智能优选方法，还涉及一种基于链路状态感知增强的路径智能优选系统。
背景技术：
1、在全局网络路径规划算法中，传统路由算法通常根据有限的链路状态信息计算最短路径实现业务传输，这导致网络对于业务流量的快速变化难以适应，从而无法满足业务qos需求；此外，复杂通信网络中业务流量的持续增长和应用程序的多样性也使得基于有限信息决策的传统路由算法效率和准确性大大降低。
2、随着软件定义网络（software defined network，sdn）的发展，这种新型网络架构的出现实现了网络控制和数据包转发的解耦，使得网络的可编程性、全局视图、逻辑集中控制得到了改善，为流量工程的实现和端到端的qos研究提供了新的契机，在现有的基于sdn架构的智能路由算法研究领域，启发式算法仍然是主要基础：通过考虑路由节点本身的性能（直接信息）和相邻节点的性能（间接信息）来识别可靠节点并形成最优路径；以及综合考虑路径距离、传输方向和链路负载等因素，寻找延迟和开销较低的路径，实现网络的负载均衡。但启发式算法对于网络场景要求较为严苛，网络拓扑和链路状态的变化可能会使得算法产生较大的波动和误差，进而导致算法的可扩展性不足等问题，从而影响网络性能。
3、随着深度强化学习技术的快速发展，基于深度强化学习（deep reinforcementlearning，drl）的智能算法在解决复杂高维空间问题上展现出显著的优势，这使得其在网络优化、资源分配等领域的应用愈加广泛；现有技术中通过综合考虑时延、带宽等多个qos指标来实现sdn架构下的在线路由决策。或者将ddpg算法与sdn架构结合，实现全局性、实时性的网络智能管控，有效提升了网络吞吐量，降低了平均时延。
4、上述基于深度强化学习的智能路由算法能够感知复杂动态的网络状态，实现路由策略的自适应性调整，有效提升了服务质量。然而，通信网络拓扑动态可变，链路状态瞬时突变，现有智能算法大多采用固定神经网络结构学习网络状态，导致模型感知能力受限，难以适应动态变化的网络环境。因此，现有智能路由算法难以适用于强对抗高机动复杂环境下的最优路径决策。
技术实现思路
1、本发明目的：针对现有智能路由算法模型结构单一，缺乏对链路状态信息时空相关特性的考量，导致算法在网络拓扑结构动态变化时难以精准实现路由决策的问题，提出一种基于链路状态感知增强的路径智能优选方法及系统（drl-sga）。该方法基于ac架构的ppo算法构建智能路径决策模型，生成最优路径选择策略。针对拓扑结构动态变化的网络，精准实现路由决策，提升网络服务性能。
2、为实现以上功能，本发明设计一种基于链路状态感知增强的路径智能优选方法，针对目标网络，执行如下步骤s1-步骤s4，完成目标网络中业务数据转发的路径选择：
3、步骤s1：采集目标网络的拓扑信息与端口状态信息，计算目标网络的通信链路状态信息和端到端路径状态信息，包括剩余带宽、时延、丢包率，组成目标网络的网络状态，并计算全局网络平均吞吐量、平均端到端时延和平均丢包率；
4、步骤s2：目标网络中的智能体基于ac架构的ppo算法构建智能路径决策模型，将步骤s1所获得的网络状态组成网络状态序列输入智能体，智能体基于当前时刻的网络状态序列 s t，执行路径选择动作 a t，然后获取下一时刻网络状态序列 s t+1，同时获取当前时刻的奖励 r t，并以四元组形式（ s t， a t， r t， s t+1）构成样本存储在经验回放池中；
5、步骤s3：从经验回放池中抽取样本，迭代训练智能路径决策模型，对路径选择策略进行更新，直到智能路径决策模型达到收敛，针对当前时刻目标网络，采用收敛的智能路径决策模型生成并存储路径选择策略，将路径选择策略所对应的目标网络节点对之间的路径作为最优路径；
6、步骤s4：基于最优路径生成流表，下发至目标网络的交换机设备中，进行路径安装和业务数据转发。
7、本发明还设计一种基于链路状态感知增强的路径智能优选系统，包括数据层、控制层和应用层三层结构，以实现所述的一种基于链路状态感知增强的路径智能优选方法：
8、所述的数据层包含目标网络的各类路由节点以及通信链路，通过南向接口将目标网络的拓扑信息、端口状态信息传递给控制层，同时接收控制层下发的路径选择策略，并完成对业务数据的处理、转发操作；
9、所述的控制层包括网络感知模块、网络监测模块、数据处理模块、智能优选模块和路径安装模块五个模块；
10、控制层通过南向接口向数据层周期性地发送预设请求指令，实时获取目标网络的拓扑信息、端口状态信息，并将路径选择策略传递给数据层；
11、其中，网络感知模块周期性地向数据层发送特性请求指令，获取目标网络的拓扑信息；网络监测模块周期性地向数据层发送状态请求指令，并异步接收状态回复消息，获取目标网络中路由节点的端口状态信息；数据处理模块利用网络感知模块和网络监测模块采集的拓扑信息与端口状态信息，计算出链路状态信息和端到端路径状态信息，接着统计出全局网络平均吞吐量、平均端到端时延和平均丢包率并存储；智能优选模块构建智能路径决策模型，根据当前时刻的网络状态序列 s t，执行路径选择动作 a t，获取下一时刻网络状态序列 s t+1，同时获取当前时刻的奖励 r t；路径安装模块根据路径选择动作 a t生成相应的流表，下发至数据层用于业务数据的转发；
12、应用层包括目标网络的各种业务及应用，通过北向接口与控制层进行信息交互。
13、有益效果：相对于现有技术，本发明的优点包括：
14、本发明提出一种基于链路状态感知增强的路径智能优选方法及系统（drl-sga）。本发明所设计的方法及系统基于ac架构的ppo算法构建智能路径决策模型，并引入gru网络和gat网络分别捕获由多个链路状态组成的网络状态序列的时空相关特性，同时，使用注意力机制感知网络状态序列的重要特征，通过基于深度强化学习的训练机制生成最优路径选择策略；实验结果表明，drl-sga方法相较于传统路由算法ospf平均端到端时延和丢包率降低了至少14.42%和14.66%；与现有智能路由算法drl-st相比，平均端到端时延和丢包率分别降低了至少2.07%和1.65%，且在高强度流量下平均吞吐量最大提升了2.59%，且本发明所设计的方法及系统对于网络结构动态变化具有更强的适应能力。
1.一种基于链路状态感知增强的路径智能优选方法，其特征在于，针对目标网络，执行如下步骤s1-步骤s4，完成目标网络中业务数据转发的路径选择：
2.根据权利要求1所述的一种基于链路状态感知增强的路径智能优选方法，其特征在于，步骤s2的具体步骤如下：
3.根据权利要求2所述的一种基于链路状态感知增强的路径智能优选方法，其特征在于，步骤s2.3中网络性能指标为全局网络平均吞吐量、平均端到端时延和平均丢包率。
4.根据权利要求1所述的一种基于链路状态感知增强的路径智能优选方法，其特征在于，智能路径决策模型所基于的ac架构包括策略网络和评估网络，策略网络根据网络状态xt输出路径选择动作at，评估网络输出网络状态的评估价值；
5.根据权利要求1所述的一种基于链路状态感知增强的路径智能优选方法，其特征在于，步骤s3中，对路径选择策略的更新阶段使用优势函数来衡量每个路径选择动作的好坏程度，优势函数定义如下：
6.一种基于链路状态感知增强的路径智能优选系统，其特征在于，包括数据层、控制层和应用层三层结构，以实现如权利要求1-5任意一项所述的一种基于链路状态感知增强的路径智能优选方法：
