面向任务的多资源调度方法、装置、设备及存储介质与流程

    专利查询2025-10-19  5


    本发明涉及网络应用计算资源,尤其涉及一种面向任务的多资源调度方法、装置、设备及存储介质。


    背景技术:

    1、随着增强现实(augmented reality,ar)\虚拟现实技术(virtual reality,vr)\扩展现实(extended reality,xr)、元宇宙以及人工智能(artificial intelligence,ai)应用甚至大模型应用的发展,网络应用对于计算资源的需求越来越高;这些复杂类型的应用已经不仅仅是要求运营商提供网络连接资源,而更多的需求的是在高速连接之上,对于计算资源、存储资源甚至数据资源的集成的需求。

    2、比如一个简单的vr应用需要对前端摄像头采集的视频,高速传回到边缘节点,然后做视频解析的需求,然后要和存放在某个数据中心的数据库中提取的人员的结构化信息,做关联分析,然后做压缩、渲染处理后,发送到用户的手机端进行展示,并且要求在整个过程中用户的时延体验要很好;这个应用中,不仅涉及到大量视频数据的传送,还涉及到了视频数据的解析,数据库中数据的提取,以及关联分析,渲染处理等过程。

    3、而未来的网络基础设施也不仅仅只是提供网络连接,随着边缘计算、算网融合等技术的发展,未来的网络基础设施可以看作是一个高度分布式、紧密集成计算资源、连接资源和数据资源的多资源集成的基础设施;而且传统架构那样,计算资源、存储资源并不都是集中在数据中心;未来的网络架构具有泛在的计算、泛在的智能、泛在的连接的特点,因此网络的边缘、端都能提供计算资源甚至数据资源;而从端到边缘再到云中心的计算资源或节点都可以承载一组服务或计算功能,这当然取决于这些节点自身的能力。

    4、面对这种应用和网络架构的变化,传统的网络应用的提供模式和服务质量的保证模式都面临一系列问题;对于多资源需求的复杂应用,传统的资源提供模式是连接资源和计算资源分离的,网络运营商只负责提供连接资源,而云运营商只负责提供计算资源,这种情况下,对于大数据量计算的应用很容易导致云计算资源成为瓶颈,而网络中的某些边缘计算资源却无法得到充分的利用;而且由于计算和连接分别提供,对于用户和应用来说,无法实现应用的整体的服务质量(quality of service,qos)保证。

    5、采用传统的网络架构和传统的业务处理方式,通常是网络运营商提供连接资源,云运营商提供计算资源,联合完成这样的业务,所有的数据处理放在云中心完成;这种情况下,云中心会逐渐变成计算资源和连接资源的瓶颈;唯一解决的办法就是不断的扩充云中心的计算资源,以及云中心的出口的连接资源带宽;而网络中在边缘侧以及分布在其他云中心外部的资源却得不到充分的利用;同时,大量的视频资源传送到云中心再处理,会占用大量的传送资源,而整体的传送时延势必也比较高,降低了用户的体验。


    技术实现思路

    1、本发明的主要目的在于提供一种面向任务的多资源调度方法、装置、设备及存储介质,旨在解决现有技术中对于多资源需求的复杂应用,传统资源处理方式对于大数据量计算的应用很容易导致云计算资源成为瓶颈,边缘计算资源无法得到充分的利用,无法实现应用的整体的qos保证,无法为多资源需求的应用分配合适的资源,会占用大量传送资源,时延较高,用户体验较差的技术问题。

    2、第一方面,本发明提供一种面向任务的多资源调度方法,所述面向任务的多资源调度方法包括以下步骤:

    3、根据当前应用的数据流输入源对所述当前应用进行任务拆分,获得任务有向无环图;

    4、根据所述任务有向无环图对各任务进行资源预分配,获得资源预分配结果,根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果;

    5、根据所述资源预分配结果和所述路径分配结果计算各任务的预计总时延,根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度。

    6、可选地,所述根据当前应用的数据流输入源对所述当前应用进行任务拆分,获得任务有向无环图,包括:

    7、获取当前应用的数据流输入源,根据所述数据流输入源的源ip对所述数据流输入源进行标识;

    8、获取所述当前应用对应的所需数据和所需计算资源,根据标识后的数据流输入源、所述所需数据和所述所需计算资源对所述当前应用进行任务拆分,获得不同的任务,根据不同的任务生成任务有向无环图。

    9、可选地,所述根据所述任务有向无环图对各任务进行资源预分配,获得资源预分配结果,根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果,包括:

    10、根据所述任务有向无环图获得各任务的数据源ip地址、目的地ip地址和计算资源ip地址;

    11、根据所述数据源ip地址、所述目的地ip地址和所述计算资源ip地址进行资源分配,获得资源预分配结果;

    12、根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果。

    13、可选地,所述根据所述任务有向无环图获得各任务的数据源ip地址、目的地ip地址和计算资源ip地址,包括:

    14、在所述数据流输入源为外部输入源时,根据所述任务有向无环图将当前任务对应的任务数据输入源的ip地址作为数据源ip地址;

    15、在所述数据流输入源为上一个任务产生的输出数据流时,根据所述任务有向无环图将上一个任务计算节点的ip地址作为数据源ip地址;

    16、根据所述任务有向无环图将各任务的初始输出ip地址作为目的地ip地址;

    17、在一个任务有后续依赖任务时,计算出所述后续依赖任务的计算资源ip地址,并将所述计算资源ip地址作为上一个任务的输出ip地址。

    18、可选地,所述根据所述资源预分配结果和所述路径分配结果计算各任务的预计总时延,根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度,包括:

    19、从所述资源预分配结果中获得输入数据量或计算资源;

    20、在目前任务的计算类型为gpu时,将所述输入数据量除以gpu的每秒浮点运算次数flops的值作为所述目前任务的待选择资源计算时延;

    21、在所述目前任务的计算类型为cpu时,将所述输入数据量除以cpu的每秒执行100万条指令dmips的值作为所述目前任务的待选择资源计算时延;

    22、从所述路径分配结果中获得输入数据量或输入路径中带宽最小部分的输入带宽值,根据所述输入带宽值确定输入路径时延;

    23、从所述路径分配结果中获取输出数据量或输出路径中带宽最小部分的输出带宽值,根据所述输出带宽值确定输出路径时延;

    24、根据所述待选择资源计算时延、所述输入路径时延和所述输出路径时延确定各任务的预计总时延;

    25、根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度。

    26、可选地,所述根据所述待选择资源计算时延、所述输入路径时延和所述输出路径时延确定各任务的预计总时延,包括:

    27、根据所述待选择资源计算时延、所述输入路径时延和所述输出路径时延通过下式计算获得确定各任务的预计总时延:

    28、预计总时延=r*输入路径的路径时延+w*待选择资源的计算时延+r*输出路径的路径时延

    29、其中,r为路径时延的权重,w为计算时延的权重。

    30、可选地,所述根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度,包括:

    31、从预设计算资源列表中选取与各任务类型匹配的匹配资源;

    32、根据所述预计总时延从所述匹配资源中选取总时延最小的计算资源作为目标计算资源;

    33、获取所述目标计算资源对应的计算节点,根据所述计算节点进行各任务的资源调度。

    34、第二方面,为实现上述目的,本发明还提出一种面向任务的多资源调度装置,所述面向任务的多资源调度装置包括:

    35、任务拆分模块,用于根据当前应用的数据流输入源对所述当前应用进行任务拆分,获得任务有向无环图;

    36、资源路径分配模块,用于根据所述任务有向无环图对各任务进行资源预分配,获得资源预分配结果,根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果;

    37、资源调度模块,用于根据所述资源预分配结果和所述路径分配结果计算各任务的预计总时延,根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度。

    38、第三方面,为实现上述目的,本发明还提出一种面向任务的多资源调度设备,所述面向任务的多资源调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向任务的多资源调度程序,所述面向任务的多资源调度程序配置为实现如上文所述的面向任务的多资源调度方法的步骤。

    39、第四方面,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有面向任务的多资源调度程序,所述面向任务的多资源调度程序被处理器执行时实现如上文所述的面向任务的多资源调度方法的步骤。

    40、本发明提出的面向任务的多资源调度方法,通过根据当前应用的数据流输入源对所述当前应用进行任务拆分,获得任务有向无环图;根据所述任务有向无环图对各任务进行资源预分配,获得资源预分配结果,根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果;根据所述资源预分配结果和所述路径分配结果计算各任务的预计总时延,根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度;能够为多资源需求的应用分配合适的资源,通过将复杂应用拆分成一系列任务,并综合考虑计算时延和路径时延来选择相应的传送路径和计算节点,提高了应用的总体时延和qos保证,充分利用了网络资源,提高了用户的体验,提高了网路中泛在计算资源的利用率,提升了面向任务的多资源调度的速度和效率。


    技术特征:

    1.一种面向任务的多资源调度方法,其特征在于,所述面向任务的多资源调度方法包括:

    2.如权利要求1所述的面向任务的多资源调度方法,其特征在于,所述根据当前应用的数据流输入源对所述当前应用进行任务拆分,获得任务有向无环图,包括:

    3.如权利要求1所述的面向任务的多资源调度方法,其特征在于,所述根据所述任务有向无环图对各任务进行资源预分配,获得资源预分配结果,根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果,包括:

    4.如权利要求3所述的面向任务的多资源调度方法,其特征在于,所述根据所述任务有向无环图获得各任务的数据源ip地址、目的地ip地址和计算资源ip地址,包括:

    5.如权利要求1所述的面向任务的多资源调度方法,其特征在于,所述根据所述资源预分配结果和所述路径分配结果计算各任务的预计总时延,根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度,包括:

    6.如权利要求5所述的面向任务的多资源调度方法,其特征在于,所述根据所述待选择资源计算时延、所述输入路径时延和所述输出路径时延确定各任务的预计总时延,包括:

    7.如权利要求5所述的面向任务的多资源调度方法,其特征在于,所述根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度,包括:

    8.一种面向任务的多资源调度装置,其特征在于,所述面向任务的多资源调度装置包括:

    9.一种面向任务的多资源调度设备,其特征在于,所述面向任务的多资源调度设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的面向任务的多资源调度程序,所述面向任务的多资源调度程序配置为实现如权利要求1至7中任一项所述的面向任务的多资源调度方法的步骤。

    10.一种存储介质,其特征在于,所述存储介质上存储有面向任务的多资源调度程序,所述面向任务的多资源调度程序被处理器执行时实现如权利要求1至7中任一项所述的面向任务的多资源调度方法的步骤。


    技术总结
    本发明公开了一种面向任务的多资源调度方法、装置、设备及存储介质,所述方法通过根据当前应用的数据流输入源对所述当前应用进行任务拆分,获得任务有向无环图;根据所述任务有向无环图对各任务进行资源预分配,获得资源预分配结果,根据所述任务有向无环图对各任务进行路径计算,获得各数据到各分配资源的路径分配结果;根据所述资源预分配结果和所述路径分配结果计算各任务的预计总时延,根据所述预计总时延确定各任务的计算节点,根据所述计算节点进行各任务的资源调度;能够为多资源需求的应用分配合适的资源,充分利用了网络资源,提高了用户的体验,提高了网路中泛在计算资源的利用率,提升了面向任务的多资源调度的速度和效率。

    技术研发人员:郝俊瑞,余少华
    受保护的技术使用者:武汉邮电科学研究院有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-31441.html

    最新回复(0)