一种基于云服务的内容分发系统及方法与流程

    专利查询2025-03-14  47


    本发明涉及内容分发,尤其涉及一种基于云服务的内容分发系统及方法。


    背景技术:

    1、内容分发技术主要关注如何有效地将数据和内容从源点分发到全球的多个接收点,涵盖了内容分发网络(cdn)、边缘计算、缓存机制、负载均衡和网络优化技术,这些技术共同作用,旨在减少内容提供者和终端用户之间的延迟,提高数据传输速率,优化带宽使用,并确保内容能够即使在高需求情况下也能快速且可靠地被传递和访问,内容分发通过将内容复制到分布广泛的服务器上,并将用户请求重定向到最近的服务器,从而提供更快、更稳定的访问体验。

    2、其中,云服务的内容分发系统指的是一种利用分布式服务器网络来有效分发内容到用户端的系统,其用途广泛,例如在视频流服务、网页加速、软件更新等多种应用场景中均有体现,内容分发系统通过本地化存储数据和智能路由技术,确保用户可以从最近的服务器接收数据,从而减少延迟,提升内容获取的速度和效率,对于处理大量的网络流量至关重要。

    3、在网络不稳定或用户地理分布极端不均的场景下,传统系统无法有效适应变化,导致服务中断或性能下降,尤其是在数据中心较远的地区,传统系统在数据压缩和即时响应方面表现不佳,在需要快速处理和传输大量实时流媒体内容的应用场景下,因缺乏高效的实时数据处理能力而导致延迟增加,现有的任务调度和资源分配在高负载情况下显得僵化,缺乏根据实时负载动态优化的能力,在大规模在线活动或高峰使用时段尤为明显,因缺少灵活的任务管理和优先级调整而影响整体的分发服务质量。


    技术实现思路

    1、本发明的目的是解决现有技术中存在的缺点,而提出的一种基于云服务的内容分发系统及方法。

    2、为了实现上述目的,本发明采用了如下技术方案:一种基于云服务的内容分发系统,所述系统包括:

    3、实时压缩模块基于当前云服务带宽和用户设备能力,测量内容分发的数据流大小,调整lzma压缩参数,计算数据实时压缩率,并压缩即时流媒体和实时数据服务内容,得到压缩效率数据流;

    4、任务调度模块基于所述压缩效率数据流,监测云服务中的边缘节点cpu和内存使用数据,实时分析节点性能和任务负载,并重新排序内容分发任务,调整关键任务优先级,得到调度性能优化信息;

    5、带宽适应模块基于所述调度性能优化信息,结合云服务网络性能数据,分析当前网络带宽和带宽趋势,并动态调整内容分发的数据分片大小,匹配当前网络波动,获取动态带宽调整参数;

    6、内容合并模块基于所述动态带宽调整参数,计算内容片间到达延迟,优化数据片的组合逻辑,并执行内容片合并,优化用户端内容接收流程,获取接收流程效能指标。

    7、本发明改进有,所述内容分发的数据流大小的测量步骤具体为:

    8、基于当前云服务带宽和用户设备能力,监测目标时间段内用户设备接收的数据大小,并采集数据包的实时传输信息,得到原始数据流记录;

    9、从所述原始数据流记录中提取每分钟的数据流总量,计算时间段内的数据流平均大小;

    10、根据所述数据流平均大小,分析高峰与非高峰时段的流量变化,采用公式:

    11、

    12、计算数据流大小的偏差,得到数据流波动性,其中,为分钟数据流量,为平均数据流大小,为样本量。

    13、本发明改进有,所述压缩效率数据流的获取步骤具体为:

    14、设定所述lzma压缩算法的压缩级别和字典大小,确定压缩参数最优组合,执行多次压缩测试,比较差异参数设置下压缩文件的大小和处理时间,选择匹配当前数据类型的参数配置,生成优化后的压缩参数集;

    15、基于所述优化后的压缩参数集,对即时流媒体和实时数据服务内容进行压缩,测量压缩前的数据大小和压缩后的数据大小,采用公式:

    16、

    17、计算压缩比率,得到压缩效率数据流,其中,是原始数据大小,是压缩后数据大小。

    18、本发明改进有,所述节点性能和任务负载的实时分析步骤具体为:

    19、基于所述压缩效率数据流,自动收集云服务每个节点的cpu和内存使用数据,生成实时性能数据;

    20、应用数据清洗技术对所述实时性能数据进行处理,移除异常值或错误记录,并验证数据的一致性和可用性,得到处理后的性能数据集;

    21、基于所述处理后的性能数据集,执行负载分析,采用公式:

    22、

    23、计算资源利用率,生成节点性能评估结果,其中,是当前资源使用量,是资源使用的平均值,是总可用资源。

    24、本发明改进有,所述调度性能优化信息的获取步骤具体为:

    25、分析资源利用率极高或极低的节点,识别需重新分配任务的关键节点;

    26、根据所述关键节点当前的任务负载和性能数据,将任务从高负载节点转移至低负载节点,并调整任务优先级进行负载平衡,生成任务分配计划;

    27、基于所述任务分配计划,采用公式:

    28、

    29、对任务分配进行优化,得到调度性能优化信息,其中,表示节点的负载量,代表节点的任务权重因子,是节点的总处理能力,是参与计算的节点总数。

    30、本发明改进有,所述当前网络带宽和带宽趋势的分析步骤具体为:

    31、基于所述调度性能优化信息,去除数据噪声并提取关键性能指标,得到清洗后的网络性能数据;

    32、基于所述清洗后的网络性能数据,分析带宽的当前状态和预测趋势,采用公式:

    33、

    34、得到带宽使用趋势指数,其中,表示当前测量的带宽使用量,代表带宽使用量的变异性,是用于调整模型对带宽使用量的敏感性系数,是调节系数。

    35、本发明改进有,所述动态带宽调整参数的获取步骤具体为:

    36、收集当前网络的实时流量和带宽数据,分析与评估网络的流量波动,生成流量和带宽波动信息;

    37、基于所述流量和带宽波动信息,采用公式:

    38、

    39、得到动态带宽调整参数,其中,是优化后的数据分片基准大小,是带宽使用趋势指数,是网络带宽波动率,和是调节带宽趋势和波动率对数据分片调整的影响系数。

    40、本发明改进有,所述接收流程效能指标的获取步骤具体为:

    41、基于所述动态带宽调整参数,从用户端收集接收数据的日志,包括接收时间、数据量和错误率,去除记录中的异常和错误数据,生成清洗后的日志数据;

    42、基于所述清洗后的日志数据,提取并计算关键性能指标,包括平均接收速率和数据完整性,生成性能分析记录;

    43、对所述性能分析记录中的数据进行评估,采用公式:

    44、

    45、计算效能指标,得到接收流程效能指标,其中,代表平均接收速率,代表数据完整性指数,为日志中记录的错误次数。

    46、一种基于云服务的内容分发方法,所述基于云服务的内容分发方法基于上述基于云服务的内容分发系统执行,包括以下步骤:

    47、s1:基于当前云服务带宽和用户设备能力,测量内容分发数据流大小,调整lzma压缩参数,计算数据实时压缩率,压缩即时流媒体和实时数据服务内容,得到压缩效率数据流;

    48、s2:基于所述压缩效率数据流,监测云服务中的边缘节点cpu和内存使用数据,实时分析节点性能和任务负载,重新排序内容分发任务,得到调度性能优化信息;

    49、s3:基于所述调度性能优化信息,结合云服务网络性能数据,分析当前网络带宽和带宽趋势,动态调整内容分发的数据分片大小,得到动态带宽调整参数;

    50、s4:基于所述动态带宽调整参数,计算内容片间到达延迟,优化数据片的组合逻辑,执行内容片合并,生成合并效率数据;

    51、s5:根据所述合并效率数据,调整内容分发,优化用户端内容接收流程,并验证数据在差异网络环境下的传输效率和稳定性,得到接收流程效能指标。

    52、与现有技术相比,本发明的优点和积极效果在于:

    53、本发明中,通过动态调整压缩参数以应对不同的带宽和设备能力,有效地提高了数据的实时压缩率,从而减少了传输所需时间,并且优化了网络资源的使用,而智能分析云服务边缘节点的性能数据,使得任务调度更加准确,能够实时调整任务优先级,降低了高峰时段的网络拥堵,显著提升了数据处理的灵活性和效率,结合实时网络性能数据动态调整数据分片大小,使得系统能够在带宽波动时保持稳定性,从而在不同的网络状况下都能为用户提供均质的服务体验,优化数据片合并逻辑,减少了数据到达延迟,提升了数据传输的整体速度和效率,确保用户在接收大容量数据时的体验无缝且高效。


    技术特征:

    1.一种基于云服务的内容分发系统,其特征在于,所述系统包括:

    2.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述内容分发的数据流大小的测量步骤具体为:

    3.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述压缩效率数据流的获取步骤具体为:

    4.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述节点性能和任务负载的实时分析步骤具体为:

    5.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述调度性能优化信息的获取步骤具体为:

    6.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述当前网络带宽和带宽趋势的分析步骤具体为:

    7.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述动态带宽调整参数的获取步骤具体为:

    8.根据权利要求1所述的基于云服务的内容分发系统,其特征在于,所述接收流程效能指标的获取步骤具体为:

    9.一种基于云服务的内容分发方法,其特征在于,根据权利要求1-8任一项所述的基于云服务的内容分发系统执行,包括以下步骤:


    技术总结
    本发明涉及内容分发技术领域,具体为一种基于云服务的内容分发系统及方法,系统包括实时压缩模块、任务调度模块、带宽适应模块和内容合并模块。本发明,通过动态调整压缩参数以应对不同的带宽和设备能力,有效地提高了数据的实时压缩率,从而减少了传输所需时间,并且优化了网络资源的使用,而智能分析云服务边缘节点的性能数据,使得任务调度更加准确,能够实时调整任务优先级,降低了高峰时段的网络拥堵,显著提升了数据处理的灵活性和效率,结合实时网络性能数据动态调整数据分片大小,使得系统能够在带宽波动时保持稳定性,从而在不同的网络状况下都能为用户提供均质的服务体验,优化数据片合并逻辑,减少了数据到达延迟。

    技术研发人员:郝帅,段泽泽,贾测测,高一赫,谷玉千
    受保护的技术使用者:河北轩昊信息技术有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-26461.html

    最新回复(0)