大数据应用的冲突检测方法、设备以及存储介质与流程

    专利查询2025-03-04  5


    本申请涉及计算机,特别是涉及一种大数据应用的冲突检测方法、设备以及存储介质。


    背景技术:

    1、在进行大数据应用的开发时(spark任务、flink任务等),免不了会引用第三方工具包(如日志包、xml工具包、json工具包等),这些工具包本身及其依赖很有可能跟spark或者flink的依赖包发生冲突,造成任务运行失败。

    2、此时,往往需要进行大量的冲突包分析、排包工作,大大影响了开发效率,而且目前市面上也没有直接、有效的大数据应用开发冲突检测工具。


    技术实现思路

    1、本申请至少提供一种大数据应用的冲突检测方法、设备以及存储介质。

    2、本申请提供了一种大数据应用的冲突检测方法,包括:获取大数据应用中各基础组件对应的各依赖包的第一相关信息以及大数据应用内的各第三方依赖包的第二相关信息;基于各第一相关信息与各第二相关信息,确定是否存在依赖包冲突;响应于存在依赖包冲突,发出提示信息,提示信息包括依赖包冲突的冲突原因和/或冲突解决方案。

    3、本申请提供了一种大数据应用的冲突检测装置,包括:信息获取模块、冲突检测模块以及提示模块;信息获取模块,用于获取大数据应用中各基础组件对应的各依赖包的第一相关信息以及大数据应用内的各第三方依赖包的第二相关信息;冲突检测模块,用于基于各第一相关信息与各第二相关信息,确定是否存在依赖包冲突;提示模块,用于响应于存在依赖包冲突,发出提示信息,提示信息包括依赖包冲突的冲突原因和/或冲突解决方案。

    4、本申请提供了一种电子设备,包括存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述大数据应用的冲突检测方法。

    5、本申请提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述大数据应用的冲突检测方法。

    6、上述方案,在大数据应用的冲突检测过程中,通过获取大数据应用各基础组件对应的各依赖包的第一相关信息以及第三方依赖包的第二相关信息,能够根据第一相关信息和第二相关信息确定大数据应用中存在冲突的依赖包,从而发出冲突的产生原因和/或冲突解决方案,提高了冲突检测的效率。

    7、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。



    技术特征:

    1.一种大数据应用的冲突检测方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,所述第一相关信息中包括依赖包的名称以及版本号,所述第二相关信息中包括各所述第三方依赖包的名称和版本号,所述基于各所述第一相关信息与各所述第二相关信息,确定是否存在依赖包冲突,包括:

    3.根据权利要求1所述的方法,其特征在于,至少部分所述基础组件中包括多个功能模块,所述方法还包括:

    4.根据权利要求1所述的方法,其特征在于,所述获取大数据应用中各基础组件对应的各依赖包的第一相关信息以及所述大数据应用内的各第三方依赖包的第二相关信息,包括:

    5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述方法还包括:

    6.根据权利要求1至4中任意一项所述的方法,其特征在于,所述方法还包括:

    7.根据权利要求1至4中任意一项所述的方法,其特征在于,所述基于各所述第一相关信息与各所述第二相关信息,确定是否存在依赖包冲突的步骤由目标插件执行,所述方法还包括:

    8.根据权利要求7所述的方法,其特征在于,所述提示信息中包括冲突解决方案,所述冲突解决方案包括所述大数据应用的打包方式的调整策略,所述方法还包括:

    9.一种电子设备,其特征在于,包括存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至8任一项所述的方法。

    10.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至8任一项所述的方法。


    技术总结
    本申请公开了一种大数据应用的冲突检测方法、设备以及存储介质,大数据应用的冲突检测方法包括:获取大数据应用中各基础组件对应的各依赖包的第一相关信息以及大数据应用内的各第三方依赖包的第二相关信息;基于各第一相关信息与各第二相关信息,确定是否存在依赖包冲突;响应于存在依赖包冲突,发出提示信息,提示信息包括依赖包冲突的冲突原因和/或冲突解决方案。上述方案,能够提高大数据应用的冲突检测效率。

    技术研发人员:赵鹏飞,钱浩东,吴易谦
    受保护的技术使用者:浙江大华技术股份有限公司
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-26304.html

    最新回复(0)