人工智能时空立方体在线推理方法、服务系统及设备

    专利查询2025-05-18  13


    本技术涉及数据分析与服务,特别涉及一种人工智能时空立方体在线推理方法、服务系统及设备。


    背景技术:

    1、随着对地观测等时空数据的迅猛增长,时空大数据的处理方式也在发生变化,现有的时空大数据计算平台,比如gee(google earth engine,谷歌地球引擎)和odc(opendata cube,开放数据立方体),已成功地将传统的本地数据分析模式转变为高效的在线处理模式。这些平台通过构建时空数据立方体,实现了栅格、矢量、点云等多源数据的无缝集成,在统一的时空框架下,支持了大规模、长时序数据的在线处理与分析。

    2、然而,尽管这些在线云计算平台在数据处理方面取得了显著进展,但在应对多时空或大规模场景下的人工智能推理时,模型性能高度依赖于特定的时间和空间条件,导致单一模型难以全面覆盖所有应用场景;其次,海量遥感影像的推理过程不仅计算复杂度高,而且数据量大、维度广,对计算资源和数据处理能力提出了极高的要求。


    技术实现思路

    1、本技术提供一种人工智能时空立方体在线推理方法、服务系统及设备,以解决相关技术中在多时空或大范围场景下单模型推理精度低和推理速度慢等问题。

    2、本技术第一方面实施例提供一种人工智能时空立方体在线推理方法,包括以下步骤:基于时空网格建立立方体组织模型,其中,立方体组织模型基于时空基准将时空数据和地理人工智能模型进行统一组织管理;基于显式匹配和与隐式匹配相结合进行任务与模型匹配,其中,显式匹配是将用户的推理请求转换为立方体组织模型的多维查询条件,以检索出候选模型集合,隐式匹配是通过计算待推理瓦片和候选模型的特征相似度实现模型的匹配;基于分布式推理框架对待推理瓦片数据使用人工智能模型进行分布式推理的工作流,其中,待推理瓦片数据被转换为分布式内存对象,人工智能模型被部署在各个计算节点上对待推理瓦片数据并行执行推理工作流。

    3、可选地,时空数据进入立方体时需要经过重投影、重采样和瓦片划分的操作,立方体组织模型包括维度表和事实表,事实表存储瓦片信息和模型信息,瓦片信息包括维度索引和瓦片所在的文件路径、瓦片的字节数和字节偏移量,模型信息包括维度索引和模型元数据记录的id;维度表描述瓦片事实的时间、空间、所属产品、所含波段属性、模型的时间适用范围、空间适用范围、支持输入的数据产品和波段以及所适用的任务和涉及的分类类别。

    4、可选地,基于显式匹配和与隐式匹配相结合进行任务与模型匹配,包括:获取用户输入的推理请求,推理请求包括任务类型、分类类别、空间范围、空间分辨率和时间范围;将用户的推理请求将转换为维度查询条件,基于维度查询条件和立方体组织模型进行维度查询,返回集合结果,集合结果包括时空网格下的瓦片数据和在当前推理任务下可用的模型列表;计算模型列表中每个模型的综合质量,选择综合质量超过给定阈值的模型作为候选模型,若候选模型没有训练数据集信息,则选择综合质量最高的模型和瓦片数据作为时空网格下最优组合;若候选模型附带训练数据集信息,对候选模型进行隐式匹配,对于每个瓦片数据,遍历瓦片数据对应的模型计算瓦片数据与每个模型的相似度,选择相似度最高的模型作为最终模型;对于处于同一时空网格下的不同的瓦片数据,选择模型质量最高的一组瓦片数据和模型作为对应网格下的最终组合。

    5、可选地,模型质量评价综合考虑模型性能、计算复杂度和泛化能力,综合质量的计算公式为:

    6、

    7、其中,为f1 score指数,为gflops 指数,为候选模型中的计算复杂度的最大值,为候选模型中的计算复杂度的最小值,为的计算权重,为的计算权重。

    8、可选地,对候选模型进行隐式匹配,包括:遍历模型的训练数据集,利用预训练深度学习模型提取每个样本的特征向量,特征是样本的纹理、颜色、语义等特征的综合表示,该特征是一个维向量,对每一个特征向量做哈希映射,以构建特征库,所使用的散列函数符合局部敏感哈希函数的特性;对每一个集合结果,使用预训练模型提取瓦片数据的特征向量,随后遍历模型列表,对于每个模型使用对应的散列函数计算瓦片数据的特征向量的哈希值,在特征库中找到具有相同哈希值的样本,计算瓦片数据和样本之间的特征距离;当特征距离大于阈值时,确定样本为瓦片数据的相似样本,并计算相似样本占整个样本集的比例,取比例最大的模型作为适用当前瓦片数据的最佳模型。

    9、可选地,分布式推理框架包括ray框架,其中,基于ray框架的分布式推理工作流包括立方体瓦片数据的读取、内存对象的转换、瓦片特征提取和隐式匹配、待推理瓦片预处理、分布式推理和后处理;其中,立方体瓦片数据的读取和隐式匹配是基于多cpu核心的并行,瓦片特征提取、待推理瓦片预处理和分布式推理是基于多gpu的并行;为避免超出硬件内存的限制,每次处理会根据cpu/gpu内存容量下的最大数量的瓦片进行处理;推理工作流对于不同推理任务将自动进行不同的预处理和后处理环节;对于语义分割类的任务,预处理环节包括均值归一化和标准差归一化,后处理包括颜色映射、拼接边缘优化;对于目标检测类任务,预处理环节与语义分割类任务一致,后处理为基于加权框融合的重复检测框去除。

    10、可选地,还包括:提供图形交互接口和服务接口,基于图形交互接口允许用户在预设页面上交互式输入推理条件,并提供实时推理模式和批推理模式,基于服务接口允许外部程序使用集成系统所提供的数据服务和推理服务;其中,实时推理模式对当前视口的空间层级和范围下的瓦片数据进行推理,用户每次缩放地图或移动图层都将触发新的推理;批处理模式允许用户执行大规模数据的推理任务,允许用户以预设的时空范围和分辨率导出推理结果。

    11、本技术第二方面实施例提供一种人工智能时空立方体在线推理服务系统,包括:数据模块,用于基于时空网格建立立方体组织模型,其中,立方体组织模型基于时空基准将时空数据和地理人工智能模型进行统一组织管理;匹配模块,用于基于显式匹配和与隐式匹配相结合进行任务与模型匹配,其中,显式匹配是将用户的推理请求转换为立方体组织模型的多维查询条件,以检索出候选模型集合,隐式匹配是通过计算待推理瓦片和候选模型的特征相似度实现模型的匹配;应用模块,用于基于分布式推理框架的对待推理瓦片数据使用人工智能模型进行分布式推理的工作流,其中,待推理瓦片数据被转换为分布式内存对象,人工智能模型被部署在各个计算节点上对待推理瓦片数据并行执行推理工作流。

    12、本技术第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序,以实现如上述实施例的人工智能时空立方体在线推理方法。

    13、本技术第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如上述实施例的人工智能时空立方体在线推理方法。

    14、由此,本技术包括如下有益效果:

    15、本技术实施例通过统一整合时空数据与地理人工智能模型,并借助高效的显式与隐式匹配机制,实现任务与模型的精准匹配。在分布式推理框架下,模型与数据紧密关联,并行处理瓦片数据,显著提升了推理效率和准确性。同时,该模型优化了系统性能,增强了可扩展性,有助于推动未来时空大数据和地理智能的应用发展。由此,解决了相关技术中在多时空或大范围场景下单模型推理精度低和推理速度慢等技术问题。

    16、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。


    技术特征:

    1.一种人工智能时空立方体在线推理方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的人工智能时空立方体在线推理方法,其特征在于,所述时空数据进入立方体时需要经过重投影、重采样和瓦片划分的操作,所述立方体组织模型包括维度表和事实表,所述事实表存储瓦片信息和模型信息,所述瓦片信息包括维度索引和瓦片所在的文件路径、瓦片的字节数和字节偏移量,所述模型信息包括维度索引和模型元数据记录的id;所述维度表描述瓦片事实的时间、空间、所属产品、所含波段属性、模型事实的时间适用范围、空间适用范围、支持输入的数据产品和波段以及所适用的任务和涉及的分类类别。

    3.根据权利要求1所述的人工智能时空立方体在线推理方法,其特征在于,所述基于显式匹配和与隐式匹配相结合进行任务与模型匹配,包括:

    4.根据权利要求3所述的人工智能时空立方体在线推理方法,其特征在于,模型质量评价综合考虑模型性能、计算复杂度和泛化能力,综合质量的计算公式为:

    5.根据权利要求3所述的人工智能时空立方体在线推理方法,其特征在于,所述对候选模型进行隐式匹配,包括:

    6.根据权利要求1所述的人工智能时空立方体在线推理方法,其特征在于,所述分布式推理框架包括ray框架,其中,基于ray框架的分布式推理工作流包括立方体瓦片数据的读取、内存对象的转换、瓦片特征提取和隐式匹配、待推理瓦片预处理、分布式推理和后处理,其中,所述立方体瓦片数据的读取和所述隐式匹配是基于多cpu核心的并行,所述瓦片特征提取、所述待推理瓦片预处理和所述分布式推理是基于多gpu的并行;为避免超出硬件内存的限制,每次处理会根据cpu/gpu内存容量下的最大数量的瓦片进行处理;

    7.根据权利要求1所述的人工智能时空立方体在线推理方法,其特征在于,还包括:

    8.一种人工智能时空立方体在线推理服务系统,其特征在于,包括:

    9.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现权利要求1-7任一项所述的人工智能时空立方体在线推理方法。

    10.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被执行时,以实现权利要求1-7任一项所述的人工智能时空立方体在线推理方法。


    技术总结
    本申请涉及数据分析与服务技术领域,特别涉及一种人工智能时空立方体在线推理方法、服务系统及设备,其中,方法包括:基于时空网格建立立方体组织模型,其中,立方体组织模型基于时空基准将时空数据和地理人工智能模型进行统一组织管理;基于显式匹配和与隐式匹配相结合进行任务与模型匹配,其中,显式匹配是将用户的推理请求转换为立方体组织模型的多维查询条件,以检索出候选模型集合,隐式匹配是通过计算待推理瓦片和候选模型的特征相似度实现模型的匹配;基于分布式推理框架对待推理瓦片数据使用人工智能模型进行分布式推理的工作流。由此,解决了相关技术中在多时空或大范围场景下单模型推理精度低和推理速度慢等问题。

    技术研发人员:乐鹏,王凯旋,徐翰文,刘瑞祥,吴浩儒,滕宝鑫
    受保护的技术使用者:武汉大学
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-28465.html

    最新回复(0)