本发明属于图像分割,尤其涉及一种基于视觉大模型的遥感图像分割方法、系统、设备及介质。
背景技术:
1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
2、在基于视觉大模型的图像分割中,提示输入的准确性是影响图像分割精度的一种影响因素,现有技术通常针对下游任务由人为手动标注,或是依赖于大规模封闭或受限的数据集训练,使模型能够理解和生成与给定文本提示相关的图像,这导致在面对特定类型的数据时,如地理空间数据,现有方法往往难以提供有效、精确的提示,限制了视觉大模型在其他特定场景的应用性能。
3、已有研究表明,sam(segment anything model)(常用的视觉大模型)在遥感影像分割任务的性能在一定程度上能接近、甚至可能超越在特定任务数据集上训练后的视觉模型表现,但是,sam在遥感影像分割任务上的表现仍有不足,主要原因是sam严重依赖于先验的手动提示指导。由于遥感图像本身质量差异(可能由分辨率、传感器类型、时相等差异造成)和输入提示工程的类型、位置和数量差异,都将造成分割结果的不稳定性。为了实现理想的分割结果,通常需要对手动提示进行精炼,而对于不同的遥感分割任务,这将耗费巨大的人力和时间成本,限制了sam在遥感领域上的广泛应用。
技术实现思路
1、为克服上述现有技术的不足,本发明提供了一种基于视觉大模型的遥感图像分割方法、系统、设备及介质,所述方案基于现有的地理空间信息数据产品,无需额外的人工手动提示输入或人工标记数据的制作,也无需额外的模型或模块训练,即可自动生成相应的点提示、框提示以及掩码提示,以实现sam 在遥感影像自动分割任务上的广泛应用,提高了sam在遥感领域上的实用性。
2、根据本发明实施例的第一个方面,提供了一种基于视觉大模型的遥感图像分割方法,包括:
3、获取待分割的遥感图像及其对应的地理空间信息数据,并进行相应预处理;
4、对于待分割的遥感影像,基于其对应地理空间信息数据中目标对象的矢量数据,顺序经栅格化处理及数据点采样处理,获得若干采样点;基于所述采样点生成遥感图像的点提示;
5、对于待分割的遥感影像,基于其对应地理空间信息数据中目标对象的关键地理坐标数据,构建目标对象边界框,以所述边界框作为遥感图像的框提示;
6、对于待分割的遥感影像,基于其对应地理空间信息数据中目标对象的矢量数据,顺序经栅格化处理和膨胀算法处理,获得栅格化标签,作为掩码提示;
7、以获得的点提示、框提示以及掩码提示作为待分割遥感图像的提示信息;
8、基于所述提示信息和待分割的遥感图像,利用预先训练的sam视觉大模型,获得遥感图像的分割结果。
9、进一步的,所述点提示的生成,具体为:基于遥感图像对应的地理空间信息数据中目标对象的矢量数据,通过栅格化处理,获得二值图像;基于所述二值图像,通过格网方式采样,获得若干采样点;基于所述采样点在遥感图像上的对应位置像素实现点提示生成。
10、进一步的,所述格网方式采样,具体为:将目标对象的矢量数据进行栅格化处理,获得对应的栅格标签;基于预设大小的格网,对所述栅格标签进行划分;对于每个格网,从落在格网内且为待分割目标的离散点中进行随机抽样,获得采样后的点集合。
11、进一步的,所述框提示的生成,具体为:基于遥感图像对应地理空间信息数据中目标对象的关键地理坐标数据,通过坐标转换,获得遥感图像中对应的图像坐标;基于获得的图像坐标形成遥感图像中的框提示。
12、进一步的,基于获得的图像坐标形成遥感图像中的框提示,对于形成的框提示执行如下优化过程:以所述框提示作为初始提示框,其中,初始提示框的左上角点坐标作为起点,右下角点坐标作为终点;分别计算起点与终点之间的横向距离和纵向距离,通过判定初始提示框的最短边,确定预设值作为优化框的短边长度;根据初始提示框的长宽比计算优化框的长边长度;对优化框的长边长度预设一个偏移值,以纠正矢量数据的质量偏差,在不超出原影像范围基础上,生成覆盖整个目标对象区域的多个子提示框;以所述多个子提示框作为遥感图像中目标对象的框提示。
13、进一步的,所述基于所述提示信息和待分割的遥感图像,利用预先训练的sam视觉大模型,获得遥感图像的分割结果,具体为:将点提示、框提示以及掩码提示对应的二值图进行像素相加,获得融合提示,以所述融合提示作为sam视觉大模型的输入提示信息,获得遥感图像的分割结果。
14、进一步的,所述关键地理坐标数据包括道路的起点和终点坐标。
15、根据本发明实施例的第二个方面,提供了一种基于视觉大模型的遥感图像分割系统,包括:
16、数据获取单元,其用于获取待分割的遥感图像及其对应的地理空间信息数据,并进行相应预处理;
17、点提示生成单元,其用于对于待分割的遥感影像,基于其对应地理空间信息数据中目标对象的矢量数据,顺序经栅格化处理及数据点采样处理,获得若干采样点;基于所述采样点生成遥感图像的点提示;
18、框提示生成单元,其用于对于待分割的遥感影像,基于其对应地理空间信息数据中目标对象的关键地理坐标数据,构建目标对象边界框,以所述边界框作为遥感图像的框提示;
19、掩码提示生成单元,其用于对于待分割的遥感影像,基于其对应地理空间信息数据中目标对象的矢量数据,顺序经栅格化处理和膨胀算法处理,获得栅格化标签,作为掩码提示;
20、提示信息生成单元,其用于以获得的点提示、框提示以及掩码提示作为待分割遥感图像的提示信息;
21、图像分割单元,其用于基于所述提示信息和待分割的遥感图像,利用预先训练的sam视觉大模型,获得遥感图像的分割结果。
22、根据本发明实施例的第三个方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,所述处理器执行所述程序时实现所述的一种基于视觉大模型的遥感图像分割方法。
23、根据本发明实施例的第四个方面,提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现所述的一种基于视觉大模型的遥感图像分割方法。
24、以上一个或多个技术方案存在以下有益效果:
25、本发明提供了一种基于视觉大模型的遥感图像分割方法、系统、设备及介质,所述方案基于现有的地理空间信息数据产品,无需额外的人工手动提示输入或人工标记数据的制作,也无需额外的模型或模块训练,即可自动生成相应的点提示、框提示以及掩码提示,以实现sam 在遥感影像自动分割任务上的广泛应用,提高了sam在遥感领域上的实用性。本发明所述方案在框提示的生成中,考虑到道路在影像上纵横交错分布且形状细长、长度不一,若直接使用起点和终点的最大与最小值框选出每条道路,每个框将存在大量的冗余信息,甚至可能会覆盖整个影像范围,同时,框与框之间可能存在重叠信息,不利于精准的框提示工程生成;基于此问题,本发明采用若干子提示框来代替使用起点和终点的最大与最小值生成的提示框,有效去除了提示框中的冗余信息。本发明附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
1.一种基于视觉大模型的遥感图像分割方法,其特征在于,包括:
2.如权利要求1所述的一种基于视觉大模型的遥感图像分割方法,其特征在于,所述点提示的生成,具体为:基于遥感图像对应的地理空间信息数据中目标对象的矢量数据,通过栅格化处理,获得二值图像;基于所述二值图像,通过格网方式采样,获得若干采样点;基于所述采样点在遥感图像上的对应位置像素实现点提示生成。
3.如权利要求2所述的一种基于视觉大模型的遥感图像分割方法,其特征在于,所述格网方式采样,具体为:将目标对象的矢量数据进行栅格化处理,获得对应的栅格标签;基于预设大小的格网,对所述栅格标签进行划分;对于每个格网,从落在格网内且为待分割目标的离散点中进行随机抽样,获得采样后的点集合。
4.如权利要求1所述的一种基于视觉大模型的遥感图像分割方法,其特征在于,所述框提示的生成,具体为:基于遥感图像对应地理空间信息数据中目标对象的关键地理坐标数据,通过坐标转换,获得遥感图像中对应的图像坐标;基于获得的图像坐标形成遥感图像中的框提示。
5.如权利要求4所述的一种基于视觉大模型的遥感图像分割方法,其特征在于,基于获得的图像坐标形成遥感图像中的框提示,对于形成的框提示执行如下优化过程:以所述框提示作为初始提示框,其中,初始提示框的左上角点坐标作为起点,右下角点坐标作为终点;分别计算起点与终点之间的横向距离和纵向距离,通过判定初始提示框的最短边,确定预设值作为优化框的短边长度;根据初始提示框的长宽比计算优化框的长边长度;对优化框的长边长度预设一个偏移值,以纠正矢量数据的质量偏差,在不超出原影像范围基础上,生成覆盖整个目标对象区域的多个子提示框;以所述多个子提示框作为遥感图像中目标对象的框提示。
6.如权利要求1所述的一种基于视觉大模型的遥感图像分割方法,其特征在于,所述基于所述提示信息和待分割的遥感图像,利用预先训练的sam视觉大模型,获得遥感图像的分割结果,具体为:将点提示、框提示以及掩码提示对应的二值图进行像素相加,获得融合提示,以所述融合提示作为sam视觉大模型的输入提示信息,获得遥感图像的分割结果。
7.如权利要求1所述的一种基于视觉大模型的遥感图像分割方法,其特征在于,所述关键地理坐标数据包括道路的起点和终点坐标。
8.一种基于视觉大模型的遥感图像分割系统,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在存储器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于视觉大模型的遥感图像分割方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于视觉大模型的遥感图像分割方法。
