一种基于深度学习的城市遥感影像植被覆盖识别方法与流程

1.本发明涉及遥感识别技术领域，具体涉及一种基于深度学习的城市遥感影像植被覆盖识别方法。


背景技术：

2.随着深度学习技术的快速发展,以及互联网和云计算时代海量数据和高效计算能力的支撑，以cnn卷积神经网络为代表的深度学习技术，通过训练构建得到类似人脑结构的大规模神经网络，在计算机视觉、语音识别、自然语言理解等领域取得了突破性进展，正在给整个社会带来颠覆性的变化。
3.近年来，遥感技术应用更加广泛，卫星拍摄得到的多光谱图像和全色图像，通过图像融合形成更高空间分辨率和光谱分辨率的遥感影像，在获取基础地理数据、资源信息和应急灾害数据方面，比其它技术手段更有优势，在国民经济和军事领域获得广泛的应用。
4.城市植被绿化是城市生态管理系统的重要组成部分，将遥感技术应用于植被覆盖的信息提取和数据分析成为重要的应用研究方向，由于城市的建筑设施和组成部分比较复杂，传统的识别方式受到一定的限制，另一方面，如果仅仅采用遥感技术来识别植被覆盖，也会有一定的局限性。随着互联网技术的发展，通过各种社交工具，用户参与形成海量的图像、文字、视频等生活相关的信息资源，并且这些网络资源可以更加容易获取。在这种情况下，如何有效利用遥感影像，通过大数据、遥感技术、深度学习等多种技术融合，最大限度的利用网络资源，准确的识别城市植被覆盖为城市规划和绿化管理提供支撑成为亟需解决的问题。


技术实现要素：

5.本发明为了克服以上技术的不足，提供了一种综合考虑城市区域特点及影响因素，实现城市植被覆盖的准确识别的城市遥感影像植被覆盖识别方法。
6.本发明克服其技术问题所采用的技术方案是：一种基于深度学习的城市遥感影像植被覆盖识别方法，包括如下步骤：a)选定城市范围，截取遥感影像；b)将遥感影像集合地图数据信息，利用道路信息、河流信息作为标志，对遥感影像进行分割，形成细粒度的区域位置范围；c)选取区域位置范围，根据位置信息，在互联网的社交媒体、地图服务、视频网站、环境监控网站中分别获取社交媒体数据、视频航拍数据、地图数据、公开监控视频数据、环境监测装置采集的数据；d)将步骤b)和步骤c)中得到的数据输入到城市植被覆盖识别模型cpc-det中进行识别，识别出区域植被覆盖信息；e)便利城市范围内的所有区域，识别出植被覆盖信息；f)对城市植被覆盖识别模型cpc-det采用梯度下降法进行重训练，持续优化城市
植被覆盖识别模型cpc-det。
7.进一步的，步骤d)中城市植被覆盖识别模型cpc-det由遥感影像植被覆盖识别模型rs-pdet、社交媒体资源植被覆盖识别模型social-pdet、地图资源植被覆盖识别模型map-pdet、视频资源植被覆盖识别模型video-pdet及环境监控植被覆盖识别模型iot-det及融合识别模型pfusion构成。
8.进一步的，遥感影像植被覆盖识别模型rs-pdet的建立包括如下步骤：1.1)收集城市遥感影像数据并进行植被覆盖区域标注；1.2)选取faster r-cnn模型或ssd模型或yolo模型作为通用俯视图植被识别模型，选择通用俯视图植被识别模型涉及cnn植被图像识别模块rs-cnn；1.3)根据cnn植被图像识别模块rs-cnn的输入图像尺寸要求，将遥感影像数据以道路信息、河流信息作为标志进行图像切割；1.4)对cnn植被图像识别模块rs-cnn模型进行训练；1.5)基于植被指数ndvi，融合光谱和纹理特征提取植被，得到遥感影像分析模块rs-anl，对遥感影像数据进行分析识别；1.6)固定cnn植被图像识别模块rs-cnn模型参数，利用遥感影像分析模块rs-anl识别结果和rs-cnn模型识别结果采用梯度下降法全连接操作，得到融合模块rs-fc；1.7)获得基于融合模块rs-fc的遥感影像植被覆盖识别模型rs-pdet。
9.进一步的，社交媒体资源植被覆盖识别模型social-pdet的建立包括如下步骤：2.1)收集社交媒体的数据，对涉及植物覆盖相关语义文字及图像进行标签标注；2.2)利用自然语言处理语义bert语言模型设定植被覆盖语义关键字，基于收集的社交媒体的数据进行训练，得到植被覆盖文字语义识别模型；2.3)利用图像目标检测ssd模型基于社交媒体图像采用梯度下降法操作，得到植被覆盖图像检测模型；2.4)将同一条社交媒体记录的文字和图像融合，基于植被覆盖文字语义识别模型和植被覆盖图像检测模型采用梯度下降法操作，得到社交媒体记录植被覆盖识别模型；2.5)将若干条社交媒体记录数据以序列形式输入到社交媒体记录植被覆盖识别模型，采用梯度下降法操作，得到社交媒体资源植被覆盖识别模型social-pdet。
10.进一步的，地图资源植被覆盖识别模型map-pdet的建立包括如下步骤：3.1)基于互联网地图服务提供的接口，获取划定区域的地图轮廓，将将地图附加兴趣点的场所名称及介绍说明进行提取，并对涉及植被覆盖相关语义文字及图像进行标签标注；3.2)基于划定的地图数据，并结合街道全景地图采用梯度下降法进行训练，得到地图资源植被覆盖识别模型map-pdet。
11.进一步的，视频资源植被覆盖识别模型video-pdet的建立包括如下步骤：4.1)在航拍网站、视频网站或公开监控视频中采集通过俯视角度拍摄的城市的视频，并进行植被覆盖标注；4.2)利用采集的俯视视频数据采用梯度下降法进行训练，得到视频资源植被覆盖识别模型video-pdet。
12.进一步的，环境监控植被覆盖识别模型iot-det的建立包括如下步骤：
5.1)采集来自环境监控装置的互联网数据，根据环境监控装置位置进行植被覆盖标注；5.2)基于环境监控装置采集的温湿度、氧气浓度、二氧化碳浓度、光照度、空气质量数据采用梯度下降法训练得到环境监控植被覆盖识别模型iot-det。
13.进一步的，遥感影像植被覆盖识别模型rs-pdet、社交媒体资源植被覆盖识别模型social-pdet、地图资源植被覆盖识别模型map-pdet、视频资源植被覆盖识别模型video-pdet及环境监控植被覆盖识别模型iot-det参数固定后通过融合操作得到融合识别模型pfusion。
14.本发明的有益效果是：充分考虑遥感图像光谱特征特点以及城市植被覆盖的特点，通过大数据、遥感技术、深度学习等多种技术融合，最大限度的利用互联网在线资源，基于遥感影像，结合社交媒体、视频航拍、地图数据、公开监控视频、环境监测装置采集的数据等互联网资源，设计城市植被覆盖识别模型，实现城市植被覆盖的准确识别，合理的利用了互联网资源，对于社交媒体集体贡献的数据进行综合分析，并融合多种数据源，提升了识别准确率，为城市的植被调查以及更加合理有效的生态规划和建设提供有力的支撑。另外，利用了在线地图的道路、场所数据以及兴趣点等附加信息，简化了城市植被覆盖识别的处理内容，提升处理效率和准确度。
附图说明
15.图1为本发明的城市植被覆盖识别模型的结构图。
具体实施方式
16.下面结合附图1对本发明做进一步说明。
17.一种基于深度学习的城市遥感影像植被覆盖识别方法，包括如下步骤：a)选定城市范围，截取遥感影像；b)将遥感影像集合地图数据信息，利用道路信息、河流信息作为标志，对遥感影像进行分割，形成细粒度的区域位置范围；c)选取区域位置范围，根据位置信息，在互联网的社交媒体、地图服务、视频网站、环境监控网站中分别获取社交媒体数据、视频航拍数据、地图数据、公开监控视频数据、环境监测装置采集的数据；d)将步骤b)和步骤c)中得到的数据输入到城市植被覆盖识别模型cpc-det中进行识别，识别出区域植被覆盖信息；e)便利城市范围内的所有区域，识别出植被覆盖信息；f)对城市植被覆盖识别模型cpc-det采用梯度下降法进行重训练，持续优化城市植被覆盖识别模型cpc-det。
18.充分利用遥感影像和互联网资源，采用深度学习技术设计城市植被覆盖识别模型，对影响城市植被覆盖识别的各种因素进行融合，实现城市植被覆盖的准确识别，为城市的植被调查以及更加合理有效的生态规划和建设提供有力的支撑。
19.遥感影像是通过卫星拍摄得到的多光谱特征进行量化形成的图像，通常卫星会有传感装置、高分辨率集合装置、植被探测装置以及立体成像装置，遥感影像包含空间特征和
光谱特征，通过图像的亮度、灰度、像素值等反映光谱信息量化的辐射值；所述的互联网资源包括社交媒体、视频航拍、地图数据、公开监控视频、环境监测装置采集的数据等；所述的社交媒体主要指微博等公开数据，包含文字描述和图像，同时包含位置信息，可以通过社交媒体提供的服务来获取；所述的视频航拍来自公开的航拍网站或者视频网站，通过俯视角度来拍摄城市；所述的地图数据是表明区域位置及实际场所的公开数据，也可以包含全景地图，主要采集道路两侧的影像信息；所述的公开监控视频来自在互联网上直接访问的视频数据，主要使用高空俯视视频，并标定其位置信息；所述的环境监测装置是分布在城市广场、公园、路灯等公共区域位置的物联网采集装置，负责采集环境数据。
20.充分考虑遥感图像光谱特征特点以及城市植被覆盖的特点，通过大数据、遥感技术、深度学习等多种技术融合，最大限度的利用互联网在线资源，基于遥感影像，结合社交媒体、视频航拍、地图数据、公开监控视频、环境监测装置采集的数据等互联网资源，设计城市植被覆盖识别模型，实现城市植被覆盖的准确识别；与传统的仅采用遥感技术的方法相比，利用深度学习遥感影像图像识别，能更加有效的发现影像与植被覆盖的深层关系，提升识别准确率，另一方面，合理的利用了互联网资源，对于社交媒体集体贡献的数据进行综合分析，并融合多种数据源，提升了识别准确率，为城市的植被调查以及更加合理有效的生态规划和建设提供有力的支撑。另外，利用了在线地图的道路、场所数据以及兴趣点等附加信息，简化了城市植被覆盖识别的处理内容，提升处理效率和准确度。
21.实施例1：步骤d)中城市植被覆盖识别模型cpc-det由遥感影像植被覆盖识别模型rs-pdet、社交媒体资源植被覆盖识别模型social-pdet、地图资源植被覆盖识别模型map-pdet、视频资源植被覆盖识别模型video-pdet及环境监控植被覆盖识别模型iot-det及融合识别模型pfusion构成。
22.实施例2：遥感影像植被覆盖识别模型rs-pdet的建立包括如下步骤：1.1)收集城市遥感影像数据并进行植被覆盖区域标注；1.2)选取faster r-cnn模型或ssd模型或yolo模型作为通用俯视图植被识别模型，选择通用俯视图植被识别模型涉及cnn植被图像识别模块rs-cnn；1.3)根据cnn植被图像识别模块rs-cnn的输入图像尺寸要求，将遥感影像数据以道路信息、河流信息作为标志进行图像切割；1.4)对cnn植被图像识别模块rs-cnn模型进行训练；1.5)基于植被指数ndvi，融合光谱和纹理特征提取植被，得到遥感影像分析模块rs-anl，对遥感影像数据进行分析识别；1.6)固定cnn植被图像识别模块rs-cnn模型参数，利用遥感影像分析模块rs-anl识别结果和rs-cnn模型识别结果采用梯度下降法全连接操作，得到融合模块rs-fc；1.7)获得基于融合模块rs-fc的遥感影像植被覆盖识别模型rs-pdet。
23.实施例3：社交媒体资源植被覆盖识别模型social-pdet的建立包括如下步骤：2.1)收集社交媒体的数据，对涉及植物覆盖相关语义文字及图像进行标签标注；2.2)利用自然语言处理语义bert语言模型设定植被覆盖语义关键字，基于收集的
社交媒体的数据进行训练，得到植被覆盖文字语义识别模型；2.3)利用图像目标检测ssd模型基于社交媒体图像采用梯度下降法操作，得到植被覆盖图像检测模型；2.4)将同一条社交媒体记录的文字和图像融合，基于植被覆盖文字语义识别模型和植被覆盖图像检测模型采用梯度下降法操作，得到社交媒体记录植被覆盖识别模型；2.5)将若干条社交媒体记录数据以序列形式输入到社交媒体记录植被覆盖识别模型，采用梯度下降法操作，得到社交媒体资源植被覆盖识别模型social-pdet。
24.实施例4：地图资源植被覆盖识别模型map-pdet的建立包括如下步骤：3.1)基于互联网地图服务提供的接口，获取划定区域的地图轮廓，将将地图附加兴趣点的场所名称及介绍说明进行提取，并对涉及植被覆盖相关语义文字及图像进行标签标注；3.2)基于划定的地图数据，并结合街道全景地图采用梯度下降法进行训练，得到地图资源植被覆盖识别模型map-pdet。
25.实施例5：视频资源植被覆盖识别模型video-pdet的建立包括如下步骤：4.1)在航拍网站、视频网站或公开监控视频中采集通过俯视角度拍摄的城市的视频，并进行植被覆盖标注；4.2)利用采集的俯视视频数据采用梯度下降法进行训练，得到视频资源植被覆盖识别模型video-pdet。
26.实施例6：环境监控植被覆盖识别模型iot-det的建立包括如下步骤：5.1)采集来自环境监控装置的互联网数据，根据环境监控装置位置进行植被覆盖标注；5.2)基于环境监控装置采集的温湿度、氧气浓度、二氧化碳浓度、光照度、空气质量数据采用梯度下降法训练得到环境监控植被覆盖识别模型iot-det。
27.实施例7：遥感影像植被覆盖识别模型rs-pdet、社交媒体资源植被覆盖识别模型social-pdet、地图资源植被覆盖识别模型map-pdet、视频资源植被覆盖识别模型video-pdet及环境监控植被覆盖识别模型iot-det参数固定后通过融合操作得到融合识别模型pfusion。
28.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于，包括如下步骤：a)选定城市范围，截取遥感影像；b)将遥感影像集合地图数据信息，利用道路信息、河流信息作为标志，对遥感影像进行分割，形成细粒度的区域位置范围；c)选取区域位置范围，根据位置信息，在互联网的社交媒体、地图服务、视频网站、环境监控网站中分别获取社交媒体数据、视频航拍数据、地图数据、公开监控视频数据、环境监测装置采集的数据；d)将步骤b)和步骤c)中得到的数据输入到城市植被覆盖识别模型cpc-det中进行识别，识别出区域植被覆盖信息；e)便利城市范围内的所有区域，识别出植被覆盖信息；f)对城市植被覆盖识别模型cpc-det采用梯度下降法进行重训练，持续优化城市植被覆盖识别模型cpc-det。2.根据权利要求1所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于：步骤d)中城市植被覆盖识别模型cpc-det由遥感影像植被覆盖识别模型rs-pdet、社交媒体资源植被覆盖识别模型social-pdet、地图资源植被覆盖识别模型map-pdet、视频资源植被覆盖识别模型video-pdet及环境监控植被覆盖识别模型iot-det及融合识别模型pfusion构成。3.根据权利要求2所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于，遥感影像植被覆盖识别模型rs-pdet的建立包括如下步骤：1.1)收集城市遥感影像数据并进行植被覆盖区域标注；1.2)选取faster r-cnn模型或ssd模型或yolo模型作为通用俯视图植被识别模型，选择通用俯视图植被识别模型涉及cnn植被图像识别模块rs-cnn；1.3)根据cnn植被图像识别模块rs-cnn的输入图像尺寸要求，将遥感影像数据以道路信息、河流信息作为标志进行图像切割；1.4)对cnn植被图像识别模块rs-cnn模型进行训练；1.5)基于植被指数ndvi，融合光谱和纹理特征提取植被，得到遥感影像分析模块rs-anl，对遥感影像数据进行分析识别；1.6)固定cnn植被图像识别模块rs-cnn模型参数，利用遥感影像分析模块rs-anl识别结果和rs-cnn模型识别结果采用梯度下降法全连接操作，得到融合模块rs-fc；1.7)获得基于融合模块rs-fc的遥感影像植被覆盖识别模型rs-pdet。4.根据权利要求2所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于，社交媒体资源植被覆盖识别模型social-pdet的建立包括如下步骤：2.1)收集社交媒体的数据，对涉及植物覆盖相关语义文字及图像进行标签标注；2.2)利用自然语言处理语义bert语言模型设定植被覆盖语义关键字，基于收集的社交媒体的数据进行训练，得到植被覆盖文字语义识别模型；2.3)利用图像目标检测ssd模型基于社交媒体图像采用梯度下降法操作，得到植被覆盖图像检测模型；2.4)将同一条社交媒体记录的文字和图像融合，基于植被覆盖文字语义识别模型和植被覆盖图像检测模型采用梯度下降法操作，得到社交媒体记录植被覆盖识别模型；
2.5)将若干条社交媒体记录数据以序列形式输入到社交媒体记录植被覆盖识别模型，采用梯度下降法操作，得到社交媒体资源植被覆盖识别模型social-pdet。5.根据权利要求2所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于，地图资源植被覆盖识别模型map-pdet的建立包括如下步骤：3.1)基于互联网地图服务提供的接口，获取划定区域的地图轮廓，将将地图附加兴趣点的场所名称及介绍说明进行提取，并对涉及植被覆盖相关语义文字及图像进行标签标注；3.2)基于划定的地图数据，并结合街道全景地图采用梯度下降法进行训练，得到地图资源植被覆盖识别模型map-pdet。6.根据权利要求2所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于，视频资源植被覆盖识别模型video-pdet的建立包括如下步骤：4.1)在航拍网站、视频网站或公开监控视频中采集通过俯视角度拍摄的城市的视频，并进行植被覆盖标注；4.2)利用采集的俯视视频数据采用梯度下降法进行训练，得到视频资源植被覆盖识别模型video-pdet。7.根据权利要求2所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于，环境监控植被覆盖识别模型iot-det的建立包括如下步骤：5.1)采集来自环境监控装置的互联网数据，根据环境监控装置位置进行植被覆盖标注；5.2)基于环境监控装置采集的温湿度、氧气浓度、二氧化碳浓度、光照度、空气质量数据采用梯度下降法训练得到环境监控植被覆盖识别模型iot-det。8.根据权利要求2所述的基于深度学习的城市遥感影像植被覆盖识别方法，其特征在于：遥感影像植被覆盖识别模型rs-pdet、社交媒体资源植被覆盖识别模型social-pdet、地图资源植被覆盖识别模型map-pdet、视频资源植被覆盖识别模型video-pdet及环境监控植被覆盖识别模型iot-det参数固定后通过融合操作得到融合识别模型pfusion。

技术总结
一种基于深度学习的城市遥感影像植被覆盖识别方法，充分考虑遥感图像光谱特征特点以及城市植被覆盖的特点，通过大数据、遥感技术、深度学习等多种技术融合，最大限度的利用互联网在线资源，基于遥感影像，结合社交媒体、视频航拍、地图数据、公开监控视频、环境监测装置采集的数据等互联网资源，设计城市植被覆盖识别模型，实现城市植被覆盖的准确识别，合理的利用了互联网资源，对于社交媒体集体贡献的数据进行综合分析，并融合多种数据源，提升了识别准确率，为城市的植被调查以及更加合理有效的生态规划和建设提供有力的支撑。另外，利用了在线地图的道路、场所数据以及兴趣点等附加信息，简化了城市植被覆盖识别的处理内容。简化了城市植被覆盖识别的处理内容。简化了城市植被覆盖识别的处理内容。


技术研发人员：孙善宝
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2022.02.08
技术公布日：2022/5/25