本发明涉及应用领域为城市内涝监测领域，尤其涉及一种基于图像智能分类的城市内涝积水深度识别方法。
背景技术：
1、近年来，由于全球气候变化，城市地区极端降水事件发生的频率和强度明显增加。同时，随着城市化进程不断加快，城市区域不透水面积增大，加之排水系统能力不足，使得城市洪涝灾害发生的风险也进一步增加，威胁居民生命财产安全。为了高效地开展城市内涝灾害应急工作，亟需对城市道路积水进行实时监测，为城市内涝快速响应提供技术支持。传统的人工监测方法耗费大量人力物力，无法保证内涝监测的及时性，且对监测人员的人身安全造成隐患；传感器监测方法的安装和维护成本高，难以满足全面开展城市内涝监测的需求。
2、随着城市化水平的不断提高，大量交通监控摄像头已广泛布设于城市道路网络中，可以完整记录城市洪涝的过程，为对积水信息进行实时监测提供了数据源。而深度学习技术的不断发展为开发低成本图像处理器提供了有效的技术途径，在城市内涝积水深度监测任务中表现出极佳的性能。chaudhary等(chaudhary p,d’aronco s,moy de vitry m,etal.flood-water level estimation from social media images[j].isprs annals ofthe photogrammetry,remote sensing and spatialinformation sciences,2019.doi:10.5194/isprs-annals-iv-2-w5-5-2019.)以人体、汽车、公交车、自行车以及房屋作为标识物，利用mask rcnn将积水深度划为11个水深等级。黄晶等(黄晶,王慧敏,康晋乐,等.一种基于深度学习的城市积水深度监测方法[p].江苏省:cn202010004348.3,2020-06-05.)提出了一种基于maskrcnn的城市积水深度监测方法，使用汽车轮胎作为标识物，利用高差法和勾股定理计算监控图像中的积水深度。然而，目前相关技术方法均依赖于固定的参照物，只有当图像中包含有理想参照物时才有效，其普遍适用性较低。因此，本发明首次提出通过分割积水区域后再进行积水深度分级的技术框架，突破了已有的深度学习检测道路积水技术对积水标识物的依赖，提高了图像智能识别道路积水深度的普适性。本发明可以快速、全面地实现道路积水深度的远程实时监测，为城市洪涝预警和应急响应提供数据支持。
技术实现思路
1、为解决传统城市内涝监测方式大量耗费人力物力财力、实时性差、稳定性不足，以及现有深度学习内涝检测技术依赖固定的参照物，普遍适用性较低的问题，本发明提供一种基于图像智能分类的城市内涝积水深度识别方法，通过利用监控视频与同步的积水深度资料训练深度学习图像识别模型，其成果可用于快速识别积水深度等级，实现城市内涝实时监测。
2、本发明的目的至少通过如下技术方案之一实现。
3、一种基于图像智能分类的城市内涝积水深度识别方法，包括如下步骤：
4、s1、获取城市内涝监控摄像头拍摄的视频，从视频中截取包含有人眼可识别水域的单帧图像作为初始图像数据；
5、s2、对初始图像数据集中的单帧图像中可见的积水范围进行边界描绘和标签制作；
6、s3、采用数据增强技术对初始图像数据集进行扩充，生成图像数据，并划分为第一训练集、第一验证集和第一测试集，转换为图像分割网络模型可读取的数据集格式；
7、s4、调整图像分割网络模型参数，对扩充数据后的初始图像数据集中的单帧图像的可见的积水范围进行学习训练，得到训练完成的图像分割网络模型；利用训练完成的图像分割网络模型批量推理城市内涝监控图像，得到已分割积水区域的图像，并以已分割积水区域的图像作为下一步训练图像分类网络模型的数据源；
8、s5、根据城市道路实测积水深度数据，制作步骤s4中所述已分割积水区域的图像的积水深度等级数据标签，并将已分割积水区域的图像及其标签划分为第二训练集、第二验证集和第二测试集；
9、s6、调整图像分类网络模型参数，对第二训练集、第二验证集中已分割积水区域的图像的积水深度等级进行学习训练，得到训练完成的图像分类网络模型；
10、s7、对输入图像进行预测时，依次经过训练完成的图像分割模型和图像分类模型的预测，最终输出道路积水深度等级。
11、进一步地，步骤s2中，使用labelme数据标注软件制作积水范围边界标签，具体做法是将图像导入labelme数据标注软件中，选择创建多边形开始进行标注，依次对图像中可见的积水区域的边界进行描点、连线，最终首尾相连生成刚好囊括积水区域的封闭多边形，赋予生成的封闭多边形标签为‘water’，为每个图像创建对应的labelme格式的json标签文件。
12、进一步地，步骤s3中，具体包括如下内容：
13、s3.1、采用数据增强技术对初始图像数据集进行扩充，包括改变亮度、添加噪声、添加随机点、平移图像、翻转图像、缩小图像分辨率，生成更多积水图像，同时对步骤s2中生成的图像标签进行相应的变换增强处理，实现初始图像数据集的扩增，以提高数据集的多样性和泛化能力；
14、s3.2、将初始图像数据集中经过数据增强的所有图像按照8:1:1的比例随机划分为第一训练集、第一验证集和第一测试集，同时转换为图像分割网络模型可读取的数据集格式。
15、进一步地，步骤s3中，进行积水区域分割所采用的图像分割网络模型为fast-scnn。
16、进一步地，步骤s4中，具体包括如下内容：
17、s4.1、在图像分割网络模型中注册第一训练集、第一验证集和第一测试集的路径及类别，根据计算机性能和项目要求自定义主要训练参数，包括基础学习率、学习率衰减、每批次样本数大小、工作进程数、迭代次数、训练轮次、训练日志记录间隔、权重文件保存间隔，开始进行图像分割网络模型的训练；
18、s4.2、训练完成后根据交并比(iou)、precision和recall评估图像分割网络模型的积水检测效果，并进一步通过调整网络模型参数，反复多次进行训练，直到模型训练效果达到最优即完成训练，并生成最终的模型权重文件，得到训练完成的图像分割网络模型；利用训练完成的图像分割网络模型批量推理城市内涝监控图像，得到已分割积水区域的图像，已分割积水区域的图像为二值图像，积水区域的像素灰度值被赋值为255，即白色，背景区域的像素灰度值被赋值为0，即黑色。
19、进一步地，步骤s5中，所述城市道路实测积水深度数据为与监控视频时间上同步记录的道路积水监控点处积水深度，根据该数据制作已分割积水区域的图像的积水深度等级数据标签，并按照8:1:1的比例随机划分为第二训练集、第二验证集和第二测试集。
20、进一步地，通过子文件夹方式制作积水深度等级数据标签，该方法按照已分割积水区域的每一张图像所属的不同积水深度等级，将图像放到自命名的子文件夹下，子文件夹的名称即是图像所属的积水深度等级，子文件夹名称将被识别为图像所属类别的名称。
21、进一步地，所述图像分类网络模型采用resnet模型。
22、进一步地，步骤s6中，在图像分类网络模型中注册第二训练集、第二验证集和第二测试集的路径及类别，根据计算机性能和项目要求自定义主要训练参数，包括基础学习率、学习率衰减、每批次样本数大小、工作进程数、迭代次数、训练轮次、训练日志记录间隔、权重文件保存间隔，开始进行图像分类网络模型的训练；训练完成后根据多类别平均精度(map)、recall评估图像分类网络模型的积水深度分级效果，并进一步通过调整网络模型参数，反复多次进行训练，直到模型训练效果达到最优即完成训练，并生成最终的模型权重文件，得到完成训练的图像分类网络模型。
23、进一步地，步骤s7中，基于fast-scnn和resnet模型训练得到的权重文件，对输入图像进行预测时，依次经过训练完成的fast-scnn模型和resnet模型的预测，最终输出道路积水深度等级。
24、本发明的有益效果在于：
25、1.突破了已有的深度学习检测道路积水技术对积水标识物的依赖，提高了图像智能识别道路积水深度的普适性。
26、2.水域分割模型和积水深度分级模型的推理速度较高，理论上实现直接调取摄像头进行推理的可能性。
27、3.通过采用深度学习图像识别技术，不需耗费大量的人力物力财力进行人工监测，通过远程终端操作即可对内涝点进行实时监测，从而实现自动提取监控现场内涝积水点处的积水深度等级。
1.一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s2中，使用labelme数据标注软件制作积水范围边界标签，具体做法是将图像导入labelme数据标注软件中，选择创建多边形开始进行标注，依次对图像中可见的积水区域的边界进行描点、连线，最终首尾相连生成刚好囊括积水区域的封闭多边形，赋予生成的封闭多边形标签为‘water’，为每个图像创建对应的labelme格式的json标签文件。
3.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s3中，具体包括如下内容：
4.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s3中，进行积水区域分割所采用的图像分割网络模型为fast-scnn。
5.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s4中，具体包括如下内容：
6.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s5中，所述城市道路实测积水深度数据为与监控视频时间上同步记录的道路积水监控点处积水深度，根据该数据制作已分割积水区域的图像的积水深度等级数据标签，并按照8:1:1的比例随机划分为第二训练集、第二验证集和第二测试集。
7.根据权利要求6所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，通过子文件夹方式制作积水深度等级数据标签，该方法按照已分割积水区域的每一张图像所属的不同积水深度等级，将图像放到自命名的子文件夹下，子文件夹的名称即是图像所属的积水深度等级，子文件夹名称将被识别为图像所属类别的名称。
8.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s6中，所述图像分类网络模型采用resnet模型。
9.根据权利要求1所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s6中，在图像分类网络模型中注册第二训练集、第二验证集和第二测试集的路径及类别，根据计算机性能和项目要求自定义主要训练参数，包括基础学习率、学习率衰减、每批次样本数大小、工作进程数、迭代次数、训练轮次、训练日志记录间隔、权重文件保存间隔，开始进行图像分类网络模型的训练；训练完成后根据多类别平均精度(map)、recall评估图像分类网络模型的积水深度分级效果，并进一步通过调整网络模型参数，反复多次进行训练，直到模型训练效果达到最优即完成训练，并生成最终的模型权重文件，得到完成训练的图像分类网络模型。
10.根据权利要求1～9任一项所述的一种基于图像智能分类的城市内涝积水深度识别方法，其特征在于，步骤s7中，基于fast-scnn和resnet模型训练得到的权重文件，对输入图像进行预测时，依次经过训练完成的fast-scnn模型和resnet模型的预测，最终输出道路积水深度等级。
