本发明涉及建筑外墙安全领域的图像处理技术,尤其涉及一种建筑外墙裂缝检测方法、系统、介质及程序产品。
背景技术:
1、对于已经建成并交付使用一定年限的建筑而言,建筑外墙可能存在一定的损伤,比如出现裂缝,这对建筑物安全造成了一定的隐患。所以,检测建筑外墙是否出现如裂缝这类的损伤对确保建筑外墙安全而言尤为重要,现有的裂缝检测技术分为基于传统方法和基于深度学习的方法两种。
2、传统方法主要利用数字图像处理技术,比如阈值分割法和边缘检测算法,虽然简单但是使用场景单一,缺乏鲁棒性和泛化性。近年来,深度学习技术在视觉领域展现出强大的图像特征提取能力和复杂结构表达能力,将其引入裂缝检测任务中,成为了裂缝检测的发展趋势,这进一步提高了裂缝检测精度以及复杂场景下的鲁棒性和泛化性。例如cracksegnet(image-based concrete crack detection in tunnels using deep fullyconvolutional networks. construction and building materials 234 (2020):117367)利用卷积神经网络搭建基于编码器-解码器的网络结构,并且引入了空洞卷积和空间金字塔池化,在一定程度上增加了感受野,捕获了图像的多尺度信息,使网路能够获取更广泛的上下文信息,提升裂缝检测的识别精度。emra-net(emra-net: a pixel-wisenetwork fusing local and global features for tiny and low-contrast surfacedefect detection. ieee transactions on instrumentation and measurement71(2022): 1-14)基于预训练的resnet34,提出了金字塔边缘模块和多尺度融合模块,通过多尺度融合模块的自学习加权,将局部金字塔边缘特征、全局卷积特征和全局动态多尺度特征进行有效融合,以有效提升微小缺陷的检测精度。crackfomer-ii(crackformer networkfor pavement crack segmentation. ieee transactions on intelligenttransportation systems (2023))将新颖的transformer编码器模块嵌入到类似segnet的编码器-解码器结构中,利用transformer的自注意力机制获取图像中的长距离依赖关系,此外,提出了尺度关注融合模块,将各编码器和解码器块的结果进行融合,以突出语义特征,更好地识别裂缝特征。apfnet (an attention-based progressive fusion networkfor pixelwise pavement crack detection. measurement 226 (2024): 114159)将可分离卷积引入裂缝检测以减少模型的参数量,通过跨层特征的学习融合实现多尺度特征增强,并且利用混合多重注意力模块捕获裂缝的长期依赖关系以提升识别裂缝的能力。虽然已经有许多利用深度学习的先进的方法提出用于裂缝检测,但是现有的裂缝识别方法仍然面临着巨大的挑战:
3、(1)裂缝形状和尺寸各异,从细小的裂纹到较大的断裂带,容易造成分割过程中裂缝的断裂,增加了识别完整裂缝的难度。
4、(2)提高分割精度通常需要更复杂的算法和更多的计算资源,且处理速度下降;反之,采用简单的模型提升处理速度又可能会在一定程度上降低分割的精度。
技术实现思路
1、针对背景技术中的问题,本发明的目的在于提供一种建筑外墙裂缝检测方法、系统、介质及程序产品,提升裂缝结构提取的精细程度,提高建筑外墙裂缝的检测精度和鲁棒性。
2、第一方面,提供了一种建筑外墙裂缝检测方法,包括如下步骤:
3、获取待检测建筑外墙图像;
4、将待检测建筑外墙图像输入训练好的建筑外墙裂缝检测模型中,输出建筑外墙裂缝检测结果;
5、其中,所述建筑外墙裂缝检测模型包括编码器和解码器;
6、所述编码器采用vmamba(视觉状态空间模型)编码器,用于提取图像特征,得到四个阶段不同分辨率的特征图;
7、所述解码器利用vmamba的视觉状态空间块和卷积神经网络构建,并引入细节引导的门控融合机制融合编码器和解码器各个阶段不同分辨率的特征图,最后再通过一个残差模块和分类头,得到裂缝检测结果。
8、进一步地,所述编码器先将输入的待检测建筑外墙图像划分成块,保留图像的二维结构,每个阶段通过堆叠多个视觉状态空间块进行构建,四个阶段的视觉状态空间块的数量分别为2、2、4、2,且在输入下一阶段之前对上一阶段的特征图进行下采样操作,最终得到四个阶段不同分辨率的特征图。
9、进一步地,所述解码器先将编码器最后一阶段的特征图输入到一个视觉状态空间块中,再经过卷积模块,得到相应的特征图,对其进行上采样后与编码器相应阶段的特征图进行特征融合;再重复上述过程,直到得到解码器最后一阶段的特征图;将解码器最后一阶段的特征图再经过一个残差模块得到映射特征,最后通过一个分类头得到裂缝检测结果。
10、进一步地,所述引入细节引导的门控融合机制融合编码器和解码器各个阶段不同分辨率的特征图,具体包括:
11、将来自解码器的特征图fd来自编码器相应阶段的特征图fe和进行相加;
12、将相加后得到的特征图x输入到细节引导的注意力模块,经过门控机制sigmoid激活函数后得到融合权重w;
13、将特征图fe与融合权重w相乘,相应地,将特征图fd与1-w相乘,得到各自经过了细节引导和增强后的特征图;
14、最后将增强后的特征图与原始的fe以及fd进行相加,以保留更多的信息,并通过一个1×1卷积层调整通道数得到编码层特征和解码层特征最终的融合特征,具体如下:
15、
16、式中,为卷积核为1×1的卷积操作;
17、所述细节引导的注意力模块充分利用了空间注意力机制和通道注意力机制,首先对特征图x在通道维度上分别进行最大池化和平均池化操作,再将输出的两张特征图在通道维度上进行拼接后通过7×7卷积层调整特征图的通道数,以获取特征图中不同位置相应的关注度,具体为:
18、
19、式中,为卷积核为7×7的卷积操作,gap为平均池化操作,gmp为最大池化操作,[]表示在通道维度上进行拼接;
20、对特征图x在空间维度上进行最大池化操作,为了减少参数数量降低模型复杂度,使用1×1卷积层将通道维数从c降至c/r,第二次1×1卷积层将通道维数扩展回c,r设置为16,得到通道关注度;通过将与相加,得到初步的特征关注图,具体如下:
21、
22、
23、式中,relu为线性激活函数;
24、再利用输入特征图x作为指导来生成最终的特征关注图;将特征图x与特征关注图wcos在通道维度上进行拼接,对其进行通道洗牌重新排列后输入到5×5的分组卷积当中,为了增强特征减少信息的丢失,增加了残差连接,使用1×1卷积层对齐二者的通道数;最后经过sigmoid激活函数得到最终的融合权重,具体为:
25、
26、其中,为sigmoid激活函数,为卷积核为5×5的分组卷积,cs为通道洗牌。
27、进一步地,还包括:
28、利用数字图像处理的方法估算裂缝的几何特征,采用基于骨架线提取的方法估算裂缝的像素长度,利用最大内切圆算法估算裂缝的最大像素宽度;
29、将裂缝的像素长度以及最大像素宽度根据图像对应空间分辨率换算成裂缝的实际长度和宽度,以便能够对建筑外墙的损伤情况进行评估。
30、进一步地,所述采用基于骨架线提取的方法估算裂缝像素长度,具体包括:
31、对裂缝检测结果图像中裂缝的骨架进行提取,通过计算提取到的骨架线的长度得到裂缝的像素长度;
32、所述利用最大内切圆算法估算裂缝的最大像素宽度,具体包括:
33、提取并标记裂缝检测结果图像上的裂缝轮廓;
34、构建包含裂缝的最小外接矩形框,通过射线法判断矩形框内的像素点是否在裂缝轮廓内,引一条射线从待判断像素点穿过裂缝轮廓,与裂缝轮廓相交的个数若为奇数,则为裂缝轮廓内的点,反之为裂缝轮廓外的点,以获取裂缝轮廓内所有像素点的坐标;
35、计算裂缝轮廓内每个像素点到裂缝轮廓的内切圆半径,利用二分法计算出最大内切圆的像素半径,裂缝的最大像素宽度为最大内切圆像素半径的两倍。
36、进一步地,训练建筑外墙裂缝检测模型过程中,采用的损失函数为交叉熵损失函数,其公式如下:
37、
38、其中,l表示交叉熵损失,表示样本真实标签,表示建筑外墙裂缝检测模型预测的概率值。
39、第二方面,提供了一种建筑外墙裂缝检测系统,包括:
40、存储器,其上存储有计算机程序或指令;
41、处理器,用于加载并执行所述计算机程序或指令,以实现如前所述的建筑外墙裂缝检测方法。
42、第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序或指令,所述计算机程序或指令被处理器执行时实现如前所述的建筑外墙裂缝检测方法。
43、第四方面,提供了一种计算机程序产品,所述计算机程序产品内存储有计算机程序或指令,所述计算机程序或指令被处理器执行时实现如前所述的建筑外墙裂缝检测方法。
44、本发明提出了一种建筑外墙裂缝检测方法、系统、介质及程序产品,与现有技术相比,本发明主要具有下述优势:本发明引入了vmamba编码器进行裂缝检测,并利用视觉状态空间模块和卷积神经网络构建了解码器,充分利用了vmamba的优势,在一定程度上解决了transformer在计算复杂度上的局限性,提升了计算速率,同时保留其全局感受野和动态权重的优势,并且通过卷积神经网络保留了网络对于局部特征的提取能力,从而提高对完整裂缝提取的能力;引入了细节引导的自适应门控融合策略以便能够更好地融合来自不同阶段的编码特征和解码特征,对形状多变、尺度各异的裂缝结构特征进行学习,进一步提升裂缝结构提取的精细程度,增强对形状复杂的裂缝特征的学习,提高建筑外墙裂缝的检测精度和鲁棒性。
1.一种建筑外墙裂缝检测方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的建筑外墙裂缝检测方法,其特征在于,所述编码器先将输入的待检测建筑外墙图像划分成块,保留图像的二维结构,每个阶段通过堆叠多个视觉状态空间块进行构建,四个阶段的视觉状态空间块的数量分别为2、2、4、2,且在输入下一阶段之前对上一阶段的特征图进行下采样操作,最终得到四个阶段不同分辨率的特征图。
3.根据权利要求1所述的建筑外墙裂缝检测方法,其特征在于,所述解码器先将编码器最后一阶段的特征图输入到一个视觉状态空间块中,再经过卷积模块,得到相应的特征图,对其进行上采样后与编码器相应阶段的特征图进行特征融合;再重复上述过程,直到得到解码器最后一阶段的特征图;将解码器最后一阶段的特征图再经过一个残差模块得到映射特征,最后通过一个分类头得到裂缝检测结果。
4.根据权利要求1所述的建筑外墙裂缝检测方法,其特征在于,所述引入细节引导的门控融合机制融合编码器和解码器各个阶段不同分辨率的特征图,具体包括:
5.根据权利要求1所述的建筑外墙裂缝检测方法,其特征在于,还包括:
6.根据权利要求5所述的建筑外墙裂缝检测方法,其特征在于,所述采用基于骨架线提取的方法估算裂缝像素长度,具体包括:
7.根据权利要求1所述的建筑外墙裂缝检测方法,其特征在于,训练建筑外墙裂缝检测模型过程中,采用的损失函数为交叉熵损失函数,其公式如下:
8.一种建筑外墙裂缝检测系统,其特征在于,包括:
9.一种计算机可读存储介质,其上存储有计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现如权利要求1~7任一项所述的建筑外墙裂缝检测方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品内存储有计算机程序或指令,所述计算机程序或指令被处理器执行时实现如权利要求1~7任一项所述的建筑外墙裂缝检测方法。
