本发明涉及目标检测,特别是涉及一种多尺度高斯注意力的小目标检测方法、装置、设备和介质。
背景技术:
1、随着计算机视觉的快速发展,特别是深度学习的广泛应用和残差网络的提出,目标检测的性能在速度和准确性方面都取得了相当大的进步。例如,最新发布的yolov10实现了毫秒级检测,具有相当优秀的精度,而且参数量仅为2.3m,在日常生活中,基于目标检测技术的应用越来越成为不可或缺的一部分,如医疗健康、智慧交通、环境保护等领域。近年来,许多研究人员致力于提高目标检测器的性能,受人类观察事物的方式所启发,注意力机制成为最受欢迎的研究领域之一。尽管有很多关于常规目标检测注意力机制的研究,但是专门为微小目标检测设计的方法还比较欠缺。
2、经分析发现,传统的用于常规目标和微小目标检测的注意力机制存在一些没有考虑全面的地方。第一,在计算通道注意力和空间注意力的过程中,通常只使用一个尺寸的卷积核进行卷积操作,这使得卷积运算过程中只考虑了一种尺度的感受野。众所周知,小目标检测数据集中目标对象的大小变化也很显著。例如,在visdrone2019数据集的同一图像中,既有非常小的目标对象,也有非常大的目标对象,因此,固定的感受野可能不适合一些具有尺度变化目标对象的应用场景。一些改进的方法在计算过程中使用了不同尺度的卷积核,但只是简单地将它们加起来,并没有考虑到不同感受野可能具有不同权重的特点;第二,传统方法大多只考虑了通道注意力和空间注意力中的某一种,这使得模型没有充分利用通道信息和空间信息,尽管一些方法同时考虑了通道注意力和空间注意力,但它们使用级联结构,或者简单地将两种类型的注意力特征相乘,这可能会导致信息混乱,从而影响检测性能;第三,大多数现有的通道注意力和空间注意力机制依赖于一系列卷积层或全连接层,这会给网络带来一些额外的参数。此外,考虑到图像中的大多数小目标对象可能总是集中在某一个特定的区域,但现有的大部分计算注意力特征的方法没有考虑这一点,这可能会导致注意力向量受到周围噪声的干扰,从而导致模型无法更好地聚焦于重要的通道或区域。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种考虑不同感受野的权重特点、避免信息混乱、减少噪声干扰,提高检测性能,增强鲁棒性的多尺度高斯注意力的小目标检测方法、装置、设备和介质。
2、一种多尺度高斯注意力的小目标检测方法,所述方法包括:
3、获取待检测图像;对所述待检测图像进行卷积处理,得到第一特征图;
4、通过若干并行的全局平均池化操作对所述第一特征图进行特征提取,输出不同尺度下对应的第二特征图;
5、对各所述第二特征图进行全局平均池化和全局最大池化处理,得到通道注意力权重;通过一维高斯分布对所述通道注意力权重进行建模,得到建模后的通道注意力权重;将建模后的通道注意力权重与所述第二特征图相应通道相乘,得到通道注意力特征图;
6、对各所述第二特征图进行均值处理和最大化处理,得到空间注意力权重;通过二维高斯分布对所述空间注意力权重进行建模,得到建模后的空间注意力权重;将建模后的空间注意力权重与所述第二特征图相应通道相乘,得到空间注意力特征图;
7、对所述通道注意力特征图与所述空间注意力特征图进行相加,得到各尺度下对应的第三特征图;
8、根据各所述第三特征图与所述第一特征图进行权重计算,得到每个第三特征图的占有权重;
9、根据所述第一特征图、所述第三特征图及每个第三特征图的占有权重进行计算,得到包含小目标检测结果的图像;
10、对所述待检测图像进行卷积处理,得到第一特征图,包括:
11、对所述待检测图像进行若干层卷积处理后,输出卷积特征图;将所述卷积特征图与待检测图像相加,得到第一特征图。
12、一种多尺度高斯注意力的小目标检测装置,所述装置包括:
13、基础模块,用于获取待检测图像;对所述待检测图像进行卷积处理,得到第一特征图;
14、多尺度特征提取模块,用于通过若干并行的全局平均池化操作对所述第一特征图进行特征提取,输出不同尺度下对应的第二特征图;
15、高斯注意力模块,用于对各所述第二特征图进行全局平均池化和全局最大池化处理,得到通道注意力权重;通过一维高斯分布对所述通道注意力权重进行建模,得到建模后的通道注意力权重;将建模后的通道注意力权重与所述第二特征图相应通道相乘,得到通道注意力特征图;对各所述第二特征图进行均值处理和最大化处理,得到空间注意力权重;通过二维高斯分布对所述空间注意力权重进行建模,得到建模后的空间注意力权重;将建模后的空间注意力权重与所述第二特征图相应通道相乘,得到空间注意力特征图;对所述通道注意力特征图与所述空间注意力特征图进行相加,得到各尺度下对应的第三特征图;
16、动态权重模块,用于根据各所述第三特征图与所述第一特征图进行权重计算,得到每个第三特征图的占有权重;根据所述第一特征图、所述第三特征图及每个第三特征图的占有权重进行计算,得到包含小目标检测结果的图像。
17、上述多尺度高斯注意力的小目标检测方法、装置、设备和介质,首先获取待检测图像;对待检测图像进行卷积处理,得到第一特征图;通过若干并行的全局平均池化操作对第一特征图进行特征提取,输出不同尺度下对应的第二特征图;对各第二特征图进行全局平均池化和全局最大池化处理,得到通道注意力权重;通过一维高斯分布对通道注意力权重进行建模,得到建模后的通道注意力权重;将建模后的通道注意力权重与第二特征图相应通道相乘,得到通道注意力特征图;对各第二特征图进行均值处理和最大化处理,得到空间注意力权重;通过二维高斯分布对空间注意力权重进行建模,得到建模后的空间注意力权重;将建模后的空间注意力权重与第二特征图相应通道相乘,得到空间注意力特征图;对通道注意力特征图与空间注意力特征图进行相加,得到各尺度下对应的第三特征图;根据各第三特征图与第一特征图进行权重计算,得到每个第三特征图的占有权重;根据第一特征图、第三特征图及每个第三特征图的占有权重进行计算,得到包含小目标检测结果的图像。
18、本发明首先通过并行的全局平均池化对第一特征图以不同的感受野进行特征提取,从而得到考虑不同感受野的第二特征图;然后计算第二特征图的通道注意力权重与空间注意力权重,并通过一维高斯分布对通道注意力权重进行高斯建模,通过二维高斯分布对空间注意力权重进行高斯建模,从而得到经过高斯建模后的第三特征图,这样的方式能够使注意力机制更加平滑和集中,避免信息混乱,减少噪声干扰;最后,考虑到不同尺度下的特征图对同一场景的重要性不同,因此通过各第三特征图与第一特征图进行权重计算,为每个特征图设置合适的权重,从而增强特征的辨别能力,增强对不同场景的适应性和鲁棒性,使其能够更灵活地处理不同大小的目标,提升对微小目标的捕捉能力。
1.一种多尺度高斯注意力的小目标检测方法,其特征在于,所述方法包括:
2.根据权利要求1所述的多尺度高斯注意力的小目标检测方法,其特征在于,通过一维高斯分布对所述通道注意力权重进行建模,得到建模后的通道注意力权重,包括:
3.根据权利要求1所述的多尺度高斯注意力的小目标检测方法,其特征在于,通过二维高斯分布对所述空间注意力权重进行建模,得到建模后的空间注意力权重,包括:
4.根据权利要求1所述的多尺度高斯注意力的小目标检测方法,其特征在于,根据各所述第三特征图与所述第一特征图进行权重计算,得到每个第三特征图的占有权重,计算过程表达式为:
5.根据权利要求4所述的多尺度高斯注意力的小目标检测方法,其特征在于,根据所述第一特征图、所述第三特征图及每个第三特征图的占有权重进行计算,得到包含小目标检测结果的图像,包括:
6.根据权利要求4所述的多尺度高斯注意力的小目标检测方法,其特征在于,分别将第三特征图与对应的占有权重相乘后进行多项求和,然后与所述第一特征图相加,从而得到包含小目标检测结果的图像,计算过程表达式为:
7.一种多尺度高斯注意力的小目标检测装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。