一种融合上下文感知和背景探索的伪装目标检测网络

    专利查询2025-06-04  72


    本发明涉及计算机,尤其涉及目标检测,具体涉及一种通过融合上下文感知和背景探索对伪装目标进行检测的技术。


    背景技术:

    1、伪装是自然界中一种常见的防御机制,某些物种利用其具有与周边环境相似外观的特点,来保护自己免受捕食者的伤害。伪装目标检测(camouflaged object detection,cod)旨在检测出隐藏在背景中的伪装目标。近年来,cod技术已在医学(如肺部感染分割)、工业(如物品表面缺陷的检测)、农业(如蝗虫检测)、艺术(如风景图像检测)等多个领域受到了越来越广泛的关注,有力地推动了这些领域的智能化发展,展现出良好的发展前景。

    2、传统的cod方法主要依赖于基于手工设计的低级特征,如颜色、纹理、光流等直接视觉特征。当面临前景与背景对比度极低的复杂场景时,通常存在手工提取特征耗时、迁移性较差、检测性能较低等问题。为了解决这些问题,近年来研究人员提出了多种基于深度学习的伪装目标检测模型。fan等人提出的目标搜索识别网络(sinet),通过搜索模块扩大感受野获取更丰富的上下文信息,并利用识别模块消除不相关特征的干扰。此后,他们提出的sinetv2模型,通过分组引导的反转注意力模块挖掘伪装目标的边缘信息,生成精细预测,但在分组引导的过程中可能会存在特征表征分布不均匀的情况。mei等人构建了由定位模块和聚焦模块组成的cod网络pfnet,该网络首先从全局角度定位潜在目标,然后通过聚焦于模糊区域来逐步预测伪装目标,但在聚焦过程中当前特征与预测先验直接相乘可能会导致特征混淆的问题。pang等人设计了一种混合比例的三重网络zoomnet,该网络使用三重结构提取特征,然后利用尺度集成单元来筛选和聚合特定比例的特征,并利用分层混合尺度单元进一步增强混合比例特征,但是这种多元信息策略大幅度增加了网络的计算复杂度。尽管上述方法在cod领域已经取得了一定进展,但由于伪装对象与背景高度相似,并且在边缘上模糊不清,导致无法检测出更完整的伪装对象和更准确的边缘细节。


    技术实现思路

    1、本发明的目的是为了解决现有伪装目标检测技术在面对伪装对象与背景高度相似时,尤其是在边缘模糊不清的情况下,存在无法检测出更完整的伪装对象和更准确的边缘细节的技术问题,而提出的一种融合上下文感知和背景探索的伪装目标检测网络。

    2、为了解决上述技术问题,本发明采用的技术方案为:

    3、一种融合上下文感知和背景探索的伪装目标检测网络,融合上下文感知和背景探索的伪装目标检测网络cabenet包括多尺度特征提取模块swin-transformer、注意力联级上下文感知模块ahcm、全连接解码器模块fcd、融合注意力机制的背景探索模块bem;

    4、多尺度特征提取模块swin-transformer的输出连接注意力联级上下文感知模块ahcm的输入,注意力联级上下文感知模块ahcm的输出连接全连接解码器模块fcd、以及融合注意力机制的背景探索模块bem的输入,全连接解码器模块fcd的输出连接融合注意力机制的背景探索模块bem的输入,融合注意力机制的背景探索模块bem的输出用于输出最终预测。

    5、多尺度特征提取模块swin-transformer作为特征提取层,输出多尺度特征oi,i={1,2,3,4},特征o2、特征o3、特征o4经过特征金字塔进行特征融合输出特征o′2、特征o′3、特征o′4;

    6、特征o′2输入给第一注意力联级上下文感知模块ahcm,第一注意力联级上下文感知模块ahcm的输出连接全连接解码器模块fcd的输入、以及第一融合注意力机制的背景探索模块bem的输入;

    7、特征o′3输入给第二注意力联级上下文感知模块ahcm,第二注意力联级上下文感知模块ahcm的输出连接全连接解码器模块fcd的输入、以及第二融合注意力机制的背景探索模块bem的输入;

    8、特征o′4输入给第三注意力联级上下文感知模块ahcm,第三注意力联级上下文感知模块ahcm的输出连接全连接解码器模块fcd的输入、以及第三融合注意力机制的背景探索模块bem的输入;

    9、全连接解码器模块fcd输出特征为特征c5,特征c5进行reverse反向操作输出边缘先验值边缘先验值输入给第三融合注意力机制的背景探索模块bem,第三融合注意力机制的背景探索模块bem的输出与特征c5进行像素相加以输出特征c4;

    10、特征c4输入给第二融合注意力机制的背景探索模块bem,第二融合注意力机制的背景探索模块bem的输出与特征c4进行像素相加输出特征c3;

    11、特征c3输入给第一融合注意力机制的背景探索模块bem,第一融合注意力机制的背景探索模块bem的输出与特征c3进行像素相加输出最终特征。

    12、注意力联级上下文感知模块ahcm具体为:

    13、特征o′2、特征o′3、特征o′4中的任一输入给快捷分支4个平行的残差分支{bi,i=1,2,3,4};

    14、快捷分支包括第一卷积层和第一空间注意力模块pam,特征输入给第一卷积层,第一卷积层输出连接第一空间注意力模块pam的输入;

    15、第一个残差分支b1包括第一卷积层和第二空间注意力模块pam,特征输入给第一卷积层,第一卷积层输出连接第二空间注意力模块pam的输入;

    16、后三个残差分支{bi,i=2,3,4}包括第一卷积层、第二卷积层、具有特定的膨胀率的第三卷积层和通道注意力模块cam,特征输入给第一卷积层,第一卷积层的输出连接第二卷积层的输入,第二卷积层的输出连接具有特定的膨胀率的第三卷积层的输入,具有特定的膨胀率的第三卷积层的输出连接通道注意力模块cam的输入;

    17、通道注意力模块cam的输出与第二空间注意力模块pam的输出进行拼接操作,拼接操作后的输出与第一空间注意力模块pam的输出进行相加输出增强后的特征特征以及特征

    18、融合注意力机制的背景探索模块bem具体为:

    19、特征输入第一融合注意力机制的背景探索模块bem,特征输入第二融合注意力机制的背景探索模块bem,特征输入第三融合注意力机制的背景探索模块bem;

    20、在第三融合注意力机制的背景探索模块bem中,特征和边缘先验值输入给第一背景探索模块ba,第一背景探索模块ba输出更新后的特征和更新后的边缘先验值特征和边缘先验值输入给第二背景探索模块ba,第二背景探索模块ba输出更新后的特征和更新后的边缘先验值特征和边缘先验值输入给第三背景探索模块ba,第三背景探索模块ba输出更新后的边缘先验值

    21、在第二融合注意力机制的背景探索模块bem中,特征和边缘先验值输入给第一背景探索模块ba,第一背景探索模块ba输出更新后的特征和更新后的边缘先验值特征和边缘先验值输入给第二背景探索模块ba,第二背景探索模块ba输出更新后的特征和更新后的边缘先验值特征和边缘先验值输入给第三背景探索模块ba,第三背景探索模块ba输出更新后的边缘先验值

    22、在第一融合注意力机制的背景探索模块bem中,特征和边缘先验值输入给第一背景探索模块ba,第一背景探索模块ba输出更新后的特征和更新后的边缘先验值特征和边缘先验值输入给第二背景探索模块ba,第二背景探索模块ba输出更新后的特征和更新后的边缘先验值特征和边缘先验值输入给第三背景探索模块ba,第三背景探索模块ba输出更新后的边缘先验值

    23、背景探索模块ba具体为:

    24、边缘先验值按照通道数复制后与特征相加,输入给第一卷积层,第一卷积层输出更新后的特征第一卷积层的输出连接第二卷积层的输入,第二卷积层的输出与sigmoid激活后的边缘先验值相乘,最后与边缘先验值输出更新后的边缘先验值

    25、融合上下文感知和背景探索的伪装目标检测网络cabenet在使用时,采用以下步骤:

    26、步骤1:伪装目标图像输入给swin-transformer多尺度特征提取模块在多个尺度上提取全局上下文信息,输出特征oi,i={1,2,3,4},特征o2、特征o3、特征o4经过特征金字塔进行特征融合输出特征o′2、特征o′3、特征o′4;

    27、步骤2:特征o′2、特征o′3、特征o′4输入给注意力联级上下文感知模块ahcm,通过并行多分支混合卷积模式来扩大感受野,增强全局上下文信息特征,并利用空间注意力和通道注意力机制提高对目标区域的感知能力,输出增强后的特征特征特征

    28、步骤3:特征特征特征输入给全连接解码器模块fcd来定位伪装对象,输出输出特征c5,将特征c5进行reverse反向操作输出边缘先验值

    29、步骤4:特征特征特征和边缘先验值输入给融合注意力机制的背景探索模块bem,利用自注意力机制将提取的边缘先验值与目标特征逐层融合,通过关注图像中的背景区域来加强对伪装对象边缘特征的提取,输出最终特征;

    30、通过以上步骤以实现伪装目标的检测。

    31、与现有技术相比,本发明具有如下技术效果:

    32、1)为了解决cod中伪装对象的纹理相似性和边界模糊导致检测结果不佳的问题,本发明提出了融合上下文感知和背景探索的伪装目标检测方法,利用上下文信息和背景信息提供的丰富线索区分伪装目标和背景,更好地定位伪装对象;

    33、2)本发明的模型以swin-transformer作为网络骨架提取图片特征,通过ahcm模块得到增强的上下文特征表示,使用fcd有效定位隐藏对象,最后采用bem模块使模型关注背景区域,更好地理解目标的边界结构,提高边界的定位准确性;

    34、3)本发明提出了一种ahcm模块,该模块通过不同分支扩大感受野,获取目标的多尺度上下文信息,然后,通过双重注意力机制,即空间注意力和通道注意力,提高模型对细节的感知能力,其中空间注意力机制用于捕获图像中不同区域的重要性,而通道注意力机制用于调整特征通道的权重,以提高不同通道的重要性;最后,合并不同分支的结果,增强模型对全局信息的感知能力,加强网络的特征提取能力。

    35、4)本发明提出了一种bem模块,该模块利用自注意力机制将提取的边缘先验与目标特征逐层融合,通过关注图像中的背景区域来更好地理解目标的边界结构,提高边界的定位准确性,加强对伪装对象边缘特征的提取。


    技术特征:

    1.一种融合上下文感知和背景探索的伪装目标检测网络,其特征在于,该网络包括多尺度特征提取模块swin-transformer、注意力联级上下文感知模块ahcm、全连接解码器模块fcd、融合注意力机制的背景探索模块bem;

    2.根据权利要求1所述的网络,其特征在于,多尺度特征提取模块swin-transformer作为特征提取层,输出多尺度特征oi,i={1,2,3,4},特征o2、特征o3、特征o4经过特征金字塔进行特征融合输出特征o2′、特征o3′、特征o4′;

    3.根据权利要求1或2所述的网络,其特征在于,注意力联级上下文感知模块ahcm具体为:

    4.根据权利要求1或2所述的网络,其特征在于,融合注意力机制的背景探索模块bem具体为:

    5.根据权利要求1所述的网络在使用时,采用以下步骤:


    技术总结
    一种融合上下文感知和背景探索的伪装目标检测网络,该网络包括多尺度特征提取模块Swin‑Transformer、注意力联级上下文感知模块AHCM、全连接解码器模块FCD、融合注意力机制的背景探索模块BEM;多尺度特征提取模块Swin‑Transformer的输出连接注意力联级上下文感知模块AHCM的输入,注意力联级上下文感知模块AHCM的输出连接全连接解码器模块FCD、以及融合注意力机制的背景探索模块BEM的输入,全连接解码器模块FCD的输出连接融合注意力机制的背景探索模块BEM的输入,融合注意力机制的背景探索模块BEM的输出用于输出最终预测。

    技术研发人员:陈世洁,范李平,余肖生,王东娟
    受保护的技术使用者:三峡大学
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-29063.html

    最新回复(0)