一种针对雨天无人机视觉感知的级联对抗攻击方法

    专利查询2025-10-31  3


    本发明属于对抗攻击,更为具体地讲,涉及一种针对雨天无人机视觉感知的级联对抗攻击方法。


    背景技术:

    1、无人机常常在雨天场景下进行视觉感知作业。由于雨水对下游任务网络的破坏性影响,通常使用去雨网络对雨图进行预处理,再利用视觉感知模型实现预期的任务目标。这种由去雨网络加下游任务网络所组成的集成系统广泛部署在无人机系统中。

    2、但这种设置即集成系统从未被对抗攻击方法所探索过。目前现有对抗攻击方法只局限于攻击上述一种类型的网络,其原因是来自不同任务层次(低级和高级)的两个网络在网络结构、学习目标、数据注释和训练策略等方面存在巨大差异。因此,对抗攻击领域中攻击多模型的常见方法(如通用扰动和集成攻击)在这种情况下无效。

    3、当孤立地攻击上述集成系统中的单个模型时,若单独攻击去雨网络,所生成的对抗扰动的优化过程缺乏关于下游任务网络的参数和标签等关键信息,难以产生对下游任务有致命影响的扰动。另一方面,对抗扰动作为噪声,去雨网络可以通过其自身的恢复能力来减轻其影响,即仅攻击下游任务网络而不考虑去雨网络会使得优化好的对抗扰动分布改变,进而影响攻击性能。如果我们同时攻击这两个模型,挑战在于如何在输入雨图上结合这两组扰动,因为该集成系统的输入仅是一张雨图。一种直观方法是直接添加这两组扰动在输入雨图上,但这会干扰它们各自优化好的扰动分布,从而破坏每次攻击的性能。更重要的是,这样会超出扰动改变量的限制值,从而使得扰动肉眼可见,违反了对抗攻击的隐蔽性原则即人眼不能感知到扰动的存在。

    4、由于上述难点的存在,现有方法还未探索对这种集成系统的攻击,仅聚集在对具体的下游任务网络和去雨网络的攻击。对分类、分割、检测等下游任务网络的攻击已有很成熟且强大的攻击算法。而对去雨网络和对抗攻击之间的研究,yu等人的工作已经证明了去雨网络对对抗性攻击的脆弱性。此外,他们还研究了针对去雨问题的各种类型的对抗攻击,并分析了这些攻击方法对人类和机器视觉任务的影响。然而,这些工作都集中在单一类型、单个网络上,忽略了实际系统中去雨网络与下游任务网络的共存,这使得他们的方法在真实集成系统下的表现不佳。因此,真实场景下无人机的集成系统设置保证了其在雨天场景下的正常工作,一定程度上避免了来自第三方的恶意攻击。

    5、正如以上所述,现有攻击方法具有以下缺点:(1)、这两个来自不同领域和不同任务层级(高级和低级)的网络在架构、学习目标、数据注释和训练策略方面存在巨大差距,使得攻击多个模型的常用方法如通用扰动和集成攻击无效。(2)、当仅攻击单个模型时,由于没有考虑集成系统中为不同任务设计的模型之间的差异,生成的对抗样本通常表现出非常差的攻击性能。(3)、如果同时攻击两个模型,在输入图像上强迫同时加入两组扰动将改变它们各自的分布,从而破坏各自攻击的有效性,并且会超出优化过程中设定的扰动改变最大阈值,违反隐蔽性原则。


    技术实现思路

    1、本发明的目的在于克服现有技术的不足,提供一种针对雨天无人机视觉感知的级联对抗攻击方法,以生成能同时攻击去雨网络和下游任务网络的对抗样本。

    2、为实现上述发明目的,本发明针对雨天无人机视觉感知的级联对抗攻击方法,其特征在于,包括以下步骤:

    3、(1)、初始化

    4、从均匀分布u(-∈,∈)中采样出初始的留雨攻击对抗扰动其中,∈为扰动界限;

    5、(2)、如果对抗攻击为级联对抗攻击-从雨水到任务,则:

    6、2.1)、首先进行迭代次数t从1到trra的留雨攻击对抗扰动迭代:

    7、

    8、

    9、其中,为t次迭代后的留雨攻击对抗扰动,为t次迭代前的留雨攻击对抗扰动,proj(·)表示把投影在范数界限(-∈,∈)内,并且把xrain+投影到有效空间(0,1)内;

    10、

    11、是留雨攻击扰动损失关于留雨攻击对抗扰动的梯度,sgn表示提取梯度的符号,α控制每次迭代的步长,mask是一个二进制雨掩码,其中,值1表示有雨的区域,而值0表示无雨的区域;

    12、其中,留雨攻击扰动损失为:

    13、将由留雨攻击产生的留雨攻击对抗扰动加到雨图xrain中,通过去雨网络frain得到输出雨图

    14、

    15、然后,测量雨图xrain到之间的距离作为扰动损失

    16、

    17、其中,0是一个零矩阵,其与雨图有相同的尺寸大小,||·||2表示求矩阵的二范数;

    18、将第trra迭代的结果即留雨攻击对抗扰动记为留雨攻击对抗扰动δrra;

    19、2.2)、然后计算任务攻击对抗扰动δta:

    20、

    21、δta=clip(δta,-∈,∈);

    22、其中,是交叉熵损失lta(ftask(xclean+δrra),y)关于非雨图像xclean的梯度,ftask(xclean+δrra)为雨图xrain的非雨图像xclean添加留雨攻击对抗扰动δrra后,通过语义分割网络ftask后的语义分割任务的结果,y作为语义分割任务的标签,lta(.,.)表示计算二者的交叉熵损失,clip为裁剪函数;

    23、(3)、如果对抗攻击为级联对抗攻击-从任务到雨水,则:

    24、3.1)、首先计算任务攻击对抗扰动δta:

    25、

    26、δta=clip(δta-∈,∈);

    27、3.2)、然后迭代次数t从1到trra进行留雨攻击对抗扰动迭代:

    28、

    29、

    30、其中,留雨攻击扰动损失为:

    31、任务攻击对抗扰动δta、由留雨攻击产生的留雨攻击对抗扰动加到雨图xrain中,通过去雨网络frain得到输出雨图

    32、

    33、然后,测量雨图xrain到之间的距离作为扰动损失

    34、

    35、其中,0是一个零矩阵,其与雨图有相同的尺寸大小,||·||2表示求矩阵的二范数;

    36、将第trra迭代的结果即留雨攻击对抗扰动记为留雨攻击对抗扰动δrra;

    37、(4)、输出对抗样本图像

    38、

    39、

    40、本发明的目的是这样实现的。

    41、本发明针对雨天无人机视觉感知的级联对抗攻击方法创新地提出了级联对抗攻击,其利用二值掩码将雨图划分为雨区和非雨区。一个区域用来攻击去雨网络,旨在保留输出图像中的雨水;另一个区域用来攻击下游任务网络,旨在诱导图像内容的错误分类。通过将这两组明显不同且不重叠的扰动集中在一张输入雨图上,生成最终的对抗样本,其即使经过了去雨网络的预处理操作,下游任务也会受到严重影响,即生成了能同时攻击去雨网络和下游任务网络的对抗样本。



    技术特征:

    1.一种针对雨天无人机视觉感知的级联对抗攻击方法,其特征在于,包括以下步骤:


    技术总结
    本发明公开了一种针对雨天无人机视觉感知的级联对抗攻击方法,创新地提出了级联对抗攻击,其利用二值掩码将雨图划分为雨区和非雨区。一个区域用来攻击去雨网络,旨在保留输出图像中的雨水;另一个区域用来攻击下游任务网络,旨在诱导图像内容的错误分类。通过将这两组明显不同且不重叠的扰动集中在一张输入雨图上,生成最终的对抗样本,其即使经过了去雨网络的预处理操作,下游任务也会受到严重影响,即生成了能同时攻击去雨网络和下游任务网络的对抗样本。

    技术研发人员:王国庆,王智文,李美璇,李天宇,位纪伟,王玉庆
    受保护的技术使用者:电子科技大学
    技术研发日:
    技术公布日:2024/11/26
    转载请注明原文地址:https://tc.8miu.com/read-31515.html

    最新回复(0)