本发明涉及一种基于频域重要性的三维点云目标跟踪对抗性攻击方法及装置，属于三维点云目标跟踪的对抗性攻击技术。
背景技术：
1、三维点云目标跟踪是依据给定的第一帧点云对象为模板，生成三维预测框，确定目标在后续帧中的位置。生成对抗性示例的研究对跟踪器的鲁棒性评估以及提升跟踪器的抗扰动能力有着重要作用。
2、近年来，针对三维目标跟踪模型的对抗性攻击方法也被陆续提出。然而现有对三维点云目标跟踪对抗攻击的研究有着以下的局限性：1、有关攻击方法的可迁移性研究较少，缺乏对泛化特征与非泛化特征的区分。目前只有可转移攻击网络(tan)关注了三维点云目标跟踪对抗攻击方法的可迁移性研究。模型从数据集学习的特征可以细分为泛化特征和非泛化特征，泛化特征与模型无关，不同的模型从同一数据集中可以学习得到相似的泛化特征。攻击数据集数据具有泛化性且脆弱的特征，可以产生可迁移的对抗性扰动。2、忽视了点云的频域信息。点云的频域包含了泛化性和几何结构的信息。频域原则表明，深度神经网络的泛化性与频域有关，数据高频分量的噪声容易导致过拟合从而降低泛化性，低频分量的噪声则较少。此外，点云的不同频段式反应点云的几何结构，低频段反应了点云的基本形状，高频段反应了点云的细节部分，对点云几何结构攻击会影响点云特征。
技术实现思路
1、发明目的：目前三维点云目标跟踪对抗攻击方法有关攻击方法的可迁移性研究较少，且忽视了点云的频域信息，仅在空间域中进行攻击；为了克服这些不足，本发明提供一种基于频段重要性的三维点云目标跟踪对抗性攻击方法及装置，通过谱图和信号处理领域的方法，将搜索区域点云由空间域变换到频域，在频域上添加扰动，对搜索区域的低频分量进行攻击以提高泛化性，通过设计频段重要性显著图，为低频区域中的每个单位子频段按对跟踪的重要程度打分，依据频段重要性显著图分数构造子频段权重，加强对跟踪重要的子频段的扰动程度，通过边界框偏移损失函数，引导跟踪模型生成的候选目标提议偏向置信度较低的提议方向，从而使跟踪预测边界框偏离目标而跟踪失败。
2、技术方案：为实现上述目的，本发明采用的技术方案为：
3、一种基于频域重要性的三维点云目标跟踪对抗性攻击方法，包括如下步骤：
4、step1、输入搜索区域点云psea和频域扰动△，构建搜索区域点云psea的低频频段重要性显著图，计算攻击需要用到的低频频段重要性权重σ；
5、step2、使用图傅里叶变换将搜索区域点云psea由空间域坐标序列变换为频域系数序列搜索区域点云psea的第i个点表示为空间域坐标序列x中的第i个点空间域坐标xi；根据低频阈值llow将频域系数序列截断为低频系数序列和高频系数序列其中：n表示搜索区域点云psea的总点数；
6、step3、低频频段重要性权重σ添加到频域扰动△，得到带权重的低频频域扰动，将低频频域扰动添加到低频系数序列以增强重要低频子频段的攻击，得到对抗低频系数序列连接对抗低频系数序列和高频系数序列得到对抗频域系数序列对对抗频域系数序列进行逆图傅里叶变换得到对抗空间域坐标序列x*，进而得到对抗搜索区域点云
7、step4、将模板点云ptmp和对抗搜索区域点云输入到跟踪模型t中，得到m个候选目标提议，选择得分最高的候选目标提议作为跟踪预测边界框b*，根据m个候选目标提议计算置信度损失lconf、边界框偏移损失lbox和距离损失dc；
8、step5、根据置信度损失lconf、边界框偏移损失lbox和距离损失dc计算总损失l，利用总损失l迭代优化频域扰动△，得到对抗性视频帧示例；
9、step6、使用跟踪模型t对生成的对抗性视频帧示例进行跟踪，得到对抗性攻击的跟踪结果。
10、具体的，在点云帧视频序列中，使用跟踪目标的真实边界框在第一帧中裁剪出跟踪预测边界框；从第二帧起，将前一帧的跟踪预测边界框称为当前帧的模板点云ptmp，根据当前帧的模板点云ptmp裁剪当前帧的搜索区域点云psea进而得到当前帧的跟踪预测边界框b。
11、具体的，使用图傅里叶变换将搜索区域点云psea由空间域坐标序列变换为频域系数序列包括如下步骤：首先，使用k-nn算法计算搜索区域点云psea中每个点的k近邻点，再将搜索区域点云psea从点集合转为图结构g＝{u，ε，w}，顶点集u是搜索区域点云psea中所有n个点的集合，边集ε是每个点与其所有k近邻点连接的邻接边的集合，w表示邻接矩阵；接着，构建图结构g的拉普拉斯矩阵l：d-w，对角矩阵d中的对角元素di表示点i的所有邻接边的权值之和；然后，对拉普拉斯矩阵l进行特征分解得到l＝vλvt，v是包含拉普拉斯矩阵l的特征向量的标准正交矩阵，λ是由拉普拉斯矩阵l的特征值组成的对角矩阵；最后，将搜索区域点云psea的空间域坐标序列x通过图傅里叶变换转换为频域系数序列使用逆图傅里叶变换将频域系数序列变回空间域坐标序列，得到
12、具体的，所述step1中，构建搜索区域点云psea的低频频段重要性显著图，包括如下步骤：
13、(111)将模板点云ptmp和搜索区域点云psea输入到跟踪模型t中，得到跟踪预测边界框b；
14、(112)根据低频阈值llow和低频子频段长度m，计算低频子频段数量其中：低频阈值llow建议取为整个频段的1/3位置，因为实验发现舍弃后2/3的较高频段对跟踪性能的影响较小，这说明搜索区域里与跟踪有关的信息大多集中在低频区域；低频子频段长度m一般不应过长，建议取值在5以内，推荐取值为4；
15、(113)将第j个低频子频段的频域系数序列置零，得到频域系数序列的剩余频域系数序列j＝1，2，…，nlow；
16、(114)使用逆图傅里叶变换将剩余频域系数序列变回空间域坐标序列，得到进而得到剩余搜索区域点云
17、(115)将模板点云ptmp和剩余搜索区域点云输入到跟踪模型t中，得到跟踪预测边界框
18、(116)计算低频子频段对跟踪的重要程度分数bgt为真实边界框；将记录到低频频段重要性显著图中；
19、(117)对搜索区域点云psea中所有低频子频段进行跟踪的重要程度分数计算和记录，得到低频频段重要性显著图。
20、具体的，所述step1中，计算搜索区域点云psea的低频频段重要性权重σ，包括如下步骤：
21、(121)对搜索区域点云psea低频频段中的第i个频域系数，先确定其所属低频子频段，再从低频频段重要性显著图中检索到所属低频子频段对跟踪的重要程度分数，记为si；
22、(122)计算搜索区域点云psea低频频段中第i个频域系数的重要性权重其中，α为控制权重上限的超参数，t为控制重要性分数-权重映射的超参数；
23、(123)搜索区域点云psea低频频段中所有频域系数的重要性权重组成低频频段重要性权重其中：nlow表示低频频段中频域系数总数。
24、具体的，所述step3中，将低频段重要性权重σ添加到频域扰动△，得到低频频域扰动，将低频频域绕扰动添加到低频系数序列得到对抗低频系数序列基于逆图傅里叶变换得到对抗搜索区域点云包括如下步骤：
25、(31)低频频段重要性权重σ与频域扰动△相乘，得到带权重的低频频域扰动，将低频频域扰动添加到低频系数序列得到对抗低频系数序列
26、
27、(32)连接对抗低频系数序列和高频系数序列得到对抗频域系数序列
28、
29、(33)将对抗频域系数序列进行逆图傅里叶变换得到对抗空间域坐标序列进而得到对抗搜索区域点云
30、具体的，所述step4中，将模板点云ptmp和对抗搜索区域点云输入到跟踪模型t中，得到m个候选目标提议，选择得分最高的候选目标提议作为跟踪预测边界框b*，根据m个候选目标提议计算置信度损失lconf、边界框偏移损失lbox和距离损失dc，包括如下步骤：
31、(41)将模板点云ptmp和对抗搜索区域点云输入到跟踪模型t中，得到m个候选目标提议，按照候选目标提议的得分由高到低排序后，第m个候选目标提议表示为其中：表示第m个候选目标提议的得分，表示第m个候选目标提议的跟踪预测边界框中心点相对于真实边界框bgt中心点的偏移；
32、(42)计算置信度损失lconf和边界框偏移损失lbox为：
33、
34、
35、其中：表示第m个候选目标提议的置信度，可以取值为第m个候选目标提议的得分；1<p<q<r＜m，p、q、r为自定义的超参数，一般取值为15、36、50；为指定的非目标位置点，根据实验建议取值为置信度排名在4/5左右的
36、(43)计算距离损失dc为：
37、
38、其中：xi表示搜索区域点云psea的第i个点，也是空间域坐标序列x中的第i个点空间域坐标；表示对抗搜索区域点云的第i个点，也是对抗空间域坐标序列x*中的第i个点空间域坐标。
39、具体的，所述step5中，计算总损失l，利用总损失l迭代优化频域扰动△，得到对抗性视频帧示例，包括如下步骤：
40、(51)计算总损失l＝lconf+adc+blbox；其中，a、b为自定义的超参数，一般取值为0.8、0.04；
41、(52)使用adam优化器，根据总损失l优化频域扰动△；经过设定次数(150次)轮迭代优化，得到最终的频域扰动△和最终的对抗搜索区域点云
42、(53)将最终的对抗搜索区域点云替换所属帧的搜索区域点云psea，得到对抗性视频帧示例。
43、具体的，所述step6中，使用跟踪模型t对生成的对抗性视频帧示例进行跟踪，得到对抗性攻击的跟踪结果；跟踪时要求：
44、①由于对抗性视频帧示例会引导跟踪框到错误的位置，因此，在跟踪过程中不对模板点云ptmp进行更新，即在跟踪过程中采用离线模板点云ptmp；
45、②当跟踪模型t为白盒跟踪模型p2b时，使用三维偏移量和平面旋转角度表征跟踪预测边界框；
46、③当跟踪模型t为黑盒跟踪模型bat或m2-track时，直接使用白盒跟踪模型p2b生成的对抗性视频帧示例作为对抗性视频帧示例。
47、一种基于频域重要性的三维点云目标跟踪对抗性攻击装置，用于实现上述任一基于频域重要性的三维点云目标跟踪对抗性攻击方法，该装置采用cw攻击框架，主要包括gft-igft转换模块、显著图生成模块、添加攻击模块和跟踪模型t；
48、所述gft-igft转换模块，通过图傅里叶变换将输入由空间域转换到频域，通过图逆傅里叶变换将输入由频域转换到空间域；
49、所述显著图生成模块，包括低频重要性显著图构建单元和低频频段重要性权重计算单元，通过低频重要性显著图构建单元构建搜索区域点云psea的低频频段重要性显著图，通过低频频段重要性权重计算单元计算搜索区域点云psea的低频频段重要性权重σ；
50、所述添加攻击模块，先将低频频段重要性权重σ添加到频域扰动△，得到低频频域扰动；再将低频频域扰动添加到搜索区域点云psea的频域系数序列得到对抗频域系数序列接着通过gft-igft转换模块将对抗频域系数序列转换到空间域，进而得到对抗搜索区域点云
51、所述跟踪模型t分为白盒跟踪模型和黑盒跟踪模型，白盒跟踪模型采用siamese网络架构，黑盒跟踪模型采用siamese网络架构和运动中心网络架构；先将模板点云ptmp和对抗搜索区域点云输入到跟踪模型t中，得到m个候选目标提议，选择得分最高的候选目标提议作为跟踪预测边界框b*；再根据m个候选目标提议计算置信度损失lconf、边界框偏移损失lbox、距离损失dc及总损失l；最后利用总损失l迭代优化频域扰动△，得到对抗性视频帧示例。
52、有益效果：本发明提供的基于频域重要性的三维点云目标跟踪对抗性攻击方法及装置，相对于现有技术，具有如下优势：1、本发明充分利用点云频域信息与点云几何结构解耦的联系，攻击几何特征，生成的对抗示例可以大幅降低跟踪模型的性能；2、本发明利用了频域阈值分离泛化特征和非泛化特征，攻击泛化特征，增强了攻击的泛化性。
1.一种基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：在点云帧视频序列中，使用跟踪目标的真实边界框在第一帧中裁剪出跟踪预测边界框；从第二帧起，将前一帧的跟踪预测边界框称为当前帧的模板点云ptmp，根据当前帧的模板点云ptmp裁剪当前帧的搜索区域点云psea进而得到当前帧的跟踪预测边界框b。
3.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：使用图傅里叶变换将搜索区域点云psea由空间域坐标序列变换为频域系数序列包括如下步骤：首先，使用k-nn算法计算搜索区域点云psea中每个点的k近邻点，再将搜索区域点云psea从点集合转为图结构g＝{u，ε，w}，顶点集u是搜索区域点云psea中所有n个点的集合，边集ε是每个点与其所有k近邻点连接的邻接边的集合，w表示邻接矩阵；接着，构建图结构g的拉普拉斯矩阵l：d-w，对角矩阵d中的对角元素di表示点i的所有邻接边的权值之和；然后，对拉普拉斯矩阵l进行特征分解得到l＝vλvt，v是包含拉普拉斯矩阵l的特征向量的标准正交矩阵，λ是由拉普拉斯矩阵l的特征值组成的对角矩阵；最后，将搜索区域点云psea的空间域坐标序列x通过图傅里叶变换转换为频域系数序列使用逆图傅里叶变换将频域系数序列变回空间域坐标序列，得到
4.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：所述step1中，构建搜索区域点云psea的低频频段重要性显著图，包括如下步骤：
5.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：所述step1中，计算搜索区域点云psea的低频频段重要性权重σ，包括如下步骤：
6.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：所述step3中，将低频段重要性权重σ添加到频域扰动△，得到低频频域扰动，将低频频域绕扰动添加到低频系数序列得到对抗低频系数序列基于逆图傅里叶变换得到对抗搜索区域点云包括如下步骤：
7.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：所述step4中，将模板点云ptmp和对抗搜索区域点云输入到跟踪模型t中，得到m个候选目标提议，选择得分最高的候选目标提议作为跟踪预测边界框b*，根据m个候选目标提议计算置信度损失lconf、边界框偏移损失lbox和距离损失dc，包括如下步骤：
8.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：所述step5中，计算总损失l，利用总损失l迭代优化频域扰动△，得到对抗性视频帧示例，包括如下步骤：
9.根据权利要求1所述的基于频域重要性的三维点云目标跟踪对抗性攻击方法，其特征在于：所述step6中，使用跟踪模型t对生成的对抗性视频帧示例进行跟踪，得到对抗性攻击的跟踪结果；跟踪时要求：
10.一种基于频域重要性的三维点云目标跟踪对抗性攻击装置，其特征在于：用于实现权利要求1～9所述任一基于频域重要性的三维点云目标跟踪对抗性攻击方法，该装置采用cw攻击框架，主要包括gft-igft转换模块、显著图生成模块、添加攻击模块和跟踪模型t；
