本发明涉及计算机视觉，具体涉及融合注意力机制的多分支多尺度海缆缺陷偏振检测方法。
背景技术：
0、技术背景
1、水下电缆在海洋资源开发、海岛经济发展和国家临海安全等方面扮演着重要的角色，电缆损坏的情况常常发生，给海洋工业发展和海岛居民生活带来了不利和损失。因此，对水下电缆进行实时检测变得尤为重要。在水下环境中，由于水体对光的散射，水下图像具有模糊，对比度低，颜色失真的问题。水下电缆检测通常使用水下机器人搭载摄像头的传统视觉检测方法，部分恶劣的海洋环境中需要人工检测，但是此方法成本高、检测精度低和准确率低。目前，基于深度学习的视觉检测方法成为了目标检测的主流，具有其识别精度高、检测速度快及准确率高的优点。现有的海底电缆缺陷检测方法多使用两阶段模型，先对水下图像进行增强，再使用目标检测的方法去检测缺陷。水下图像增强多采用生成式模型例如gan网络，将水下模糊的图像输入到生成器中，端到端的输出清晰的水下图片。需要成对的数据集进行训练。也可以基于水下成像物理模型的方法，对成像模型中背景散射光等关键参数使用神经网络进行估计，再进行图像复原。由于光经过水体散射后具有部分偏振性，可以使用偏振成像的方式来在偏振图像中来检测缺陷。同时由于水下环境复杂多样，水下海缆的数据集获取十分困难，同时获取的数据集也很有限，缺陷类型也不够齐全。
2、目前基于偏振特征的水下目标检测算法很少，同时因为水下成像的清晰度低，对比度饱和度低的特征，水下目标检测算法多采用两阶段网络，首先对输入的水下偏振图像就行增强，再进行目标检测，但是这些偏振图像增强方法没有充分融合不同尺度的信息，也没有充分关注全局特征和局部特征，导致对偏振图像增强的效果并不理想。
3、基于海底电缆缺陷检测的特殊性，将clip预训练大模型应用在海底电缆缺陷检测中可有效提高海底电缆缺陷检测率。目前海底电缆缺陷偏振检测技术中并未运用到clip大模型。
技术实现思路
1、为了提高海底电缆缺陷检测的准确率，本发明提供融合注意力机制的多分支多尺度海缆缺陷偏振检测方法，包括两个阶段，偏振图像进行增强阶段和海底电缆检测阶段。在不同的维度上使用卷积网络和swin transformer提取图像的卷积特征和全局注意力特征，并使用全局注意力特征调制卷积特征。同时融合clip预训练大模型的图像编码特征，以提高海底电缆缺陷检测率。
2、本发明具体技术方案的步骤如下：
3、步骤一，水下海缆偏振图像数据集构建：
4、步骤1.1在清水中使用普通相机拍摄海缆缺陷图片为清晰图像；在清晰图像上人工标注海缆缺陷目标位置和缺陷的类型并作为真实值yi；其中，海缆缺陷目标位置包括海缆缺陷目标的中心位置坐标、高度和宽度；
5、步骤1.2向清水中添加泥沙和牛奶，模拟浑浊度的水体环境，使用偏振相机拍摄浑浊水体下海缆缺陷的偏振角度分别为0°、45°和90°的线性水下偏振图像；调节偏振相机曝光时间，使线性水下偏振图像和清晰图像的曝光强度保持一致；更换海缆，重复步骤1.1和步骤1.2，直至获取大于1000张水下海缆偏振图像数据集；
6、步骤二，搭建水下偏振图像增强模块，对水下海缆偏振图像进行增强：
7、水下偏振图像增强模块有三个部分组成，分别是clip图像编码器、swintranssformer网络和unet特征融合模块；
8、将水下海缆偏振图像输入到clip图像编码器中，获得clip图像编码向量c；clip图像编码器具有对大数量不同图像内容进行编码的功能，利用clip图像编码器对水下海缆偏振图像进行编码能够大大提高图像编码特征的质量；
9、将水下海缆偏振图像输入到swin transformer网络中，获得不同尺度的注意力特征si；swin transformer网络提取不同维度的注意力特征，所述注意力特征包含图像全局特征，防止局部失真；
10、将水下海缆偏振图像，clip图像编码向量c和不同尺度的注意力特征si输入到unet特征融合模块中；unet特征融合模块先进行卷积，再经过下采样，提取出不同空间尺度的卷积特征coni；通过卷积层和上采样操作将不同维度的卷积特征、卷积注意力特征和交叉注意力特征相互融合，获得水下偏振增强特征图；
11、所述水下偏振增强特征图获取过程如下：
12、将clip图像编码向量c和不同空间尺度的卷积特征coni输入到交叉注意力模块中，计算交叉注意力特征a，计算交叉注意力特征a的过程如下：
13、qi＝cnn(coni)
14、k＝mlp(c)
15、v＝mlp(c)
16、
17、其中，cnn表示卷积操作，mlp表示全连接层，qi表示查询向量，v表示值向量，k表示键向量，dk表示k的维度，kt表示k的转置，i为1；
18、利用不同尺度的注意力特征si调制卷积特征，将不同尺度的注意力特征si和不同空间尺度的卷积特征coni输入到特征调制模块中，获取调制后的卷积注意力特征sci，调制过程表示为：
19、
20、其中，cnn表示卷积操作，表示矩阵相加，表示矩阵的哈达玛积；
21、步骤三，根据步骤二的方法，对0°、45°、90°三个偏振角度的水下偏振图分别进行图像增强，分别获得0°、45°、90°三个偏振角度的水下偏振增强特征图；
22、步骤四，对0°、45°、90°三个偏振角度的水下偏振增强特征图按照通道进行拼接，获得水下偏振增强融合特征图；
23、步骤五，通过海底电缆缺陷检测模块确定海缆缺陷类型和位置：
24、海底电缆缺陷检测模块由transformer和全连接层组成；将水下偏振增强融合特征图输入海底电缆缺陷检测模块中，先经transformer输出为海缆缺陷的预测向量，预测向量经全连接层输出为海缆缺陷类型和位置；
25、步骤六，构建损失函数l，通过计算损失函数的值，更新网络参数，直至transformer平稳收敛：
26、首先transformer输出n个预测向量，其中，n设置为海缆缺陷类型的两倍，通过全连接层后获得预测的海缆缺陷类型和位置；yi表示海缆缺陷目标类型和位置的真实值，用表示n个通过全连接层后获得的海缆缺陷类型和位置预测值；将n个真实值集合和yi的差值用来填充，为无对应的缺陷类型对象；使用匈牙利匹配算法求解集合yi和的最佳匹配：
27、
28、其中，是yi和索引为σ(i)的预测值匹配成本；
29、匹配成本考虑了预测海缆缺陷类型以及预测海缆缺陷位置和真实值的相似性，真实值的每个元素yi＝(ci,bi)，其中ci是海缆缺陷类型；bi是海缆缺陷目标的位置；将海缆缺陷类型ci的概率定义为将预测框定义为则：
30、
31、lbox(.)为框损失，定义为：
32、
33、其中，liou(.)代表iou损失，||.||1代表l1范数，是预测的海缆缺陷目标位子；
34、定义损失函数l为：
35、
36、步骤七，对预测海底电缆缺陷目标进行检测：利用步骤六更新后的transformer网络对预测海缆目标按照步骤五进行检测。
37、一种电子设备，包括：一个或多个处理器；以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述步骤一至步骤七所述的海缆缺陷检测方法。
38、一种计算机可读存储介质，所述计算机可读存储介质存储有程序代码，所述程序代码可被处理器调用执行上述步骤一至步骤七所述的海缆缺陷检测方法。
39、与现有的技术相比，本发明的有益技术效果是：
40、本发明中的海底电缆缺陷偏振检测方法，将偏振图像、图像增强、clip图像编码器和目标检测相结合，设计了多分支多尺度的网络。在不同的维度上提取卷积特征和注意力特征，利用注意力特征调制卷积特征，可以更好的消除水下偏振图像的散射。利用交叉注意力机制，通过clip图像编码器的图像编码特征指导水下偏振图像增强模块，提高了水下偏振图像的质量。利用transformer和全连接层构建海底电缆缺陷检测模块，可以准确的检测海底电缆缺陷类型和位置。
1.融合注意力机制的多分支多尺度海缆缺陷偏振检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合注意力机制的多分支多尺度海缆缺陷偏振检测方法，其特征在于，步骤二中，所述水下偏振图像增强模块有三个部分组成，分别是clip图像编码器，swin transsformer网络，unet特征融合模块；
3.根据权利要求2所述的融合注意力机制的多分支多尺度海缆缺陷偏振检测方法，其特征在于，所述水下偏振增强特征图获取过程如下：
4.根据权利要求1所述的融合注意力机制的多分支多尺度海缆缺陷偏振检测方法，其特征在于，步骤五中，所述海底电缆缺陷检测模块由transformer和全连接层组成；将水下偏振增强融合特征图输入到海底电缆缺陷检测模块中，先经transformer输出为海缆缺陷的预测向量，预测向量经全连接层输出为海缆缺陷类型和位置。
5.根据权利要求1所述的融合注意力机制的多分支多尺度海缆缺陷偏振检测方法，其特征在于，步骤六中，所述损失函数l构建过程如下：
6.一种电子设备，包括一个或多个处理器；以及存储器；一个或多个程序，其特征在于，所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至5中任意一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至5中任意一项所述的方法。
