一种基于深度学习理论的设备故障声源定位方法与流程

1.本发明涉及声源定位技术领域，特别涉及一种基于深度学习理论的设备故障声源定位方法。


背景技术：

2.声源定位方法是电力行业和工业行业常用的设备故障定位方法，该方法的原理通过分析麦克风阵列采集信号从而对场景内所有声源相对于麦克风阵列的波达方向进行估计。最近几年，得益于人工智能技术的迅猛发展，许多专家学者开始将深度神经网络应用于声源定位方法当中，例如申请号为202010916621.x的中国专利公开了一种设备故障声源定位方法，该方法将延迟加和波束形成成像结果输入经过训练的双通道卷积神经网络，从而得到故障声源点的定位信息，由此能够避免定位过程中的迭代计算，提高了定位结果的实时性和定位信息的精确度。
3.该方法以延迟求和算法的结果输入网络，因此需要对原始的声源信号进行傅里叶变换、快速谱峭度算法以及延迟求和算法等多步处理，这存在以下两个问题：其一，原始的声源信号中包含有声源强度信息和相位信息，但是经过傅里叶变换后声源强度信息会有所缺失，导致该算法只能得到声源点的定位信息，而无法获取声源点的声功率强度，因此存在一定的弊端；其二，经过多步处理后的原始声源信息中所包含的丰富信息出现缺失，直接影响了定位结果的准确性，并且一旦该算法失效，会对后续的推理产生影响，可靠性较低。此外，该方法所采用的双通道卷积神经网络还存在推理较慢、占用硬件存储较多等问题。


技术实现要素：

4.本发明提供一种基于深度学习理论的设备故障声源定位方法，其主要目的在于解决现有技术存在的问题。
5.本发明采用如下技术方案：一种基于深度学习理论的设备故障声源定位方法，其特征在于：包括如下步骤：s1、通过麦克风阵列mems传感器进行声源信号采集，从而获取故障点的原始声源信号；s2、对原始声源数据进行傅里叶变换和灰度处理，使其转换为stft灰度图像，并将stft灰度图像输入经过训练的声源位置神经网络模块，从而得到故障点的定位信息；s3、将原始声源数据输入经过训练的声压强度神经网络模块，从而得到故障点的声压强度；s4、结合故障点的定位信息和声压强度判断设备的故障情况。
6.进一步，在步骤s2中， 所述声源位置神经网络模块为repvgg-b0网络进一步，所述repvgg-b0网络的训练和推理过程均有5个阶段，每个阶段的层数依次为[1，4，6，16，1]。
[0007]
进一步，在步骤s3中，所述声压强度神经网络模块为浅层一维卷积神经网络，其包
括3层一维卷积层和4层全连接层。
[0008]
进一步，在步骤s2中，根据公式（1）将原始声源信号通过短时傅里叶变换转化为时频图像 ；式中：n表示声源个数， 表示汉明窗的长度，r表示相邻窗之间的跳接尺寸，表示汉明窗的宽度。
[0009]
在步骤s2和s3中，通过bp训练方法对所述声源位置神经网络模块和声压强度神经网络模块进行训练，首先计算输出的声源位置与实际声源位置的差值 以及输出的声压强度与实际声压强度的差值 ，接着根据公式（2）计算代价函数 ，最后根据代价函数对声源位置神经网络模块和声压强度神经网络模块进行迭代修正；式中：α表示平衡训练声源位置和声压强度的损失函数两者之间数量级的超参数。
[0010]
和现有技术相比，本发明产生的有益效果在于：1、本发明基于原始声源数据的特性，创新性地采用相互独立的声源位置神经网络模块 声压强度神经网络模块的多任务学习网络构架，以经过傅里叶变换和灰度处理的stft灰度图像作为声源位置神经网络模块的输入，从而利用相位特征对故障点的位置进行回归；并以原始声源数据作为声压强度神经网络模块的输入，从而利用幅值信息对故障点的声压强度进行回归，由此同时获取故障点的定位信息和声压强度，为设备故障情况的判断提供了强有力的支持。
[0011]
2、本发明的声源位置神经网络模块选用repvgg-b0网络，该网络在模型推理过程中由于参数少、结构单一，能较好地节省硬件内存，便于硬件加速，有助于模型能更好地部署到硬件上。声压强度神经网络模块选用浅层一维卷积神经网络，通过三个一维卷积模块对原始声源数据进行采样提取幅值特征，再连接4层全连接层对声源点的声压强度进行回归预测，由此修正了只使用repvgg-b0进行模型学习带来的不足，有效克服了现有技术存在的问题。
附图说明
[0012]
图1为本发明的整体算法流程示意图。
[0013]
图2为本发明中stft灰度图像的数据处理示意图。
[0014]
图3为本发明中repvgg-b0的训练和推理阶段的网络示意图。
[0015]
图4为本发明中多任务学习架构的示意图。
具体实施方式
[0016]
下面参照附图说明本发明的具体实施方式。
[0017]
参照图1至图4，一种基于深度学习理论的设备故障声源定位方法，包括如下步骤：s1、通过麦克风阵列mems传感器进行声源信号采集，从而获取故障点的原始声源信号。在该步骤中，通过麦克风阵列mems传感器可实现多通道的声源信号的采集。
[0018]
s2、对原始声源数据进行傅里叶变换和灰度处理，使其转换为stft灰度图像，并将stft灰度图像输入经过训练的声源位置神经网络模块，从而得到故障点的定位信息。
[0019]
s21、stft灰度图像数据：基于研究发现，麦克风阵列mems传感器采集的原始声源信号所包含的包含的幅度信息明显多于相位信息，因此为了方便训练深度学习模型，本发明首先将原始的音频信号转化为时间-频率的图像。具体地，n个螺旋阵列麦克风位于同一二维平面上，采样频率为fhz，采样时间为t秒。根据公式（1）可以将原始声源信号 通过短时傅里叶变换转化为时频图像 。
[0020]
其中n表示声源个数，在本实施中n=56， 表示汉明窗的长度，r表示相邻窗之间的跳接尺寸， 表示汉明窗的宽度。
[0021]
之所以要原始音频信号转化为时频图像，是因为stft的结果包含丰富的相位信息，因此声源位置神经网络模块可以捕捉到不同图像之间的相位变化，从而得到准确的故障点定位信息。除此之外，为了去除不必要的冗余信息，本发明进一步将stft的时频图像转换为stft灰度图像作为声源位置神经网络模块的输入。数据处理过程详见图2。
[0022]
s22、声源位置神经网络模块：重新参数化的vgg网络是一种只有同种类型的算子（3
×
3 conv后跟relu）的简单网络架构。与vgg、resnet和densenet相比，repvgg帮助专用的硬件节省了更多的计算资源的同时，并以更少的算子和单一的卷积层来实现较高速度的计算。经过研究发现，repvgg有多种特定的网络结构。因此，为了选用合适参数量的网络来提取原始声源信号的相位特征，本发明的声源位置神经网络模块优选为repvgg-b0网络。
[0023]
具体来说，本发明中repvgg-b0的训练和推理过程均有5个阶段，每个阶段的层数分别是[1，4，6，16，1]。在训练期间，repvgg-b0使用独立分支和1
×
1的卷积分支去训练，如图3（a）所示。在训练结束后，模型可以通过结构化重参数的方法去除独立分支和1
×
1的卷积分支。在推理期间，repvgg-b0可以将训练块转换为单个3
×
3conv层，如图3（b）所示。模型转化的好处在于3
×
3conv结构更加适合在gpu和cpu上的一些计算库上（如 nvdia cudnn和intel mkl）进行优化。并且模型剪枝后更少的参数更能节省硬件存储，单一的模块更能加快硬件的计算速度。
[0024]
s3、将原始声源数据输入经过训练的声压强度神经网络模块，从而得到故障点的声压强度。
[0025]
s31、原始声源数据：尽管repvgg-b0在模型简化方面具有显著的优势，但声压强度预测任务需要更多的是幅值信息。然而灰度化的短时傅里叶变换的stft灰度图像中不能提取到很好的幅值特
征，因此，为了通过声压强度神经网络模块得到更准确的故障点的定位信息，本方法从原始音频数据出发，通过声压强度神经网络模块学习修正了只使用repvgg-b0进行模型学习带来的不足。
[0026]
s32、声压强度神经网络模块：如图1和图4所示，本实施中，声压强度神经网络模块优选为浅层一维卷积神经网络，其包括3层一维卷积层和4层全连接层。如此设计可以使模型有偏向地更关注原始声源信息的不同特征的表示，从而使模型能够更好地泛化到新的任务中。
[0027]
s4、结合故障点的定位信息和声压强度判断设备的故障情况。通过声压强度可以获取设备的声功率的数值，从而有助于判断故障类型和放电强弱等信息，在此基础上结合故障点的定位信息能够确保准确地判断出设备的故障情况，由此克服现有技术仅通过定位信息判断设备故障情况所存在的不足。
[0028]
以下声源位置神经网络模块和声压强度神经网络模块的训练过程进行详细介绍：在步骤s2和s3中，通过bp训练方法对所述声源位置神经网络模块和声压强度神经网络模块进行训练。具体地，假定声源定位训练的数据集有r个训练样本，数据集可用 来表示。其中 由真实的声源位置 和声压强度 两部分组成。
[0029]
本发明使用 表示每个训练样本 的预测结果，并使用公式（3）的l2 loss计算输出的声源位置与实际声源位置的差值 ，以便于对输出的预测值和真实值进行优化。
[0030]
ꢀꢀꢀꢀ
（3）为了表现出声压强度的差异性，本发明对每个训练样本的 利用公式(4)变化到分贝尺度进行损失函数的计算：
ꢀꢀ
（4）一般地，在生活空气中声压的参考值为 ，
ꢀꢀ
的单位为db。上式获得的结果的声压级强度(spl)为 。在训练过程中，spl损失函数采用l1 loss，从而得到输出的声压强度与实际声压强度的差值 。如公式(5)所示。
[0031]
ꢀꢀꢀ
（5）联合公式(3)和公式(5)，本算法整个训练过程的代价函数为其中α是平衡训练声源位置和声压强度的损失函数两者之间数量级的超参数，在发明设定α = 10来调整两个损失函数。
[0032]
最后根据代价函数对声源位置神经网络模块和声压强度神经网络模块进行迭代修正。
[0033]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

技术特征：
1.一种基于深度学习理论的设备故障声源定位方法，其特征在于：包括如下步骤：s1、通过麦克风阵列mems传感器进行声源信号采集，从而获取故障点的原始声源信号；s2、对原始声源数据进行傅里叶变换和灰度处理，使其转换为stft灰度图像，并将stft灰度图像输入经过训练的声源位置神经网络模块，从而得到故障点的定位信息；s3、将原始声源数据输入经过训练的声压强度神经网络模块，从而得到故障点的声压强度；s4、结合故障点的定位信息和声压强度判断设备的故障情况。2.如权利要求1所述的一种基于深度学习理论的设备故障声源定位方法，其特征在于：在步骤s2中， 所述声源位置神经网络模块为repvgg-b0网络。3.如权利要求2所述的一种基于深度学习理论的设备故障声源定位方法，其特征在于：所述repvgg-b0网络的训练和推理过程均有5个阶段，每个阶段的层数依次为[1，4，6，16，1]。4.如权利要求1所述的一种基于深度学习理论的设备故障声源定位方法，其特征在于：在步骤s3中，所述声压强度神经网络模块为浅层一维卷积神经网络，其包括3层一维卷积层和4层全连接层。5.如权利要求1所述的一种基于深度学习理论的设备故障声源定位方法，其特征在于：在步骤s2中，根据公式（1）将原始声源信号通过短时傅里叶变换转化为时频图像；式中：n表示声源个数，表示汉明窗的长度，r表示相邻窗之间的跳接尺寸，表示汉明窗的宽度。6.如权利要求1所述的一种基于深度学习理论的设备故障声源定位方法，其特征在于：在步骤s2和s3中，通过bp训练方法对所述声源位置神经网络模块和声压强度神经网络模块进行训练，首先计算输出的声源位置与实际声源位置的差值以及输出的声压强度与实际声压强度的差值，接着根据公式（2）计算代价函数，最后根据代价函数对声源位置神经网络模块和声压强度神经网络模块进行迭代修正；式中：α表示平衡训练声源位置和声压强度的损失函数两者之间数量级的超参数。

技术总结
本发明公开了一种基于深度学习理论的设备故障声源定位方法，包括如下步骤：通过麦克风阵列MEMS传感器进行声源信号采集，从而获取故障点的原始声源信号；对原始声源数据进行傅里叶变换和灰度处理，使其转换为STFT灰度图像，并将STFT灰度图像输入经过训练的声源位置神经网络模块，从而得到故障点的定位信息；将原始声源数据输入经过训练的声压强度神经网络模块，从而得到故障点的声压强度；结合故障点的定位信息和声压强度判断设备的故障情况。本发明基于原始声源数据的特性，创新性地采用相互独立的声源位置神经网络模块 声压强度神经网络模块的多任务学习网络构架，由此同时获取故障点的定位信息和声压强度，为设备故障情况的判断提供了双向支持。况的判断提供了双向支持。况的判断提供了双向支持。


技术研发人员：田阳普 邓敏 周荣兴 洪鹏鹏 贺鹏
受保护的技术使用者：红相股份有限公司
技术研发日：2022.02.16
技术公布日：2022/5/25