本发明属于信号处理和结构健康监测，特别是涉及一种基于稠密匹配与先验知识增强的结构振动位移识别方法。
背景技术：
1、结构振动位移时程的测量在土木工程中非常重要，其不仅揭示了土木结构的静态和动态特性，而且直接反映了结构状态。例如，桥梁结构中过大的挠度、建筑结构中过大的层间位移角等指标直接表明在役结构发生了潜在的损伤。当前的测量技术包括：连接到监测点的接触式传感器、传统的非接触式传感器、以及基于视觉的非接触式传感器。
2、接触式传感器测量两个物理上相连的点之间的相对运动，进而得到位移。尽管这类传感器具有很高的位移测量精度，但是其需要固定的参考点，这对于实际的大型结构是不可行的。此外，有线连接使得此类系统的部署和维护成本高昂。无线传输技术可以降低布线的复杂性，但接触式系统通常只布置稀疏“点式”的传感器，这意味着位移测量结果仅有较低的空间分辨率。因此，结构信息可能会丢失，导致后续无法准确识别局部损伤。传统的非接触式传感器通过测量卫星定位、激光、雷达和其他遥感信号来获取位移。其中，卫星定位的测量精度和频率较低，适用于静态位移监测。激光测量的精度和频率都很高，但是安全限制下的激光功率无法实现远距离位移测量。此外，上述两种非接触式系统都需要在结构上安装标记物作为测点，因此它们也具有类似于接触式系统的稀疏测量缺陷。雷达可以实现稠密测量，但其成本和功耗非常高，不适合土木工程的实际应用。
3、得益于视觉传感器的进步，目前已经可以进行低成本、准确且相对高速的远距离视频记录。例如，使用消费级相机或智能手机、变焦镜头、以及三脚架的组合，甚至无人机来进行视频录制。所获得的图像序列记录了视场中所有像素的运动，其包含稠密的结构位移信息。基于视觉的便携式测量系统不仅易于操作，而且在重大灾害发生后可以快速恢复工作，获取结构信息，确保及时的应急响应。在过去的几十年里，一系列视觉跟踪和转换算法已被应用于土木工程场景中，基于监测视频数据实现了非接触式的位移测量。低成本、稠密测量以及易于操作和维护的优势使基于视觉的系统成为传统位移测量系统的有效补充。在稳定的成像和监测环境中，视觉测量系统甚至是一种极具竞争力的替代方案。
4、基于视觉的位移测量包括两个主要步骤：像素运动估计和运动到位移的转换。现有的运动估计算法分为两类：非迭代式和迭代式。其中，非迭代算法适用于快速跟踪特定像素点的运动，需要额外的计算来实现准稠密测量和亚像素精度。而迭代算法仅限于估计具有较小位移幅值的运动场，需要多层图像金字塔堆叠和多次迭代来提高测量精度。目前，单一运动估计算法无法同时实现快速估计和稠密估计，阻碍了结构位移的实时识别，以及对于监测视频数据的最大化利用。此外，现有方法还需要手动调整测量算法的超参数以应对恶劣的环境条件。以上的问题十分不利于基于视觉的位移测量技术的应用和自动化。
5、目前，同时考虑运动估计的速度和密度的视觉位移识别方法在结构健康监测领域中的研究及应用尚不存在。利用隐含在监测数据中的运动先验和物理知识，实现在较低监测视频质量下的准确、鲁棒的结构振动位移识别的潜力也没有得到挖掘。
技术实现思路
1、本发明目的是为了解决现有技术中的问题以满足实际的检测需要，提出了一种基于稠密匹配与先验知识增强的结构振动位移识别方法。
2、本发明是通过以下技术方案实现的，本发明提出一种基于稠密匹配与先验知识增强的结构振动位移识别方法，所述方法包括以下步骤：
3、步骤一、通过仿真渲染技术建立包含多样化监测场景的视频、以及帧间光流的大数据集，用于训练图像特征增强网络
4、步骤二、建立基于稠密匹配的非迭代式光流估计模型：选择初始的网络架构超参数，建立图像特征增强网络输入数据集中两帧相关的图像(i1,i2)，经过计算输出增强的同分辨率特征(f1,f2)；将图像i1中所有像素点的位置记为p1，利用基于注意力机制的稠密匹配策略进行非迭代特征匹配，得到这些像素点在图像i2中的对应位置p2，进而得到初始的帧间光流估计结果o＝p2-p1；利用基于注意力机制的光流传播策略，将初始光流传播到图像中无法进行匹配的遮挡、出边界区域，得到光流估计值o*；将光流估计值与数据集中的真值进行对比，通过误差反向传播与梯度下降方法训练网络之后进行超参数调优，得到学习了匹配描述能力的图像特征增强网络此后固定其参数θ不再改变；
5、步骤三、提取实际的结构振动监测视频中隐含的运动先验信息，改进光流估计结果；
6、步骤四、设定监测视频中结构静止的参考帧，将静止帧与当前帧一起作为输入，基于步骤二中的光流估计模型，以及步骤三中的两类运动先验约束，计算得到两帧间的全场像素运动；
7、步骤五、基于结构线性振动理论的物理知识，改进位移测量结果；将所有测量节点的振动位移时程向量组成位移矩阵；使用奇异值分解来近似结构振动响应的模态分解，通过只保留主要的奇异值来近似低秩属性，进行位移测量结果的降噪，降低监测视频中部分结构节点区域的录制质量不佳而导致的过高误差水平；使用主要的奇异值成分重新组合，得到更准确的结构振动位移识别结果。
8、进一步地，所述帧间光流为两帧视频图像间发生的全场像素运动。
9、进一步地，在步骤三中，一方面，使用非迭代运动估计算法快速获取对于所需监测的结构节点的运动幅值上界的估计，作为运动先验，限制稠密匹配的范围；另一方面，对比视频帧间的前向光流与后向光流，估计监测视频中存在的遮挡、出边界区域，计算这些区域与结构节点区域的重叠程度，作为运动先验，判断是否需要进行光流传播，限制光流传播的范围。
10、进一步地，在步骤四中，框选视频中需要识别振动位移的结构节点区域，基于特征点匹配和透视变换得到拍摄视频视图向结构正视图转换的单应性矩阵，并在正视图计算用于单位转换的尺度因子；利用单应性矩阵与尺度因子实现像素运动向实际位移的转换，对节点区域内所有像素点的位移进行平均得到节点振动位移；重复上述过程，得到节点振动位移时程。
11、进一步地，所述步骤二具体为：
12、步骤2.1、建立初始的图像特征增强网络来处理两帧图像(i1,i2)：
13、
14、其中，增强后的图像特征与原图像具有相同的空间分辨率；
15、步骤2.2、将图像i1中所有像素点的位置记为p1，将配对的像素点在图像i2中的对应位置记为p2，在像素级特征描述量的基础上，使用基于注意力机制的稠密匹配策略实现光流估计：
16、
17、o＝p2-p1
18、基于稠密匹配的光流估计结果为o；其中，图像特征矩阵的两个空间坐标轴被合并为一个，softmax函数用于归一化特征匹配转移权重；并将像素点原位置重新组合、转换为新位置，实现了亚像素精度的光流估计；
19、步骤2.3、利用输入图像特征f1的自相似性来将成功匹配区域的光流估计结果传播到未匹配区域；基于注意力机制实现光流传播策略：
20、
21、最终，得到考虑了传播策略后的光流估计结果o*；
22、步骤2.4、将光流估计结果与数据集中的真值对比，建立目标函数，通过误差反向传播与梯度下降方法训练，进行超参数调优，得到学习了匹配描述能力的图像特征增强网络此后固定其参数θ。
23、进一步地，在步骤三中，使用非迭代运动估计算法快速获取对于所需监测的结构节点的运动幅值上界的估计，作为运动先验，限制对每个像素点进行稠密匹配的范围：
24、
25、其中，mask函数随像素位置改变，将运动先验约束的匹配区域之外的特征转移权重置零，实现像素级地屏蔽不利于准确匹配的信息。
26、进一步地，在步骤三中，交换两帧图像的输入顺序，得到反向光流，对比视频帧间的前向光流与后向光流，估计监测视频中存在的遮挡、出边界区域，计算这些区域与结构节点区域的重叠程度，作为运动先验，限制对每个像素点进行光流传播的范围：
27、
28、其中，mask函数随像素位置改变，将运动先验约束的传播区域之外的特征转移权重置零，实现像素级地屏蔽不利于准确传播的信息。
29、进一步地，所述步骤五具体为：
30、步骤5.1、将视频中识别的各个节点振动位移时程向量记为di(i＝1,…,m)，将其组成结构位移矩阵d＝[d1 … di … dm]；根据结构线性振动理论中的模态叠加原理，结构振动响应的模态分解可以使用奇异值分解来近似：
31、d＝u·diag(s)·vt
32、其中，u、v为奇异向量矩阵，s近似表示结构位移响应中各阶模态成分的幅值；
33、步骤5.2、根据物理知识即，结构位移矩阵d具有低秩属性；计算s中相邻阶奇异值的比值，设定阈值，将过小的奇异值置零，得到新的奇异值向量s*，重新组合得到：
34、d*＝u·diag(s*)·vt
35、其中，d*为去噪后的结构振动位移识别结果。
36、本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述一种基于稠密匹配与先验知识增强的结构振动位移识别方法的步骤。
37、本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述一种基于稠密匹配与先验知识增强的结构振动位移识别方法的步骤。
38、本发明的有益效果：
39、1.本发明所述的基于稠密匹配的非迭代方法与现有方法相比，通过基于注意力机制的匹配策略单步计算得到全场像素运动的估计结果，解决了现有方法无法同时实现快速位移识别和稠密位移识别的问题，使得方法更适合应用于结构健康监测系统中。
40、2.本发明方法的光流传播策略能够利用图像周边信息恢复监测视频中遮挡、出边界区域的像素运动，使得方法在监测区域被部分遮挡的情况下仍能计算得到相对准确的位移识别结果；此外，本发明方法利用深度学习模型增强图像特征，使用增强后的图像特征进行像素运动估计，使得方法在恶劣环境条件下具有更好的鲁棒性，更适合于实际应用。
41、3.本发明所述的方法利用视频数据中隐含的对于监测区域的运动先验知识，基于先验知识来约束稠密匹配与光流传播的范围，进一步提升了位移识别的精度。
42、4.本发明利用结构振动响应通常由少量模态主导这一物理先验知识，基于线性振动理论中结构振动响应的模态分解与奇异值分解的近似关系，通过仅保留主要的奇异值成分来对位移识别结果进行降噪，提高了结构振动位移识别的精度，使得方法能够抵抗监测视频质量不佳而导致部分结构节点区域中偏高的测量噪声。
1.一种基于稠密匹配与先验知识增强的结构振动位移识别方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述帧间光流为两帧视频图像间发生的全场像素运动。
3.根据权利要求1所述的方法，其特征在于，在步骤三中，一方面，使用非迭代运动估计算法快速获取对于所需监测的结构节点的运动幅值上界的估计，作为运动先验，限制稠密匹配的范围；另一方面，对比视频帧间的前向光流与后向光流，估计监测视频中存在的遮挡、出边界区域，计算这些区域与结构节点区域的重叠程度，作为运动先验，判断是否需要进行光流传播，限制光流传播的范围。
4.根据权利要求1所述的方法，其特征在于，在步骤四中，框选视频中需要识别振动位移的结构节点区域，基于特征点匹配和透视变换得到拍摄视频视图向结构正视图转换的单应性矩阵，并在正视图计算用于单位转换的尺度因子；利用单应性矩阵与尺度因子实现像素运动向实际位移的转换，对节点区域内所有像素点的位移进行平均得到节点振动位移；重复上述过程，得到节点振动位移时程。
5.根据权利要求1所述的方法，其特征在于，所述步骤二具体为：
6.根据权利要求3所述的方法，其特征在于，在步骤三中，使用非迭代运动估计算法快速获取对于所需监测的结构节点的运动幅值上界的估计，作为运动先验，限制对每个像素点进行稠密匹配的范围：
7.根据权利要求3所述的方法，其特征在于，在步骤三中，交换两帧图像的输入顺序，得到反向光流，对比视频帧间的前向光流与后向光流，估计监测视频中存在的遮挡、出边界区域，计算这些区域与结构节点区域的重叠程度，作为运动先验，限制对每个像素点进行光流传播的范围：
8.根据权利要求1所述的方法，其特征在于，所述步骤五具体为：
9.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任一项所述方法的步骤。
10.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1-8任一项所述方法的步骤。
