本发明涉及煤矿皮带巷道监控，具体而言，涉及一种多模态信息融合的皮带巷道监测方法及装置。
背景技术：
1、皮带巷道是煤矿运输系统的重要组成部分，其运行效率直接关系着整个矿井的生产衔接和原煤产量。随着煤矿皮带巷道智能化控制的逐步完善，进一步提高了煤矿运输系统的智能化程度。煤矿皮带巷道的智能化控制是实现煤矿减人提效的有效方式。但是，现有的皮带巷道监控方法未能将监控视频数据和设备运行数据进行联动分析，在皮带巷道运行的过程中，煤流量过载、电机损坏和托辊损坏的情况时有发生。
2、综上所述，现有技术中将监控数据和传感器数据分别进行预警和控制存在预测结果的准确性和可靠性较低的问题。
技术实现思路
1、本发明实施例提供了一种多模态信息融合的皮带巷道监测方法及装置，以至少解决现有技术中将监控数据和传感器数据分别进行预警和控制导致预测结果的准确性和可靠性较低的技术问题。
2、根据本发明实施例的一个方面，提供了一种多模态信息融合的皮带巷道监测方法，包括：通过摄像机获取皮带巷道的监控视频数据，得到第一目标数据，通过多种传感器获取所述皮带巷道中的设备的运行数据，得到第二目标数据；对所述第一目标数据进行预处理，得到第三目标数据，所述预处理至少包括序列提取和图像增强；将所述第三目标数据和所述第二目标数据输入多模态融合模型，得到第四目标数据和第五目标数据，所述第四目标数据为所述皮带巷道中的煤流量数据，所述第五目标数据为所述皮带巷道的异常状态，所述异常状态包括人员侵入、皮带移位、煤堆积、煤移位、煤体积异常和煤量占空比异常中的一个或多个；基于所述第四目标数据和所述第五目标数据发出目标报警信息，并对所述皮带巷道中的所述设备进行控制。
3、可选地，对所述第一目标数据进行预处理，得到第三目标数据，包括：基于第一目标公式对所述第一目标数据进行所述图像增强，得到所述第三目标数据：其中，rindex为所述第三目标数据，index为颜色通道索引，wi为第一目标数据i的权重矩阵，为所述第一目标数据i，n为场景相同的所述第一目标数据的曝光序列中的图像数量。
4、可选地，在基于第一目标公式对所述第一目标数据进行所述图像增强之前，该多模态信息融合的皮带巷道监测方法，还包括：基于所述第一目标数据分别确定各像素的初始光照强度和像素值，得到第一光照强度和目标像素值；将所述第一光照强度和所述目标像素值通过第二目标公式对所述第一光照强度进行修正，得到第二光照强度：其中,i(x,y)为坐标(x,y)处的所述目标像素值，l(x,y)为坐标(x,y)处的所述第一光照强度，ltarget为预设光照强度，γ为第一预设系数，ienhanced(x,y)为坐标处(x,y)的所述第二光照强度；基于所述第二光照强度对所述第一目标数据进行处理，并将处理后的所述第一目标数据存入所述曝光序列。
5、可选地，在将所述第三目标数据和所述第二目标数据输入多模态融合模型之前，该多模态信息融合的皮带巷道监测方法，还包括：构建学生模型，基于各预设模型和所述学生模型之间知识蒸馏的过程分别构建对应的训练损失函数，得到目标损失函数，所述预设模型包括clip模型、vilbert模型或lxmert模型中的一个或多个；基于所述目标损失函数、所述预设模型和所述学生模型进行知识蒸馏对所述学生模型进行训练，并基于所述损失函数对所述学生模型的模型参数进行调整，直至所述损失函数小于或等于预设值，将所述学生模型确定为所述多模态融合模型。
6、可选地，基于各预设模型和所述学生模型之间知识蒸馏的过程分别构建对应的损失函数，包括：根据所述预设模型和所述学生模型构建所述目标损失函数：
7、其中，为目标损失函数的输出值，为所述学生模型的原始损失函数值，为所述预设模型与所述学生模型之间的指示蒸馏损失，为多模态一致性损失，为视频特征，为传感器特征，λ1和λ2分别为第二预设系数和第二预设系数，和分别为所述预设模型和所述学生模型的输出值，kl()为计算kl散度，为计算l2距离。
8、可选地，基于所述第四目标数据和所述第五目标数据发出目标报警信息，并对所述皮带巷道中的所述设备进行控制，包括：在托辊温度大于等于第一阈值和/或电机温度大于等于第二阈值的情况下，进行温度异常报警；在进行所述温度异常报警、所述托辊温度大于等于所述第一阈值且所述电机温度大于等于所述第二阈值的情况下，减小电机的转速且减小皮带的煤流量；在进行所述温度异常报警、所述托辊温度大于等于所述第一阈值且所述电机温度小于所述第二阈值的情况下，减小所述电机的转速；在进行所述温度异常报警、所述托辊温度小于所述第一阈值且所述电机温度大于等于所述第二阈值的情况下，减小所述皮带的煤流量。
9、可选地，基于所述第四目标数据和所述第五目标数据发出目标报警信息，并对所述皮带巷道中的所述设备进行控制，还包括：在所述第四目标数据不属于预设范围的情况下，进行煤流量异常报警；在进行所述煤流量异常报警且所述第四目标数据小于所述预设范围的下界的情况下，降低电机的转速且降低皮带的传输速度；在进行所述煤流量异常报警且所述第四目标数据大于所述预设范围的上界的情况下，提高所述电机的转速且提高所述皮带的传输速度。
10、根据本发明实施例的另一方面，还提供了一种多模态信息融合的皮带巷道监测装置，包括：第一获取模块，用于通过摄像机获取皮带巷道的监控视频数据，得到第一目标数据，通过多种传感器获取所述皮带巷道中的设备的运行数据，得到第二目标数据；处理模块，用于对所述第一目标数据进行预处理，得到第三目标数据，所述预处理至少包括序列提取和图像增强；输入模块，用于将所述第三目标数据和所述第二目标数据输入多模态融合模型，得到第四目标数据和第五目标数据，所述第四目标数据为所述皮带巷道中的煤流量数据，所述第五目标数据为所述皮带巷道的异常状态，所述异常状态包括人员侵入、皮带移位、煤堆积、煤移位、煤体积异常和煤量占空比异常中的一个或多个；报警模块，用于基于所述第四目标数据和所述第五目标数据发出目标报警信息，并对所述皮带巷道中的所述设备进行控制。
11、可选地，所述处理模块，包括：图像增强单元，用于基于第一目标公式对所述第一目标数据进行所述图像增强，得到所述第三目标数据：其中，rindex为所述第三目标数据，index为颜色通道索引，wi为第一目标数据i的权重矩阵，为所述第一目标数据i，n为场景相同的所述第一目标数据的曝光序列中的图像数量。
12、可选地，该多模态信息融合的皮带巷道监测装置，还包括：确定单元，用于在基于第一目标公式对所述第一目标数据进行所述图像增强之前基于所述第一目标数据分别确定各像素的初始光照强度和像素值，得到第一光照强度和目标像素值；修正单元，用于将所述第一光照强度和所述目标像素值通过第二目标公式对所述第一光照强度进行修正，得到第二光照强度：其中,i(x,y)为坐标(x,y)处的所述目标像素值，l(x,y)为坐标(x,y)处的所述第一光照强度，ltarget为预设光照强度，γ为第一预设系数，ienhanced(x,y)为坐标处(x,y)的所述第二光照强度；处理单元，用于基于所述第二光照强度对所述第一目标数据进行处理，并将处理后的所述第一目标数据存入所述曝光序列。
13、可选地，该多模态信息融合的皮带巷道监测装置，还包括：构建模块，用于在将所述第三目标数据和所述第二目标数据输入多模态融合模型之前构建学生模型，基于各预设模型和所述学生模型之间知识蒸馏的过程分别构建对应的训练损失函数，得到目标损失函数，所述预设模型包括clip模型、vilbert模型或lxmert模型中的一个或多个；训练模块，用于基于所述目标损失函数、所述预设模型和所述学生模型进行知识蒸馏对所述学生模型进行训练，并基于所述损失函数对所述学生模型的模型参数进行调整，直至所述损失函数小于或等于预设值，将所述学生模型确定为所述多模态融合模型。
14、可选地，所述构建模块，包括：构建单元，用于根据所述预设模型和所述学生模型构建所述目标损失函数：其中，为目标损失函数的输出值，为所述学生模型的原始损失函数值，为所述预设模型与所述学生模型之间的指示蒸馏损失，为多模态一致性损失，为视频特征，为传感器特征，λ1和λ2分别为第二预设系数和第二预设系数，和分别为所述预设模型和所述学生模型的输出值，kl()为计算kl散度，为计算l2距离。
15、可选地，所述报警模块，包括：第一报警单元，用于在托辊温度大于等于第一阈值和/或电机温度大于等于第二阈值的情况下，进行温度异常报警；第一减小单元，用于在进行所述温度异常报警、所述托辊温度大于等于所述第一阈值且所述电机温度大于等于所述第二阈值的情况下，减小电机的转速且减小皮带的煤流量；第二减小单元，用于在进行所述温度异常报警、所述托辊温度大于等于所述第一阈值且所述电机温度小于所述第二阈值的情况下，减小所述电机的转速；第三减小单元，用于在进行所述温度异常报警、所述托辊温度小于所述第一阈值且所述电机温度大于等于所述第二阈值的情况下，减小所述皮带的煤流量。
16、可选地，所述报警模块，还包括：第二报警单元，用于在所述第四目标数据不属于预设范围的情况下，进行煤流量异常报警；降低单元，用于在进行所述煤流量异常报警且所述第四目标数据小于所述预设范围的下界的情况下，降低电机的转速且降低皮带的传输速度；提高单元，用于在进行所述煤流量异常报警且所述第四目标数据大于所述预设范围的上界的情况下，提高所述电机的转速且提高所述皮带的传输速度。
17、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行上述中任意一项所述的多模态信息融合的皮带巷道监测方法。
18、根据本发明实施例的另一方面，还提供了一种通信系统，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述中任意一项所述的多模态信息融合的皮带巷道监测方法。
19、根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的多模态信息融合的皮带巷道监测方法。
20、根据本发明实施例的另一方面，还提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时执行上述中任意一项所述的多模态信息融合的皮带巷道监测方法。
21、在本发明实施例中，通过摄像机获取皮带巷道的监控视频数据，得到第一目标数据，通过多种传感器获取皮带巷道中的设备的运行数据，得到第二目标数据；对第一目标数据进行预处理，得到第三目标数据，预处理至少包括序列提取和图像增强；将第三目标数据和第二目标数据输入多模态融合模型，得到第四目标数据和第五目标数据，第四目标数据为皮带巷道中的煤流量数据，第五目标数据为皮带巷道的异常状态，异常状态包括人员侵入、皮带移位、煤堆积、煤移位、煤体积异常和煤量占空比异常中的一个或多个；基于第四目标数据和第五目标数据发出目标报警信息，并对皮带巷道中的设备进行控制。通过本发明提供的技术方案，达到了采用跨传感器协同采样策略智能化采集数据，通过多模态融合模型将皮带巷道的监控视频数据和设备运行数据进行多模态信息融合进而设计联动预警策略的目的，从而实现了智能化监控和预警的技术效果，提高了皮带巷道故障预警的准确性和可靠性，进而解决了现有技术中将监控数据和传感器数据分别进行预警和控制导致预测结果的准确性和可靠性较低的技术问题。
1.一种多模态信息融合的皮带巷道监测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述第一目标数据进行预处理，得到第三目标数据，包括：
3.根据权利要求2所述的方法，其特征在于，在基于第一目标公式对所述第一目标数据进行所述图像增强之前，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，在将所述第三目标数据和所述第二目标数据输入多模态融合模型之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，基于各预设模型和所述学生模型之间知识蒸馏的过程分别构建对应的损失函数，包括：
6.根据权利要求1所述的方法，其特征在于，基于所述第四目标数据和所述第五目标数据发出目标报警信息，并对所述皮带巷道中的所述设备进行控制，包括：
7.根据权利要求1所述的方法，其特征在于，基于所述第四目标数据和所述第五目标数据发出目标报警信息，并对所述皮带巷道中的所述设备进行控制，还包括：
8.一种多模态信息融合的皮带巷道监测装置，其特征在于，所述装置包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序执行权利要求1至7中任意一项所述的多模态信息融合的皮带巷道监测方法。
10.一种监控系统，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的多模态信息融合的皮带巷道监测方法。
