本发明涉及电力运营管理，具体涉及一种智能用电安全检查系统。
背景技术：
1、在电力系统的持续发展中，用电安全检查扮演着至关重要的角色，其目标在于协助电力客户提高用电设备的安全管理标准，迅速发现并及时处理涉网用电设备运行中的潜在安全风险，以增强电网的整体安全性。
2、目前，用电安全检查主要依赖专业人员的定期巡查，这种方法不仅耗费大量资源，而且高度依赖人员的经验和技能。由于不同人员在主观判断和技能水平上存在一定差异，造成安全隐患的检测和识别往往不够精确和及时，这无疑增加了电网运行的风险。同时，随着用电设备的复杂程度不断增加，安全隐患已经逐渐从单一故障转变为更复杂的多因素故障，传统的人工用电安全检查方法难以适应这种复杂性，从而无法实现对安全隐患的精确、高效识别。
3、此外，用电安全检查在决策支持方面也显得能力不足。当前的业务流程在风险评估、设备智能化等方面遭遇了诸多难题，包括关键用电设备状态信息的不明确、缺乏对非电气类安全隐患的排查能力、决策支持能力不足、现场作业的智能化水平较低，以及集成化能力有限等问题。这些挑战不仅制约了智能化电网的发展，也难以满足数字化营销管理的需求。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术所存在的上述缺点，本发明提供了一种智能用电安全检查系统，能够有效克服现有技术所存在的难以对用电设备安全隐患进行精确、高效识别的缺陷。
3、(二)技术方案
4、为实现以上目的，本发明通过以下技术方案予以实现：
5、一种智能用电安全检查系统，包括多模态知识库建立及检索模块、智能终端多模态数据采集与处理模块、多模态智能诊断与决策支持模块和电力客户用电安全检查服务模块；
6、多模态知识库建立及检索模块，构建和维护一个全面的电力客户用电安全检查服务多模态知识库，包含用电安全检查服务涉及到的各种知识，并提供智能检索和对话功能，以支持现场服务人员快速获取相关知识；
7、智能终端多模态数据采集与处理模块，通过智能终端采集多模态数据，同时负责开发信息融合和识别算法，以实现对设备运行状态和环境的实时监测与分析，为风险预测和安全管理提供数据支持；
8、多模态智能诊断与决策支持模块，基于多模态知识库建立及检索模块提供的知识，以及智能终端多模态数据采集与处理模块提供的数据，运用智能认知和知识推理技术，对用电安全隐患进行识别和评估；
9、电力客户用电安全检查服务模块，整合上述模块的输出结果，构建一个系统，以对数据进行高效处理和分析，同时提供了全景展示和实时监控功能，使得供电服务或电力应急指挥中心能够全面了解现场情况，实现快速响应和精准决策。
10、优选地，所述多模态知识库建立及检索模块构建和维护一个全面的电力客户用电安全检查服务多模态知识库，包含用电安全检查服务涉及到的各种知识，并提供智能检索和对话功能，以支持现场服务人员快速获取相关知识，包括：
11、针对关键用电设备的典型用电安全检查要求，进行相关知识的整理，构建和维护一个全面的电力客户用电安全检查服务多模态知识库，并提供基于自然语言的知识检索功能。
12、优选地，所述针对关键用电设备的典型用电安全检查要求，进行相关知识的整理，构建和维护一个全面的电力客户用电安全检查服务多模态知识库，并提供基于自然语言的知识检索功能，包括：
13、s1、通过文档加载器和ocr文字识别将各种格式的文档转换为可处理的文本数据；
14、s2、利用文本预处理技术对文本数据进行清洗和规范化处理；
15、s3、将预处理后的文本数据切分为多个文本块，采用嵌入模型将文本块转换为向量模型；
16、s4、构建向量索引，并对向量模型进行存储，得到电力客户用电安全检查服务多模态知识库；
17、s5、用户查询时，将语音输入转换为向量模型，并利用向量索引与电力客户用电安全检查服务多模态知识库中的向量模型进行检索和匹配，以找到目标文档；
18、s6、结合目标文档和用户的语音输入，使用大语言模型生成准确且丰富的回复内容；
19、其中，嵌入模型包括bert和word2vec，使用faiss和annoy技术来对电力客户用电安全检查服务多模态知识库中的向量模型进行存储和检索，大语言模型包括chatglm-6b。
20、优选地，所述智能终端多模态数据采集与处理模块通过智能终端采集多模态数据，同时负责开发信息融合和识别算法，以实现对设备运行状态和环境的实时监测与分析，为风险预测和安全管理提供数据支持，包括：
21、利用智能终端采集包含现场作业行为、用电安全相关运行状态数据、距离感知和安全帽佩戴在内的多模态数据，智能终端通过集成的传感器、模组和通信协议进行数据传输；
22、构建一个用于电力场景的缺陷检测模型，对智能终端采集到的多模态数据进行缺陷检测；
23、其中，智能终端包括智能安全帽和智能手机，通信协议详细规定了数据包的组成，包括长度、信息id、有效数据、包校验和命令尾，确保数据的准确传输和解析。
24、优选地，所述缺陷检测模型基于yolox网络构建，所述yolox网络包括输入层input、主干网络backbone、颈部网络neck、头部网络head和预测层prediction；
25、输入层input，接收图像数据；
26、主干网络backbone，利用focus结构和cspdarknet网络提取图像数据中的特征信息，focus结构通过隔列采样和通道拼接减少计算量，同时提升小目标的检测准确率，cspdarknet网络通过cbs、csp和spp模块进一步增强特征的语义理解能力；
27、颈部网络neck，通过fpn结构和pan结构进行多尺度特征融合，增强网络对于不同尺寸目标的检测能力；
28、头部网络head，采用解耦设计，优化了类别和边界预测，缩短训练时间的同时提高了平均精度；
29、预测层prediction，输出检测结果，包括边界框、类别和置信度；
30、其中，针对电力场景中目标的多样性和复杂性，yolox网络引入了csea模块来优化特征提取并抑制无效信息的传播，此外，通过gmp模块结合最大池化和卷积操作的优点，降低参数量，提高推理速度；在损失函数的设计上，yolox网络采用了iou-basedfocal loss，以解决分类和定位分数不匹配的问题，并通过focal loss处理样本不平衡问题。
31、优选地，所述多模态智能诊断与决策支持模块基于多模态知识库建立及检索模块提供的知识，以及智能终端多模态数据采集与处理模块提供的数据，运用智能认知和知识推理技术，对用电安全隐患进行识别和评估，包括：
32、通过构建包含历史信息、安全规程和故障特征的用电设备特征数据库，结合智能识别技术，利用仪器仪表读数模型识别并评估仪器仪表读数，确保电力系统安全运行。
33、优选地，所述仪器仪表读数模型包括空间变换网络stn和文字识别模块；
34、空间变换网络stn，以mobilenetv3网络作为骨干网络，通过全连接层生成仿射变换矩阵，并引入坐标注意力机制来替代mobilenetv3网络中的se模块，以增强空间特征信息的学习能力，该网络输出的是仿射变换参数，通过sampler计算出变换后的输出特征图；
35、文字识别模块，利用mobilenetv3网络提取特征，并在其中加入se模块以增强特征表示能力；然后，特征图经过池化处理和全连接网络后送入自注意力机制中，动态生成权重参数以处理不定长的输入序列；最终，该模块采用ctc算法作为损失函数，通过反向传播优化网络参数，实现对仪表盘文本行图像的识别；
36、其中，坐标注意力机制通过平均池化核沿水平和竖直方向对坐标位置进行编码，然后通过线性变换和sigmoid函数计算通道间的重要性，实现精准获取位置信息和通道间关系的依赖性。
37、优选地，所述电力客户用电安全检查服务模块整合上述模块的输出结果，构建一个系统，以对数据进行高效处理和分析，同时提供了全景展示和实时监控功能，使得供电服务或电力应急指挥中心能够全面了解现场情况，实现快速响应和精准决策，包括：
38、建立用电安全检查系统，对智能终端采集到的多模态数据进行识别，反映现场设备外观和内部状态。
39、优选地，所述用电安全检查系统包括设备管理模块、工单管理模块、视频通话模块和语音助手模块；
40、设备管理模块，管理员能够深入审视每台设备的详细信息，包括基础资料、历史工单和故障记录，管理员能够访问并浏览设备参与过的所有历史工单，并直接跳转至工单详情界面，工单详情界面提供了全面的设备使用概览，包括设备轨迹的动态回放和详细的报警日志；设备轨迹的动态回放利用数据库中的经纬度和时间戳数据，利用智能地图技术，以直观的模拟形式展现设备的移动路径，为设备使用情况的追踪和分析提供了强有力的可视化工具；
41、工单管理模块，用户能够便捷地对工单进行回执操作，当用户以执行人身份进行回执时，其反馈将直接影响工单状态的变更，具体来说，用户进行回执时，该模块会根据回执内容自动更新工单状态，包含待确认、待处理、处理中、已完成、已撤销在内的五种工单状态，清晰地标示了工单的进度和状况；当用户选择着手处理工单时，该模块将引导用户进入一个专门的回执界面，其中集成了设备选择功能，以使得用户正确选择并使用相应设备来完成任务，确保了工单处理的准确性和效率，同时也提高了整个工作流程的透明度和可追踪性；
42、视频通话模块，通过janus框架的videoroom插件进行设计，该模块允许用户随时加入或退出一个动态的虚拟会议室，这个虚拟会议室运作在灵活的发布/订阅模式之上，在发布/订阅模式中，每个参与者都能够发布自己的实时音视频流，而这些流随时供房间内的其他参与者订阅和观看，从而实现高效的信息共享，该模块的设计支持了多样化的应用场景，极大地增强了通信的灵活性和实时性；
43、语音助手模块，基于chatglm3-6b和bge-large-zh-v1.5的中文对话系统，用于辅助用电安全检查工作，通过将各种用电安全检查的知识和问答做成数据库形式使用模型进行问答，在回答用户的问题时引用数据库中的参考内容，以帮助用户更加智能地解决用电安全检查中的各种专业性问题。
44、(三)有益效果
45、与现有技术相比，本发明所提供的一种智能用电安全检查系统，具有以下有益效果：
46、1)充分利用来自包括智能安全帽和智能手机在内的多种智能终端采集到的多模态数据进行用电设备缺陷检测，更好地揭示了数据之间的关联性；
47、2)针对天气、摄像头位置等因素，拍摄仪器仪表的仪表盘图像可能会出现明亮不一、倾斜角度不一、清晰度不一等情况，对于这些情况提出一种仪器仪表读数模型，能够对仪器仪表进行准确读数；
48、3)在用电安全检查系统中创新性地提出了视频会议功能，让参与用电安全检查的多方可以进行会商，有效提高用电安全检查效率；
49、4)使用大语言模型进行对话生成，从而能够在电力场景中应对咨询需求时更好地提供服务。
1.一种智能用电安全检查系统，其特征在于：包括多模态知识库建立及检索模块、智能终端多模态数据采集与处理模块、多模态智能诊断与决策支持模块和电力客户用电安全检查服务模块；
2.根据权利要求1所述的智能用电安全检查系统，其特征在于：所述多模态知识库建立及检索模块构建和维护一个全面的电力客户用电安全检查服务多模态知识库，包含用电安全检查服务涉及到的各种知识，并提供智能检索和对话功能，以支持现场服务人员快速获取相关知识，包括：
3.根据权利要求2所述的智能用电安全检查系统，其特征在于：所述针对关键用电设备的典型用电安全检查要求，进行相关知识的整理，构建和维护一个全面的电力客户用电安全检查服务多模态知识库，并提供基于自然语言的知识检索功能，包括：
4.根据权利要求1所述的智能用电安全检查系统，其特征在于：所述智能终端多模态数据采集与处理模块通过智能终端采集多模态数据，同时负责开发信息融合和识别算法，以实现对设备运行状态和环境的实时监测与分析，为风险预测和安全管理提供数据支持，包括：
5.根据权利要求4所述的智能用电安全检查系统，其特征在于：所述缺陷检测模型基于yolox网络构建，所述yolox网络包括输入层input、主干网络backbone、颈部网络neck、头部网络head和预测层prediction；
6.根据权利要求1所述的智能用电安全检查系统，其特征在于：所述多模态智能诊断与决策支持模块基于多模态知识库建立及检索模块提供的知识，以及智能终端多模态数据采集与处理模块提供的数据，运用智能认知和知识推理技术，对用电安全隐患进行识别和评估，包括：
7.根据权利要求6所述的智能用电安全检查系统，其特征在于：所述仪器仪表读数模型包括空间变换网络stn和文字识别模块；
8.根据权利要求1所述的智能用电安全检查系统，其特征在于：所述电力客户用电安全检查服务模块整合上述模块的输出结果，构建一个系统，以对数据进行高效处理和分析，同时提供了全景展示和实时监控功能，使得供电服务或电力应急指挥中心能够全面了解现场情况，实现快速响应和精准决策，包括：
9.根据权利要求8所述的智能用电安全检查系统，其特征在于：所述用电安全检查系统包括设备管理模块、工单管理模块、视频通话模块和语音助手模块；
