一种辅助维修方法、系统、存储介质及计算设备

1.本发明涉及一种辅助维修方法、系统、存储介质及计算设备，属于设备维修技术领域。


背景技术：

2.针对复杂装备（如港口关键设备）维修，国内外目前多采用虚拟现实（virtual reality，vr）技术对操作人员进行维修培训，但在实际维修工作中，遇到的问题更加复杂，方法的可靠性会下降。
3.mr技术是一项合并现实世界和虚拟世界而产生的新的可视化环境的新技术。hololens是mr设备的一代为代表，一台hololens设备配有4个环境感知相机感知用户的相对位移，一个深度摄像头感知周围环境，一个惯性导航装置（imu）感知设备方向，4个麦克风进行全方位的语音输入。
4.mr技术中场景搭建，多采用目标内置的真实标注物进行三维注册，这种真实标注物容易对虚拟物体产生遮挡，不仅污染场景，而且影响维修人员的操作。


技术实现要素：

5.本发明提供了一种辅助维修方法、系统、存储介质及计算设备，解决了背景技术中披露的问题。
6.为了解决上述技术问题，本发明所采用的技术方案是：一种辅助维修方法，包括：基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；根据目标设备数据，搭建mr场景；其中，在mr场景搭建过程中，采用预设的虚拟标志物进行三维注册；识别mr场景中的手势或语音；基于手势或语音识别结果，进行辅助维修。
7.维修知识库中包括设备部件的三维模型、设备信息以及设备维修方案动画。
8.采用预设的虚拟标志物进行三维注册包括：采用预设的若干特征点匹配算法进行目标设备匹配，选择最优的目标设备匹配结果；基于匹配的目标设备，获取目标设备中预设的虚拟标志物；采用虚拟标志物进行三维注册。
9.虚拟标志物为目标设备的几何中心点。
10.基于手势或语音识别结果，进行辅助维修，包括：若识别出手势或语音触发本地指导，播放目标设备维修方案动画；若识别出手势或语音触发远程指导，联系指导专家，对专家的语义进行识别，生成与语义匹配的操作标识；其中，操作标识被手势点击后，触发目标设备虚拟模型操作；
若识别出手势或语音触发目标设备虚拟模型操作，生成与手势或语音匹配的操作指令，根据操作指令操作目标设备虚拟模型，进行辅助维修。
11.手势包括点击手势和操作手势；其中，操作手势用以操作目标设备虚拟模型，包括移动、旋转、缩放、拖拽、物体标注、目标圈选、插拔导引、旋转导引和删除。
12.一种辅助维修系统，包括：数据获取模块：基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；场景搭建模块：根据目标设备数据，搭建mr场景；其中，在mr场景搭建过程中，采用预设的虚拟标志物进行三维注册；识别模块：识别mr场景中的手势或语音；辅助维修模块：基于手势或语音识别结果，进行辅助维修。
13.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行辅助维修方法。
14.一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行辅助维修方法的指令。
15.本发明所达到的有益效果：本发明采用预设的虚拟标志物进行三维注册，不会对虚拟物体产生遮挡，不污染场景，而且不会影响维修人员的操作。
附图说明
16.图1为辅助维修方法的流程图；图2为减速器辅助维修流程图；图3为系统架构图。
具体实施方式
17.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
18.如图1所示，一种辅助维修方法，包括：步骤1，基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；步骤2，根据目标设备数据，搭建mr场景；其中，在mr场景搭建过程中，采用预设的虚拟标志物进行三维注册；步骤3，识别mr场景中的手势或语音；步骤4，基于手势或语音识别结果，进行辅助维修。
19.上述方法实施在hololens眼镜中，该方法采用预设的虚拟标志物进行三维注册，不会对虚拟物体产生遮挡，不污染场景，而且不会影响维修人员的操作。
20.维修知识库为结合设备相关资料和人工经验构建的数据库，内容包括设备部件的三维模型、设备信息以及设备维修方案动画。以减速器为例，在3ds max中建立箱体、轴系部件、附件等三维模型，根据设备维修技术手册等相关资料获取减速器信息，包括零部件名称、减速器参数信息、减速器历史信息等，基于这些信息，结合工人经验给出减速器维修方
法，这里维修方案采用动画形式，每个维修步骤生成一个动画。上述所有格信息存储到mysql数据库中，构成了维修知识库。
21.为了便于上述方法实施，事先会在当前维修的设备上贴上二维码，当维修人员抵达现场后，通过佩戴hololens眼镜，扫描设备上的二维码，即可实现目标设备的选择。
22.基于选择的目标设备，从维修知识库中获取目标设备数据，基于这些数据，即可搭建mr场景。mr场景搭建采用unity3d引擎，利用sqlaccess脚本实现数据库与unity3d的通信，在unity3d中通过c#控制脚本实现对目标设备相关数据的调用。
23.场景搭建时，将fbx模型文件导入unity3d，设置hololens支持的solid color相机模式，完成虚拟模型构建，利用3dsmax软件完成对虚拟模型的优化。在计算机视觉中，图像是由像素点组成的，区别或者辨识一幅图像是通过检测图像中的特征点进行分辨的，而这些特征点就是图像中的像素点。目标设备匹配的第一步就是先检测一幅图像的特征点，并由这些特征点来识别和匹配目标。hololens的目标设备匹配、 三维重建，三维注册等过程都是基于这些检测出的特征点进行的。
24.虽然空间映射技术可以对周围环境进行扫描建模，但对结构较为精细的设备（如减速器）无法完成详细扫描，仅仅利用空间映射技术无法实现虚拟模型和真实模型的完全融合。因此，将这里采用虚拟标注物的三维注册技术，具体过程如下：采用预设的若干特征点匹配算法进行目标设备匹配，如sift、surf、fast、orb，选择最优的目标设备匹配结果，基于匹配的目标设备，获取目标设备中预设的虚拟标志物，采用虚拟标志物进行三维注册，实现对目标设备虚拟模型的辅助定位，通过虚拟标志物的识别使目标设备虚拟模型与真实模型更好的融合在一起；其中，虚拟标志物根据实际情况而定，这里采用的是目标设备的几何中心点。
25.在hololens中维修人员可对目标设备虚拟模型（三位全息模型）进行全方位三维视角观察，通过手势或语音操作模型，进行辅助维修；其中，手势包括点击手势和操作手势；其中，点击手势用以点击gui按钮，操作手势用以操作目标设备虚拟模型，包括移动、旋转、缩放、拖拽、物体标注、目标圈选、插拔导引、旋转导引和删除。
26.识别手势或语音，基于手势或语音识别结果，进行辅助维修，具体过程可包括：11）若识别出手势或语音触发本地指导，播放目标设备维修方案动画；本地指导即播放目标设备维修方案动画，当操作某要一维修步骤之前，场景中会有一个gui按钮，触发该按钮，即可弹出动画播放框，进行相应步骤动画的播放，指导人员熟悉炒作步骤；12）若识别出手势或语音触发远程指导，联系指导专家，对专家的语义进行识别，生成与语义匹配的操作标识；其中，操作标识被手势点击后，触发目标设备虚拟模型操作；远程指导即与维修专家进行远程视频通话，通过对专家的语义进行识别，在场景中生成操作标识，如“顺时针旋转螺栓”，经过识别后，会在场景中生成一个顺时针旋转操作标识，点击该标识，触发目标设备虚拟模型操作（即顺时针旋转螺栓）；13）若识别出手势或语音触发目标设备虚拟模型操作，生成与手势或语音匹配的操作指令，根据操作指令操作目标设备虚拟模型，进行辅助维修；如需要了解设备内部结构，可通过手势对部件进行拖拽等，将模型进行拆分。
27.为了增强识别效果，采用改进faster r-cnn识别mr场景中的手势，引入了k-means
聚类算法并提出区域放大、局部标注、自适应阈值改进策略，相较于原始的faster r-cnn算法，有效地提高了目标检测的速度，在应对多目标、模糊、杂乱背景、光照变化、大面积遮挡等检测难度较大的情况时，能获得很好的效果。
28.以斗轮堆取料机上的减速器为例，如图2所示，构建相应的mr场景，在mr场景中，通过手势或语音进行模型操作辅助维修。
29.基于相同的技术方案，本发明还公开了上述方法的软件系统，即一种辅助维修系统，包括：数据获取模块：基于选择的目标设备，从预先构建的维修知识库中获取目标设备数据；场景搭建模块：根据目标设备数据，搭建mr场景；其中，在mr场景搭建过程中，采用预设的虚拟标志物进行三维注册；识别模块：识别mr场景中的手势或语音；辅助维修模块：基于手势或语音识别结果，进行辅助维修。
30.软件系统各模块的数据处理流程与方法的一致，这里不详细描述了。
31.系统采用mr设备hololens辅助维修，hololens通过虚拟文字、虚拟设备模型、动画及语音提示等方式将维修信息直观地呈现给维修人员。维修人员采用语音交互、手势识别等方式与hololens交互，操作方便。
32.如图3所示，系统可以分为三个层级，包括数据层、unity3d开发层和hololens应用层。数据层主要是构建维修知识库，将数据存储到维修知识库中，便于在unity3d中通过脚本实时调用。unity3d开发层主要用于搭建mr场景，同时实现二维码扫描、设备维修指导流程和远程专家协作等关键技术。
33.针对减速器维修过程中，维修人员操作困难，需要技术人员给予远程指导或抵达现场维修，故障知识和维修技能交互难，导致维修过程耗时耗力的问题，针对斗轮堆取料机上的减速箱，采用mr设备hololens，在unity平台上实现港口设备原理虚拟仿真、基于二维码的设备管理、维修指导和远程技术人员协作，并针对hololens设备作二次开发，研究hololens视觉的目标匹配方法和基于标志物的三维注册算法，提高hololens图像处理能力，开发mr辅助维修指导系统，可有效解决维修人员技术储备不足、维修周期长和地域限制问题，快速提高维修操作人员的技术能力和维修效率。
34.基于相同的技术方案，本发明还公开了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行辅助维修方法。
35.基于相同的技术方案，本发明还公开了一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行辅助维修方法的指令。
36.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产
品的形式。
37.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
38.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
39.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
40.以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。