一种自主转运手势引导识别方法及装置与流程

1.本技术属于飞机控制技术领域，具体涉及一种自主转运手势引导识别方法及装置。


背景技术：

2.舰载机舰面转运是其出动回收的阶段之一，现有的舰载机转运基本通过牵引车牵引或专用设备遥控方式实现，转运流程复杂、操作不便，这主要是由于以下几方面的缺点造成的：a、甲板狭窄，环境复杂，必须非常精确的操作才能避免碰撞，使用牵引车进行转运时，由于驾驶员视线存在遮挡易造成操作失误；b、需要同时配备多名舰面保障人员共同配合，以保证转运过程的安全性，当舰载机大批次出动时，人力需求较大；c、多舰载机协同转运情况下，对牵引车的需求较大，牵引车的往返会增加对跑道的占用时间，影响出动效率；d、掌握遥控设备的使用方法，需要对指挥人员进行专门的培训；e、有人机和舰载机采用不同的转运指挥方式，增加了甲板作业的时间。


技术实现要素：

3.为了解决上述问题，本技术提供一种自主转运手势引导识别方法及装置，提供一种直接、自然的交互方式实现舰载机舰面调运，使舰载机系统更加自主、高效、安全。
4.本技术第一方面提供了一种自主转运手势引导识别方法，主要包括：
5.步骤s1、基于深度学习检测算法识别指挥人员；
6.步骤s2、判断所述指挥人员是否在有效范围内，若在有效范围内，通过连续识别同一个指挥人员，对该指挥人员进行绑定；
7.步骤s3、基于手势识别算法识别指挥人员的手部动作或者肢体动作；
8.步骤s4、基于给定的映射关系，解析所述手部动作或者肢体动作，形成滑行引导控制指令；
9.步骤s5、基于所述滑行引导控制指令控制飞机运动。
10.优选的是，步骤s1中，通过指挥人员着装特征训练所述深度学习检测算法，并基于所述着装特征识别指挥人员。
11.优选的是，步骤s2进一步包括，通过双目测距算法筛选出有效范围内的指挥人员。
12.优选的是，步骤s3中，识别所述手部动作或者肢体动作包括：
13.在白天时，基于深度学习网络识别指挥人员的肢体和手势的时序特征；在夜晚时，基于深度学习网络识别指挥人员所持夜间灯棒的相对位置及运动轨迹的时序特征。
14.优选的是，步骤s5进一步包括：
15.基于滑行引导控制指令控制机上响应指令灯，以将执行状态反馈给指挥人员。
16.本技术第二方面提供了一种自主转运手势引导识别装置，主要包括：
17.指挥人员识别模块，用于基于深度学习检测算法识别指挥人员；
18.绑定模块，用于判断所述指挥人员是否在有效范围内，若在有效范围内，通过连续
识别同一个指挥人员，对该指挥人员进行绑定；
19.姿态识别模块，用于基于手势识别算法识别指挥人员的手部动作或者肢体动作；
20.指令解算模块，用于基于给定的映射关系，解析所述手部动作或者肢体动作，形成滑行引导控制指令；
21.飞机控制模块，用于基于所述滑行引导控制指令控制飞机运动。
22.优选的是，所述指挥人员识别模块中，通过指挥人员着装特征训练所述深度学习检测算法，并基于所述着装特征识别指挥人员。
23.优选的是，所述绑定模块进一步包括双目识别单元，用于通过双目测距算法筛选出有效范围内的指挥人员。
24.优选的是，所述姿态识别模块包括：
25.人员肢体手势识别单元，用于在白天时，基于深度学习网络识别指挥人员的肢体和手势的时序特征；发光物体运动轨迹识别单元，用于在夜晚时，基于深度学习网络识别指挥人员所持夜间灯棒的相对位置及运动轨迹的时序特征。
26.优选的是，所述飞机控制模块进一步包括反馈单元，用于基于滑行引导控制指令控制机上响应指令灯，以将执行状态反馈给指挥人员。
27.本技术具有以下优点：1)深化舰载机舰面自主性研究，结合舰面调运、出动、回收等运行阶段，通过智能化技术形成舰载机舰面自主能力，减少转运过程中对牵引车的使用需求，保证舰载机在无人或人监督条件下，能根据甲板状况独立智能规划舰载机移动路径，在避免碰撞等事故的前提下，迅速安全地到达目标点。2)可以通过对甲板环境的自主感知和识别功能，辅助操控人员全方位了解甲板的情况，减轻舰面保障人员的操作压力和疲劳度；可以在少量人监督下完成转运任务，减轻了操控人员的工作强度，减小了人力需求，降低了培养操控人员的周期和成本。3)舰面自动转运能力作为一项通用化技术，可应用于无人、有人等多个型号，自主规划转运路径，缩短移动距离，减少对跑道的占用时间，同时可降低舰载机对转运车的使用需求，有效减少舰面设备种类和数量，避免车辆往复行驶对飞行甲板的干扰，提高航母舰载机出动架次。
附图说明
28.图1为本技术实施例提供的一种自主转运手势引导识别方法的流程图。
具体实施方式
29.为使本技术实施的目的、技术方案和优点更加清楚，下面将结合本技术实施方式中的附图，对本技术实施方式中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施方式是本技术一部分实施方式，而不是全部的实施方式。下面通过参考附图描述的实施方式是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。基于本技术中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本技术保护的范围。下面结合附图对本技术的实施方式进行详细说明。
30.本技术第一方面提供了一种自主转运手势引导识别方法，主要包括：
31.步骤s1、基于深度学习检测算法识别指挥人员；
32.步骤s2、判断所述指挥人员是否在有效范围内，若在有效范围内，通过连续识别同一个指挥人员，对该指挥人员进行绑定；
33.步骤s3、基于手势识别算法识别指挥人员的手部动作或者肢体动作；
34.步骤s4、基于给定的映射关系，解析所述手部动作或者肢体动作，形成滑行引导控制指令；
35.步骤s5、基于所述滑行引导控制指令控制飞机运动。
36.在一些可选实施方式中，步骤s1中，通过指挥人员着装特征训练所述深度学习检测算法，并基于所述着装特征识别指挥人员。本实施例中，本技术有效利用现有机上传感器，增加视觉传感器，经信息融合后，获取自身位置、舰面环境和指挥人员信息；指挥人员身着特定颜色制服，配备发光棒，增加与周围环境、保障人员的区分度
37.在一些可选实施方式中，步骤s2进一步包括，通过双目测距算法筛选出有效范围内的指挥人员，连续识别同一个指挥人员，保证对有效距离范围内的指挥人员进行跟踪。
38.在一些可选实施方式中，步骤s3中，识别所述手部动作或者肢体动作包括：
39.在白天时，基于深度学习网络识别指挥人员的肢体和手势的时序特征；在夜晚时，基于深度学习网络识别指挥人员所持夜间灯棒的相对位置及运动轨迹的时序特征。
40.本实施例采用基于深度学习的手势识别算法，增强手势识别的准确性、适用性。备选实施方式中，在夜间，指挥人员通过发光棒进行转运指挥，舰载机还可以通过识别光棒的几何形状、空间位置、颜色等特征生成滑行指令。需要说明的是，在转运过程中，还可以通过专门的控制权限交接手势，能实现不同指挥人员的控制权转移。
41.在步骤s5中，舰载机结合周边环境感知信息，将引导指令解算成前轮转弯、刹车、油门等控制指令，控制舰载机平稳完成舰面滑行。本实施例中，舰载机可综合周围环境感知信息和人员指挥指令，自主优化滑行路径和滑行速度，提高了转运效率和安全性。在一些可选实施方式中，步骤s5进一步包括：基于滑行引导控制指令控制机上响应指令灯，以将执行状态反馈给指挥人员或周边地勤人员。
42.图1给出了本技术一个具体实施例的流程图，参考图1，本实施例的手势识别转运流程包括：
43.1)舰载机进入舰面滑行模态，舰载机实时回传视频图像；2)白天常规情况下指挥人员身穿统一且特定的服装，夜晚情况，指挥人员手持光棒，通过算法对指挥人员着装或荧光棒特征的提取与识别；3)通过在舰载飞机上安装两个摄像机模拟人的双眼来采集舰艇甲板上的图像，并结合双目视觉模型来计算甲板上的指挥人员距离摄像机(舰载机)的距离，如果距离过远则回到步骤2)；4)采用深度学习网络进行人体姿态的特征提取，将人体的肢体和手势信息从整幅图像中分割出来；然后通过长短时记忆网络(lstm)引入时域信息，提取白天时人的肢体和手势，夜间灯棒的相对位置、运动轨迹等时序特征，识别肢体动作以及动态手势；5)当识别出指挥指令后，结合感知模块获取的定位和环境信息，通过路径规划模块计算出转运轨迹，滑行控制模块引导舰载机跟踪轨迹，完成转运；6)当遇到突发情况，如人员、车辆等障碍物出现在转运路径上，舰载机能自动制动，避免发生碰撞。
44.本技术第二方面提供了一种与上述方法对应的自主转运手势引导识别装置，主要包括：
45.指挥人员识别模块，用于基于深度学习检测算法识别指挥人员；
46.绑定模块，用于判断所述指挥人员是否在有效范围内，若在有效范围内，通过连续识别同一个指挥人员，对该指挥人员进行绑定；
47.姿态识别模块，用于基于手势识别算法识别指挥人员的手部动作或者肢体动作；
48.指令解算模块，用于基于给定的映射关系，解析所述手部动作或者肢体动作，形成滑行引导控制指令；
49.飞机控制模块，用于基于所述滑行引导控制指令控制飞机运动。
50.在一些可选实施方式中，所述指挥人员识别模块中，通过指挥人员着装特征训练所述深度学习检测算法，并基于所述着装特征识别指挥人员。
51.在一些可选实施方式中，所述绑定模块进一步包括双目识别单元，用于通过双目测距算法筛选出有效范围内的指挥人员。
52.在一些可选实施方式中，所述姿态识别模块包括：
53.人员肢体手势识别单元，用于在白天时，基于深度学习网络识别指挥人员的肢体和手势的时序特征；发光物体运动轨迹识别单元，用于在夜晚时，基于深度学习网络识别指挥人员所持夜间灯棒的相对位置及运动轨迹的时序特征。
54.在一些可选实施方式中，所述飞机控制模块进一步包括反馈单元，用于基于滑行引导控制指令控制机上响应指令灯，以将执行状态反馈给指挥人员。
55.本技术具有以下优点：1)深化舰载机舰面自主性研究，结合舰面调运、出动、回收等运行阶段，通过智能化技术形成舰载机舰面自主能力，减少转运过程中对牵引车的使用需求，保证舰载机在无人或人监督条件下，能根据甲板状况独立智能规划舰载机移动路径，在避免碰撞等事故的前提下，迅速安全地到达目标点。2)可以通过对甲板环境的自主感知和识别功能，辅助操控人员全方位了解甲板的情况，减轻舰面保障人员的操作压力和疲劳度；可以在少量人监督下完成转运任务，减轻了操控人员的工作强度，减小了人力需求，降低了培养操控人员的周期和成本。3)舰面自动转运能力作为一项通用化技术，可应用于无人、有人等多个型号，自主规划转运路径，缩短移动距离，减少对跑道的占用时间，同时可降低舰载机对转运车的使用需求，有效减少舰面设备种类和数量，避免车辆往复行驶对飞行甲板的干扰，提高航母舰载机出动架次。
56.虽然，上文中已经用一般性说明及具体实施方案对本技术作了详尽的描述，但在本技术基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本技术精神的基础上所做的这些修改或改进，均属于本技术要求保护的范围。