一种面向老年人日常复杂地形运动的意图识别方法

1.本发明涉及人体运动意图识别领域，特别是涉及一种面向老年人日常复杂地形运动的意图识别方法。


背景技术：

2.老年化指的是人生理上与心理上的衰老现象。老年期以后，由于生理机能自然衰退，老年慢性疾病如心脑血管疾病，阿尔茨海默症等发病率不断上升而引起运动能力降低，而在下肢力量衰减方面表现最为突出，并且往往在单侧肢体上表现较为突出，导致双侧运动不平衡，从而影响老年人的行动能力与生活质量。
3.在各种日常生活所需要的能力中，行走能力对老年人是影响力最大的一种。因此市面上存在许多老年人下肢运动辅助产品，如：拐杖，助步椅，无动力轮椅等。此类辅助产品虽然能一定程度上辅助老年人进行移动，但是由于其无动力，很容易消耗老年人体力，造成疲劳。另一方面，这种运动方式也受地形影响较大，如楼梯，坡道等复杂地形，不方便使用。为此，目前兴起的各种智能运动辅助装置，例如智能外骨骼和智能义肢可以通过预测使用者的运动意图，来辅助使用者进行地形转换和运动，从而降低使用者的行走负担，更好地辅助使用者日常活动。


技术实现要素：

4.为使得运动辅助装置能够更加准确、合理的为下肢运动障碍人群，尤其是老年人提供助力，对于使用者下肢运动意图的准确和及时的识别是帮助使用者稳定、自然行动的关键，本发明的目的是提出了一种面向老年人日常复杂地形运动的意图识别方法，通过安置在使用者下肢不同部位的数据采集模块进行实时的运动数据采集，并对原始运动数据进行预处理后对使用者当前下肢运动模式进行识别。
5.本发明为实现上述目的所采用的技术方案是：一种面向老年人日常复杂地形运动的意图识别方法，其特征在于，所述方法包括：
6.步骤s1：运动意图识别数据采集并建立人体运动数据库
7.通过佩戴在被监测对象下肢的数据采集模块实时采集被监测对象下肢多个采样点的运动数据并建立人体运动数据库，所述运动数据包括三轴加速度信息和三轴角速度信息；
8.步骤s2：通过对各采样点的运动数据进行姿态解算，得到俯仰角；
9.步骤s3：对步骤s1和步骤s2中得到的加速度、角速度和俯仰角进行空间域和时间域上的处理，以使时间域和空间域的特征融合，生成融合后的数据；
10.步骤s4：将经步骤s3处理后的数据输入至运动模式识别模块，运动模式识别模块调取已训练好的运动类别识别模型，将处理好的数据作为输入，由已训练好的运动类别识别模型进行运动模式的识别；
11.步骤s5：根据识别出的运动模式，完成运动意图的识别，成功识别出运动意图，通
过步骤s4识别的运动模式分类结果设定运动辅助装置控制策略。
12.作为本发明的优选实施方案，步骤s1中，所述数据采集模块为多维imu传感器采集模块，数据采集模块包括mpu9250六轴运动传感器，数量为四个，四个mpu9250六轴运动传感器分别佩戴在被监测对象左右侧大腿中间处和小腿中间处。
13.进一步，步骤s2中使用卡尔曼滤波法获取俯仰角。
14.进一步，所述步骤s3具体包括：
15.在空间域上将加速度、角速度和俯仰角映射到一个共同的空间中，使得同一时刻在所述空间中加速度、角速度和俯仰角由一组共同的特征表达为一个向量其中分别表示为t时刻的x轴、y轴和z轴三轴加速度，分别表示为t时刻对应的x轴、y轴和z轴三轴角速度，p
t
为t时刻对应的俯仰角，d
t
为加速度、角速度和俯仰角合并后的t时刻向量；
16.时间域上采用滑动窗口方法进行处理，根据数据采集模块采集频率进行滑动窗口的移动，将当前时刻采集的数据处理为合法输入，设当前时刻t，滑动窗口大小为s，单位：采样频率个数，则当前时刻输入：
17.x
t
＝(d
t-s
、d
t-s 1
、
…
、d
t
)，其中d
t
为t时刻加速度a
t
、角速度g
t
和俯仰角p
t
合并后的数据向量，d
t-s
、d
t-s 1
分别为t-s时刻合并后的数据向量、t-s 1时刻的合并后的数据向量。
18.进一步，所述步骤s4具体包括：
19.(1)获取模型训练集
20.从步骤s1中所述人体运动数据库调取历史数据形成数据集
21.人体步态周期通常指行走时从一条腿的脚跟触地开始，到同一条腿的下一次脚跟触地结束，同时人体步态周期有脚跟触地和脚趾离地两个步态事件，通过步态周期中步态事件来对所述数据集中的每次步态运动数据进行不同运动状态的划分：
22.在运动状态定义之前，首先将步态周期中处于地面的腿称为支撑腿，将要发生摆动或正在摆动状态中的腿称为摆动腿；
23.运动状态的定义如下：
24.①
将步态周期内的运动分为稳态和转换态，一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期；
25.②
当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式相同，称这个周期为一个稳态周期；
26.③
当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式不同时，称这个周期为一个转换态周期，得到七种稳态数据和八种转换态数据，作为模型的训练集，其中七种稳态数据对应七种稳定模式的参数信息，七种稳定模式分别为：坐、站、平地走、上楼梯、下楼梯、上坡、下坡；八种转换态数据对应八种转换模式的参数信息，八种转换模式分别为：平地走向上坡转换、平地走向下坡转换、平地走向上楼梯转换、平地走向下楼梯转换、上坡向平地走转换、下坡向平地走转换、上楼梯向平地走转换、下楼梯向平地走转换；
27.(2)运动类别识别模型的选取
28.选取长短期记忆人工神经网络lstm作为运动类别识别模型的神经网络，并使用全连接层作分类器层，再进行softmax归一化处理，将模型输出结果映射为一个1
×
15的输出向量，该输出向量可视为步骤(1)中15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果，即[y0,y1,y2，y3,
…
,y
13
,y
14
]对应运动模式编号0,1,2,3
…
13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号；
[0029]
(3)训练运动类别识别模型
[0030]
选取人体一侧腿作为主使用腿进行运动类别识别模型的训练，另一侧腿则作为辅助来修正运动类别识别模型输出结果；对两侧腿分别设定影响权重矩阵w
l
和wr，w
l
、wr分别表示左、右侧腿输出结果对于最终识别结果的影响程度；训练过程中以交叉熵损失函数作为损失函数，adam优化器作为梯度下降方式对两侧腿的输出结果影响权重w
l
和wr进行调整，训练中分别对两条腿的运动数据进行单独训练，选择主使用侧腿的运动数据作为训练结果的输出，并根据同时刻另一侧腿的运动数据训练后运动类别识别模型的输出结果进行辅助修正；
[0031]
(4)运动模式识别模块接收数据采集模块实时向其传输的处理后的运动数据，并输入到运动类别识别模型中进行当前时刻被监测对象下肢运动模式的识别。
[0032]
进一步，步骤s4中，所述运动模式识别模块与数据采集模块实时无线传输数据，运动模式识别模块与数据采集模块的通信协议为蓝牙低功耗协议ble5.0。
[0033]
通过上述设计方案，本发明可以带来如下有益效果：
[0034]
1、通过数据采集模块对使用者运动中的下肢不同部位的三维加速度和三维角速度进行实时采集，并对运动数据进行空间域和时间域上的处理，最后通过基于深度学习所构建的运动类别识别模型对使用者进行复杂地形情况中不同下肢运动模式的精准识别，为运动辅助装置的控制策略提供的依据。
[0035]
2、为了使智能运动辅助装置能够自然顺畅地辅助使用者进行日常运动，智能运动辅助装置需要通过使用者的运动参数来得出运动意图，再结合老年人双侧腿运动不平衡的特点，为了实现辅助双侧腿平衡自然运动的需求，设计实现一种通过单侧腿运动参数预测并矫正双侧腿运动的运动辅助系统将有十分重要的意义。
附图说明
[0036]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明示意性实施例及其说明用于理解本发明，并不构成本发明的不当限定，在附图中：
[0037]
图1为本发明提出的面向老年人日常复杂地形运动的意图识别方法基于的系统总体结构框图；
[0038]
图2为本发明提出的面向老年人日常复杂地形运动的意图识别方法程序流程图。
具体实施方式
[0039]
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
[0040]
为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
[0041]
如图1所示，本实施例中提出了一种基于imu数据的面向老年人的日常复杂地形运动的实时辅助系统，系统包括数据采集模块和运动模式识别模块，其中数据采集模块主要负责使用者运动时的腿部运动数据的实时采集，并对原始运动数据进行时间域和空间域上的处理(具体空间域上对数据进行滤波处理、并且将同一时刻的数据采集模块中多个传感器的x、y、z三轴数据进行合并为一个数据向量x
t
；时间域上将一定时间段内(时间窗口)的x
t
再合并为一个输入d
t
。即假设窗口长度为n，当前时刻为t，本发明是用t时刻和t时刻之前的n个时刻的数据对t时刻的运动模式进行预测)；运动模式识别模块主要负责接收数据采集模块所传输的处理后的数据，将处理好的数据作为输入，由预训练好的运动类别识别模型进行运动模式的识别。其中数据采集模块与运动模式识别模块之间通过蓝牙低功耗协议ble5.0通信。
[0042]
在具体的实例中，被监测对象佩戴好数据采集模块，开启数据采集模块后首先对数据采集模块中的mpu9250六轴运动传感器和蓝牙设备等初始化，然后检查蓝牙是否连接成功，如果连接成功，则开始采集三轴加速度和三轴角速度，否则就继续等待连接。连接成功后，数据采集模块采集上述三轴加速度a
x
、ay、az和三轴角速度g
x
、gy、gz，然后进行姿态解算，得到俯仰角p，并用滑动窗口方法进行数据时间域上的划分，本实施例中，数据采集模块中的mpu9250六轴运动传感器采集频率1000hz，滑动窗口的大小为s，s等于250；数据采集模块将采集好的数据传输到运动模式识别模块，如果上传失败则重新进行数据采集；传输数据成功后，运动模式识别模块根据数据进行运动模式识别。如果选择断开连接，则数据采集模块关闭，如图2所示。
[0043]
如图1和图2所示，一种面向老年人日常复杂地形运动的意图识别方法，包括如下步骤：
[0044]
步骤一、被监测对象佩戴数据采集模块实时采集其下肢的运动数据；
[0045]
步骤二、数据采集模块通过步骤一中得到的运动数据进行姿态解算，得到俯仰角；
[0046]
步骤三、数据采集模块对步骤一、步骤二中得到的加速度、角速度和俯仰角进行空间域和时间域上的处理；
[0047]
步骤四、数据采集模块将步骤三的结果无线传输给运动模式识别模块；
[0048]
步骤五、运动模式识别模块将步骤三处理后的数据通过预训练好的运动类别识别模型进行识别；(被监测对象的左右腿)
[0049]
步骤六、根据步骤五识别的运动模式分类结果设定运动辅助装置控制策略。
[0050]
优选的是，步骤一中，数据采集模块为多维imu传感器采集模块，数据采集模块中带有mpu9250六轴运动传感器，总共四个mpu9250六轴运动传感器分别采集被监测对象左右侧大腿中间处和小腿中间处的三维加速度和三维角速度。
[0051]
优选的是，步骤二中，姿态解算中使用卡尔曼滤波法获取俯仰角。
[0052]
优选的是，步骤三中，将mpu9250六轴运动传感器的数据在空间域上处理，将同一时刻不同部位的mpu9250六轴运动传感器合并为一个向量。数据采集模块时刻t所记录的三轴加速度三轴角速度以及俯仰角p
t
，合并后的t时刻的向量为：
[0053][0054]
时间域上采用滑动窗口方法进行处理，根据数据采集模块采集频率进行滑动窗口的移动，将当前时刻采集的数据处理为合法输入，设当前时刻t，滑动窗口大小为s，单位：采样频率个数，则当前时刻输入：x
t
＝(d
t-s
、d
t-s 1
、
…
、d
t
)，其中d
t
为t时刻加速度a
t
、角速度g
t
和俯仰角p
t
合并后的数据向量，
[0055]
分别为t-s时刻合并后的数据向量、t-s 1时刻的合并后的数据向量。
[0056]
窗口大小s应表示为该窗口有s个时刻的采集数据d，其中d
t
为t时刻的采样数据，d
t
由三维加速度、三维角速度和俯仰角合并而成。
[0057]
优选的是，步骤四中，数据采集模块与运动模式识别模块的通信协议为蓝牙低功耗协议ble5.0。
[0058]
优选的是，步骤五中，首先是对模型的预训练：
[0059]
(一)对人体下肢运动周期进行分析
[0060]
采用运动类别识别模型对运动数据进行模式识别。人体下肢运动具有一定的周期性和规律性，人体步态周期通常指行走时从一条腿的脚跟触地开始，到同一条腿的下一次脚跟触地结束。同时人体步态周期有脚跟触地和脚趾离地两个特殊步态事件。基于以上，通过步态周期中步态事件来对数据集中的每次步态运动数据进行不同运动状态的划分：
[0061]
在新的运动状态定义之前，本发明将步态周期中处于地面的腿称为支撑腿，将要发生摆动或正在摆动状态中的腿称为摆动腿。定义如下：
[0062]
①
本发明将步态周期内的运动分为稳态和转换态，一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期；
[0063]
②
当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式相同，本发明称这个周期为一个稳态周期；
[0064]
③
当摆动腿脚趾离地时刻的运动模式与支撑腿最近一次脚跟触地时刻的运动模式相同，且与下一次摆动腿脚跟触地时的运动模式不同时，本发明称这个周期为一个转换态周期。
[0065]
由上述数据处理方法本发明得到七种稳态和八种转换态的数据集来进行模型的训练(见表1)。
[0066]
表1
[0067][0068]
一条腿从脚趾离地到该腿下一次脚跟触地为该腿的一个完整周期。对于步态运动中的时刻，当前脚跟触地的一侧腿我们定为支撑腿，另一侧则为摆动腿。对于支撑腿脚跟触地时的运动状态为statea，对于前一次摆动腿脚趾离地时的运动状态为stateb，当statea＝stateb时，即为稳态，statea≠stateb时，为stateb
→
statea的转换态。(其中statea和stateb可能的运动状态为：{坐，站，平地走，上坡，下坡，上楼梯，下楼梯})
[0069]
对于稳态模式：即当前支撑腿脚跟触地时运动状态与前一次摆动腿脚趾离地时的运动状态相同时，即为稳态。
[0070]
1、其中模式坐和站是静止状态下的模式，与步态周期无关，即当前所处的静止状态。
[0071]
2、平地走：前一次摆动腿脚趾离地时运动模式为平地走，当前支撑腿脚跟触地时运动状态也为平地走。
[0072]
3、上坡：前一次摆动腿脚趾离地时运动模式为上坡，当前支撑腿脚跟触地时运动状态也为上坡。
[0073]
4、下坡：前一次摆动腿脚趾离地时运动模式为下坡，当前支撑腿脚跟触地时运动状态也为下坡。
[0074]
5、上楼梯：前一次摆动腿脚趾离地时运动模式为上楼梯，当前支撑腿脚跟触地时运动状态也为上楼梯。
[0075]
6、下楼梯：前一次摆动腿脚趾离地时运动模式为下楼梯，当前支撑腿脚跟触地时运动状态也为下楼梯。
[0076]
对于转换态模式：即当前支撑腿脚跟触地时运动状态与前一次摆动腿脚趾离地时
的运动状态不相同时，即为转换态。
[0077]
7、平地走
→
上坡：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为上坡。
[0078]
8、平地走
→
下坡：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为下坡。
[0079]
9、平地走
→
上楼梯：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为上楼梯。
[0080]
10、平地走
→
下楼梯：前一次摆动腿脚趾离地时运动状态为平地走，当前支撑腿脚跟触地时运动状态为下楼梯。
[0081]
11、上坡
→
平地走：前一次摆动腿脚趾离地时运动状态为上坡，当前支撑腿脚跟触地时运动状态为平地走。
[0082]
12、下坡
→
平地走：前一次摆动腿脚趾离地时运动状态为下坡，当前支撑腿脚跟触地时运动状态为平地走。
[0083]
13、上楼梯
→
平地走：前一次摆动腿脚趾离地时运动状态为上楼梯，当前支撑腿脚跟触地时运动状态为平地走。
[0084]
14、下楼梯
→
平地走：前一次摆动腿脚趾离地时运动状态为下楼梯，当前支撑腿脚跟触地时运动状态为平地走。
[0085]
(二)运动类别识别模型的选取
[0086]
在运动类别识别模型的选取上，本发明选取长短期记忆人工神经网络(lstm)来进行模型的训练和识别。lstm是一种特殊的循环神经网络，能够利用时间序列信息中之前的信息来进行当前信息的预测。lstm对一般的循环神经网络进行了改进，引入了门函数来解决长时依赖问题。lstm中有三个门：
[0087]
①
输入门：i
t
＝σ(w
ix
x
t
w
ihht-1
bi)
[0088]
②
遗忘门：f
t
＝σ(w
fx
x
t
w
fhht-1
bf)
[0089]
③
输出门：o
t
＝σ(w
ox
x
t
w
ohht-1
bo)
[0090]
其中，i
t
表示输入门，选择向记忆细胞中新加入哪些信息；
[0091]ft
表示遗忘门，选择上一记忆细胞的遗忘程度；
[0092]ot
表示输出门，选择记忆细胞中输出哪些信息；
[0093]
这里的新加入哪些信息，和遗忘程度是具体到应用场景的，(i
t
、f
t
、o
t
都是一个值域在[0,1]的值，如果为0，则表示全部忘记，如果为1，则表示全部记住)。模型在训练中会更新三个门的投影矩阵和权重矩阵，根据当前输入x
t
和上一时刻状态h
t-1
来决定当前时刻的输入系数i
t
、遗忘系数f
t
和输出系数o
t
，通过三个系数来维护记忆细胞cell，即表示当前时刻的记忆细胞c
t
等于上一状态的记忆细胞c
t-1
乘以遗忘程度f
t
加上当前时刻的候选记忆细胞乘以输入系数i
t
，i
t
和f
t
分别为新加入信息的程度和遗忘信息的程度。
[0094]
σ表示sigmoid函数：
[0095]
[0096]
其中x表示输入，e表示自然常数。
[0097]wix
、w
fx
、w
ox
是三个门的投影矩阵；
[0098]wih
、w
fh
、w
oh
是三个门的权重矩阵；
[0099]bi
、bf、bo是三个门的偏差参数；
[0100]
通过这三个门来维护一个隐藏状态h和一个与隐藏状态形状相同的记忆细胞c来记录之前时间序列中所隐含的信息：
[0101]
候选记忆细胞：
[0102]
记忆细胞：
[0103]
隐藏状态：h
t
＝o
t
☉
tanh(c
t
)
[0104]
其中，表示t时刻的候选记忆细胞；c
t
表示记忆细胞，通过上一时间步的记忆细胞c
t-1
和当前时间步的候选记忆细胞计算得到；其中
☉
表示hadamard乘积，表示对应元素相乘；w
cx
和w
ch
表示候选记忆细胞的权重参数，h
t-1
表示t-1时刻的隐藏状态，bc表示候选记忆细胞的偏差参数。
[0105]ht
表示隐藏状态；
[0106]
tanh表示双曲正切函数：其中x表示输入，e表示自然常数。
[0107]
分类器的设计：
[0108]
使用全连接层作分类器层，再进行softmax归一化处理，将模型输出结果映射为一个1
×
15的输出向量，该输出向量可视为15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果。
[0109]
即[y0,y1,y2，y3,
…
,y
13
,y
14
]对应表1中运动模式编号0,1,2,3
…
13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号。
[0110]
(三)具体训练方法
[0111]
人的步态运动是有一定周期性和规律性的，而左右腿的运动数据也有各自的周期和规律，不同人在步态运动中的双腿有不同偏重，尤其是老年人，很多老年人有一条单侧腿行动不便，因此选取一侧腿作为主使用腿进行模型的训练，训练过程中当该侧腿识别错误时，另一侧识别正确时，则对输出结果进行修正。
[0112]
在训练中分别对两条腿的运动数据进行单独训练，选择主使用侧腿的运动数据作为训练结果的输出，并根据同时刻另一侧腿的运动数据训练后模型的输出结果进行辅助，尤其在遇到主使用侧腿识别错误，而另一侧腿识别正确时，模式识别结果为modepredic t：
[0113]
modepredic t＝w
l
·
lpredict wr·
rpredict，
[0114]
其中lpredict、rpredict分别表示左侧腿数据和右侧腿数据的模式识别结果；w
l
和wr表示左侧腿和右侧腿的对当前预测结果影响的权重矩阵，以交叉熵损失函数作为损失函数，adam优化器作为梯度下降方式对w
l
和wr进行更新。这样分别通过两侧腿同时刻的不同运动周期相位对照来增加模型的运动模式识别准确率。
[0115]
优选的是，步骤六中，运动模式分类总共分为两大类：稳定模式、转换模式。其中稳定模式有七种，分别为：坐、站、平地走、上楼梯、下楼梯、上坡、下坡；转换模式有八种，分别为：平地走向上坡转换、平地走向下坡转换、平地走向上楼梯转换、平地走向下楼梯转换、上
坡向平地走转换、下坡向平地走转换、上楼梯向平地走转换、下楼梯向平地走转换。
[0116]
模型使用交叉熵损失函数作为损失函数，adam优化器作为梯度下降方式来进行参数矩阵的更新。模型将输入与参数矩阵进行相应的计算得到模型的输出结果，该结果可理解为将输入映射到分类空间中的位置，再经过分类器去得到其所在空间位置所属的的模式类别分布。
[0117]
对于模型输出结果，由模型中的分类器层进行输出结果的判定，对输出结果进行softmax归一化处理，将模型输出结果映射为一个1
×
15的输出向量，该输出向量可视为15种运动模式发生的概率，取输出向量中最大值的下标为当前运动模式的识别结果。即[y0,y1,y2，y3,
…
,y
13
,y
14
]对应表1中运动模式编号0,1,2,3
…
13,14的输出结果的概率，取yi(0≤i≤14)中最大值的下标即为所识别运动模式类别的编号。
[0118]
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。