基于调频连续波雷达的多特征图像融合的手势识别方法

1.本发明涉及基于雷达的手势识别技术领域，具体涉及基于调频连续波雷达的多特征图像融合的手势识别方法。


背景技术：

2.随着传感器和机器学习技术的发展，手势动作凭借其方便快捷、含义丰富、通俗易懂的特点使手势识别技术成为人机交互领域的一个热门研究方向。相较于目前应用广泛的基于光学图像的手势识别方法，基于雷达的手势识别方法具有不易受环境光照、延误、雾霾等环境因素影响，所需处理数据量小，不会泄露手势被采集者隐私信息等优点，这使得基于雷达的手势识别方法成为手势识别领域的一个研究热点。目前国内外雷达手势识别研究的主流方法是通过对雷达回波信号进行去斜、快速傅里叶变换、相干积累等处理，获得手势的距离、速度、角度等数据，并将这些数据作为输入样本输入到各种不同结构的卷积神经网络中进行分类识别。但在当前的研究中存在如下问题：
3.当前主流的雷达手势识别方法没有实现手势数据的实时采集处理以及识别。


技术实现要素：

4.本发明提供一种基于调频连续波雷达的多特征图像融合的手势识别方法，能够对雷达手势识别方法实现手势数据的实时采集处理以及识别。
5.本发明通过下述技术方案实现：
6.一种基于调频连续波雷达的多特征图像融合的手势识别方法，包括如下步骤：
7.步骤1、在雷达端实时采集手势数据，并所述手势数据进行预处理得到所述手势数据的中频信号；
8.步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；
9.步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；
10.步骤4、根据所述感兴趣数据段构建手势特征图像，将所述手势特征图像输入至浅层卷积神经网络进行实时识别分类。
11.作为优化，步骤1中，实时采集手势数据并对实时采集的手势数据进行预处理得到中频信号的具体步骤为：
12.步骤1.1、雷达端的射频模块产生发射信号依次通过倍频器、功率放大器和发射天线发出调频连续波雷达信号；
13.步骤1.2、所述调频连续波雷达信号遇到挥舞的手势发生反射产生回波信号，所述回波信号依次通过接收天线和低噪声放大器到达混频器；
14.步骤1.3、所述回波信号和发射信号通过混频器得到中频信号。
15.作为优化，还包括步骤1.4、所述中频信号经过模数转换模块得到手势数据的数字信号。
16.作为优化，步骤1.3中，所述回波信号和发射信号通过混频器得到中频信号的具体公式为：
[0017][0018]
其中b为雷达有效调频带宽，tc为调频周期，r0为信号发射时手与雷达间的距离，v为手的速度，t为发射信号传递到手部所需的时间，c为光速，为回波信号的频移。
[0019]
作为优化，步骤2中，所述手势连续的运动参数包括雷达到手势主体的距离参数、手势的速度参数和手势的水平角度参数。
[0020]
作为优化，所述雷达到手势主体的距离参数的计算公式为：
[0021][0022]
其中，b为雷达有效调频带宽，c为光速，f
if
为中频信号，t为调频周期；
[0023]
所述手势的速度参数的计算公式为：
[0024][0025]
其中，λ为发射信号的波长，tc为调频周期，f
fft
为多普勒频移，为回波信号的频移。
[0026]
作为优化，步骤3中，对连续的所述运动参数的数据段进行不相干物体滤除的具体过程为：
[0027]
步骤3.1、定义一个手势有n帧数据，每帧数据包括雷达监测到的物体个数、雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数，其中，n为正整数；
[0028]
步骤3.2、对连续的所述运动参数进行动态距离检测，取速度检测窗口的长度为n帧，所述速度检测窗口中速度最大值对应的是手势主体所在的主体距离值；
[0029]
步骤3.3、取所述主体距离值前2厘米到后5厘米作为动态距离阈值。
[0030]
作为优化，步骤3中，提取感兴趣数据段的具体步骤为：
[0031]
步骤3.4、将所述速度检测窗口中的全部速度数据进行绝对值操作；
[0032]
步骤3.5、查找所述速度检测窗口中速度绝对值由0增加到最大值再减小到0，且所述最大值大于0.7的数据段；
[0033]
步骤3.6、取步骤3.5得到的数据段中的最大值所在的时间点前后各n/2帧所对应的数据段即为包含运动手势信息的感兴趣数据段。
[0034]
作为优化，步骤4、根据所述感兴趣数据段构建手势特征图像的具体步骤为：
[0035]
步骤4.1、将感兴趣数据段中的每一帧数据中的雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数按照帧时间顺序进行拼接分别得到距离-时间图、速度-时间图、水平角度-时间图；
[0036]
步骤4.2、对所述距离-时间图、速度-时间图、水平角度-时间图进行归一化、灰度化和缩放处理，得到64*64的手势特征图像。
[0037]
作为优化，步骤4中，所述浅层卷积神经网络包括一个输入层、一个卷积层、一个池化层、两个全连接层和一个softmax层。
[0038]
本发明与现有技术相比，具有如下的优点和有益效果：
[0039]
本发明基于连续数据流的不相干物体滤除方法、感兴趣数据段提取方法以及浅层卷积神经网络结构，可以对预先设计的一套包含前推、后拉、左挥、右挥、上挥、下挥等六种手势动作进行实时数据采集处理，实时生成手势的三种特征图像，并根据特征图像对手势进行实时识别分类。
附图说明
[0040]
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
[0041]
图1为本发明所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法所用到的雷达手势识别系统的系统框图；
[0042]
图2为雷达手势识别系统的工作流程图；
[0043]
图3为中频信号产生原理图；
[0044]
图4为挥手示意图；
[0045]
图5为未处理速度数据图；
[0046]
图6为对图5进行速度绝对值操作的速度数据图；
[0047]
图7为右挥手的三种特征图像；
[0048]
图8为浅层卷积神经网络的结构图。
具体实施方式
[0049]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0050]
实施例
[0051]
一种基于调频连续波雷达的多特征图像融合的手势识别方法，包括如下步骤：
[0052]
雷达手势识别系统框图如图1所示，数据采集以及中频信号的预处理部分在雷达端完成，后续的数据处理、特征提取以及手势分类在pc端完成。
[0053]
系统工作流程框图如图2所示，分为6个部分，即首先手势数据采集得到雷达回波信号的原始数据；然后对雷达回波原始数据进行预处理，得到中频信号；接着进行特征参数计算，应用快速傅里叶变换、music等算法得到手势的运动参数；然后对连续的运动参数数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；紧接着根据计算得到的手势运动参数构建手势特征图像；最后将特征图像输入训练好的卷积神经网络进行识别分类。
[0054]
具体的步骤如下：
[0055]
步骤1、在雷达端实时采集手势数据，并所述手势数据进行预处理得到所述手势数据的中频信号。
[0056]
实时采集手势数据并对实时采集的手势数据进行预处理得到中频信号的具体步
骤为：
[0057]
步骤1.1、雷达端的射频模块产生发射信号依次通过倍频器、功率放大器和发射天线发出调频连续波雷达信号。
[0058]
步骤1.2、所述调频连续波雷达信号遇到挥舞的手势发生反射产生回波信号，所述回波信号依次通过接收天线和低噪声放大器到达混频器。
[0059]
步骤1.3、所述回波信号和发射信号通过混频器得到中频信号。
[0060]
步骤1.4、所述中频信号经过模数转换模块得到手势数据的数字信号。
[0061]
调频连续波雷达信号的调制方式通常为锯齿波，雷达发射的信号遇到物体发生反射，经过的时延后雷达接收天线收到回波信号，将回波信号与发射信号进行混频，重叠的部分会产生具有恒定频率的中频信号，如图3所示。
[0062]
所述回波信号和发射信号通过混频器得到中频信号的具体公式为：
[0063][0064]
其中b为雷达有效调频带宽，tc为调频周期，r0为信号发射时手与雷达间的距离，v为手的速度，t为发射信号传递到手部所需的时间，c为光速，为回波信号的频移。
[0065]
步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；该运动参数包括雷达到手势主体的距离参数、手势的速度参数和手势的水平角度参数。
[0066]
具体的，所述雷达到手势主体的距离参数的计算公式为：
[0067][0068]
其中，b为雷达有效调频带宽，c为光速，f
if
为中频信号，t为调频周期；
[0069]
所述手势的速度参数的计算公式为：
[0070][0071]
其中，λ为发射信号的波长，tc为调频周期，f
fft
为多普勒频移，为回波信号的频移；
[0072]
而对于手势的水平角度参数，可以通过music算法求得，这里就不再赘述了。
[0073]
步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段。
[0074]
具体的，步骤3.1、首先定义一个手势有n帧数据，每帧数据包括雷达监测到的物体个数、雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数，其中，n为正整数；
[0075]
这里的n可以这样得到：
[0076]
设置雷达每秒返回16帧数据，每帧数据包含雷达监测到的物体个数、距离、速度以及水平角度等参数，对雷达返回的连续数据流进行解析，取手势的平均持续时间为2.25秒，即每36帧数据表征一个手势，n就为36。当然，n还可以参考前面的方式取其他数值，这里就不再赘述了。下面的实施例，n均取36。
[0077]
如图4所示为手势主体挥手时手势与雷达的示意图，手掌与雷达间没有障碍物遮
挡，根据角速度与线速度的关系，手掌最前端速度最大。
[0078]
步骤3.2、对连续的所述运动参数进行动态距离检测，取速度检测窗口的长度为36帧，所述速度检测窗口中速度最大值对应的是手势主体所在的主体距离值；
[0079]
步骤3.3、取所述主体距离值前2厘米到后5厘米作为动态距离阈值，这样就可以快速滤除雷达模块本身存在的干扰、手臂的干扰以及实验环境中其他大型物体的干扰。
[0080]
本发明中，前是指接近雷达模块的方向，后是指远离雷达模块的方向；因为在实际场景中只需检测手部的运动参数，检测到的速度最大值物体就是手部最前端，取其前2厘米后5厘米就是将只包含手部运动参数的部分数据提取出来，其他物体的干扰都在这个距离范围以外，所以可以滤除干扰，这里2厘米和5厘米是本发明技术人员通过努力判断取得的最佳数值，在实际应用中可适当调整。
[0081]
在滤除干扰后为了提取出感兴趣数据段，需要对连续的速度数据进行检测。图5为滤除干扰后的原始速度数据段。
[0082]
步骤3.4、将所述速度检测窗口中的全部速度数据进行绝对值操作；即先将速度数据全部转换为绝对值，如图6所示，依旧以每36帧作为一个检测窗口。
[0083]
进行绝对值操作可以使速度值更直观得呈现出先增大再减小的趋势，方便检测。
[0084]
步骤3.5、查找所述速度检测窗口中速度绝对值由0增加到最大值再减小到0，且所述最大值大于0.7的数据段；0.7是得到的手势运动速度的最小值，低于这个速度的手势将会被忽略。
[0085]
步骤3.6、取步骤3.5得到的数据段中的最大值所在的时间点前后各n/2(即各取18帧)帧所对应的数据段即为包含运动手势信息的感兴趣数据段。
[0086]
步骤4、根据所述感兴趣数据段构建手势特征图像，多个所述手势特征图像组成手势数据集，将所述手势数据集输入至浅层卷积神经网络进行识别分类。
[0087]
具体的，步骤4.1、将感兴趣数据段中的每一帧数据中的雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数按照帧时间顺序进行拼接分别得到距离-时间图、速度-时间图、水平角度-时间图；
[0088]
步骤4.2、对所述距离-时间图、速度-时间图、水平角度-时间图进行归一化、灰度化和缩放处理，得到64*64的手势特征图像，如图7所示(距离-时间图、速度-时间图、水平角度-时间图分别位于图7的左、中、右)。
[0089]
通过若干实验人员在雷达视场角范围内反复做预设的前推、后拉、左挥、右挥、上挥、下挥等手势，经过处理后得到不少于9000张特征图像，形成手势数据集。使用手势数据集对卷积神经网络进行训练，训练完成后预期识别准确率可以达到95％以上，训练完成的卷积神经网络即可作为分类器用于手势的识别分类。然后将步骤4.2得到的手势特征图输入到训练完成的卷积神经网络进行实时识别。
[0090]
本发明步骤4中，所述浅层卷积神经网络包括一个输入层、一个卷积层、一个池化层、两个全连接层和一个softmax层。
[0091]
即本发明使用仅有6层的浅层卷积神经网络，浅层网络结构如图8所示。将处理得到的三种特征图像实时输入到卷积神经网络中，大小为64
×
64，通道数为3；使用20个大小为5
×5×
3的卷积核，步长为1，进行特征提取得到第一数据，卷积后得到的第一数据为60
×
60
×
20；使用relu作为激励函数对第一数据进行处理得到第二数据，relu后的第二数据为
60
×
60
×
20；使用max pool对第二数据进行池化操作得到第三数据，池化核大小为2
×
2，步长为2，池化操作后的第三数据为30
×
30
×
20；第三数据依次进入第一个全连接层和第二个全连接层，第一个全连接层使用100个神经元，第二个全连接层使用4个神经元，最后接上softmax层。
[0092]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，包括如下步骤：步骤1、在雷达端实时采集手势数据，将所述手势数据进行预处理得到所述手势数据的中频信号；步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；步骤4、根据所述感兴趣数据段构建手势特征图像，将所述手势特征图像输入至浅层卷积神经网络进行实时识别分类。2.根据权利要求1所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤1中，实时采集手势数据并对实时采集的手势数据进行预处理得到中频信号的具体步骤为：步骤1.1、雷达端的射频模块产生发射信号依次通过倍频器、功率放大器和发射天线发出调频连续波雷达信号；步骤1.2、所述调频连续波雷达信号遇到挥舞的手势发生反射产生回波信号，所述回波信号依次通过接收天线和低噪声放大器到达混频器；步骤1.3、所述回波信号和发射信号通过混频器得到中频信号。3.根据权利要求2所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，还包括步骤1.4、所述中频信号经过模数转换模块得到手势数据的数字信号。4.根据权利要求2所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤1.3中，所述回波信号和发射信号通过混频器得到中频信号的具体公式为：其中b为雷达有效调频带宽，t
c
为调频周期，r0为信号发射时手与雷达间的距离，v为手的速度，t为发射信号传递到手部所需的时间，c为光速，为回波信号的频移。5.根据权利要求4所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤2中，所述手势连续的运动参数包括雷达到手势主体的距离参数、手势的速度参数和手势的水平角度参数。6.根据权利要求5所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，所述雷达到手势主体的距离参数的计算公式为：其中，b为雷达有效调频带宽，c为光速，f
if
为中频信号，t为调频周期；所述手势的速度参数的计算公式为：
其中，λ为发射信号的波长，t
c
为调频周期，f
fft
为多普勒频移，为回波信号的频移。7.根据权利要求1所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤3中，对连续的所述运动参数的数据段进行不相干物体滤除的具体过程为：步骤3.1、定义一个手势有n帧数据，每帧数据包括雷达监测到的物体个数、雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数，其中，n为正整数；步骤3.2、对连续的所述运动参数进行动态距离检测，取速度检测窗口的长度为n帧，所述速度检测窗口中速度最大值对应的是手势主体所在的主体距离值；步骤3.3、取所述主体距离值前2厘米到后5厘米作为动态距离阈值。8.根据权利要求7所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤3中，提取感兴趣数据段的具体步骤为：步骤3.4、将所述速度检测窗口中的全部速度数据进行绝对值操作；步骤3.5、查找所述速度检测窗口中速度绝对值由0增加到最大值再减小到0，且所述最大值大于0.7的数据段；步骤3.6、取步骤3.5得到的数据段中的最大值所在的时间点前后各n/2帧所对应的数据段即为包含运动手势信息的感兴趣数据段。9.根据权利要求8所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤4、根据所述感兴趣数据段构建手势特征图像的具体步骤为：步骤4.1、将感兴趣数据段中的每一帧数据中的雷达到手势主体的距离参数、手势的速度参数以及手势的水平角度参数按照帧时间顺序进行拼接分别得到距离-时间图、速度-时间图、水平角度-时间图；步骤4.2、对所述距离-时间图、速度-时间图、水平角度-时间图进行归一化、灰度化和缩放处理，得到64*64的手势特征图像。10.根据权利要求1所述的一种基于调频连续波雷达的多特征图像融合的手势识别方法，其特征在于，步骤4中，所述浅层卷积神经网络包括一个输入层、一个卷积层、一个池化层、两个全连接层和一个softmax层。

技术总结
本发明涉及基于雷达的手势识别技术领域，公开了一种基于调频连续波雷达的多特征图像融合的手势识别方法，包括如下步骤：步骤1、在雷达端实时采集手势数据，并所述手势数据进行预处理得到所述手势数据的中频信号；步骤2、对所述中频信号进行特征参数计算，得到手势连续的运动参数；步骤3、对连续的所述运动参数的数据段进行不相干物体滤除以及感兴趣数据段提取，得到包含手势信息的感兴趣数据段；步骤4、根据所述感兴趣数据段构建手势特征图像，将所述手势特征图像输入至浅层卷积神经网络进行实时识别分类。本发明能够实时生成手势的三种特征图像，并根据特征图像对手势进行实时识别分类。分类。分类。


技术研发人员：徐洋 隋昌瑞
受保护的技术使用者：重庆邮电大学
技术研发日：2022.02.14
技术公布日：2022/5/25