一种旋翼无人机避障方法、系统、装置及介质

1.本发明涉及无人机避障及路径规划的技术领域，尤其涉及一种旋翼无人机避障方法、系统、装置及介质。


背景技术：

2.尽管在过去无人机技术领域取得了巨大进步，但在实际环境导航过程中无人机仍然面临许多困难。这是因为大多数情况下无人机的飞行环境是未知的，不确定的，这就增加了无人机避障飞行的难度。作为无人机安全飞行的前提条件，即对于周边环境的准确建模和即时感知，显得尤其重要，但目前仍缺少一种能够实时准确感知障碍物的技术方案。


技术实现要素：

3.为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种旋翼无人机避障方法、系统、装置及介质。
4.本发明所采用的技术方案是：
5.一种旋翼无人机避障方法，包括以下步骤：
6.在无人机飞行的过程中，采用rgb-d相机对无人机周边的环境进行跟踪拍照；
7.对于rgb-d相机拍得的图像信息，利用slam方法进行图像语义分割和语义地图构建；
8.在图像信息的基础上构建相机坐标系，利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，构建无人机周边环境的三维环境，作为障碍物信息；
9.根据障碍物信息控制无人机的飞行，以及进行相应的路径规划，保证无人机飞行的安全性和准确性。
10.进一步地，所述利用slam方法进行图像语义分割和语义地图构建，包括：
11.基于深度学习，在slam上加入语义信息，进行图像语义分割和语义地图构建；
12.其中，采用slam中得到的图像之间的几何一致性促进图像语义分割，使得slam和语义分割能够相辅相成。
13.进一步地，所述基于深度学习，在slam上加入语义信息，进行图像语义分割和语义地图构建，包括：
14.通过结合深度学习技术方法和半稠密的基于视频流的slam技术，在slam上加入语义信息；
15.对于二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。
16.进一步地，所述利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，包括：
17.获取像素平面坐标系与图像平面坐标系之间的第一关系；
18.获取世界坐标系与相机坐标系之间的第二关系；
19.获取相机坐标系与图像平面坐标系之间的第三关系；
20.根据第一关系、第二关系和第三关系获取像素坐标在世界坐标系的表示关系。
21.进一步地，所述根据第一关系、第二关系和第三关系获取像素坐标在世界坐标系的表示关系，包括：
22.1)像素平面坐标系与图像平面坐标系之间的第一关系：
23.像素平面坐标系的原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行，像素平面坐标系与图像平面坐标系之间，相差了一个缩放和一个原点的平移；
24.假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy，获得公式：
[0025][0026]
其中，dx和dy分别表示在图像平面坐标系(x，y)的x轴和y轴投影的单位像素；u0，v0是图像平面中心；
[0027]
基于公式(1)，利用线性代数的知识把方程用矩阵形式表示如下：
[0028][0029]
2)世界坐标系与相机坐标系之间的第二关系：
[0030]
世界坐标系通过刚体变换可以得到相机坐标系，通过旋转矩阵r与平移矩阵t来得到，公式如下：
[0031][0032]
其中，(xc，yc，zc)为相机坐标，(x，y，z)为世界坐标，r为三维旋转方阵，t为三维平移列向量，为四维方阵，即为外参矩阵；
[0033]
3)相机坐标系与像平面坐标系之间的第三关系：
[0034]
相机坐标系与像平面坐标系之间的关系实际上是一个投影关系，它们之间满足相似三角形原理，投影方程为：公式如下：
[0035][0036]
其中(x，y)为像平面坐标，(xc，yc，zc)为相机坐标，f为相机的焦距公式(4)用矩阵形式表示为：
[0037][0038]
将以上各矩阵关系进行整合得到以下公式：
[0039][0040]
其中，称为内参矩阵，称为外参矩阵。
[0041]
本发明所采用的另一技术方案是：
[0042]
一种旋翼无人机避障系统，包括：
[0043]
数据采集模块，用于在无人机飞行的过程中，采用rgb-d相机对无人机周边的环境进行跟踪拍照；
[0044]
模型构建模块，用于对于rgb-d相机拍得的图像信息，利用slam方法进行图像语义分割和语义地图构建；
[0045]
坐标转换模块，用于在图像信息的基础上构建相机坐标系，利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，构建无人机周边环境的三维环境，作为障碍物信息；
[0046]
飞行控制模块，用于根据障碍物信息控制无人机的飞行，以及进行相应的路径规划，保证无人机飞行的安全性和准确性。
[0047]
进一步地，所述利用slam方法进行图像语义分割和语义地图构建，包括：
[0048]
基于深度学习，在slam上加入语义信息，进行图像语义分割和语义地图构建；
[0049]
其中，采用slam中得到的图像之间的几何一致性促进图像语义分割，使得slam和语义分割能够相辅相成。
[0050]
进一步地，所述基于深度学习，在slam上加入语义信息，进行图像语义分割和语义地图构建，包括：
[0051]
通过结合深度学习技术方法和半稠密的基于视频流的slam技术，在slam上加入语义信息；
[0052]
对于二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。
[0053]
本发明所采用的另一技术方案是：
[0054]
一种旋翼无人机避障装置，包括：
[0055]
至少一个处理器；
[0056]
至少一个存储器，用于存储至少一个程序；
[0057]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0058]
本发明所采用的另一技术方案是：
[0059]
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
[0060]
本发明的有益效果是：本发明在飞行过程中将探测到的周边环境信息发送回该无人机，依据该环境图片信息，利用slam构图方法，结合深度学习图像处理方法，构建三维地图，得到障碍物信息；利用障碍物信息，采取合适的避障算法，以辅助旋翼无人机成功绕开障碍物。
附图说明
[0061]
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
[0062]
图1是本发明实施例中基于rgb－d的深度slam实现避障流程图；
[0063]
图2是本发明实施例中rgb-d slam算法流程图；
[0064]
图3是本发明实施例中世界坐标系与相机坐标系的转换关系图。
具体实施方式
[0065]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0066]
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0067]
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
[0068]
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
[0069]
现有的实时建模和三维构建技术已经比较成熟，熟知的有slam技术，即一种实时定位与构图技术，运用在许许多多的方面；另外也有深度学习技术，它是通过对样本数据集的学习，来获取样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。当前比较热门的一个研究方向是将深度学习与slam技术结合，取得两者各自的优势，来完成一项复杂的任务，使得效果取得更大的进步。ma l,st
ü
ckler j,kerl c等人(multi-view deep learning for consistent semantic mapping with rgb-d cameras)提出了一种新型的深度神经网络方法以在rgb-d图像序列中进行语义分割。主要的创新点在于用一种自监督的方式训练我们的网络用于预测多视角一致的语义信息。在测试时，此网络的基于语义关键帧地图的语义预测，相比单视角图片训练出来的网络上的语义预测，融合的一致性更高。网络架构基于最新的用于rgb-d和深度图像融合的单视角深度学习方法来进行语义风格，并且通过多尺度误差最小化优化了这一方法的效果。基于上述，本实施例提出一种基于深度学习融合slam的旋翼无人机避障方法。
[0070]
如图1和图2所示，本实施例提供一种旋翼无人机避障方法，包括以下步骤：
[0071]
s1、在无人机飞行的过程中，利用无人机自身携带的rgb-d相机对周边的环境进行实时跟踪拍照。
[0072]
利用无人机自身携带的rgb-d相机对周边的环境进行实时跟踪拍照中，周边的环境是指无人机在飞行过程中遇到的障碍物等信息，具有以下优点：不需要计算特征点和描述子，就可以直接得到稠密或半稠密的深度图。框架也相对传统slam简单，可分为前端rgb-d相机跟踪与后端模型重建。
[0073]
其中，rgb-d相机被广泛用于实现快速三维重建和密集轨迹跟踪，实时跟踪拍照是指rgb-d相机置于无人机的基座上，跟随无人机的飞行历程对周边环境进行实时拍摄。
[0074]
s2、根据rgb-d相机拍得的图像信息，利用slam方法，并结合深度学习在图像处理方面的已有优势，在传统slam之上加入语义信息，进行图像语义分割和语义地图构建。
[0075]
根据rgb-d相机拍得的图像信息，利用slam方法，并结合深度学习在图像处理方面的已有优势中，该slam方法是一种即时定位与构图的方法，即是指将旋翼无人机在未知环境中飞行，让无人机一边飞行一边逐步描绘出此未知环境完全的地图，所谓完全的地图是指不受障碍飞行的环境当中的每个角落。
[0076]
另外，深度学习在图像处理方面的已有优势，是指在传统slam之上加入语义信息，进行图像语义分割和语义地图构建。用slam系统中得到的图像之间的几何一致性促进图像
语义分割，使得slam和语义分割能够相辅相成。
[0077]
s3、接着在图像信息的基础上构建相机坐标系，根据相机坐标系与世界坐标系的转换，构建周边环境的三维环境，即障碍物信息。
[0078]
在三维建图中，语义信息很难获取。我们通过结合先进的深度学习技术方法和半稠密的基于视频流的slam技术，来有效解决这个问题。在此方法中，二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。在此并不需要对一个序列里的每一个关键帧进行语义分割，所以计算时间对于无人机避障时机来说相对合理。基本步骤如下：
[0079]
1)输入rgb图像。
[0080]
2)选择关键帧并改进。
[0081]
3)2d语义分割。
[0082]
4)3d重建及语义优化。
[0083]
s4、无人机获取到相应的障碍物信息开始实施避障指令，进行相应的路径规划，保证无人机实时飞行的安全性和准确性。
[0084]
无人机获取到相应的障碍物信息开始实施避障指令中，为无人机设计一套避障处理装置，接收信息为障碍物的三维构图信息，并生成相应的避障路径给到执行器装置，控制无人机飞行的安全性和准确性。
[0085]
参见图3，在一些可选的实施例中，步骤s3中相机坐标系与世界坐标系的转换关系如下：
[0086]
这里面涉及到四种坐标系的关系，分别是像素平面坐标系(u，v)，图像平面坐标系(x，y)，相机坐标系(xc，yc，zc)和世界坐标系(xw，yw，zw)。这四种坐标系通过相机的内外参数使它们之间的坐标联系起来，这样我们就可以从拍摄的图片上的一个点坐标一路反推出世界坐标系中的那个点的坐标，以达到三维重建的目的。而那些我们假设的参数，就是我们要标定的内外参数。
[0087]
1)像素坐标与像平面坐标系之间的关系
[0088]
像素坐标系的原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与像平面坐标系之间，相差了一个缩放和一个原点的平移。
[0089]
假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy。可以推出以下公式：
[0090][0091]
其中，dx和dy分别表示在图像平面坐标系(x，y)的x轴和y轴投影的单位像素；u0，v0是图像平面中心；
[0092]
基于公式(1)，利用线性代数的知识把方程用矩阵形式表示如下：
[0093]
[0094]
2)世界坐标系与相机坐标系之间的关系
[0095]
世界坐标系通过刚体变换可以得到相机坐标系，通过旋转矩阵r与平移矩阵t来得到，公式如下：
[0096][0097]
其中，(xc，yc，zc)为相机坐标，(x，y，z)为世界坐标，r为三维旋转方阵，t为三维平移列向量，为四维方阵，即为外参矩阵；
[0098]
3)相机坐标系与像平面坐标系之间的关系：
[0099]
相机坐标系与像平面坐标系之间的关系实际上是一个投影关系，它们之间满足相似三角形原理，投影方程为：公式如下：
[0100][0101]
其中(x，y)为像平面坐标，(xc，yc，zc)为相机坐标，f为相机的焦距公式(4)用矩阵形式表示为：
[0102][0103]
将以上各矩阵关系进行整合得到以下公式：
[0104]
[0105]
其中，称为内参矩阵，称为外参矩阵。
[0106]
进一步地，令
[0107]
综上所述，本实施例将跟随无人机进行环境探测的rgb-d相机置于无人机的基座上，在飞行过程中将探测到的周边环境信息发送回该无人机，依据该环境图片信息，利用slam构图方法，结合深度学习图像处理方法，构建三维地图，得到障碍物信息。利用障碍物信息，采取合适的避障算法，以辅助旋翼无人机成功绕开障碍物。与提前获取整个寻路地图的信息相比，该方法能实时拍摄飞行过程中遇到的障碍物环境信息，并通过坐标变换获取到该信息，并快速触发紧急避障装置，对旋翼无人机的飞行状态进行控制，有效改进了rgb－d相机在动态环境中的位姿估计精度，有效满足了无人机飞行过程中对于响应速度的高要求，以保证无人机能实时避障且安全飞行抵达目标点。
[0108]
以下结合具体实施例对上述方法进行详细解释说明。
[0109]
本实施例提供的一种基于深度学习融合slam的旋翼无人机避障方法，包括以下步骤：
[0110]
步骤一：在无人机飞行的过程中，利用无人机自身携带的rgb-d相机对周边的环境进行实时跟踪拍照。
[0111]
在其中一个实施例中，采用的rgb－d相机有以下几种方案：
[0112]
1)双目视觉：有zed、tango；
[0113]
2)结构光：kinect v1、xtion；
[0114]
3)tof(time of flight)：kinect v2、realsense。
[0115]
使用rgb－d相机的优点是：不需要计算特征点和描述子，就可以直接得到稠密或半稠密的深度图。框架也相对传统slam简单，可分为前端rgb-d相机跟踪与后端模型重建。被广泛用于实现快速三维重建和密集轨迹跟踪。
[0116]
上述的三种方案中，各有优劣，如表1所示。
[0117]
表1
[0118][0119]
鉴于本实施例的无人机是在室外的不确定环境下飞行，故采用tof(time of flight)方案的相机较为合适。
[0120]
rgb-d相机置于无人机的基座上，跟随无人机的飞行历程对周边环境进行实时拍摄。
[0121]
步骤二：根据rgb-d相机拍得的图像信息，利用slam方法，并结合深度学习在图像处理方面的已有优势，在传统slam之上加入语义信息，进行图像语义分割和语义地图构建。slam方法是一种即时定位与构图的方法，即是指将旋翼无人机在未知环境中飞行，让无人机一边飞行一边逐步描绘出此未知环境完全的地图，所谓完全的地图是指不受障碍飞行的环境当中的每个角落。
[0122]
结合深度学习在图像处理方面的已有优势，在传统slam之上加入语义信息，进行图像语义分割和语义地图构建。用slam系统中得到的图像之间的几何一致性促进图像语义分割，使得slam和语义分割能够相辅相成。
[0123]
在三维建图中，语义信息很难获取。我们通过结合先进的深度学习技术方法和半稠密的基于视频流的slam技术，来有效解决这个问题。在此方法中，二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。在此并不需要对一个序列里的每一个关键帧进行语义分割，所以计算时间对于无人机避障时机来说相对合理。基本步骤如下：
[0124]
1)输入rgb图像
[0125]
2)选择关键帧并改进
[0126]
3)2d语义分割
[0127]
4)3d重建及语义优化
[0128]
步骤三：在图像信息的基础上构建相机坐标系，根据相机坐标系与世界坐标系的转换，构建周边环境的三维环境，即障碍物信息。
[0129]
相机坐标系与世界坐标系的转换关系如下：
[0130]
参见图3，其原理及步骤如下：
[0131]
这里面涉及到四种坐标系的关系，分别是像素平面坐标系(u，v)，图像平面坐标系(x，y)，相机坐标系(xc，yc，zc)和世界坐标系(xw，yw，zw)。这四种坐标系通过相机的内外参数使它们之间的坐标联系起来，这样我们就可以从拍摄的图片上的一个点坐标一路反推出世界坐标系中的那个点的坐标，以达到三维重建的目的。而那些我们假设的参数，就是我们要标定的内外参数。
[0132]
1)像素坐标与像平面坐标系之间的关系
[0133]
像素坐标系的原点位于图像的左上角，u轴向右与x轴平行，v轴向下与y轴平行。像素坐标系与像平面坐标系之间，相差了一个缩放和一个原点的平移。
[0134]
假设每一个像素在u轴和v轴方向上的物理尺寸为dx和dy。可以推出以下公式：
[0135][0136]
其中，dx和dy分别表示在图像平面坐标系(x，y)的x轴和y轴投影的单位像素；u0，v0是图像平面中心。
[0137]
由上式，利用线性代数的知识把方程用矩阵形式表示如下：
[0138][0139]
2)世界坐标系与相机坐标系之间的关系
[0140]
世界坐标系通过刚体变换可以得到相机坐标系，即在不改变物体自身状态结构的情况下，通过旋转和平移等方式来改变物体的位姿，可以通过旋转矩阵r与平移矩阵t来得到，公式如下：
[0141]
其中，(xc，yc，zc)为相机坐标，(x，y，z)为世界坐标，r为三维旋转方阵，t为三维平移列向量，为四维方阵，即为外参矩阵。
[0142]
3)相机坐标系与像平面坐标系之间的关系
[0143]
相机坐标系与像平面坐标系之间的关系实际上是一个投影关系，它们之间满足相似三角形原理，投影方程为：公式如下：
[0144]
其中(x，y)为像平面坐标，(xc，yc，zc)为相机坐标，f为相机的焦距。
[0145]
上式用矩阵形式表示为：
[0146]
4)公式整合
[0147]
将以上各矩阵关系进行整合得到以下公式：
[0148][0149]
进一步地，令
[0150]
其中，称为内参矩阵。称为外参矩阵。
[0151]
由上分析可知，根据内参矩阵和外参矩阵的值就可以得到相机坐标系下某一点的像素坐标，从而获得障碍物信息，为下一步的避障提供理论依据。
[0152]
步骤四：无人机获取到相应的障碍物信息开始实施避障指令，进行相应的路径规划，保证无人机实时飞行的安全性和准确性。
[0153]
在本发明的其中一个实施例中，为无人机设计一套避障处理装置，接收信息为障碍物的三维构图信息，并生成相应的避障路径给到执行器装置，控制无人机飞行的安全性和准确性。
[0154]
本发明将跟随无人机进行环境探测的rgb-d相机置于无人机的基座上，在飞行过程中将探测到的周边环境信息发送回该无人机，依据该环境图片信息，利用slam构图方法，结合深度学习图像处理方法，构建三维地图，得到障碍物信息。利用障碍物信息，采取合适的避障算法，以辅助旋翼无人机成功绕开障碍物。与提前获取整个寻路地图的信息相比，该方法能实时拍摄飞行过程中遇到的障碍物环境信息，并通过坐标变换获取到该信息，并快速触发紧急避障装置，对旋翼无人机的飞行状态进行控制，有效改进了rgb－d相机在动态环境中的位姿估计精度，有效满足了无人机飞行过程中对于响应速度的高要求，以保证无人机能实时避障且安全飞行抵达目标点。
[0155]
综上所述，在采用了以上方案后，本发明利用slam构图方法，结合深度学习图像处理方法，构建三维地图，得到障碍物信息。利用障碍物信息，采取合适的避障算法，以辅助旋翼无人机成功绕开障碍物。有效提高了无人机飞行过程中对于环境图像处理的速度，能够实现无人机的实时避障。具有实际推广价值，值得推广。
[0156]
本实施例还提供一种旋翼无人机避障系统，包括：
[0157]
数据采集模块，用于在无人机飞行的过程中，采用rgb-d相机对无人机周边的环境进行跟踪拍照；
[0158]
模型构建模块，用于对于rgb-d相机拍得的图像信息，利用slam方法进行图像语义分割和语义地图构建；
[0159]
坐标转换模块，用于在图像信息的基础上构建相机坐标系，利用相机坐标系与世界坐标系的转化关系获取像素坐标在世界坐标系的表示关系，构建无人机周边环境的三维环境，作为障碍物信息；
[0160]
飞行控制模块，用于根据障碍物信息控制无人机的飞行，以及进行相应的路径规划，保证无人机飞行的安全性和准确性。
[0161]
进一步作为可选的实施方式地，所述利用slam方法进行图像语义分割和语义地图构建，包括：
[0162]
基于深度学习，在slam上加入语义信息，进行图像语义分割和语义地图构建；
[0163]
其中，采用slam中得到的图像之间的几何一致性促进图像语义分割，使得slam和语义分割能够相辅相成。
[0164]
进一步作为可选的实施方式地，所述基于深度学习，在slam上加入语义信息，进行图像语义分割和语义地图构建，包括：
[0165]
通过结合深度学习技术方法和半稠密的基于视频流的slam技术，在slam上加入语义信息；
[0166]
对于二维的语义信息，结合了有空间一致性的相连关键帧之间的联系之后，再进行三维建图。
[0167]
本实施例的一种旋翼无人机避障系统，可执行本发明方法实施例所提供的一种旋翼无人机避障方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0168]
本实施例还提供一种旋翼无人机避障装置，包括：
[0169]
至少一个处理器；
[0170]
至少一个存储器，用于存储至少一个程序；
[0171]
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
[0172]
本实施例的一种旋翼无人机避障装置，可执行本发明方法实施例所提供的一种旋翼无人机避障方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0173]
本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计
算机设备执行图1所示的方法。
[0174]
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种旋翼无人机避障方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
[0175]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0176]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0177]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0178]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0179]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0180]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0181]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0182]
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0183]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。