基于信任和一致性的模型迁移方法、装置、设备及介质

1.本技术涉及人工智能技术领域，特别涉及一种基于信任和一致性的模型迁移方法、装置、设备及介质。


背景技术：

2.目前以深度学习为基础的人工智能技术在实际应用中往往遇到信息偏移导致的性能下降问题，即实际应用的目标数据和模型训练的源域数据信息分布不一致。为了解决这种问题，学术界和工业界研究无监督领域自适应(unsupervised domain adaptation，uda)方法，旨在将源域数据的知识迁移到目标域数据的学习过程中。相关技术中的方法基本都假设在这种域适应学习过程中，模型能够接触到拥有标签的大量源域数据，所以同时使用有标记的源域数据和无标记的目标域数据进行模型训练，最终得到的模型在无标记的目标域数据上进行测试。
3.相关技术中的无监督领域自适应方法大致可以分为三类：基于差异的、基于重建的和基于对抗的。基于差异的方法旨在优化用于测量源域数据和目标域数据分布之间差异的评价函数。一些受欢迎的作品包括最大平均差异(maximum mean discrepancy，mmd)、高阶中心矩差异、对比域差异和wasserstein度量。基于重建的方法通常会引入辅助重建任务，以实现两个域的共享表示。进一步提出了特定领域的重建和循环一致性以提高自适应性能。基于对抗的方法采用生成对抗网络来优化不同数据分布之间的距离
4.尽管这些方法很有效，但这些方法都假设在域适应期间可以访问标记的源数据。然而在实际应用中，由于数据隐私或资源有限的问题，这种前提假设不能总是满足。比如很多工业数据，如医疗诊断记录、产品缺陷情况和用户行为信息等，通常仅限于内部维护。此外，在终端设备(例如相机)上，存储和计算资源通常非常有限，这也给大数据访问和模型训练带来了巨大的困难。
5.也就是说，迁移性和自适应性是领域自适应需要解决的两大关键问题。迁移性要求训练后的模型能够最大限度地将源域数据的知识迁移到目标域的学习过程中，而自适应性旨在让模型能够感知目标域数据特有的信息分布，并能够灵活地调整自身参数达到特有信息的学习目标。然而在现有的源域数据无关的无监督领域自适应方法中，大部分方法旨在拉近源域信息分布和目标域信息分布的距离，进而增强模型的迁移性。而在实际应用中，目标域数据和源域数据在纹理、颜色、甚至是背景等方面都存在明显的差异，单纯地拉近目标域和源域的距离，会减弱模型对目标域特有信息的学习能力，降低了模型的自适应性能力。


技术实现要素：

6.本技术提供一种基于信任和一致性的模型迁移方法、装置、设备及介质，以解决在源域数据缺失情况下的领域自适应问题，即给定源域模型和无标签的目标域数据，通过模型迁移的方法进行目标域自适应学习，从而实现无监督学习，显著提高模型的自适应性能
力。
7.本技术第一方面实施例提供一种基于信任和一致性的模型迁移方法，包括以下步骤：
8.基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征；
9.使用一个源域分类层进行标签预测，其中，源域分类层由全连接层和权重规范层组成，并使用交叉熵损失函数进行训练优化，得到所述预先训练的源域模型；以及
10.基于所述预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。
11.可选地，所述使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型，包括：
12.在所述目标域数据上进行模型迁移时，将所述目标域数据中的样本输入至模型中，得到概率分布；
13.选取最大概率的标签作为对应样本的伪标签，并使用熵来衡量模型对所述伪标签的信任程度；
14.根据由所述信任程度生成的熵来对所述目标域数据中的所有样本进行从小到大排序，得到可信任样本，并利用所述可信任用样本和对应的伪标签对网络进行训练，得到所述自适应学习后的源域模型。
15.可选地，在使用对所述偶分类网络进行模型自适应学习之前，还包括：
16.构建所述对偶分类网络，其中，所述对偶分类网络包括特征抽取器和对偶分类头，在训练过程中，固定源分类器的参数，而所述特征抽取器和目标分类器通过随机梯度下降进行更新。
17.可选地，所述使用基于信任和一致性机制进行训练优化，包括：
18.抽取所述目标域数据中的无标注的样本的特征，基于预设的第一分类器和第二分类器得到第一分布预测结果和第二分布预测结果；
19.基于所述第一分布预测结果和第二分布预测结果，计算模型预测分布的信息熵得到模型预测的可信度。
20.可选地，所述使用基于信任和一致性机制进行训练优化，包括：
21.对所述可信任样本随机旋转预设角度，得到新的可信任样本；
22.将所述可信任样本和所述新的可信任样本输入至所述对偶分类网络，分别获取所述可信任样本和所述新的可信任样本的特征和预测分布结果；
23.使用预设的损失函数使得所述可信任样本和所述新的可信任样本的特征和概率分布保持一致；
24.利用预设的分类层预测所述新的可信任样本相对所述可信任样本的旋转角度，计算所述旋转角度的预测损失。
25.本技术第二方面实施例提供一种基于信任和一致性的模型迁移装置，包括：
26.提取模块，用于基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征；
27.优化模块，用于使用一个源域分类层进行标签预测，其中，源域分类层由全连接层
和权重规范层组成，并使用交叉熵损失函数进行训练优化，得到所述预先训练的源域模型；以及
28.获取模块，用于基于所述预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。
29.可选地，所述优化模块，具体用于：
30.在所述目标域数据上进行模型迁移时，将所述目标域数据中的样本输入至模型中，得到概率分布；
31.选取最大概率的标签作为对应样本的伪标签，并使用熵来衡量模型对所述伪标签的信任程度；
32.根据由所述信任程度生成的熵来对所述目标域数据中的所有样本进行从小到大排序，得到可信任样本，并利用所述可信任用样本和对应的伪标签对网络进行训练，得到所述自适应学习后的源域模型。
33.可选地，在使用对所述对偶分类网络进行模型自适应学习之前，所述获取模块，还用于：
34.构建所述对偶分类网络，其中，所述对偶分类网络包括特征抽取器和对偶分类头，在训练过程中，固定源分类器的参数，而所述特征抽取器和目标分类器通过随机梯度下降进行更新。
35.可选地，所述优化模块，具体用于：
36.抽取所述目标域数据中的无标注的样本的特征，基于预设的第一分类器和第二分类器得到第一分布预测结果和第二分布预测结果；
37.基于所述第一分布预测结果和第二分布预测结果，计算模型预测分布的信息熵得到模型预测的可信度。
38.可选地，所述优化模块，具体用于：
39.对所述可信任样本随机旋转预设角度，得到新的可信任样本；
40.将所述可信任样本和所述新的可信任样本输入至所述对偶分类网络，分别获取所述可信任样本和所述新的可信任样本的特征和预测分布结果；
41.使用预设的损失函数使得所述可信任样本和所述新的可信任样本的特征和概率分布保持一致；
42.利用预设的分类层预测所述新的可信任样本相对所述可信任样本的旋转角度，计算所述旋转角度的预测损失。
43.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于信任和一致性的模型迁移方法。
44.本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的基于信任和一致性的模型迁移方法。
45.由此，在该方法中，可以基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征，并使用一个源域分类层进行标签预测，并使用交叉熵损失函
数进行训练优化，得到预先训练的源域模型，并基于预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。由此，解决了在源域数据缺失情况下的领域自适应问题，即给定源域模型和无标签的目标域数据，通过模型迁移的方法进行目标域自适应学习，从而实现无监督学习，显著提高模型的自适应性能力。
46.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
47.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
48.图1为根据本技术实施例提供的一种基于信任和一致性的模型迁移方法的流程图；
49.图2为根据本技术一个实施例的对偶分类网络框架的示例图；
50.图3为根据本技术一个实施例的visda数据集上的性能对比示意图；
51.图4为根据本技术实施例的基于信任和一致性的模型迁移装置的示例图；
52.图5为根据本技术实施例的电子设备的示例图。
具体实施方式
53.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
54.下面参考附图描述本技术实施例的基于信任和一致性的模型迁移方法、装置、设备及介质。针对上述背景技术中心提到的在源域数据缺失情况下的领域自适应问题，本技术提供了一种基于信任和一致性的模型迁移方法，在该方法中，可以基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征，并使用一个源域分类层进行标签预测，并使用交叉熵损失函数进行训练优化，得到预先训练的源域模型，并基于预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。由此，解决了在源域数据缺失情况下的领域自适应问题，即给定源域模型和无标签的目标域数据，通过模型迁移的方法进行目标域自适应学习，从而实现无监督学习，显著提高模型的自适应性能力。
55.具体而言，图1为本技术实施例所提供的一种基于信任和一致性的模型迁移方法的流程示意图。
56.如图1所示，该基于信任和一致性的模型迁移方法包括以下步骤：
57.在步骤s101中，基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征。
58.在步骤s102中，使用一个源域分类层进行标签预测，其中，源域分类层由全连接层和权重规范层组成，并使用交叉熵损失函数进行训练优化，得到预先训练的源域模型。
59.具体而言，本技术实施例可以给定有标注的源域数据集和标签集y，对于采样的
样本{s，ys}，其中ys∈y，首先构建一个神经网络模型θs＝{fs，hs}，其中fs是特征抽取器，使用在imagenet上预训练好的卷积神经网络初始化fs的参数，hs是分类器，随机初始化。训练时，使用fs抽取xs的特征，然后使用hs对其进行分类，分类器的输出结果是ps(xs)＝hs(fs(xs))。最后使用交叉熵损失训练模型θs：
[0060][0061]
其中，表示样本xs的标签是ys的概率p(ys|xs)，这里是分类器的输出ps(xs)上属于ys的那个概率值。是期望函数。在步骤s103中，基于预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。
[0062]
其中，对偶分类网络的结构示意图可以如图2所示，由图2可知，对偶分类网络可以采用一个卷积神经网络作为特征抽取器，然后使用一个对偶分类头对提取到的特征进行分类，其中对偶分类头包含两个不一样的分类层，每个层里头都有一个全连接层和权重规范层。对偶分类网络在初始化时，使用源域模型的特征抽取器参数初始化对偶分类网络的特征抽取器参数，使用源域模型的源域分类层参数来初始化对偶分类网络中对偶分类头的一个分类层，称之为对偶分类网络的源分类器，另一个分类层使用随机浮点数值进行初始化，称之为对偶分类网络的目标分类器。在目标域数据上进行模型迁移的过程中，源分类器的参数不进行更新，而目标分类器的参数使用随机梯度下降进行更新。
[0063]
可选地，在一些实施例中，在使用对偶分类网络进行模型自适应学习之前，还包括：构建对偶分类网络，其中，对偶分类网络包括特征抽取器和对偶分类头，在训练过程中，固定源分类器的参数，而特征抽取器和目标分类器通过随机梯度下降进行更新。
[0064]
应当理解的是，本技术实施例所构建的对偶分类网络θ
t
包括特征抽取器f
t
，和一个对偶分类头。特征抽取器的参数使用源域上预训练好的模型的特征抽取器进行初始化，即f
t
＝fs。对偶分类头中包含两个分类层，分别是源域分类层h
′s和目标域分类层h
t
，其中源域分类层的参数由源域上预训练好的模型的分类层进行初始化，即h
′s＝hs，而目标域分类层h
t
由随机值进行初始化。最后所构建的对偶分类网络为θ
t
＝{f
t
，hs，h
t
}。在训练过程中，我们固定源分类器的参数hs，特征抽取器f
t
和目标分类器h
t
通过随机梯度下降来更新。
[0065]
可选地，在一些实施例中，使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型，包括：在目标域数据上进行模型迁移时，将目标域数据中的样本输入至模型中，得到概率分布；选取最大概率的标签作为对应样本的伪标签，并使用熵来衡量模型对伪标签的信任程度；根据由信任程度生成的熵来对目标域数据中的所有样本进行从小到大排序，得到可信任样本，并利用可信任用样本和对应的伪标签对网络进行训练，得到自适应学习后的源域模型。
[0066]
可选地，在一些实施例中，使用基于信任和一致性机制进行训练优化，包括：抽取目标域数据中的无标注的样本的特征，基于预设的第一分类器和第二分类器得到第一分布预测结果和第二分布预测结果；基于第一分布预测结果和第二分布预测结果，计算模型预测分布的信息熵得到模型预测的可信度。
[0067]
具体地，在训练过程中，对于目标域的无标注的样本本技术实施例可以使用特征抽取器f
t
抽取样本x
t
的特征，然后输入到两个分类器hs和h
t
中，得到两种分布预测结
果，即ps(x
t
)＝hs(f
t
(x
t
))和p
t
(xs)＝h
t
(fs(x
t
))。接下来计算模型预测分布的信息熵来表示模型预测的可信度，分别为：
[0068][0069][0070]
其中，表示样本x
t
的标签是y
t
的概率p(y
t
|x
t
)，这里是分类器hs的输出ps(x
t
)上属于y
t
的那个概率值，同理，也表示样本x
t
的标签是y
t
的概率p(y
t
|x
t
)，但这里是分类器h
t
的输出p
t
(x
t
)上属于y
t
的那个概率值。
[0071]
进一步地，对于任意一个样本本技术实施例可以得到它的预测可信度，这里用分类器h
t
计算得到的可信度，即h
t
(x
t
)。然后，我们对可信度进行从小到大排序，并选取排在前r％的样本，组成可信样本集对于任意可信任的样本模型的输出为和我们使用取得最大概率值的标签来当做它的伪标签y
t
′
，即：
[0072][0073]
这里也可以使用实验结果表明两者区别不大。
[0074]
最后，本技术实施例可以只使用可信样本集中的样本和得到的伪标签y
t
′
来计算两个分类器的损失值：
[0075][0076][0077]
其中，表示样本的标签是y
t
′
的概率这里是分类器hs的输出上属于y
t
′
的那个概率值，同理，也表示样本的标签是y
t
′
的概率但这里是分类器h
t
的输出上属于y
t
′
的那个概率值。是期望函数。
[0078]
可选地，在一些实施例中，使用基于信任和一致性机制进行训练优化，包括：对可信任样本随机旋转预设角度，得到新的可信任样本；将可信任样本和新的可信任样本输入至对偶分类网络，分别获取可信任样本和新的可信任样本的特征和预测分布结果；使用预设的损失函数使得可信任样本和新的可信任样本的特征和概率分布保持一致；利用预设的分类层预测新的可信任样本相对可信任样本的旋转角度，计算旋转角度的预测损失。
[0079]
具体而言，本技术实施例可以采用自监督的方式来增强特征的学习。对于给定的可信样本我们随机旋转一定角度的方式得到它的另一个版本该角度可以是0度，90度，180度和270度中的任意一个数字。然后，我们将和输入到对偶分类网络中，获得他们各自的特征和和预测分布结果和预测分布结果和接着，我们使用下列损失函数来迫使，对于和模型所提取到的特征和概率分布保持一致：
[0080][0081][0082]
其中是中另外一张图片的旋转后的版本，作为的负例，而是的正例。表示样本的标签是y
t
′
的概率这里是分类器hs的输出上属于y
t
′
的那个概率值，同理，也表示样本的标签是y
t
′
的概率但这里是分类器h
t
的输出上属于y
t
′
的那个概率值。是期望函数。
[0083]
另外，本技术实施例可以使用一个额外的分类层hr来预测相对于的旋转角度，分类层hr的预测分布是：其中[a，b]表示把两个向量连接在一起，形成新的向量。接着计算相对旋转角预测损失：
[0084][0085]
其中，yr是相对旋转角，去0-3中的一个，分别对应0度，90度，180度和270度。是分类器hr的输出上属于yr的那个概率值。
[0086]
进一步地，为了让模型能够输出确信的概率分布，进一步，对于任意一个样本我们计算最大信息熵损失函数：
[0087][0088][0089]
其中，sum函数表示将向量所有元素相加。最终，通过整合所有损失函数，并引入平衡因子来调节各个损失函数的梯度：
[0090][0091]
综上可知，本技术实施例的基于信任和一致性的模型迁移方法采用一个对偶分类网络，引入信任和一致性机制对对偶分类网络进行训练优化，其中，模型迁移方法的基本框架包括源域上的模型预训练和目标域上的模型自适应学习两个阶段，其中：
[0092]
源域上的模型预训练为：给定有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征，然后使用一个源域分类层进行标签预测，其中源域分类层由全连接层和权重规范层组成；使用交叉熵损失函数进行训练优化，得到源域模型。
[0093]
目标域上的模型自适应学习为：给定预训练的源域模型和无标签的目标域数据，使用对偶分类网络来进行模型自适应学习，并使用基于信任和一致性机制进行训练优化。
[0094]
其中，基于信任的优化机制具体为：在目标域数据上进行模型迁移时，我们首先将目标域样本输入到模型中，得到概率分布，然后选取最大概率的标签作为该样本的伪标签，另外，使用熵来衡量模型对该伪标签的信任程度，熵越小说明模型越信任该标签。我们根据熵来对所有的目标样本进行从小到大排序，选取前80％的样本作为可信任的样本，然后用
这些样本和它们的伪标签对网络进行训练。
[0095]
基于一致性的优化机制具体为：对于目标域上的每个图片样本，我们随机旋转一个角度，该角度可以是0度，90度，180度和270度中的任意一个数字，得到另外一张图片。这两张图片从不同的角度呈现着相同的信息，但是经过对偶分类网络后得到的特征和概率分布是不一样的，因此，本技术实施例使用对比损失来拉近两张图片的特征距离，以及使用交叉熵损失拉近两者的概率分布，保证两张图片在特征和预测结果上都保持一致性。
[0096]
由此，本技术实施例的基于信任和一致性的模型迁移方法不仅可以增强模型的迁移性和自适应性，且对样本的特征表示学习也是具有很大的帮助，由图3可知，本技术实施例可以显著提升源域数据无关的无监督领域自适应的性能，在常用的visda的标准评测集上，相比于领先的方法shot，在相同的条件下可以提升2.0％性能，即使是跟使用了额外训练方法的shot 相比，本技术也有0.2％的提升，充分证明了有效性。
[0097]
根据本技术实施例提出的基于信任和一致性的模型迁移方法，可以基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征，并使用一个源域分类层进行标签预测，其中，源域分类层由全连接层和权重规范层组成，并使用交叉熵损失函数进行训练优化，得到预先训练的源域模型，并基于预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。由此，解决了在源域数据缺失情况下的领域自适应问题，即给定源域模型和无标签的目标域数据，通过模型迁移的方法进行目标域自适应学习，从而实现无监督学习，显著提高模型的自适应性能力。
[0098]
其次参照附图描述根据本技术实施例提出的基于信任和一致性的模型迁移装置。
[0099]
图4是本技术实施例的基于信任和一致性的模型迁移装置的方框示意图。
[0100]
如图4所示，该基于信任和一致性的模型迁移装置10包括：提取模块100、优化模块200和获取模块300。
[0101]
其中，提取模块100用于基于预设的有标签源域数据，使用卷积神经网络为特征抽取器，提出到源域图像的特征；
[0102]
优化模块200用于使用一个源域分类层进行标签预测，其中，源域分类层由全连接层和权重规范层组成，并使用交叉熵损失函数进行训练优化，得到预先训练的源域模型；以及
[0103]
获取模块300用于基于预训练的源域模型和无标签的目标域数据，使用对偶分类网络进行模型自适应学习，并使用基于信任和一致性机制进行训练优化，得到自适应学习后的源域模型。
[0104]
可选地，优化模块200具体用于：
[0105]
在目标域数据上进行模型迁移时，将目标域数据中的样本输入至模型中，得到概率分布；
[0106]
选取最大概率的标签作为对应样本的伪标签，并使用熵来衡量模型对伪标签的信任程度；
[0107]
根据由信任程度生成的熵来对目标域数据中的所有样本进行从小到大排序，得到可信任样本，并利用可信任用样本和对应的伪标签对网络进行训练，得到自适应学习后的源域模型。
component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0128]
可选地，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
[0129]
处理器502可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0130]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的基于信任和一致性的模型迁移方法。
[0131]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0132]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0133]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0134]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0135]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述
实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0136]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0137]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0138]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。