一种基于双阶段个性化联邦学习方法

1.本发明属于机器学习领域，主要涉及分布式学习和隐私保护领域，尤其是涉及一种基于双阶段个性化联邦学习方法。


背景技术：

2.近年来，随着大数据技术和人工智能技术的快速发展，人们对于用户隐私和数据安全的关注度也在不断提高。由于隐私保护、计算资源等方面的原因造成的数据孤岛，正在阻碍着训练人工智能模型所必须的大数据使用，目前联邦学习正广泛应用解决此类问题。联邦学习(federated learning)旨在学习一个全局模型，用于通过内置隐私保护设计来学习到一个通用的表示。然而在实际应用中，分散的数据在统计上是异质的，为解决异质性数据的问题，一种针对特定客户端个性化的个性化联邦学习由此诞生。
3.个性化联邦学习旨在找到具有共同表示的全局最优模型，同时该模型还应适用于不同客户端的本地数据。目前个性化联邦学习主要通过联邦元学习(fallah a,mokhtari a,ozdaglar a.personalized federated learning with theoretical guarantees:a model-agnostic meta-learning approach[j].advances in neural information processing systems,2020,33)和联邦正则化训练(li t,sahu a k,zaheer m,et al.federated optimization in heterogeneous networks[j].arxiv preprint arxiv:1812.06127,2018)的方式完成，前者在于找到一个在参与客户端之间共享的良好初始条件作为初始全局模型，通过元学习方式来对客户端进行个性化优化，后者在训练的时候引入一个正则化项来约束优化过程中个性化局部模型和全局模型直接的权重从差异。尽管这些方法都很直观且在实验上都有效，但是仍然存在一个关键性的限制，他们的表征学习与分类器学习都是耦合在一起的，这样导致所有客户端的分类器和表征模型都会受到本地数据分布的分类决策边界中标签偏差的影响，从而影响全局表征模型的准确性。
[0004]
基于此，本发明提出了一种基于双阶段个性化联邦学习框架，在表征学习阶段，利用监督对比学习损失构建全局无偏的特征表示，同时在二阶段分类器学习阶段，依据客户端的数据分布和资源情况构建个性化分类器，较好的解耦表征学习与分类器学习，减少标签偏差对于表征模型的影响。


技术实现要素：

[0005]
本发明的目的在于针对传统联邦学习中存在的数据隐私，数据分布不均匀等问题，基于端到端的分类损失所导致的模型偏差等难题，提供可改善传统联邦学习由于标签偏差训练导致的模型偏差，提高联邦学习应对各种数据分布的泛化性能，满足实际应用需求的一种基于双阶段个性化联邦学习方法。
[0006]
本发明包括全局表征学习和个性化分类器学习二个阶段，具体步骤如下：
[0007]
1)全局表征学习阶段：依据不同客户端所获取的不同数据信息进行统一的联邦表征学习，以获得准确的图像到特征空间的表征映射模型；先进行本地客户端学习，然后在全
局服务器上进行客户端聚合为全局模型；
[0008]
2)个性化分类器学习阶段：利用联邦学习获得的表征映射模型，依据不同客户端的数据分布训练个性化分类器。
[0009]
在步骤1)中，所述全局表征学习阶段用于学习可区分的图像代表性特征，同时消除标签偏差对模型造成的影响，全局表征学习的具体步骤可为：首先定义第i个客户端的表征模型为φi(wi)，i＝1，2，
…
，n，其中i∈[n]；全局的联邦学习过后的表征模型为φ(w
rep
)，其中，w
rep
为表征模型参数；第i个客户端的拥有的隐私数据为k＝1，2，...，d，其中k∈[d]，i∈[n]，d＝∑
ndn
是所有客户端数据的总集合；
[0010]
对于客户端的表征学习，采用监督对比学习方案作为基线，即每一个样本xk通过神经网络映射为特征空间上的一个特征向量，其正样本定义为具有相同标签的样本神经网络映射为特征空间上的一个特征向量，其正样本定义为具有相同标签的样本j＝1，2，...，d，剩下的样本则都定义为负样本；所有样本都通过一个神经网络抽取映射到特征空间中；客户端表征学习为了尽可能将样本的正样本紧密的聚类在一起的同时，离负样本尽可能远；引入标签用于在特征空间中标识是否属于正负样本，采用的监督对比表征学习损失函数如下所示：
[0011][0012][0013]
其中，zk表示样本的特征经过特征表示网络的投影头(projection head)结构的输出的向量，d
yk
表示标签为yk的样本数量，f(
·
)表示度量两个特征之间的余弦相似度，τ＞0表示温度参数，是一个指示函数，当中的条件b为真时返回1；
[0014]
通过本地客户端的学习，对于全局服务器模型将获取{w
rep
，w1，
…
，wn}表征模型参数；为了增加联邦学习的鲁棒性训练，模拟每次参与联邦学习的客户端不同，每次将在每一个round时随机选择小部分的客户端进行更新；对于选中部分的客户端先获取上一个round的全局表征模型权重并且在本地结合自身分布的数据集进行本地表征学习训练，训练过程如下：
[0015][0016]
其中，为第t个round时学习率；表示第i个客户端模型在其本地数据集di上的梯度；对于没有被选择到的客户端模型，保持之前的模型；
[0017]
完成本地客户端的学习之后，进入全局服务器上进行客户端聚合；采用fedavg(mcmahan b，moore e，ramage d，et al.communication-efficient learning of deep networks from decentralized data[c]//artificial intelligence and statistics.pmlr，2017：1273-1282)的方式聚合全局模型；具体来说，在本次round被选中的客户端完成训练之后，将上传本地的表征模型参数至全局服务器上，通过如下方法进行
统一聚合，完成一阶段的表征学习过程；
[0018][0019]
其中，si＝max(c
·
n，1)是随机选择的部分客户端，c为选择客户端的比例参数。
[0020]
在步骤2)中，所述个性化分类器学习阶段用于完成联邦学习客户端的下游任务，当在一阶段学得全局的表征模型之后，将表征模型分发到各个客户端中，使本地客户端具有将图像映射到特征空间的表征能力，基于全局的表征模型，构建一个通过每个本地客户端数据训练的个性化分类器；对于每一个客户端i∈[n]，通过最小化线性分类器的输出与真实标签的损失函数l：y
×
rc→
r来训练个性化分类器；具体训练过程为：
[0021][0022]
所述个性化分类器，包括但不限于逻辑回归分类器(logistic regression)、线性分类器(linear regression)、支持向量机(support vector machines)等。不同的本地个性化分类器具有不同的计算量，越复杂的分类器能够获得越好的分类效果。
[0023]
本发明通过构造一阶段的全局表征学习的方式构建全局图像准确表征模型，再通过本地个性化分类器的方式训练获得依据本地数据分布的分类器，与常见的个性化联邦学习方法的基于分类损失的端到端训练方式相比，本发明完全解耦表征学习和分类器学习，聚合全局共性的特征表示，保留局部个性的分类器。
[0024]
与现有技术相比，本发明的创新点包括：
[0025]
(1)不同于传统的个性化联邦学习方法，针对数据隐私，数据分布不均匀的实际问题，提出一种新颖的两阶段个性化联邦学习方法，该方法将表征学习和分类器学习阶段分开，为客户端训练出偏差较小的全局表征模型和更加个性化的本地分类器模型，可以有效利用各个客户端数据获得全局的表征模型和本地个性化分类器模型，提高识别精度。
[0026]
(2)在全局表征学习阶段，本发明采用监督对比损失进行优化，并从不同分布的客户端数据中学习通用的表征模型。
[0027]
(3)在个性化分类器学习阶段，本发明允许每个客户端基于全局公告的表征模型学习个性化分类器，这个个性化分类器可以让在实际应用中计算能力受限的设备受益。
[0028]
(4)建立在联邦学习与对比学习的基础上，实用性强，灵活性高，能够满足不同数据分布和计算资源下的联邦学习需求。
附图说明
[0029]
图1为本发明实施例的训练过程框架示意图。
[0030]
图2为客户端(client)与全局服务器(server)示意图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚，下面对本发明的实施方式作进一步地详细描述：
[0032]
本发明实施例包括全局表征学习和个性化分类器学习，具体包括以下步骤：
[0033]
a、全局表征学习；
[0034]
b、个性化分类器学习；
[0035]
应对传统联邦学习中基于端到端的分类损失所导致的模型偏差的难题，希望能够通过两阶段联邦学习的方式，深程度解耦表征学习与分类器学习过程。在表征学习阶段，旨在通过不同客户端异构数据分布获得一个全局的通用数据表示；在分类器阶段，通过全局通用的表示，依据各自客户端实际的数据分布，学习个性化的分类器以适配不同客户端的定制化需求。进一步提高联邦学习对不同数据分布的应对能力。训练框架如图1，本发明首先在第一阶段依据不同客户端所获取的不同数据信息进行统一的联邦表征学习，以此来获得准确的图像到特征空间的表征映射；再其次在第二阶段中，利用联邦学习获得的表征映射模型，依据不同客户端的数据分布训练自己个性化分类器。本发明定义一次联邦学习的通信为1round，本地模型训练迭代一次为1epoch。
[0036]
以下为本发明的算法流程：
[0037]
[0038][0039]
步骤a的具体步骤为下：
[0040]
步骤a中的全局表征学习过程目的在于学习可区分的图像代表性特征，同时消除标签偏差对模型造成的影响。为了方便表述以及后续内容，本发明定义第i个客户端的表征模型为φi(wi)，i＝1，2，
…
，n，其中i∈[n]。全局的联邦学习过后的表征模型为φ(w
rep
)，其中w
rep
为表征模型参数。第i个客户端的拥有的隐私数据为k＝1，2，...，d，其中k∈[d]，i∈[n]，d＝∑
ndn
是所有客户端数据的总集合。
[0041]
在步骤a阶段，对于客户端的表征学习，本发明采用监督对比学习方案作为基线，即每一个样本xk通过神经网络映射为特征空间上的一个特征向量，其正样本定义为具有相同标签的样本j＝1，2，...，d，剩下的样本则都定义为负样本。所有样本都将通过一个神经网络抽取映射到特征空间中。在客户端表征学习的目标是尽可能将样本的正样本紧密的聚类在一起的同时，离负样本尽可能远。这里引入标签的作用仅仅在特征空间中标识是否属于正负样本，与常用的神经网络分类损失不同。本发明采用的监督对比表征学习损失函数如下所示：
[0042][0043][0044]
其中zk表示样本的特征经过特征表示网络的投影头(projection head)结构的输出的向量，d
yk
表示标签为yk的样本数量，f(
·
)表示度量两个特征之间的余弦相似度，τ＞0表示温度参数，是一个指示函数，当条件b为真时返回1。
[0045]
通过本地客户端的学习，对于全局服务器模型将获取{w
rep
，w1，
…
，wn}表征模型参数。为了增加联邦学习的鲁棒性训练，模拟每次参与联邦学习的客户端不同，本发明每次将
在每一个round时随机选择小部分的客户端进行更新。对于选中部分的客户端将先获取上一个round的全局表征模型权重并且在本地结合自身分布的数据集进行本地表征学习训练，训练过程如下：
[0046][0047]
其中，为第t个round时学习率；表示第i个客户端模型在其本地数据集di上的梯度。对于没有被选择到的客户端模型，将保持之前的模型。
[0048]
完成本地客户端的学习之后，进入全局服务器上进行客户端聚合。本发明采用fedavg(mcmahan b，moore e，ramage d，et al.communication-efficient learning of deep networks from decentralized data[c]//artificial intelligence and statistics.pmlr，2017：1273-1282)的方式聚合全局模型。具体来说，在本次round被选中的客户端完成训练之后，将上传本地的表征模型参数至全局服务器上，通过如下方法进行统一聚合，完成一阶段的表征学习过程。
[0049][0050]
其中si＝max(c
·
n，1)是随机选择的部分客户端，其中c为选择客户端的比例参数。
[0051]
步骤b的具体步骤为下：
[0052]
步骤b中的个性化分类器学习，其目的在于完成联邦学习客户端的下游任务，当在一阶段学得全局的表征模型之后，将表征模型分发到各个客户端中，使本地客户端具有将图像映射到特征空间的表征能力。基于全局的表征模型构建一个通过每个本地客户端数据训练的个性化分类器h(θi)，其中θi为第i个客户端的分类器参数。对于每一个客户端i∈[n]，本发明通过最小化线性分类器的输出与真实标签的损失函数l：y
×
rc→
r来训练个性化分类器。本阶段的具体训练过程为：
[0053][0054]
联邦学习除了广泛的应用在机构之间的隐私保护和分布式训练中，也还广泛的应用到嵌入式设备和物联网领域中。在嵌入式设备的实际应用中，部分设备的性能和资源受限只能支持网络推理和简单训练。本发明的二阶段本地训练过程可针对不同的客户端条件针对性的选择个性化的分类器，诸如逻辑回归分类器(logistic regression)、线性分类器(linear regression)、支持向量机(support vector machines)。不同的本地个性化分类器具有不同的计算量，越复杂的分类器能够获得越好的分类效果。
[0055]
本发明通过构造一阶段的全局表征学习的方式构建全局图像准确表征模型，再通过本地个性化分类器的方式训练获得依据本地数据分布的分类器，与常见的个性化联邦学习方法的基于分类损失的端到端训练方式相比，本发明完全解耦表征学习和分类器学习，聚合全局共性的特征表示，保留局部个性的分类器。
[0056]
以下给出具体实施例。
[0057]
在步骤a中，本发明设定backbone的神经网络为resnet34，使用adam优化器，设置权重衰减为1
×
10-4
，初始化学习率为0.001并且设定学习率衰减为0.1，温度参数τ设定为0.1，总共100个round，1个round本地的选中模型迭代10epoch。
[0058]
在步骤b中，本发明对于线性分类器的设定为一层线性网络层，在固定一阶段的表征模型情况下，训练线性分类器；使用adam优化器，设置学习率为5，并且训练100epoch。对于svm分类器而言，设置svm为线性核，决策方式为
‘
ovo’。对于逻辑回归分类器，采用默认逻辑回归参数设置。
[0059]
为了验证本发明能够在一阶段学习到合理的全局表征模型，本发明将采用cifar-10数据集在20个客户端下，采用上述一阶段的表征训练方法，将cifar-10数据集通过迪利克雷采样分配到每个客户端。经过100round的训练之后，用tsne(van der maaten l，hinton g.visualizing data using t-sne[j].journal of machine learning research，2008，9(11))画出特征可视化图，如图2所示，在画出特征可视化图时可采用不同的颜色点以代表不同类别的样本，图2中的图a，b，c代表客户端a，b，c本地的表征模型，图d表示全局的表征模型。可以从图中看出，本地客户端不均匀的特征空间，在经过全局聚合之后能够获得一个较好的表征模型，很好的保持联邦全局共性特征。
[0060]
本发明的创新点包括：(1)不同于传统的个性化联邦学习方法，本发明提出一种新颖的两阶段个性化联邦学习框架，该框架将表征学习和分类器学习阶段分开来，为客户端训练出偏差较小的全局表征模型和更加个性化的本地分类器模型。(2)在步骤a阶段，本发明采用监督对比损失进行优化，并从不同分布的客户端数据中学习通用的表征模型。(3)在步骤b阶段，本发明允许每个客户端基于全局公告的表征模型学习个性化分类器，这个个性化分类器可以让在实际应用中计算能力受限的设备受益。
[0061]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于双阶段个性化联邦学习方法，其特征在于其具体步骤如下：1)全局表征学习阶段：依据不同客户端所获取的不同数据信息进行统一的联邦表征学习，以获得准确的图像到特征空间的表征映射模型；先进行本地客户端学习，然后在全局服务器上进行客户端聚合为全局模型；2)个性化分类器学习阶段：利用联邦学习获得的表征映射模型，依据不同客户端的数据分布训练个性化分类器。2.如权利要求1所述一种基于双阶段个性化联邦学习方法，其特征在于在步骤1)中，所述全局表征学习的具体步骤为：首先定义第i个客户端的表征模型为φ
i
(w
i
)，i＝1，2，
…
，n，其中i∈[n]；全局的联邦学习过后的表征模型为φ(w
rep
)，其中，w
rep
为表征模型参数；第i个客户端的拥有的隐私数据为其中k∈[d]，i∈[n]，d＝∑
n
d
n
是所有客户端数据的总集合；对于客户端的表征学习，采用监督对比学习方案作为基线，即每一个样本x
k
通过神经网络映射为特征空间上的一个特征向量，其正样本定义为具有相同标签的样本络映射为特征空间上的一个特征向量，其正样本定义为具有相同标签的样本剩下的样本则都定义为负样本；所有样本都通过一个神经网络抽取映射到特征空间中；采用的监督对比表征学习损失函数如下：一个神经网络抽取映射到特征空间中；采用的监督对比表征学习损失函数如下：其中，z
k
表示样本的特征经过特征表示网络的投影头(projection head)结构的输出的向量，表示标签为y
k
的样本数量，f(
·
)表示度量两个特征之间的余弦相似度，τ＞0表示温度参数，是一个指示函数，当中的条件b为真时返回1；通过本地客户端的学习，对于全局服务器模型将获取{w
rep
，w1，
…
，w
n
}表征模型参数；为增加联邦学习的鲁棒性训练，模拟每次参与联邦学习的客户端不同，每次将在每一个round时随机选择小部分的客户端进行更新；对于选中部分的客户端先获取上一个round的全局表征模型权重并且在本地结合自身分布的数据集进行本地表征学习训练，训练过程如下：其中，为第t个round时学习率；表示第i个客户端模型在其本地数据集d
i
上的梯度；对于没有被选择到的客户端模型，保持之前的模型；完成本地客户端的学习之后，进入全局服务器上进行客户端聚合；采用fedavg(mcmahan b，moore e，ramage d，et al.communication-efficient learning of deep networks from decentralized data[c]//artificial intelligence and statistics.pmlr，2017：1273-1282)的方式聚合全局模型；具体来说，在本次round被选中的客户端完成训练之后，将上传本地的表征模型参数至全局服务器上，通过如下方法进行统一聚合，完成一阶段的表征学习过程；
其中，s
i
＝max(c
·
n，1)是随机选择的部分客户端，c为选择客户端的比例参数。3.如权利要求1所述一种基于双阶段个性化联邦学习方法，其特征在于在步骤2)中，所述个性化分类器学习用于完成联邦学习客户端的下游任务，当在一阶段学得全局的表征模型之后，将表征模型分发到各个客户端中，使本地客户端具有将图像映射到特征空间的表征能力，基于全局的表征模型，构建一个通过每个本地客户端数据训练的个性化分类器；对于每一个客户端i∈[n]，通过最小化线性分类器的输出与真实标签的损失函数l：y
×
r
c
→
r来训练个性化分类器；具体训练过程为：4.如权利要求1所述一种基于双阶段个性化联邦学习方法，其特征在于在步骤2)中，所述个性化分类器，包括但不限于逻辑回归分类器、线性分类器、支持向量机。

技术总结
一种基于双阶段个性化联邦学习方法，属于机器学习领域。包括：1)全局表征学习阶段：依据不同客户端所获取的不同数据信息进行统一的联邦表征学习，以获得准确的图像到特征空间的表征映射模型；先进行本地客户端学习，然后在全局服务器上进行客户端聚合为全局模型；2)个性化分类器学习阶段：利用联邦学习获得的表征映射模型，依据不同客户端的数据分布训练个性化分类器。可有效利用各个客户端数据获得全局的表征模型和本地个性化分类器模型，提高识别精度。建立在联邦学习与对比学习的基础上，实用性强，灵活性高，能够满足不同数据分布和计算资源下的联邦学习需求。为客户端训练出偏差较小的全局表征模型和更加个性化的本地分类器模型。器模型。器模型。


技术研发人员：丁兴号 黄悦 庄易鸿 井长兴
受保护的技术使用者：厦门大学
技术研发日：2022.02.18
技术公布日：2022/5/25