【FedAvg】论文链接：https://arxiv.org/abs/1602.05629摘要移动通信设备中有许多有用的数据，训练模型后可以提高用户体验。但是，这些数据通常敏感或很庞大，不能直接上传到数据中心，使用传统的方法训练模型。据此提出联邦学习，将训练数据分布在移动设备上，通过聚合本地计算的更新来学习共享模型。考虑了5种不同的模型和4个数据集，证明本文的方法对不平衡和非独立同分布的数据是鲁棒的，且降低了通信成本。一、介绍主要贡献：将移动设备的去中心化数据的训练作为重要研究方向选择可以应用的简单而实用的算法对所提出的方法进行广泛的实证评估1.联邦学习的理想问题具有以下特性：训练来自移动设备
随着计算机算力的提升，机器学习作为海量数据的分析处理技术，已经广泛服务于人类社会。然而，机器学习技术的发展过程中面临两大挑战：一是数据安全难以得到保障，隐私泄露问题亟待解决；二是网络安全隔离和行业隐私，不同行业部门之间存在数据壁垒，导致数据形成“孤岛”无法安全共享，而仅凭各部门独立数据训练的机器学习模型性能无法达到全局最优化。为解决上述问题，谷歌提出了联邦学习（FL，federatedlearning）技术。 本文主要对联邦学习的开山之作《Communication-EfficientLearningofDeepNetworksfromDecentralizedData》进行重点
文章目录横向联邦学习的定义横向联邦学习架构客户-服务器架构对等网络架构联邦平均算法横向联邦学习的定义横向联邦学习也称为按样本划分的联邦学习，可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景，类似于在表格视图中对数据进行水平划分的情况。例如，两个地区的城市商业银行可能在各自的地区拥有非常不同的客户群体，所以他们的客户交集非常小，他们的数据集有不同的样本ID。然而，他们的业务模型非常相似，因此他们的数据集的特征空间是相同的。这两家银行可以联合起来进行横向联邦学习以构建更好的风控模型。横向联邦学习架构客户-服务器架构具有K个参与方（客户端）在服务器的帮助下，协作地训练一个
文章目录横向联邦学习的定义横向联邦学习架构客户-服务器架构对等网络架构联邦平均算法横向联邦学习的定义横向联邦学习也称为按样本划分的联邦学习，可以应用于联邦学习的各个参与方的数据集有相同的特征空间和不同的样本空间的场景，类似于在表格视图中对数据进行水平划分的情况。例如，两个地区的城市商业银行可能在各自的地区拥有非常不同的客户群体，所以他们的客户交集非常小，他们的数据集有不同的样本ID。然而，他们的业务模型非常相似，因此他们的数据集的特征空间是相同的。这两家银行可以联合起来进行横向联邦学习以构建更好的风控模型。横向联邦学习架构客户-服务器架构具有K个参与方（客户端）在服务器的帮助下，协作地训练一个
联邦学习实战——基于同态加密和差分隐私混合加密机制的FedAvg前言1.FedAvg1.1getData.py1.2Models.py1.3client.py1.4server.py1.5性能评估1.5.1Non-IID和IID1.5.2IID场景参与方的影响1.5.2Non-IID场景参与方的影响1.6FedAvg总结2.差分隐私2.1拉普拉斯机制与高斯机制2.2拉普拉斯机制的实现2.2高斯机制的实现2.3差分隐私整合3.Paillier同态加密算法3.1FedAvg应用3.2性能测试4.项目总结参考链接前言好久都没更新联邦学习相关内容了，这也是我更新这篇我认为非常硬核的文章的原因，这也算是
目录一、FedAvg原始论文笔记1、联邦优化问题: 2、联邦平均算法：FedSGD算法：FedAvg算法：实验结果：3、代码解释 3.1、main_fed.py主函数3.2、Fed.py:3.3、Nets.py:模型定义3.4、option.py超参数设置3.5、sampling.py：数据集采样3.6、update.py:局部更新3.7、main_nn.py对照组普通的nn一、FedAvg原始论文笔记联邦平均算法经典论文：McMahanB,MooreE,RamageD,etal.Communication-efficientlearningofdeepnetworksfromdecentra
PyTorch实现联邦学习FedAvg（详解）开始做第二个工作了，又把之前看的FedAvg的代码看了一遍。联邦学习好难啊…1.介绍简单介绍一下FedAvgFedAvg是一种分布式框架，允许多个用户同时训练一个机器学习模型。在训练过程中并不需要上传任何私有的数据到服务器。本地用户负责训练本地数据得到本地模型，中心服务器负责加权聚合本地模型，得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。(1)首先用户用户从服务器中下载模型参数，更新本地模型参数，进行本地机器学习训练。(2)其次在用户中通过本地随机梯度下降不断更新模型的
PyTorch实现联邦学习FedAvg（详解）开始做第二个工作了，又把之前看的FedAvg的代码看了一遍。联邦学习好难啊…1.介绍简单介绍一下FedAvgFedAvg是一种分布式框架，允许多个用户同时训练一个机器学习模型。在训练过程中并不需要上传任何私有的数据到服务器。本地用户负责训练本地数据得到本地模型，中心服务器负责加权聚合本地模型，得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型，有效地降低了传统机器学习源数据聚合带来的许多隐私风险。(1)首先用户用户从服务器中下载模型参数，更新本地模型参数，进行本地机器学习训练。(2)其次在用户中通过本地随机梯度下降不断更新模型的
