草庐IT

联邦学习FATE(单机部署)案例搭建+安装(超详细)

前言最近刚刚接触了联邦学习,准备搭建一个联邦学习的案例,但是遇到了很多问题,因此写这篇文章记录一下,希望能帮助到更多的人。最开始的时候尝试的是Ubuntu,但是错误很多就选择了centos7目录前言一、使用环境1.1安装VMwareWorkstation16Player1.2下载CentOS71.3创建虚拟机二、安装FATE2.1检查端口2.2下载FATE安装包三、测试3.1 启动fateflow3.2 配置环境变量​3.3单元测试3.4 toy测试3.5 安装fate-client和fate-test  四、案例实战4.1 上传数据 4.2 训练模型总结一、使用环境VMwareWorksta

FATE联邦学习框架之KubeFATE部署(基于K8S)最详细过程

概述:FATE(FederatedAITechnologyEnabler)是一个联邦学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和建模。但由于其系统的分布式特性,导致使用存在一定门槛。鉴于此,微众银行联合VMware一起开发了KubeFATE项目,致力于降低FATE的使用门槛和系统运维成本。本文将首先分析FATE的整体架构,帮助读者理解各部件的作用;然后将展示如何从一台Linux机器开始,通过KubeFATE一步一步来搭建联邦学习的实验环境。(这些全部都是官方的介绍大家稍微看一下就好)这篇博客详细记录了我如何按照官方文档在一台CentOS7的虚拟机上

2023年3月版联邦学习(fate)从主机安装到实现联邦学习

联邦学习(fate)从主机安装到实现联邦学习一、单机部署1.1虚拟机配置1.2安装python1.3端口检查1.4获取安装包,并解压1.5安装1.6启动1.7测试1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyternotebook1.8.1FATE-Client、FATE-Test1.8.2FATE-Flow1.8.3FATE中的JupyterNotebook二、用FATE从零实现横向逻辑回归2.1数据集获取2.2横向联邦数据集切分2.3上传数据-修改文件2.4上传数据-跳转目录2.5模型训练与评估2.5.1修改conf和dsl文件参数2.5.2修改结束之后

2023年3月版联邦学习(fate)从主机安装到实现联邦学习

联邦学习(fate)从主机安装到实现联邦学习一、单机部署1.1虚拟机配置1.2安装python1.3端口检查1.4获取安装包,并解压1.5安装1.6启动1.7测试1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyternotebook1.8.1FATE-Client、FATE-Test1.8.2FATE-Flow1.8.3FATE中的JupyterNotebook二、用FATE从零实现横向逻辑回归2.1数据集获取2.2横向联邦数据集切分2.3上传数据-修改文件2.4上传数据-跳转目录2.5模型训练与评估2.5.1修改conf和dsl文件参数2.5.2修改结束之后

Will 'Recommendations' Meet the Same Fate as 'Search'?

Recently,Zuckerberghashadadifficulttime.Thecorporationhasbeencriticizedfordataandprivacybreaches,creatingglobalpublicconcern.Evenafteradoptinganewbrandname,Meta,thesocialmediabehemoththatintendedtopresentanewimage,hasnotbeenabletoresolveitsdisputewiththeEuropeanCommissionoverthetransferofuserdata.Ac

Will 'Recommendations' Meet the Same Fate as 'Search'?

Recently,Zuckerberghashadadifficulttime.Thecorporationhasbeencriticizedfordataandprivacybreaches,creatingglobalpublicconcern.Evenafteradoptinganewbrandname,Meta,thesocialmediabehemoththatintendedtopresentanewimage,hasnotbeenabletoresolveitsdisputewiththeEuropeanCommissionoverthetransferofuserdata.Ac

隐私计算FATE-多分类神经网络算法测试

一、说明本文分享基于Fate使用横向联邦神经网络算法对多分类的数据进行模型训练,并使用该模型对数据进行多分类预测。二分类算法:是指待预测的label标签的取值只有两种;直白来讲就是每个实例的可能类别只有两种(0或者1),例如性别只有男或者女;此时的分类算法其实是在构建一个分类线将数据划分为两个类别。多分类算法:是指待预测的label标签的取值可能有多种情况,例如个人爱好可能有篮球、足球、电影等等多种类型。常见算法:Softmax、SVM、KNN、决策树。关于Fate的核心概念、单机部署、训练以及预测请参考以下相关文章:《隐私计算FATE-关键概念与单机部署指南》《隐私计算FATE-模型训练》《

隐私计算FATE-多分类神经网络算法测试

一、说明本文分享基于Fate使用横向联邦神经网络算法对多分类的数据进行模型训练,并使用该模型对数据进行多分类预测。二分类算法:是指待预测的label标签的取值只有两种;直白来讲就是每个实例的可能类别只有两种(0或者1),例如性别只有男或者女;此时的分类算法其实是在构建一个分类线将数据划分为两个类别。多分类算法:是指待预测的label标签的取值可能有多种情况,例如个人爱好可能有篮球、足球、电影等等多种类型。常见算法:Softmax、SVM、KNN、决策树。关于Fate的核心概念、单机部署、训练以及预测请参考以下相关文章:《隐私计算FATE-关键概念与单机部署指南》《隐私计算FATE-模型训练》《

隐私计算FATE-离线预测

一、说明Fate的模型预测有离线预测和在线预测两种方式,两者的效果是一样的,主要是使用方式、适用场景、高可用、性能等方面有很大差别;本文分享使用Fate基于纵向逻辑回归算法训练出来的模型进行离线预测实践。基于上文《隐私计算FATE-模型训练》中训练出来的模型进行预测任务关于Fate的基础概览和安装部署可参考文章《隐私计算FATE-关键概念与单机部署指南》 二、查询模型信息执行以下命令,进入Fate的容器中:dockerexec-it$(dockerps-aqf"name=standalone_fate")bash首先我们需要获取模型对应的model_id和model_version信息,可以通

隐私计算FATE-离线预测

一、说明Fate的模型预测有离线预测和在线预测两种方式,两者的效果是一样的,主要是使用方式、适用场景、高可用、性能等方面有很大差别;本文分享使用Fate基于纵向逻辑回归算法训练出来的模型进行离线预测实践。基于上文《隐私计算FATE-模型训练》中训练出来的模型进行预测任务关于Fate的基础概览和安装部署可参考文章《隐私计算FATE-关键概念与单机部署指南》 二、查询模型信息执行以下命令,进入Fate的容器中:dockerexec-it$(dockerps-aqf"name=standalone_fate")bash首先我们需要获取模型对应的model_id和model_version信息,可以通
12