草庐IT

联邦学习FATE(单机部署)案例搭建+安装(超详细)

不拘于时. 2024-01-06 原文


前言

最近刚刚接触了联邦学习,准备搭建一个联邦学习的案例,但是遇到了很多问题,因此写这篇文章记录一下,希望能帮助到更多的人。

最开始的时候尝试的是Ubuntu,但是错误很多就选择了centos7


目录

前言

一、使用环境

1.1 安装VMware Workstation 16 Player

1.2 下载CentOS7

1.3 创建虚拟机

二、安装FATE

2.1 检查端口

2.2 下载FATE安装包

三、测试

3.1 启动fate flow

3.2 配置环境变量

​3.3 单元测试

3.4 toy测试

3.5 安装fate-client和fate-test

 

 四、案例实战

4.1 上传数据

 4.2 训练模型

总结


一、使用环境

VMware Workstation 16 Player +CentOS7

1.1 安装VMware Workstation 16 Player

官网下载链接

点击上方链接进行下载。选择windows版本点击立即下载。

由于笔者已经下载了VMware16 接下来就是正常的下载步骤,在许可证的那里不用填写,因为不用做商业用途,可以免费使用。

1.2 下载CentOS7

打开centos7官网,下载x86_64版本,开源免费。centos官网

下载ISO版本。

1.3 创建虚拟机

打开VMware16,创建虚拟机

注意版本要选择CentOS 7 64位

为你的虚拟机起一个名字,并选择位置。

这里建议磁盘大小大一点,否则稍后安装FATE的时候会导致内存不足。

我把硬盘和内存都弄得大了一些。

使用ISO影像文件->浏览->选择刚才下载centos7映像文件

点击播放虚拟机。

直接回车,安装centos7

 等待安装……

成功安装后把语言设置为简体中文。

选择[软件选择]-带GUI的服务器-完成。

选择[安装位置]-我要配置分区。

点击+进行分区,设置完/boot和swap后,剩余内存都会给到根目录。

容量这里根据自己的需求设置。

swap和/如boot同理。

点击完成后会弹出更改摘要,选择[接受更改]即可。

 选择[网络和主机名],打开网络连接并给主机命名。

上述操作结束后,点击开始安装。

在安装过程中,设置[root密码],这里最开始忘记截图了正常应该是未设置密码。

点击完成。

继续等待安装……

此时还没接受许可证,点击[许可证信息]--[我同意许可协议]-[完成]-[完成配置]

进下来按照提示,逐步完成操作。

 在centos7桌面点击鼠标右键打开终端进入超级用户

su root

如果提示鉴定故障,则说明没有设置密码。输入如下代码设置密码。

sudo passwd root

 输入su root,进入超级用户。

 

二、安装FATE

2.1 检查端口

以下3个端口在安装时都有用处,如果端口被占用则关闭相应程序。

正常依次输完3段代码不会有任何提示则说明端口没有被占用。

代码如下(示例):

netstat -apln|grep 8080;
netstat -apln|grep 9360;
netstat -apln|grep 9380

2.2 下载FATE安装包

代码如下(示例):

wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/standalone_fate_master_1.6.0.tar.gz

为了加快下载速度使用了清华源。

下载后进行解压。

tar -xzvf standalone_fate_master_1.6.0.tar.gz

在经过一长串的解压后就完成了,可以看到主文件夹下多了一个解压后的fate文件夹。

进入fate1.6.0目录,执行init.sh.

cd standalone_fate_master_1.6.0
sh init.sh init

可以看到fate flow使用了9380和9360端口。

 这个时候输入localhost:8080即可进入fateboard。

三、测试

tips:接下来的所有操作都是在standalone_fate_master_1.6.0的终端下进行的。

3.1 启动fate flow

代码如下:

bash init.sh status
bash init.sh start

显示服务器已经启动。

3.2 配置环境变量

输入如下代码时,自动配置相关环境变量。

source bin/init_env.sh

运行成功后会进入(venv)。

3.3 单元测试

输入如下代码:

bash ./python/federatedml/test/run_test.sh

结果显示there are 0 failed test,则测试成功。

3.4 toy测试

输入如下代码:

python ./examples/toy_example/run_toy_example.py 10000 10000 0

结果显示success to calculate secure_sum, it is 2000.0或者和提示差不多,则测试成功。

这里我的显示结果是1999.n个9,类似结果就说明成功。

 

3.5 安装fate-client和fate-test

方便进行交互和测试。

如果报错可以尝试 -i https://pypi.tuna.tsinghua.edu.cn/simple/ 安装。

python -m pip install fate-client
python -m pip install fate-test

 

 四、案例实战

使用的是fate自带的横向逻辑回归数据。

4.1 上传数据

代码如下:

python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json; 
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json ; 
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json  

打开fateboard界面,显示数据已经上传成功。

 

 如果想重新上传数据的话,需要在json文件后加“drop=1”,因为原则上不可以重复上传。

代码如下所示:

python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_host.json drop=1
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_guest.json drop=1  
python ./python/fate_flow/fate_flow_client.py -f upload -c ./examples/dsl/v1/homo_logistic_regression/upload_data_test.json drop=1  

 4.2 训练模型

上传配置文件并训练。

代码如下:

python ./python/fate_flow/fate_flow_client.py -f submit_job -c ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_conf.json -d ./examples/dsl/v1/homo_logistic_regression/test_homolr_train_job_dsl.json 



训练成功。

这时候再看fateboard的running部分,就会发现刚才上传的且正在训练的数据。

回到job查看训练结果,点击job的id。

 

点击每个模块的view the outputs可查看结果。

 

 

 

 

 

 

总结

刚开始接触联邦学习希望这篇文章能对大家有帮助。最开始也是按照其他的博主的方法去操作,遇到了一些问题。最后把自己的经验操作整合了一下,写完了这篇文章。

参考文章:

Fate单机部署(主机版本)_一览天下945的博客-CSDN博客_fate单机部署

【联邦学习FATE框架实战】(一)FATE1.6单机部署教程_HarrisonWu42的博客-CSDN博客_fate框架

有关联邦学习FATE(单机部署)案例搭建+安装(超详细)的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 完全离线安装RVM - 2

    我打算为ruby​​脚本创建一个安装程序,但我希望能够确保机器安装了RVM。有没有一种方法可以完全离线安装RVM并且不引人注目(通过不引人注目,就像创建一个可以做所有事情的脚本而不是要求用户向他们的bash_profile或bashrc添加一些东西)我不是要脚本本身,只是一个关于如何走这条路的快速指针(如果可能的话)。我们还研究了这个很有帮助的问题:RVM-isthereawayforsimpleofflineinstall?但有点误导,因为答案只向我们展示了如何离线在RVM中安装ruby。我们需要能够离线安装RVM本身,并查看脚本https://raw.github.com/wayn

  3. ruby-on-rails - rails 目前在重启后没有安装 - 2

    我有一个奇怪的问题:我在rvm上安装了ruby​​onrails。一切正常,我可以创建项目。但是在我输入“railsnew”时重新启动后,我有“程序'rails'当前未安装。”。SystemUbuntu12.04ruby-v"1.9.3p194"gemlistactionmailer(3.2.5)actionpack(3.2.5)activemodel(3.2.5)activerecord(3.2.5)activeresource(3.2.5)activesupport(3.2.5)arel(3.0.2)builder(3.0.0)bundler(1.1.4)coffee-rails(

  4. ruby - 如何为 emacs 安装 ruby​​-mode - 2

    我刚刚为fedora安装了emacs。我想用emacs编写ruby。为ruby​​提供代码提示、代码完成类型功能所需的工具、扩展是什么? 最佳答案 ruby-mode已经包含在Emacs23之后的版本中。不过,它也可以通过ELPA获得。您可能感兴趣的其他一些事情是集成RVM、feature-mode(Cucumber)、rspec-mode、ruby-electric、inf-ruby、rinari(用于Rails)等。这是我当前用于Ruby开发的Emacs配置:https://github.com/citizen428/emacs

  5. ruby-on-rails - 无法在centos上安装therubyracer(V8和GCC出错) - 2

    我正在尝试在我的centos服务器上安装therubyracer,但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e

  6. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  7. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  8. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题,我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  9. ruby-on-rails - 每次我尝试部署时,我都会得到 - (gcloud.preview.app.deploy) 错误响应 : [4] DEADLINE_EXCEEDED - 2

    我是Google云的新手,我正在尝试对其进行首次部署。我的第一个部署是RubyonRails项目。我基本上是在关注thisguideinthegoogleclouddocumentation.唯一的区别是我使用的是我自己的项目,而不是他们提供的“helloworld”项目。这是我的app.yaml文件runtime:customvm:trueentrypoint:bundleexecrackup-p8080-Eproductionconfig.ruresources:cpu:0.5memory_gb:1.3disk_size_gb:10当我转到我的项目目录并运行gcloudprevie

  10. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

随机推荐