联邦学习（fate）从主机安装到实现联邦学习

• 一、单机部署
• • 1.1虚拟机配置
  • 1.2安装python
  • 1.3端口检查
  • 1.4获取安装包，并解压
  • 1.5安装
  • 1.6启动
  • 1.7测试
  • 1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook
  • • 1.8.1FATE-Client、FATE-Test
    • 1.8.2FATE-Flow
    • 1.8.3FATE中的Jupyter Notebook
• 二、用FATE从零实现横向逻辑回归
• • 2.1 数据集获取
  • 2.2 横向联邦数据集切分
  • 2.3 上传数据-修改文件
  • 2.4 上传数据-跳转目录
  • 2.5 模型训练与评估
  • • 2.5.1 修改conf和dsl文件参数
    • 2.5.2 修改结束之后，在命令行输入以下命令（submit_ job）执行模型训练

一、单机部署

单机版提供3种部署方式，这里选择在主机中安装FATE（官方建议使用Docker镜像，但不熟悉Docker的人容易找不到FATE路径）

1.1虚拟机配置

使用虚拟机VMware进行实验，实验过程中随时拍摄快照，节约重装时间。

项目	Value
虚拟机配置	内存4G + 硬盘150G
操作系统	centos 7

1.2安装python

• 这里不重复写了，请参考（Ubuntu安装python）（CentOS安装python）
• 或者安装anconda–linux版本

1.3端口检查

检查端口8080、9360、9380是否被占用

netstat -apln|grep 8080
netstat -apln|grep 9360
netstat -apln|grep 9380

1.4获取安装包，并解压

sudo wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate/1.8.0/release/standalone_fate_install_1.8.0_release.tar.gz --no-check-certificate
tar -xzvf standalone_fate_install_1.8.0_release.tar.gz

1.5安装

• 进入解压后的目录并使用init.sh进行安装
• 该脚本将自动完成：
  安装必要的操作系统依赖包
  安装python36环境
  安装pypi依赖包
  安装jdk环境
  配置FATE环境变量脚本
  配置fateflow
  配置fateboard
  安装fate client

cd standalone_fate_install_1.8.0_release
bash init.sh init

1.6启动

bash init.sh status
bash init.sh start

加载环境变量

source bin/init_env.sh	

1.7测试

部署成功后，通过网页访问 localhost:8080 可以进入FATE Board页面，账号密码默认为：admin

返回终端，开始测试

• Toy测试

flow test toy -gid 10000 -hid 10000

1. 如果成功，屏幕显示类似下方的语句:
   success to calculate secure_sum, it is 2000.0（我的显示的为1999.999999999）

2. 之后进入FATE Broad，点击右上角JOBS，看到任务栏出现两项任务，并且状态为success则说明成功。

• 单元测试

fate_test unittest federatedml --yes

如果成功，屏幕显示类似下方的语句:

there are 0 failed test

1.8安装FATE-Client、FATE-Test、FATE-Flow、jupyter notebook

1.8.1FATE-Client、FATE-Test

• 为方便使用FATE，安装便捷的交互工具FATE-Client以及测试工具FATE-Test.
• 请在环境内使用以下指令安装：

python -m pip install fate-client
python -m pip install fate-test

1.8.2FATE-Flow

• 安装FATE-Client的过程会安装好FATE-Flow，这个工具是联邦学习端到端流水线的多方联邦任务安全调度平台，是执行任务的核心
• 初始化

flow init --ip 127.0.0.1 --port 9380

1.8.3FATE中的Jupyter Notebook

参考：在Juypter Notebook中构建联邦学习任务

上边如果安装anaconda的则只需要执行下方第二步

• 安装jupyter notebook

pip install notebook fate-client

启动 Juypter Notebook 服务并监听 20000 端口，待服务启动完毕后则可以通过的方式 “IP：Port” 的方式访问 Notebook

jupyter notebook --ip=0.0.0.0 --port=20000 --allow-root --debug --no-browser --NotebookApp.token= ''--NotebookApp.password= ''

• 保持终端运行的状态，可以通过"IP：Port"的方式访问Juypter Notebook，此时notebook中的目录，就是Ubuntu中fate安装目录下的内容（按本教程的安装过程，fate根目录位于/home/fate/standalone_fate_master_1.8.0/）

二、用FATE从零实现横向逻辑回归

在开始本章之前，请确保已经安装Python和FATE单机版

2.1 数据集获取

from sklearn.datasets import load_breast_cancer
import pandas as pd 

breast_dataset = load_breast_cancer()
breast = pd.DataFrame(breast_dataset.data, columns=breast_dataset.feature_names)
breast['y'] = breast_dataset.target
breast.head()

2.2 横向联邦数据集切分

为了模拟横向联邦建模的场景，我们首先在本地将乳腺癌数据集切分为特征相同的横向联邦形式，当前的breast数据集有569条样本，我们将前面的469条作为训练样本，后面的100条作为评估测试样本。

• 从469条训练样本中，选取前200条作为公司A的本地数据，保存为breast_1_train.csv，将剩余的269条数据作为公司B的本地数据，保存为breast_2_train.csv。
• 测试数据集可以不需要切分，两个参与方使用相同的一份测试数据即可，文件命名为breast_eval.csv。

from sklearn.datasets import load_breast_cancer
import pandas as pd 


breast_dataset = load_breast_cancer()
breast = pd.DataFrame(breast_dataset.data, columns=breast_dataset.feature_names)
breast = (breast-breast.mean())/(breast.std()) 
col_names = breast.columns.values.tolist()

columns = {}
for idx, n in enumerate(col_names):
	columns[n] = "x%d"%idx 
	
breast = breast.rename(columns=columns)	
breast['y'] = breast_dataset.target
breast['idx'] = range(breast.shape[0])
idx = breast['idx']
breast.drop(labels=['idx'], axis=1, inplace = True)

breast.insert(0, 'idx', idx)
breast = breast.sample(frac=1)
train = breast.iloc[:469]
eval = breast.iloc[469:]
breast_1_train = train.iloc[:200]
breast_1_train.to_csv('breast_1_train.csv', index=False, header=True)


breast_2_train = train.iloc[200:]
breast_2_train.to_csv('breast_2_train.csv', index=False, header=True)
eval.to_csv('breast_eval.csv', index=False, header=True)

运行完此程序之后会得到三个新的scv格式的数据集

2.3 上传数据-修改文件

在数据处理完之后，我们需要进行对数据进行上传。我们采用json格式进行上传。在FATE项目中有写好的上传json文件，在examples/dsl/v2/upload文件夹中，upload_conf.json此文件。在我的实验中，我将此文件复制到了我在FATE目录下新建的工作目录下，并对其进行了修改。

{
    "file": "examples/data/breast_1_train.csv",#指定数据文件
    "head":1,
    "partition": 10,
    "work_mode": 0,
    "table_name": "homo_breast_1_train",#指定DTable表名
    "namespace": "breast_1_train.csv" #指定DTable表名的命名空间
}

“file”：需要改为自己的csv路径
“work_model”:0 表示为单机部署模式
“table_name”:需要改为自己的table名

2.4 上传数据-跳转目录

为了方便后面的叙述统一，我们假设读者安装的FATE单机版本目录为：

fate_dir=/data/projects/fate-1.8.0-experiment/standalone-fate-master-1.8.0/

做完上述准备之后，我们需要进行以下操作

1. 跳转到standalone-fate-master-1.8.0目录下

cd /data/projects/fate-1.8.0-experiment/standalone-fate-master-1.8.0

2. 加载环境变量

source bin/init_env.sh	

3. 在加载环境变量的基础上，在在当前目录下（$fate_dir/examples/federatedml-1.x-examples），在命令行中执行下面的命令，即可自动完成上传和格式转换：

python /opt/standalone_fate_install_1.8.0/fateflow/python/fate_flow/fate_flow_client.py -f upload -c /opt/standalone_fate_install_1.8.0/fate/upload_data/upload_train1.json

或者

flow data upload -c /opt/standalone_fate_install_1.8.0/fate/upload_data/upload_train1.json

出现如下界面说明成功：

2.5 模型训练与评估

在数据完成上传之后，下面需要对训练任务进行配置，在FATE项目中已经给出了很多写好的配置，我们可以在此基础上进行修改就能直接用了。

2.5.1 修改conf和dsl文件参数

书中的版本与v1.8.0完全发生了改变，我们需要重新配置dsl和conf文件，且书中是使用训练集建模，训练集评估，与建模流程不符，我们改变书中流程，使用训练集建模，训练集与测试集分开进行评估。

在这里我使用的是homo_lr_train_conf.json和homo_lr_train_dsl.json，这两个文件在examples/dsl/v2/homo_logistic_regression目录中能够找到。接下来我们需要对其进行修改

1. homo_lr_train_conf.json：用来设置各个组件的参数，比如输入模块的数据表名，算法模块的学习率，batch大小，迭代次数。
   一般使用默认值即可，需要修改的地方包括以下几处。

• role字段：该字段包括guest和host分别对应两个参与方。需要修改三个参数。首先是name和namespace，代表训练数据的DTable表名和命名空间；此外，label_name表示的是标签列对应的属性名，

{
    
        "role": {
            "host": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "mnist_host_train",  #注意此处换成对应的表名，在复制此代码时需要删除此注释
                            "namespace": "experiment"
                        }
                    },
                    "evaluation_0": {
                        "need_run": false
                    }
                }
            },
            "guest": {
                "0": {
                    "reader_0": {
                        "table": {
                            "name": "mnist_guest_train",#注意此处换成对应的表名，在复制此代码时需要删除此注释
                            "namespace": "experiment"
                        }
                    }
                }
            }
        }
    }
}

• component_parameters字段：用来设置模型训练的超参数信息，包括优化函数与学习率，迭代次数

"component_parameters": {
        "common": {
            "data_transform_0": {
                "with_label": true,
                "output_format": "dense"
            },
            "homo_lr_0": {
                "penalty": "L2",
                "tol": 1e-05,
                "alpha": 0.01,
                "optimizer": "sgd",
                "batch_size": -1,
                "learning_rate": 0.15,
                "init_param": {
                    "init_method": "zeros"
                },
                "max_iter": 30,
                "early_stop": "diff",
                "encrypt_param": {
                    "method": null
                },
                "cv_param": {
                    "n_splits": 4,
                    "shuffle": true,
                    "random_seed": 33,
                    "need_cv": false
                },
                "decay": 1,
                "decay_sqrt": true
            },
            "evaluation_0": {
                "eval_type": "binary"
            }
        }

2. homo_lr_train_dsl.json：用来描述任务模块，将任务模块以有向无环图的形式组合在一起。以下组件模块构成了最基本的横向联邦模型流水线。

• homo_lr_0：横向逻辑回归组件
• evaluation_0:模型评估组件，如果没有提供测试数据集，将自动使用训练数据进行模型评估。

2.5.2 修改结束之后，在命令行输入以下命令（submit_ job）执行模型训练

python /opt/standalone_fate_install_1.8.0/fateflow/python/fate_flow/fate_flow_client.py -f submit_job -d /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_dsl.json -c /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_conf.json

或者

flow job submit -d /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_dsl.json -c /opt/standalone_fate_install_1.8.0/fate/dsl_conf/homo_lr_train_conf.json

成功后显示如图

通过箭头所指地址我们可以在浏览器中查看任务进度和信息