前面文章讲了PyTorch的基本原理，本篇正式用PyTorch来进行深度学习的实现。

一、基本流程

PyTorch建模的基本流程如下：

graph LR
A[数据导入] --> B[数据拆分]
B[数据拆分] --> C[Tensor转换]
C[Tensor转换] --> D[数据重构]
D[数据重构] --> E[模型定义]
E[模型定义] --> F[模型训练]
F[模型训练] --> G[结果展示]

• 数据导入，就是指将本地或者线上数据导入
• 数据拆分，跟机器学习一样，将数据拆分为训练集和验证集
• Tensor转换，PyTorch只能使用张量数据进行训练
• 数据重构是指将数据按照Batch进行切分后训练
• 模型定义是指定义深度学习的网络架构
• 模型训练是根据重构的数据进行迭代训练
• 结果展示是指将训练的Loss值进行展示查看，分类会加入准确率数据

二、代码实现

这里我们使用HR数据集进行展示，HR数据集有两列数据，一列是教育年限，一列是收入，旨在研究受教育年限与收入的关系。

我们按照上面的流程进行一一解读

2.1 数据导入

import pandas as pd
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt 

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
#本地训练建议加上这段代码，防止内存溢出

data = pd.read_csv('./Income1.csv')
data.columns
#Index(['Unnamed: 0', 'Education', 'Income'], dtype='object')
#一共两列数据
plt.scatter(data.Education, data.Income)
plt.xlabel('Education')
plt.ylabel('Income')

在这里插入图片描述

提前定义好超参数

batch = 16
epochs = 5000
lr  = 0.00001

2.2 数据拆分

使用sklearn里面的train_test_split包

from sklearn.model_selection import train_test_split
train,test = train_test_split(data, train_size=0.7)

train_x = train[['Education']].values
test_x = test[['Education']].values

train_y = train.Income.values.reshape(-1, 1)
test_y = test.Income.values.reshape(-1, 1)
#全部转换成一维数据

2.3 To Tensor

将数据转换成Tensor格式

train_x = torch.from_numpy(train_x).type(torch.FloatTensor)
test_x = torch.from_numpy(test_x).type(torch.FloatTensor)
train_y = torch.from_numpy(train_y).type(torch.FloatTensor)
test_y = torch.from_numpy(test_y).type(torch.FloatTensor)

需要将训练集和测试集的特征列、标签列都要转换

2.4 数据重构

利用PyTorch里面TensorDataset、DataLoader进行重构

from torch.utils.data import TensorDataset
from torch.utils.data import DataLoader

train_ds = TensorDataset(train_x, train_y)
train_dl = DataLoader(train_ds, batch_size=batch, shuffle=True)

test_ds = TensorDataset(test_x, test_y)
test_dl = DataLoader(test_ds, batch_size=batch * 2)
#测试集不需要数据打乱

2.5 模型定义

利用nn.Module进行构建类

class LinearModel(nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()
        self.linear = nn.Linear(1, 1)
        #为了简单，构建一个全连接，没有隐藏层
        #输入是一维，输出也是一维
        
    def forward(self, inputs):
        logits = self.linear(inputs)
        return logits

定义优化器和损失函数

model = LinearModel()
loss_fn = nn.MSELoss()
opt = torch.optim.SGD(model.parameters(), lr=lr) # 定义优化器

2.6 模型训练

train_loss = []
train_acc = []

test_loss = []
test_acc = []


for epoch in range(epochs+1):
    model.train()
    for xb, yb in train_dl:
        pred = model(xb)
        loss = loss_fn(pred, yb)

        loss.backward()
        opt.step()
        opt.zero_grad()
    if epoch%10==0:
        model.eval()
        with torch.no_grad():
            train_epoch_loss = sum(loss_fn(model(xb), yb) for xb, yb in train_dl)
            test_epoch_loss = sum(loss_fn(model(xb), yb) for xb, yb in test_dl)
        train_loss.append(train_epoch_loss.data.item() / len(train_dl))
        test_loss.append(test_epoch_loss.data.item() / len(test_dl))

        template = ("epoch:{:2d}, 训练损失:{:.5f}, 验证损失:{:.5f}")
    
        print(template.format(epoch, train_epoch_loss.data.item() / len(train_dl), test_epoch_loss.data.item() / len(test_dl)))
print('训练完成')

基本上是标准的PyTorch代码

• 首先定义四个list来保存训练的损失值和准确率，回归的话只需要训练集损失和验证集损失
• 训练过程：预测-->记录损失-->向后传播-->迭代-->梯度清零
• 记录损失值并打印

epoch: 0, 训练损失:2376.64551, 验证损失:2268.30396
epoch:10, 训练损失:1810.91174, 验证损失:1848.62158
epoch:20, 训练损失:1773.27197, 验证损失:1485.73083
epoch:30, 训练损失:1213.77075, 验证损失:1199.84143
epoch:40, 训练损失:1202.41248, 验证损失:980.73230
epoch:50, 训练损失:851.91174, 验证损失:800.40961
epoch:60, 训练损失:737.22870, 验证损失:651.98907
epoch:70, 训练损失:526.98669, 验证损失:538.69696
epoch:80, 训练损失:483.67896, 验证损失:449.05524
epoch:90, 训练损失:424.45450, 验证损失:373.50266
epoch:100, 训练损失:456.17896, 验证损失:310.03577
epoch:110, 训练损失:272.65860, 验证损失:260.00620
epoch:120, 训练损失:317.16226, 验证损失:222.54755
epoch:130, 训练损失:210.82935, 验证损失:192.01817
......

2.7 查看结果

只打印结果看不出整体的Loss的走势，所以我们画图展示一下

import matplotlib.pyplot as plt

plt.plot(range(len(train_loss)), train_loss, label='train_loss')
plt.plot(range(len(test_loss)), test_loss, label='test_loss')
plt.legend()

在这里插入图片描述