Pytorch多卡并行训练教程（DDP）在使用GPU训练大模型时，往往会面临单卡显存不足的情况，这时候就希望通过多卡并行的形式来扩大显存。PyTorch主要提供了两个类来实现多卡并行分别是torch.nn.DataParallel(DP)torch.nn.DistributedDataParallel(DDP)关于这两者的区别和原理也有许多博客如Pytorch并行训练（DP，DDP）的原理和应用;DDP系列第一篇：入门教程进行总结，这里就不在赘述了。不过总结来说的话:DP比较简单，对小白比较友好，一行代码便可以搞定。DDP每个进程对应一个独立的训练过程，且只对梯度等少量数据进行信息交换。每个进

目录一、项目背景二、数据预处理1、标签与特征分离2、数据可视化3、分割训练集和测试集三、搭建模型四、训练模型五、训练结果附录一、项目背景基于深度学习的面部表情识别(Facial-expressionRecognition)数据集cnn_train.csv包含人类面部表情的图片的label和feature。在这里，面部表情识别相当于一个分类问题，共有7个类别。其中label包括7种类型表情：一共有28709个label，即包含28709张表情包。每一行就是一张表情包4848=2304个像素，相当于4848个灰度值(intensity)(0为黑,255为白)本项目同时支持GPU与CPU上运行。二、

关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）接下来我们就来复现一下代码。DenseNet模型简介整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。DenseLayer层 包含BN+Relu+1*1Conv+BN+

关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）接下来我们就来复现一下代码。DenseNet模型简介整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。DenseLayer层 包含BN+Relu+1*1Conv+BN+

目录一、引言（环境） 二、正文1.代码基本情况介绍2.MNIST数据集介绍      3.代码输出结果介绍数据集取样：训练信息输出：前三次训练成果以及预测：八次训练的结果： 4.代码拆解讲解基本的参数设定MNIST数据集下载、保存与加载神经网络模型训练前的准备样本训练函数 测试函数模型的正式训练、测试、训练测试过程可视化、模型的使用从磁盘中加载模型并继续训练5.总体代码一、引言（环境）本代码基于Pytorch构成，IDE为VSCode，请在学习代码前寻找相应的教程完成环境配置。Anaconda和Pytorch的安装教程一抓一大把，这里给一个他人使用VSCode编辑器的教程：vscode+pyt

目录一、引言（环境） 二、正文1.代码基本情况介绍2.MNIST数据集介绍      3.代码输出结果介绍数据集取样：训练信息输出：前三次训练成果以及预测：八次训练的结果： 4.代码拆解讲解基本的参数设定MNIST数据集下载、保存与加载神经网络模型训练前的准备样本训练函数 测试函数模型的正式训练、测试、训练测试过程可视化、模型的使用从磁盘中加载模型并继续训练5.总体代码一、引言（环境）本代码基于Pytorch构成，IDE为VSCode，请在学习代码前寻找相应的教程完成环境配置。Anaconda和Pytorch的安装教程一抓一大把，这里给一个他人使用VSCode编辑器的教程：vscode+pyt

一、判断显卡种类判断你当前电脑的显卡是NVIDIA（N卡）还是AMD（A卡），Pytorch需要基于NVIDIA的显卡（N卡）上运行，A卡就不行了。二、安装CUDA、CUDNN（一定要注意对应版本！！！）2.1安装CUDA1.判断电脑应该装什么版本的CUDA。方式一：NVIDIA控制面板中查看方式二：CMD查看CMD中输入：nvidia-smi查看到本机可装CUDA版本12.0，版本向下兼容，意思就是CUDA12.0及以下版本的都可以安装，但一般不建议使用最新版本的，因为可能后续其他安装包没有更新对应版本的可以下载，所以最好选CUDA12.0以前的一到两个版本，我这里选择的是CUDA11.6，

一、判断显卡种类判断你当前电脑的显卡是NVIDIA（N卡）还是AMD（A卡），Pytorch需要基于NVIDIA的显卡（N卡）上运行，A卡就不行了。二、安装CUDA、CUDNN（一定要注意对应版本！！！）2.1安装CUDA1.判断电脑应该装什么版本的CUDA。方式一：NVIDIA控制面板中查看方式二：CMD查看CMD中输入：nvidia-smi查看到本机可装CUDA版本12.0，版本向下兼容，意思就是CUDA12.0及以下版本的都可以安装，但一般不建议使用最新版本的，因为可能后续其他安装包没有更新对应版本的可以下载，所以最好选CUDA12.0以前的一到两个版本，我这里选择的是CUDA11.6，

model._modules.items()是一个包含模型所有子模块的迭代器。在PyTorch中，当我们定义一个nn.Module子类时，我们可以使用nn.Sequential或nn.ModuleDict等容器类将多个子模块组合成一个整体。在这种情况下，我们可以通过访问nn.Module类中的_modules属性来访问这些子模块。_modules是一个有序字典，其中键是子模块的名称，值是子模块对象。例如，在下面的示例中，我们使用nn.Sequential容器组合了两个卷积层：importtorch.nnasnnclassMyModel(nn.Module):def__init__(self):

我用的操作系统为ubuntu20.04,其他系统应该类似，只是命令稍有不同。安装AMDGPU驱动AMD驱动下载地址:https://www.amd.com/en/support/kb/release-notes/rn-amdgpu-unified-linux-22-20进去之后找到你想安装的版本,这里是闭源驱动。下载好后运行sudoaptinstallamdgpu-install_5.4.50403-1_all.deb这个名字根据自己下载的文件进行更改，直接Tab就行。如果报依赖错误可以尝试sudoapt-get-finstall命令来修复依赖错误。之后更新依赖sudoaptupdate.安装