成功解决RuntimeError:[enforcefailatC:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c10\core\impl\alloc_cpu.cpp:72]data.DefaultCPUAllocator:notenoughmemory:youtriedtoallocate180355072bytes.目录解决问题解决思路解决方法T1、减少内存需求T2、释放不需要的内存T3、使用更大容量的机器或增加系统内存T4、使用分批处理或分布式计算T5、优化代码和内存管理解决问题RuntimeError:[en
目录1.SRCNN介绍训练过程损失函数个人对SRCNN训练过程的理解2.实验常见问题和部分解读1.torch.utils.data.dataloader中DataLoader函数的用法2.SRCNN图像颜色空间转换原因以及方法？3.model.parameters()与model.state_dict()的区别4..item（）函数的用法？5.最后的测试过程步骤？6.argparse的使用以及定义7.unsqueeze与squeeze的使用 1.unsqueeze用法：在数组原来维度索引i之间增加一个维度2.Squeeze用法：挤压掉tensor数据中维度特征数为1的维度8.对Python之i
目录1.SRCNN介绍训练过程损失函数个人对SRCNN训练过程的理解2.实验常见问题和部分解读1.torch.utils.data.dataloader中DataLoader函数的用法2.SRCNN图像颜色空间转换原因以及方法？3.model.parameters()与model.state_dict()的区别4..item（）函数的用法？5.最后的测试过程步骤？6.argparse的使用以及定义7.unsqueeze与squeeze的使用 1.unsqueeze用法：在数组原来维度索引i之间增加一个维度2.Squeeze用法：挤压掉tensor数据中维度特征数为1的维度8.对Python之i
Pytorch多卡并行训练教程（DDP）在使用GPU训练大模型时，往往会面临单卡显存不足的情况，这时候就希望通过多卡并行的形式来扩大显存。PyTorch主要提供了两个类来实现多卡并行分别是torch.nn.DataParallel(DP)torch.nn.DistributedDataParallel(DDP)关于这两者的区别和原理也有许多博客如Pytorch并行训练（DP，DDP）的原理和应用;DDP系列第一篇：入门教程进行总结，这里就不在赘述了。不过总结来说的话:DP比较简单，对小白比较友好，一行代码便可以搞定。DDP每个进程对应一个独立的训练过程，且只对梯度等少量数据进行信息交换。每个进
目录一、项目背景二、数据预处理1、标签与特征分离2、数据可视化3、分割训练集和测试集三、搭建模型四、训练模型五、训练结果附录一、项目背景基于深度学习的面部表情识别(Facial-expressionRecognition)数据集cnn_train.csv包含人类面部表情的图片的label和feature。在这里，面部表情识别相当于一个分类问题，共有7个类别。其中label包括7种类型表情：一共有28709个label，即包含28709张表情包。每一行就是一张表情包4848=2304个像素，相当于4848个灰度值(intensity)(0为黑,255为白)本项目同时支持GPU与CPU上运行。二、
关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）接下来我们就来复现一下代码。DenseNet模型简介整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。DenseLayer层 包含BN+Relu+1*1Conv+BN+
关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）接下来我们就来复现一下代码。DenseNet模型简介整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。DenseLayer层 包含BN+Relu+1*1Conv+BN+
目录一、引言（环境） 二、正文1.代码基本情况介绍2.MNIST数据集介绍 3.代码输出结果介绍数据集取样：训练信息输出：前三次训练成果以及预测：八次训练的结果： 4.代码拆解讲解基本的参数设定MNIST数据集下载、保存与加载神经网络模型训练前的准备样本训练函数 测试函数模型的正式训练、测试、训练测试过程可视化、模型的使用从磁盘中加载模型并继续训练5.总体代码一、引言（环境）本代码基于Pytorch构成，IDE为VSCode，请在学习代码前寻找相应的教程完成环境配置。Anaconda和Pytorch的安装教程一抓一大把，这里给一个他人使用VSCode编辑器的教程：vscode+pyt
目录一、引言（环境） 二、正文1.代码基本情况介绍2.MNIST数据集介绍 3.代码输出结果介绍数据集取样：训练信息输出：前三次训练成果以及预测：八次训练的结果： 4.代码拆解讲解基本的参数设定MNIST数据集下载、保存与加载神经网络模型训练前的准备样本训练函数 测试函数模型的正式训练、测试、训练测试过程可视化、模型的使用从磁盘中加载模型并继续训练5.总体代码一、引言（环境）本代码基于Pytorch构成，IDE为VSCode，请在学习代码前寻找相应的教程完成环境配置。Anaconda和Pytorch的安装教程一抓一大把，这里给一个他人使用VSCode编辑器的教程：vscode+pyt
一、判断显卡种类判断你当前电脑的显卡是NVIDIA（N卡）还是AMD（A卡），Pytorch需要基于NVIDIA的显卡（N卡）上运行，A卡就不行了。二、安装CUDA、CUDNN（一定要注意对应版本！！！）2.1安装CUDA1.判断电脑应该装什么版本的CUDA。方式一：NVIDIA控制面板中查看方式二：CMD查看CMD中输入：nvidia-smi查看到本机可装CUDA版本12.0，版本向下兼容，意思就是CUDA12.0及以下版本的都可以安装，但一般不建议使用最新版本的，因为可能后续其他安装包没有更新对应版本的可以下载，所以最好选CUDA12.0以前的一到两个版本，我这里选择的是CUDA11.6，
