关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）接下来我们就来复现一下代码。DenseNet模型简介整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。DenseLayer层 包含BN+Relu+1*1Conv+BN+
关于DenseNet的原理和具体细节，可参见上篇解读：经典神经网络论文超详细解读（六）——DenseNet学习笔记（翻译＋精读＋代码复现）接下来我们就来复现一下代码。DenseNet模型简介整个DenseNet模型主要包含三个核心细节结构，分别是DenseLayer(整个模型最基础的原子单元，完成一次最基础的特征提取，如下图第三行)、DenseBlock(整个模型密集连接的基础单元，如下图第二行左侧部分)和Transition(不同密集连接之间的过渡单元，如下图第二行右侧部分)，通过以上结构的拼接+分类层即可完成整个模型的搭建。DenseLayer层 包含BN+Relu+1*1Conv+BN+
目录一、引言（环境） 二、正文1.代码基本情况介绍2.MNIST数据集介绍 3.代码输出结果介绍数据集取样：训练信息输出：前三次训练成果以及预测：八次训练的结果： 4.代码拆解讲解基本的参数设定MNIST数据集下载、保存与加载神经网络模型训练前的准备样本训练函数 测试函数模型的正式训练、测试、训练测试过程可视化、模型的使用从磁盘中加载模型并继续训练5.总体代码一、引言（环境）本代码基于Pytorch构成，IDE为VSCode，请在学习代码前寻找相应的教程完成环境配置。Anaconda和Pytorch的安装教程一抓一大把，这里给一个他人使用VSCode编辑器的教程：vscode+pyt
目录一、引言（环境） 二、正文1.代码基本情况介绍2.MNIST数据集介绍 3.代码输出结果介绍数据集取样：训练信息输出：前三次训练成果以及预测：八次训练的结果： 4.代码拆解讲解基本的参数设定MNIST数据集下载、保存与加载神经网络模型训练前的准备样本训练函数 测试函数模型的正式训练、测试、训练测试过程可视化、模型的使用从磁盘中加载模型并继续训练5.总体代码一、引言（环境）本代码基于Pytorch构成，IDE为VSCode，请在学习代码前寻找相应的教程完成环境配置。Anaconda和Pytorch的安装教程一抓一大把，这里给一个他人使用VSCode编辑器的教程：vscode+pyt
一、判断显卡种类判断你当前电脑的显卡是NVIDIA（N卡）还是AMD（A卡），Pytorch需要基于NVIDIA的显卡（N卡）上运行，A卡就不行了。二、安装CUDA、CUDNN（一定要注意对应版本！！！）2.1安装CUDA1.判断电脑应该装什么版本的CUDA。方式一：NVIDIA控制面板中查看方式二：CMD查看CMD中输入：nvidia-smi查看到本机可装CUDA版本12.0，版本向下兼容，意思就是CUDA12.0及以下版本的都可以安装，但一般不建议使用最新版本的，因为可能后续其他安装包没有更新对应版本的可以下载，所以最好选CUDA12.0以前的一到两个版本，我这里选择的是CUDA11.6，
一、判断显卡种类判断你当前电脑的显卡是NVIDIA（N卡）还是AMD（A卡），Pytorch需要基于NVIDIA的显卡（N卡）上运行，A卡就不行了。二、安装CUDA、CUDNN（一定要注意对应版本！！！）2.1安装CUDA1.判断电脑应该装什么版本的CUDA。方式一：NVIDIA控制面板中查看方式二：CMD查看CMD中输入：nvidia-smi查看到本机可装CUDA版本12.0，版本向下兼容，意思就是CUDA12.0及以下版本的都可以安装，但一般不建议使用最新版本的，因为可能后续其他安装包没有更新对应版本的可以下载，所以最好选CUDA12.0以前的一到两个版本，我这里选择的是CUDA11.6，
model._modules.items()是一个包含模型所有子模块的迭代器。在PyTorch中，当我们定义一个nn.Module子类时，我们可以使用nn.Sequential或nn.ModuleDict等容器类将多个子模块组合成一个整体。在这种情况下，我们可以通过访问nn.Module类中的_modules属性来访问这些子模块。_modules是一个有序字典，其中键是子模块的名称，值是子模块对象。例如，在下面的示例中，我们使用nn.Sequential容器组合了两个卷积层：importtorch.nnasnnclassMyModel(nn.Module):def__init__(self):
我用的操作系统为ubuntu20.04,其他系统应该类似，只是命令稍有不同。安装AMDGPU驱动AMD驱动下载地址:https://www.amd.com/en/support/kb/release-notes/rn-amdgpu-unified-linux-22-20进去之后找到你想安装的版本,这里是闭源驱动。下载好后运行sudoaptinstallamdgpu-install_5.4.50403-1_all.deb这个名字根据自己下载的文件进行更改，直接Tab就行。如果报依赖错误可以尝试sudoapt-get-finstall命令来修复依赖错误。之后更新依赖sudoaptupdate.安装
PapernameLLaMA-Adapter:EfficientFine-tuningofLanguageModelswithZero-initAttentionPaperReadingNotePaperURL:https://arxiv.org/pdf/2303.16199.pdfCodeURL:https://github.com/ZrrSkywalker/LLaMA-AdapterTL;DR2023上海人工智能实验室和CUHKMMLab出的文章。提出LLaMA-Adapter，一种高效的微调方法，将LLaMA调整为指令跟随模型。对于llama7b模型来说，可训练参数缩小到1.2M，只需要
LLaMA：OpenandEfficientFoundationLanguageModelsIntroductionApproachPre-trainingDataArchitectureIntroduction在大规模数据下训练的大模型，已经展示了很好的表现，当模型足够大的时，模型会出现一个涌现的能力，如下图：最近的一项研究表明，在有限的算力下，表现最好的模型不是参数最大的，而是小一点模型搭配了更多数据。这项工作的重点是训练一系列语言模型，通过对比通常使用的更多的token进行训练，在各种推理预算下达到最佳性能。由此产生的模型被称为LLaMA，参数范围从7B到65B，与现有的最好的LLM相比
