注意力机制1SENet2ECANet3CBAM3.1通道注意力3.2空间注意力3.3CBAM4展示网络层具体信息5SKNet6scSE7Non-LocalNet8GCNet9注意力机制后期学习到再持续更新！！2023年，3月2号，新增SKNet代码2023.3.10新增scSE代码2023.3.11新增Non-LocalNet非局部神经网络2023.3.13新增GCNet1SENetSE注意力机制（Squeeze-and-ExcitationNetworks）:是一种通道类型的注意力机制，就是在通道维度上增加注意力机制，主要内容是是squeeze和excitation.就是使用另外一个新的神经

pycharm配置pytorch1.先安装AnacondaAnaconda3-5.2.0-Windows-x86_64.exe2.下载cuda检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本点击帮助->点击系统信息弹出下面的对话框，在驱动程序版本那一栏就能看到该计算机使用的驱动版本。下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive-update2然后，根据实际情况选择合适的版本3.下载CuDNN官网https://dev

pycharm配置pytorch1.先安装AnacondaAnaconda3-5.2.0-Windows-x86_64.exe2.下载cuda检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本点击帮助->点击系统信息弹出下面的对话框，在驱动程序版本那一栏就能看到该计算机使用的驱动版本。下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive-update2然后，根据实际情况选择合适的版本3.下载CuDNN官网https://dev

文章目录1.导入搭建所需的包2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数3.搭建网络3.1使用nn.Sequential,把所有操作封装在一起3.2将所有层都放在__init()__函数里面，相当于预定义要使用的模块3.3在forward里面使用定义的模块4.全部模型代码------Over------1.导入搭建所需的包importtorchimporttorch.nnasnn2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数classModel(nn.Module):def__init__(self,clas

文章目录1.导入搭建所需的包2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数3.搭建网络3.1使用nn.Sequential,把所有操作封装在一起3.2将所有层都放在__init()__函数里面，相当于预定义要使用的模块3.3在forward里面使用定义的模块4.全部模型代码------Over------1.导入搭建所需的包importtorchimporttorch.nnasnn2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数classModel(nn.Module):def__init__(self,clas

目录1、Nan和INF2、出现Nan和INF常见原因汇总3、原因分析与解决方法3.1、输入数据有误3.2、学习率过高-->梯度爆炸进-->Nan3.3、损失函数有误3.4、Pooling层的步长(stride)大于核(kernel)的尺寸 3.5、batchNorm可能捣鬼3.6、Shuffle设置有没有乱动3.7、设置远距离的Label会得到NAN4、解决方案：本质就是调整输入数据在模型运算过程中的值域4.1、模型权重加入正则化，约束参数的大小4.2、模型中加入BatchNormalization，归一化数据4.3、使用带上限的激活函数，例如relu6函数4.4、在losse函数运算前进行值

目录1、Nan和INF2、出现Nan和INF常见原因汇总3、原因分析与解决方法3.1、输入数据有误3.2、学习率过高-->梯度爆炸进-->Nan3.3、损失函数有误3.4、Pooling层的步长(stride)大于核(kernel)的尺寸 3.5、batchNorm可能捣鬼3.6、Shuffle设置有没有乱动3.7、设置远距离的Label会得到NAN4、解决方案：本质就是调整输入数据在模型运算过程中的值域4.1、模型权重加入正则化，约束参数的大小4.2、模型中加入BatchNormalization，归一化数据4.3、使用带上限的激活函数，例如relu6函数4.4、在losse函数运算前进行值

文章目录前言一、导入相关库二、加载Cora数据集三、定义GCN网络3.1定义GCN层3.1.1消息传递阶段（message）3.1.2消息聚合阶段（aggregate）3.1.3节点更新阶段（update）3.1.4定义传播过程（propagate）3.1.5定义GCNConv层3.2定义GCN网络四、定义模型五、模型训练六、模型验证七、结果完整代码前言大家好，我是阿光。本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现），理论与实践相结合，如GCN、GAT、GraphSAGE等经典图网络，每一个代码实例都附带有完整的代码。正在更新中~✨🚨我的项目环境：

文章目录前言一、导入相关库二、加载Cora数据集三、定义GCN网络3.1定义GCN层3.1.1消息传递阶段（message）3.1.2消息聚合阶段（aggregate）3.1.3节点更新阶段（update）3.1.4定义传播过程（propagate）3.1.5定义GCNConv层3.2定义GCN网络四、定义模型五、模型训练六、模型验证七、结果完整代码前言大家好，我是阿光。本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现），理论与实践相结合，如GCN、GAT、GraphSAGE等经典图网络，每一个代码实例都附带有完整的代码。正在更新中~✨🚨我的项目环境：

文章目录GAT代码实现【PyGAT】GraphAttentionLayer【一个图注意力层实现】用上面实现的单层网络测试加入Multi-head机制的GAT对数据集Cora的处理csr_matrix()处理稀疏矩阵encode_onehot()对label编号buildgraph邻接矩阵构造GAT的推广GAT题：GraphAttentionNetworks摘要：提出了图形注意网络(GAT)，这是一种基于图结构数据的新型神经网络结构，利用掩蔽的自我注意层来解决基于图卷积或其近似的先前方法的缺点。通过叠加层，节点能够参与其邻域的特征，我们能够(隐式地)为邻域中的不同节点指定不同的权重，而不需要任何