注意力机制1SENet2ECANet3CBAM3.1通道注意力3.2空间注意力3.3CBAM4展示网络层具体信息5SKNet6scSE7Non-LocalNet8GCNet9注意力机制后期学习到再持续更新！！2023年，3月2号，新增SKNet代码2023.3.10新增scSE代码2023.3.11新增Non-LocalNet非局部神经网络2023.3.13新增GCNet1SENetSE注意力机制（Squeeze-and-ExcitationNetworks）:是一种通道类型的注意力机制，就是在通道维度上增加注意力机制，主要内容是是squeeze和excitation.就是使用另外一个新的神经
来源：投稿作者：子苏编辑：学姐之前一直在GoogelColab平台上薅羊毛(使用免费GPU)，但是很快就遇到了GPU使用达到上限的问题，如下图：limitedGPU因此又来到Kaggle平台来薅羊毛，作为Kaggle小白，在此总结了一些常见的问题和实用tips。安装第三方包开始时一直安装不上任何包，把电脑wifi，翻墙工具检查了一遍，简直怀疑人生，后来发现原来是Internet选项没开启orz。把页面右侧Setting栏中的Internet选项开启 installotherpackages然后安装第三方包，比如pipinstallFastNLP==0.5.0。卸载第三方包卸载的时候经常会被询
来源：投稿作者：子苏编辑：学姐之前一直在GoogelColab平台上薅羊毛(使用免费GPU)，但是很快就遇到了GPU使用达到上限的问题，如下图：limitedGPU因此又来到Kaggle平台来薅羊毛，作为Kaggle小白，在此总结了一些常见的问题和实用tips。安装第三方包开始时一直安装不上任何包，把电脑wifi，翻墙工具检查了一遍，简直怀疑人生，后来发现原来是Internet选项没开启orz。把页面右侧Setting栏中的Internet选项开启 installotherpackages然后安装第三方包，比如pipinstallFastNLP==0.5.0。卸载第三方包卸载的时候经常会被询
pycharm配置pytorch1.先安装AnacondaAnaconda3-5.2.0-Windows-x86_64.exe2.下载cuda检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本点击帮助->点击系统信息弹出下面的对话框，在驱动程序版本那一栏就能看到该计算机使用的驱动版本。下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive-update2然后，根据实际情况选择合适的版本3.下载CuDNN官网https://dev
pycharm配置pytorch1.先安装AnacondaAnaconda3-5.2.0-Windows-x86_64.exe2.下载cuda检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本点击帮助->点击系统信息弹出下面的对话框，在驱动程序版本那一栏就能看到该计算机使用的驱动版本。下载Cuda官网：https://developer.nvidia.com/cuda-10.1-download-archive-update2然后，根据实际情况选择合适的版本3.下载CuDNN官网https://dev
文章目录1.导入搭建所需的包2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数3.搭建网络3.1使用nn.Sequential,把所有操作封装在一起3.2将所有层都放在__init()__函数里面，相当于预定义要使用的模块3.3在forward里面使用定义的模块4.全部模型代码------Over------1.导入搭建所需的包importtorchimporttorch.nnasnn2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数classModel(nn.Module):def__init__(self,clas
文章目录1.导入搭建所需的包2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数3.搭建网络3.1使用nn.Sequential,把所有操作封装在一起3.2将所有层都放在__init()__函数里面，相当于预定义要使用的模块3.3在forward里面使用定义的模块4.全部模型代码------Over------1.导入搭建所需的包importtorchimporttorch.nnasnn2.写一个模型类，继承nn.Module2.1若为分类任务，class_num为类别个数classModel(nn.Module):def__init__(self,clas
目录1、Nan和INF2、出现Nan和INF常见原因汇总3、原因分析与解决方法3.1、输入数据有误3.2、学习率过高-->梯度爆炸进-->Nan3.3、损失函数有误3.4、Pooling层的步长(stride)大于核(kernel)的尺寸 3.5、batchNorm可能捣鬼3.6、Shuffle设置有没有乱动3.7、设置远距离的Label会得到NAN4、解决方案：本质就是调整输入数据在模型运算过程中的值域4.1、模型权重加入正则化，约束参数的大小4.2、模型中加入BatchNormalization，归一化数据4.3、使用带上限的激活函数，例如relu6函数4.4、在losse函数运算前进行值
目录1、Nan和INF2、出现Nan和INF常见原因汇总3、原因分析与解决方法3.1、输入数据有误3.2、学习率过高-->梯度爆炸进-->Nan3.3、损失函数有误3.4、Pooling层的步长(stride)大于核(kernel)的尺寸 3.5、batchNorm可能捣鬼3.6、Shuffle设置有没有乱动3.7、设置远距离的Label会得到NAN4、解决方案：本质就是调整输入数据在模型运算过程中的值域4.1、模型权重加入正则化，约束参数的大小4.2、模型中加入BatchNormalization，归一化数据4.3、使用带上限的激活函数，例如relu6函数4.4、在losse函数运算前进行值
文章目录前言一、导入相关库二、加载Cora数据集三、定义GCN网络3.1定义GCN层3.1.1消息传递阶段（message）3.1.2消息聚合阶段（aggregate）3.1.3节点更新阶段（update）3.1.4定义传播过程（propagate）3.1.5定义GCNConv层3.2定义GCN网络四、定义模型五、模型训练六、模型验证七、结果完整代码前言大家好，我是阿光。本专栏整理了《图神经网络代码实战》，内包含了不同图神经网络的相关代码实现（PyG以及自实现），理论与实践相结合，如GCN、GAT、GraphSAGE等经典图网络，每一个代码实例都附带有完整的代码。正在更新中~✨🚨我的项目环境：
