这是一片十年前的文章（2012年），让我们回到十年前来看看Alex小哥、Hinton大佬和他的小伙伴们是怎么设计神经网络的。论文下载地址：https://papers.nips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html李沐老师的精读视频：https://www.bilibili.com/video/BV1ih411J7Kz/?spm_id_from=333.788&vd_source=9e5b81656aa2144357f0dca1094e9cbeAlexNet实现：https://www.jianshu
摘要 深度卷积神经网络（CNN）在许多实际应用中的部署在很大程度上受到其高计算成本的阻碍。在本文中，我们提出了一种新的神经网络学习方案，以同时1）减小模型大小；2）减少运行时内存占用；以及3）在不损害精度的情况下减少计算操作的数量。这是通过以简单但有效的方式在网络中实施通道级稀疏性来实现的。与许多现有方法不同，所提出的方法直接适用于现代CNN架构，为训练过程引入了最小开销，并且不需要用于生成模型的专用软件/硬件加速器。我们称我们的方法为网络瘦身，它将宽网络和大网络作为输入模型，但在训练过程中，不重要的通道会被自动识别并在之后进行修剪，从而生成具有相当精度的瘦而紧凑的模型
DualGraphConvolutionalNetworksforAspect-basedSentimentAnalysis(2021ACL)DualGraphConvolutionalNetworksforAspect-basedSentimentAnalysis基于方面的情感分析的对偶图卷积网络论文地址:https://aclanthology.org/2021.acl-long.494.pdf论文代码:https://github.com/CCChenhao997/DualGCN-ABSA1.介绍1.1研究目标基于方面的情感分析是一个细粒度的情感分类任务。图1：一个例句及其依赖关系树，来
文章目录前言一、论文拟解决问题与思想二、正文1.标识概念2.快速卷积2.1谱图卷积2.2线性模型3.半监督节点分类4.实验5.结果总结前言开始进入研究生生活啦~想研究的方向是图深度学习方向，现在对图卷积神经网络GCN进行相应的了解。这篇文章就是对《Semi-SupervisedClassificationwithGraphConvolutionalNetworks》这篇发表在2017年ICLR上的会议论文。这是一篇经典的论文，对刚刚接触GCN的研究人员来说，是一个很好的开始。一、论文拟解决问题与思想《Semi-SupervisedClassificationwithGraphConvoluti
文章目录前言一、论文拟解决问题与思想二、正文1.标识概念2.快速卷积2.1谱图卷积2.2线性模型3.半监督节点分类4.实验5.结果总结前言开始进入研究生生活啦~想研究的方向是图深度学习方向，现在对图卷积神经网络GCN进行相应的了解。这篇文章就是对《Semi-SupervisedClassificationwithGraphConvolutionalNetworks》这篇发表在2017年ICLR上的会议论文。这是一篇经典的论文，对刚刚接触GCN的研究人员来说，是一个很好的开始。一、论文拟解决问题与思想《Semi-SupervisedClassificationwithGraphConvoluti
整体结构图：StylePooling风格池部分：StyleIntegration风格集成部分1.提出了一个基于风格的重新校准模块(SRM),他通过利用中间特征映射的风格来自适应地重新校准。2.SRM首先通过样式池从特征图的每个通道中提取样式信息，然后通过独立于通道的样式集成估计每个通道的重校正权重。stylepooling简单来说就是通过一个降维操作，可以有效的提取样式信息3.SRM将个体风格地相对重要性融入到特征图中，可以有效地增强CNN的表征能力。个人认为这个所谓的SRM与注意力机制很相似4.SRM动态地估计单个风格的相对重要性，然后根据风格的重要性重新调整特征映射的权重，这允许网络专注于
论文信息EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs原文地址：EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs：https://ojs.aaai.org/index.php/AAAI/article/view/5984/5840摘要GraphrepresentationlearningresurgesasatrendingresearchsubjectowingtothewidespreaduseofdeeplearningforEu-clidea
论文信息EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs原文地址：EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs：https://ojs.aaai.org/index.php/AAAI/article/view/5984/5840摘要GraphrepresentationlearningresurgesasatrendingresearchsubjectowingtothewidespreaduseofdeeplearningforEu-clidea
摘要本文提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下，我们的模块沿着通道和空间两个不同的维度顺序地推断关注图，然后将关注图与输入特征图相乘以进行自适应特征细化。由于CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，而开销可以忽略不计，并且可以与基本CNN一起进行端到端的训练。我们通过在ImageNet-1K、MSCoco检测和VOC2007检测数据集上的大量实验来验证我们的CBAM。我们的实验表明，各种模型在分类和检测性能上都有一致的改善，证明了CBAM的广泛适用性。代码和模型将公开提供。一、引言除了这些因素，我们还
摘要本文提出了卷积块注意模块(CBAM)，这是一种简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下，我们的模块沿着通道和空间两个不同的维度顺序地推断关注图，然后将关注图与输入特征图相乘以进行自适应特征细化。由于CBAM是一个轻量级的通用模块，它可以无缝地集成到任何CNN架构中，而开销可以忽略不计，并且可以与基本CNN一起进行端到端的训练。我们通过在ImageNet-1K、MSCoco检测和VOC2007检测数据集上的大量实验来验证我们的CBAM。我们的实验表明，各种模型在分类和检测性能上都有一致的改善，证明了CBAM的广泛适用性。代码和模型将公开提供。一、引言除了这些因素，我们还
