草庐IT

convolutions

全部标签

SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记

整体结构图:StylePooling风格池部分:StyleIntegration风格集成部分1.提出了一个基于风格的重新校准模块(SRM),他通过利用中间特征映射的风格来自适应地重新校准。2.SRM首先通过样式池从特征图的每个通道中提取样式信息,然后通过独立于通道的样式集成估计每个通道的重校正权重。stylepooling简单来说就是通过一个降维操作,可以有效的提取样式信息3.SRM将个体风格地相对重要性融入到特征图中,可以有效地增强CNN的表征能力。个人认为这个所谓的SRM与注意力机制很相似4.SRM动态地估计单个风格的相对重要性,然后根据风格的重要性重新调整特征映射的权重,这允许网络专注于

Lama:《Resolution-robust Large Mask Inpainting with Fourier Convolutions》训练、推理实战记录

记录一下Lama模型的训练、infe踩坑,以及如何更改预设的mask生成方式。一、环境简单提一下,一定要按照作者给的requirements.txt里的库版本安装,hydra-core和pytorch-lightning最新版本在此项目代码上均会报错无法运行。二、预训练模型微调lama的训练全部是以配置文件.yaml的方式进行的,所以针对不同数据集的预训练模型所使用的yaml也是不同的。总体上作者是在PLACES和CelebA上进行了预训练,同时也包含了Big-Lama、Lama-fourier等多种模型细节的配置。就以在Places-Challenge效果最好的Big-Lama为例,在预训练

【论文导读】- EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs(EvolveGCN:用于动态图的演化图卷积网络)

论文信息EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs原文地址:EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs:https://ojs.aaai.org/index.php/AAAI/article/view/5984/5840摘要GraphrepresentationlearningresurgesasatrendingresearchsubjectowingtothewidespreaduseofdeeplearningforEu-clidea

【论文导读】- EvolveGCN: Evolving Graph Convolutional Networks for Dynamic Graphs(EvolveGCN:用于动态图的演化图卷积网络)

论文信息EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs原文地址:EvolveGCN:EvolvingGraphConvolutionalNetworksforDynamicGraphs:https://ojs.aaai.org/index.php/AAAI/article/view/5984/5840摘要GraphrepresentationlearningresurgesasatrendingresearchsubjectowingtothewidespreaduseofdeeplearningforEu-clidea

【CBAM 解读】混合注意力机制:Convolutional Block Attention Module

摘要本文提出了卷积块注意模块(CBAM),这是一种简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下,我们的模块沿着通道和空间两个不同的维度顺序地推断关注图,然后将关注图与输入特征图相乘以进行自适应特征细化。由于CBAM是一个轻量级的通用模块,它可以无缝地集成到任何CNN架构中,而开销可以忽略不计,并且可以与基本CNN一起进行端到端的训练。我们通过在ImageNet-1K、MSCoco检测和VOC2007检测数据集上的大量实验来验证我们的CBAM。我们的实验表明,各种模型在分类和检测性能上都有一致的改善,证明了CBAM的广泛适用性。代码和模型将公开提供。一、引言除了这些因素,我们还

【CBAM 解读】混合注意力机制:Convolutional Block Attention Module

摘要本文提出了卷积块注意模块(CBAM),这是一种简单而有效的前馈卷积神经网络注意模块。在给定中间特征图的情况下,我们的模块沿着通道和空间两个不同的维度顺序地推断关注图,然后将关注图与输入特征图相乘以进行自适应特征细化。由于CBAM是一个轻量级的通用模块,它可以无缝地集成到任何CNN架构中,而开销可以忽略不计,并且可以与基本CNN一起进行端到端的训练。我们通过在ImageNet-1K、MSCoco检测和VOC2007检测数据集上的大量实验来验证我们的CBAM。我们的实验表明,各种模型在分类和检测性能上都有一致的改善,证明了CBAM的广泛适用性。代码和模型将公开提供。一、引言除了这些因素,我们还

[论文阅读]用于车辆轨迹预测的卷积社交池Convolutional Social Pooling for Vehicle Trajectory Prediction

文章目录一、摘要二、介绍三、相关研究3.1基于机动的模型3.2交互感知模型3.3运动预测的递归网络四、问题制定4.1参照系4.2输入输出4.3概率运动预测4.4操作类别五、模型5.1LSTM编码器5.2ConvolutionalSocialPooling卷积社交池化5.3基于机动的LSTM解码器5.4训练和实施细节六、实验评估6.1数据集6.2评估指标6.3模型比较6.3.1与其他模型的比较6.3.2修改本模型配置来对照6.3.3比较结果6.3.4全连接与卷积社会池化的比较6.3.5单模态与多模态预测的比较6.3.6周围车辆对预测的影响参考文献:一、摘要预测周围车辆的运动是部署在复杂交通中的自

EEG-GNN论文阅读和分析:《EEG Emotion Recognition Using Dynamical Graph Convolutional Neural Networks》

下面所有博客是个人对EEG脑电的探索,项目代码是早期版本不完整,需要完整项目代码和资料请私聊。数据集1、脑电项目探索和实现(EEG)(上):研究数据集选取和介绍SEED相关论文阅读分析:1、EEG-SEED数据集作者的—基线论文阅读和分析2、图神经网络EEG论文阅读和分析:《EEG-BasedEmotionRecognitionUsingRegularizedGraphNeuralNetworks》3、EEG-GNN论文阅读和分析:《EEGEmotionRecognitionUsingDynamicalGraphConvolutionalNeuralNetworks》4、论文阅读和分析:Mas

(八)深度可分离卷积(Depthwise Separable Convolution,DSC)

文章目录1.常规卷积神经网络2.深度可分离卷积(DepthwiseSeparableConvolution,DSC)2.1Depthwise的逐通道卷积2.2Pointwise的逐点卷积2.3总结参考资料欢迎访问个人网络日志🌹🌹知行空间🌹🌹深度可分离卷积(DepthwiseSeparableConvolution,DSC)最早出现在巴黎綜合理工學院(cmapecolepolytechnique)的LaurentSifre于2014年提交的一篇名为“Rigid-motionscatteringforimageclassification”的博士学位论文中。但让大家对DSC熟知的则是两个著名的模型

单通道说话人语音分离——Conv-TasNet(Convolutional Time-domain audio separation Network)

单通道说话人语音分离——Conv-TasNet模型(ConvolutionalTime-domainaudioseparationNetwork)参考文献:《Conv-TasNet:SurpassingIdealTime-FrequencyMagnitudeMaskingforSpeechSeparation》1.背景        在真实的声学环境中,鲁棒的语音处理通常需要自动的语音分离。由于这一研究课题对语音处理技术的重要性,人们已经提出了许多方法来解决这一问题。然而,语音分离的准确性,特别是对新演讲者,仍然不够。        大多数以前的语音分离方法都是在混合信号的时频(T-F,或谱图