（一）前沿介绍论文题目：CCNet:Criss-CrossAttentionforSemanticSegmentation论文地址：https://arxiv.org/pdf/1811.11721.pdf代码地址：https://github.com/shanglianlm0525/CvPytorch本文是ICCV2019的语义分割领域的文章，旨在解决long-rangedependencies问题，提出了基于十字交叉注意力机制（Criss-CrossAttention）的模块，利用更少的内存，只需要11xlessGPU内存，并且相比non-localblock更高的计算效率，减少了85%的F
DeformableAttention（可变形注意力）首先在2020年10月初商汤研究院的《DeformableDETR:DeformableTransformersforEnd-to-EndObjectDetection》论文中提出，在2022CVPR中《VisionTransformerwithDeformableAttention》提出应用了DeformableAttention（可变形自注意力）机制的通用视觉Transformer骨干网络DAT（DeformableAttentionTransformer），并且在多个数据集上效果优于swintransformer。在BEV感知算法中，
yolox改进--添加CoordinateAttention模块CoordinateAttention代码建立包含CAM代码的attention.py在yolo_pafpn.py中添加CAM总结因为项目需要，尝试魔改一下yolox-s，看看能不能在个人数据集上刷高点mAP。因为CoordinateAttention模块（以下简称CAM）的作者提供了代码，并且之前不少博主公开了CAM用在yolov5或者yolox等模型的代码，所以一开始我直接当了搬运工，但在搬运过程，我发现官方的代码不能直接用在yolox上，且之前公开CAM用在yolox的代码根本跑不通。在debug之后，发现问题是出现在官方的
BERT及其多种变体已经在多种语言理解任务上取得了非常出色的表现，这些架构全都基于Transformer，而Transformer又使用了一种名为「自注意力」的方法。本文将通过图示和代码对自注意力机制进行透彻的解读。当然，在阅读本文之前，你可能也想了解什么是注意力机制。没有问题，同一位作者机器学习工程师RaimiKarim之前已经通过类似的方式解读过了：《图解神经机器翻译中的注意力机制》。前言BERT、RoBERTa、ALBERT、SpanBERT、DistilBERT、SesameBERT、SemBERT、MobileBERT、TinyBERT和CamemBERT有什么共同点？别说「BERT
目录常用的注意力机制模型SEAttentionCBAMAttentionCBAMAttention模型结构CBAMAttention代码实现（Pytorch版）： 注意力机制加到网络的哪里合适常用的注意力机制模型常用的注意力机制多为SEAttention和CBAMAttention。它们基本都可以当成一个简单的网络。例如SE注意力机制，它主要就是由两个全连接层组成，这就是一个简单的MLP模型，只是它的输出变了样。所以，在我们把注意力机制加入主干网络里时，所选注意力机制的复杂程度也是我们要考虑的一个方面，因为增加注意力机制，也变相的增加了我们网络的深度，大小。SEAttention详见这篇博文
目录常用的注意力机制模型SEAttentionCBAMAttentionCBAMAttention模型结构CBAMAttention代码实现（Pytorch版）： 注意力机制加到网络的哪里合适常用的注意力机制模型常用的注意力机制多为SEAttention和CBAMAttention。它们基本都可以当成一个简单的网络。例如SE注意力机制，它主要就是由两个全连接层组成，这就是一个简单的MLP模型，只是它的输出变了样。所以，在我们把注意力机制加入主干网络里时，所选注意力机制的复杂程度也是我们要考虑的一个方面，因为增加注意力机制，也变相的增加了我们网络的深度，大小。SEAttention详见这篇博文
摘要：华为云数据库创新Lab在论文《MARINA:AnMLP-AttentionModelforMultivariateTime-SeriesAnalysis》中提出了华为自研的自回归时序神经网络模型，可用于时序数据的预测以及异常检测。本文分享自华为云社区《CIKM'22MARINA论文解读》，作者：云数据库创新Lab。华为云数据库创新Lab在论文《MARINA:AnMLP-AttentionModelforMultivariateTime-SeriesAnalysis》中提出了华为自研的自回归时序神经网络模型，可用于时序数据的预测以及异常检测。本文发表在CIKM'22上，CIKM会议是由美国
?项目专栏：【深度学习时间序列预测案例】零基础入门经典深度学习时间序列预测项目实战（附代码+数据集+原理介绍）文章目录前言一、基于PyTorch搭建CNN+LSTM+Attention模型实现风速时间序列预测二、配置类三、时序数据集的制作四、数据归一化五、数据集加载器六、搭建CNN+LSTM+Attention模型七、定义模型、损失函数、优化器八、模型训练九、可视化结果完整源码前言?最近很多订阅了?《深度学习100例》?的用户私信咨询基于深度学习实现时
原文名称：AttentionIsAllYouNeed原文链接：https://arxiv.org/abs/1706.03762如果不想看文章的可以看下我在b站上录的视频：https://b23.tv/gucpvt最近Transformer在CV领域很火，Transformer是2017年Google在ComputationandLanguage上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti时刻后的数据才能计算ti+1t_{i+1}ti+1时刻的数据，但Transformer都可以做到）。在这篇文章中作者提出了Self-At
原文名称：AttentionIsAllYouNeed原文链接：https://arxiv.org/abs/1706.03762如果不想看文章的可以看下我在b站上录的视频：https://b23.tv/gucpvt最近Transformer在CV领域很火，Transformer是2017年Google在ComputationandLanguage上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti时刻后的数据才能计算ti+1t_{i+1}ti+1时刻的数据，但Transformer都可以做到）。在这篇文章中作者提出了Self-At
