目录一、注意力机制和自注意力机制的区别二、引入自注意力机制的目的三、Self-Attention详解3.1单个输出3.2矩阵形式四、Multi-headSelf-attention 五、PositionalEncoding六、Self-Attention和RNN的区别一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder模型中，Attention权值的计算不仅需要E
目录一、注意力机制和自注意力机制的区别二、引入自注意力机制的目的三、Self-Attention详解3.1单个输出3.2矩阵形式四、Multi-headSelf-attention 五、PositionalEncoding六、Self-Attention和RNN的区别一、注意力机制和自注意力机制的区别Attention机制与Self-Attention机制的区别传统的Attention机制发生在Target的元素和Source中的所有元素之间。简单讲就是说Attention机制中的权重的计算需要Target来参与。即在Encoder-Decoder模型中，Attention权值的计算不仅需要E
文章目录注意引言self-attention自注意力机制多头自注意力机制图像中的自注意力机制注意本篇文章参考李宏毅老师的讲课视频，截图均来自老师的PPT，本文是学习笔记。原视频大家可以自行搜索观看引言自注意力机制最初是NLP领域的首先我们了解一下三种任务分类：输出一个句子，可以看作一个序列。1、输入和输出长度一致，每个vector对应一个label假定现在做一个词性分析的任务，就是输入英文句子，给出每个单词的词性2、整个序列对应一个label假定现在做一个语义判断的任务，输出英文句子，给出这个句子的好坏判断。好or不好3、输出长度不确定，由机器决定输出label的长度，这种任务叫做seq2se
文章目录注意引言self-attention自注意力机制多头自注意力机制图像中的自注意力机制注意本篇文章参考李宏毅老师的讲课视频，截图均来自老师的PPT，本文是学习笔记。原视频大家可以自行搜索观看引言自注意力机制最初是NLP领域的首先我们了解一下三种任务分类：输出一个句子，可以看作一个序列。1、输入和输出长度一致，每个vector对应一个label假定现在做一个词性分析的任务，就是输入英文句子，给出每个单词的词性2、整个序列对应一个label假定现在做一个语义判断的任务，输出英文句子，给出这个句子的好坏判断。好or不好3、输出长度不确定，由机器决定输出label的长度，这种任务叫做seq2se
Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。在LHY2021作业4裡面,助教原来的code4有,Multi-headSelf-attention,它的head的数目是设成2,那刚才助教有给你提示说,把head的数目改少一点改成1,其实就可以过mediumbaseline但并不代表所有的任务,都适合用比较少的head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的head,你反而可以得到比较好的结果至於需要用多少的head,这个又是另外一个hyperpa
Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。在LHY2021作业4裡面,助教原来的code4有,Multi-headSelf-attention,它的head的数目是设成2,那刚才助教有给你提示说,把head的数目改少一点改成1,其实就可以过mediumbaseline但并不代表所有的任务,都适合用比较少的head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的head,你反而可以得到比较好的结果至於需要用多少的head,这个又是另外一个hyperpa
前言文献名称：LearnedImageCompressionwithDiscretizedGaussianMixtureLikelihoodsandAttentionModules本文基于CompressAI的库进行复现github地址：compressAI关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用安装好compressai后相当于把这个底层库引入了我们的工程相关环境搭配可以参考JointAutoregressiveandHierarchicalPriorsforLearnedImageCompression文献复现文献复现同样都是使用co
前言文献名称：LearnedImageCompressionwithDiscretizedGaussianMixtureLikelihoodsandAttentionModules本文基于CompressAI的库进行复现github地址：compressAI关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用安装好compressai后相当于把这个底层库引入了我们的工程相关环境搭配可以参考JointAutoregressiveandHierarchicalPriorsforLearnedImageCompression文献复现文献复现同样都是使用co
目录前言1低层/高层特征2早/晚融合-Concat/Add3Attention特征融合前言特征融合是指来自不同层或分支的特征的组合，是现代网络体系结构中很常见的一种操作。图像处理的特征融合中，对于普遍的多尺度融合，广泛操作是直接将他们相加或者拼接起来！即通常通过简单的操作（例如求和或串联）来实现，但是，这不一定是最佳选择。随着Transformer在计算机视觉领域的快速发展，基于Attention的特征融合也占据一片天地！即注意力特征融合，该方案适用于大多数常见场景，包括由shortandlongskipconnections以及在Inception层内的特征融合。【相关学习资源】深度特征融合
目录前言1低层/高层特征2早/晚融合-Concat/Add3Attention特征融合前言特征融合是指来自不同层或分支的特征的组合，是现代网络体系结构中很常见的一种操作。图像处理的特征融合中，对于普遍的多尺度融合，广泛操作是直接将他们相加或者拼接起来！即通常通过简单的操作（例如求和或串联）来实现，但是，这不一定是最佳选择。随着Transformer在计算机视觉领域的快速发展，基于Attention的特征融合也占据一片天地！即注意力特征融合，该方案适用于大多数常见场景，包括由shortandlongskipconnections以及在Inception层内的特征融合。【相关学习资源】深度特征融合
