Self-attention有一个进阶的版本,叫做Multi-headSelf-attention,Multi-headSelf-attention,其实今天的使用是非常地广泛的。在LHY2021作业4裡面,助教原来的code4有,Multi-headSelf-attention,它的head的数目是设成2,那刚才助教有给你提示说,把head的数目改少一点改成1,其实就可以过mediumbaseline但并不代表所有的任务,都适合用比较少的head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的head,你反而可以得到比较好的结果至於需要用多少的head,这个又是另外一个hyperpa
前言文献名称：LearnedImageCompressionwithDiscretizedGaussianMixtureLikelihoodsandAttentionModules本文基于CompressAI的库进行复现github地址：compressAI关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用安装好compressai后相当于把这个底层库引入了我们的工程相关环境搭配可以参考JointAutoregressiveandHierarchicalPriorsforLearnedImageCompression文献复现文献复现同样都是使用co
前言文献名称：LearnedImageCompressionwithDiscretizedGaussianMixtureLikelihoodsandAttentionModules本文基于CompressAI的库进行复现github地址：compressAI关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用安装好compressai后相当于把这个底层库引入了我们的工程相关环境搭配可以参考JointAutoregressiveandHierarchicalPriorsforLearnedImageCompression文献复现文献复现同样都是使用co
目录前言1低层/高层特征2早/晚融合-Concat/Add3Attention特征融合前言特征融合是指来自不同层或分支的特征的组合，是现代网络体系结构中很常见的一种操作。图像处理的特征融合中，对于普遍的多尺度融合，广泛操作是直接将他们相加或者拼接起来！即通常通过简单的操作（例如求和或串联）来实现，但是，这不一定是最佳选择。随着Transformer在计算机视觉领域的快速发展，基于Attention的特征融合也占据一片天地！即注意力特征融合，该方案适用于大多数常见场景，包括由shortandlongskipconnections以及在Inception层内的特征融合。【相关学习资源】深度特征融合
目录前言1低层/高层特征2早/晚融合-Concat/Add3Attention特征融合前言特征融合是指来自不同层或分支的特征的组合，是现代网络体系结构中很常见的一种操作。图像处理的特征融合中，对于普遍的多尺度融合，广泛操作是直接将他们相加或者拼接起来！即通常通过简单的操作（例如求和或串联）来实现，但是，这不一定是最佳选择。随着Transformer在计算机视觉领域的快速发展，基于Attention的特征融合也占据一片天地！即注意力特征融合，该方案适用于大多数常见场景，包括由shortandlongskipconnections以及在Inception层内的特征融合。【相关学习资源】深度特征融合
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
前面我们所讲的模型，输入都是一个向量，但有没有可能在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢？这一类的场景包括文字识别、语音识别、图网络等等。那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式：每个向量对应一个输出：输出的数目与输入向量的数目一致，例如下图的词性识别、语调识别、状态识别等等：只有单个输出：这种应用于例如判断一段话的正负面作用、语音辨认说话者等等，如下图：机器自己决定输出多少个结果（seq2seq）：如翻译、语音转文字等等。SequenceLabeling(输入输出数目一致)最简单的思路当然是将每一个向量单独作为一
前面我们所讲的模型，输入都是一个向量，但有没有可能在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢？这一类的场景包括文字识别、语音识别、图网络等等。那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式：每个向量对应一个输出：输出的数目与输入向量的数目一致，例如下图的词性识别、语调识别、状态识别等等：只有单个输出：这种应用于例如判断一段话的正负面作用、语音辨认说话者等等，如下图：机器自己决定输出多少个结果（seq2seq）：如翻译、语音转文字等等。SequenceLabeling(输入输出数目一致)最简单的思路当然是将每一个向量单独作为一
Self-Attention的基本结构与计算Attention（注意力）实际上就是权重的另一种应用的称呼，其具体结构与初始输入的content\(\vec{x_{1}},\vec{x_{2}},\cdots,\vec{x_{n}}\in\mathcal{X}\)紧密相关。其中，\(\vec{x_{1}},\vec{x_{2}},\cdots,\vec{x_{n}}\)为维度相同（设为\(d\)，即\(\vec{x_{i}}\in\mathbb{R}^{d}\)for\(\forall1\leqi\leqn\)）的向量。所谓wordembedding，实质是用低维的向量表示物体，但是，表示时需要
