AxialAttention，轴向注意力，有行注意力（row-attention）和列注意力（column-attention）之分，一般是组合使用。原文阅读：https://arxiv.org/pdf/1912.12180v1.pdfself-attention已经显示出了良好的性能，不过其缺点也是明显的：它的使用使得模型的参数量和计算量开始飙增，特别是应用在nlp的长序列问题和图像的像素点上时。以后者为例，单张图像大小为H*W(*3)，一个像素点需要和其他所有像素点作注意力，即H*W，一共又有H*W个像素点，则一次self-attention的计算量在O((H*W)2)，当图像的分辨率不断

1.摘要本文提出了一种轴向移位的MLP体系结构(AS-MLP),更关注局部特征的交互，通过特征图的通道轴移动，AS-MLP能够从不同的轴获取信息，这使得网络能够捕捉局部依赖（可以理解为cnn的空间不变性），这样的操作使我们能够利用一个纯的MLP体系结构来实现与cnn类体系结构相同的局部感受野。我们也可以设计AS-MLP的感受野的大小和块的拓展。本文提出的AS-MLP架构在ImageNet-1K数据集上的表现优于所有基于MLP的架构，并且与基于transformer相比即使FLOPs稍低，也能获得具有竞争力的性能。此外，AS-MLP也是第一个应用于下游任务(如对象检测和语义分割)的基于mlp的体

1.摘要本文提出了一种轴向移位的MLP体系结构(AS-MLP),更关注局部特征的交互，通过特征图的通道轴移动，AS-MLP能够从不同的轴获取信息，这使得网络能够捕捉局部依赖（可以理解为cnn的空间不变性），这样的操作使我们能够利用一个纯的MLP体系结构来实现与cnn类体系结构相同的局部感受野。我们也可以设计AS-MLP的感受野的大小和块的拓展。本文提出的AS-MLP架构在ImageNet-1K数据集上的表现优于所有基于MLP的架构，并且与基于transformer相比即使FLOPs稍低，也能获得具有竞争力的性能。此外，AS-MLP也是第一个应用于下游任务(如对象检测和语义分割)的基于mlp的体