SA（soft attention）：包括空间注意力和通道注意力，目的是选择细粒度的重要像素点，是pixel级。
HD（hard attention）：是 local 注意力，致力于搜索粗糙的潜在判别区域，它们是region级。
空间注意力：
一般来说对于同一像素点不同通道求均值，再经过一些卷积和上采样的运算得到spitial attention mask，空间特征每层像素点被赋予不同的权重。
通道注意力：
就是针对 N C H W 的每个C赋予权重。
空间注意力 + 通道注意力：
有BAM和CBAM两种代码方式，spitial attention 矩阵与channel attention矩阵相乘得到 SA+CA的效果。
具体结构如下图所示：利用了空洞卷积来获取更大的感受野，增加了通道注意力，方式是在feature map上全局平均池化，再降维升维，如右下角所示使用了上面那篇论文中的Attention Residual learning方式来融合。
CBAM同样是使用空间注意力和通道注意力，不过与BAM不同的是，通道注意力并不是像BAM那样融合在空间注意力内再做归一化，而是先后分开进行。
通道注意力的生成方式：先在feature maps上进行全局最大池化和全局平均池化得到两个1维向量，再经过共享的MLP层，再进行相加，sigmoid归一化。
空间注意力的生成方式：在通道上进行最大池化和平均池化，得到两个feature map，经过7x7卷积，得到一个feature map，再BN，sigmoid归一化。
注：这种空间注意力只考虑了局部信息，在后面CVPR2021的Coordinate Attention中有所改进。
这篇论文基于SE和CBAM改进而来，作者认为SE没有考虑空间信息，CBAM通过对每个位置的通道上进行池化，由于经过几层卷积和降采样后的feature maps的每个位置只包含原图的一个局部区域，因此这种做法只考虑了局部区域信息。为此，作者提出了一种新的attention机制--Coordinate Attention。
Coordinate Attention利用两个1D全局池化操作将沿垂直和水平方向的input features分别聚合为两个单独的direction-aware feature maps。 然后将具有嵌入的特定方向信息的这两个特征图分别编码为两个attention map，每个attention map都沿一个空间方向捕获输入特征图的远距离依存关系。 位置信息因此可以被保存在所生成的attention map中。 然后通过乘法将两个attention map都应用于input feature maps，以强调注意区域的表示。
具体结构如图c所示，简单说来，Coordinate Attention是通过在水平方向和垂直方向上进行平均池化，再进行transform对空间信息编码，最后把空间信息通过在通道上加权的方式融合。
1. Spatial Transformer Networks
2. Object-Part Attention Model for Fine-grained Image Classifification
3. Residual Attention Network for Image Classifification
4. BAM: Bottleneck Attention Module
5. CBAM: Convolutional Block Attention Module
6. Non-local Neural Networks
7. Pyramid Attention Network for Semantic Segmentation
8. Squeeze-and-Excitation Networks
9. CCNet: Criss-Cross Attention for Semantic Segmentation
10. GCNet: Non-local Networks Meet Squeeze-Excitation Networks and Beyond
11. Dual Attention Network for Scene Segmentation
12. Coordinate Attention for Effificient Mobile Network Design
我们目前正在为ROR3.2开发自定义cms引擎。在这个过程中，我们希望成为我们的rails应用程序中的一等公民的几个类类型起源，这意味着它们应该驻留在应用程序的app文件夹下，它是插件。目前我们有以下类型:数据源数据类型查看我在app文件夹下创建了多个目录来保存这些:应用/数据源应用/数据类型应用/View更多类型将随之而来，我有点担心应用程序文件夹被这么多目录污染。因此，我想将它们移动到一个子目录/模块中，该子目录/模块包含cms定义的所有类型。所有类都应位于MyCms命名空间内，目录布局应如下所示:应用程序/my_cms/data_source应用程序/my_cms/data_ty
作为新的阿里云用户，您可以50免费试用多种优惠，价值高达1,700美元（或8,500美元）。这将让您了解和体验阿里云平台上提供的一系列产品和服务。如果您以个人身份注册免费试用，您将获得价值1,700美元的优惠。但是，如果您是注册公司，您可以选择企业免费试用，提交基本信息通过企业实名注册验证，即可开始价值$8,500的免费试用！本教程介绍了如何设置您的帐户并使用您的免费试用版。关于免费试用在我们开始此试用之前，您还必须遵守以下条款和条件才能访问您的免费试用：只有在一年内创建的账户才有资格获得阿里云免费试用。通过此免费试用优惠，用户可以免费试用免费试用活动页面上列出的每种产品一次。如果您有多个帐
在我的应用程序中我有classUserincludeUser::FooendUser::Foo定义在app/models/user/foo.rb现在我正在使用一个定义了自己的Foo类的库。我收到此错误:warning:toplevelconstantFooreferencedbyUser::FooUser仅引用具有完整路径的Foo，User::Foo，而Foo实际上从来没有指的是Foo。这是怎么回事？更新:才想起我之前遇到过同样的问题，在问题1中看到这里:HowdoIrefertoasubmodule's"fullpath"inruby? 最佳答案
考虑Ruby类Foo::Bar。惯例是将“Foo”命名空间作为一个模块，但它也可以很容易地作为一个类:moduleFoo;classBar;end;end对比:classFoo;classBar;end;end在第二种情况下，Bar不是Foo的内部类，它只是在Foo的单例上定义的另一个常量。在这两种情况下，父类(superclass)都是Object并且它们只包含Kernel模块。它们的祖先链是相同的。因此，除了您可以根据其类使用Foo进行的操作(如果是类则实例化，如果是模块则扩展/包含)，命名空间的性质是否对有任何影响酒吧？是否有令人信服的理由选择其中一个名称间距而不是另一个？我看到
我在将模块包含在命名空间类中时遇到问题。下面的示例抛出错误uninitializedconstantBar::Foo::Baz(NameError)。我在这里缺少哪些基本的Ruby知识？moduleFoomoduleBazdefhelloputs'hello'endendendmoduleBarclassFooincludeFoo::Bazendendfoo=Bar::Foo.new 最佳答案 使用::强制查找到顶层:moduleBarclassFooinclude::Foo::Bazendend
我想为类定义Fabricator，其命名空间类似于“Foo::Bar”。告诉我它的工作方式。这是我的代码。模型/foo.rbclassFooincludeMongoid::Documentembedded_in:foo_container,polymorphic:truefield:xxx....end模型/foo/bar.rbclassFoo::Bar数据/制造商/foo_bar_fabricator.rbFabricator(:foo_bar,class_name:'Foo::Bar')doyyy'MyString'zzz'MyString'end当我尝试在parino控制台上创建
我对新的Rails应用程序有一个有点奇怪的要求。我需要构建一个应用程序，其中所有路由都在多个命名空间中定义(让我解释一下)。我想要一个应用程序，其中学校科目(数学、英语等)是namespace:%w[mathenglish].eachdo|subject|namespacesubject.to_symdoresources:studentsendend这很棒而且有效，但它需要我为每个主题创建一个命名空间StudentsController，这意味着如果我添加一个新主题，那么我需要创建一个新Controller。我想创建一个Base::StudentsController，如果Math:
我想了解更多关于Rails路线的信息。成员和收藏#Exampleresourceroutewithoptions:resources:productsdomemberdoget'short'post'toggle'endcollectiondoget'sold'endend命名空间和作用域#Exampleresourceroutewithinanamespace:namespace:admindoresources:productsendscope:admindoresources:productsend约束，Redirect_to#Exampleresourceroutewithop
我重构了我的Rails应用程序，我为每个子资源创建了一个Controller，这是相应的命名空间。api/v1/app/controller/manager.rbapi/v1/app/controller/manager/user.rbapi/v1/app/controller/manager/controller.rbapi/v1/app/controller/admin.rbapi/v1/app/controller/user.rbapi/v1/app/controller/controller.rbmanager命名空间下的用户资源的类定义是这样的classApi::V1::Ma
我遇到一个奇怪的问题，我正在使用的Rails引擎中的某些模型在对象空间中被复制。(rdb:1)ObjectSpace.each_object(::Class).each{|klass|putsklass.to_s+":"+klass.object_id.to_sifklass.to_s.eql?("DynamicFieldsets::Field")}DynamicFieldsets::Field:66866100DynamicFieldsets::Field:718363802479发生这种情况时，我不能使用is_a？或相等性检查以测试对象是否是Field类的实例。这个问题只发生在开发
