bottleneck layery中文名称：瓶颈层。我初次接触也就是在残差网络中。一般在较深的网络中，如resnet101中使用。
一般的结构如下：
其中两个1X1fliter分别用于降低和升高特征维度，主要目的是为了减少参数的数量，从而减少计算量，且在降维之后可以更加有效、直观地进行数据的训练和特征提取，对比如下图所示：
瓶颈层使用的是1*1的卷积神经网络，之所以称之为瓶颈层，是因为长得比较像一个瓶颈：中间比较细，像一个瓶子的颈部。
如上图所示，经过1x1的网络，中间那个看起来比较细。使用1x1网络的一大好处就是可以大幅减少计算量。深度可分离卷积中，也有这样的设计考虑。Bottleneck 结构为之后的深度可分离卷积Depthwise Separable Conv（深度可分离卷积 - 知乎）打下了坚实的基础。
（1）ResNet中的Bottleneck layer
Bottleneck layer这种结构比较常见的出现地方就是ResNet block
（a）没有bottleneck (b)有bottleneck
如图所示分别是有bottleneck和没有bottleneck的ResNet模块。我们看到，使用 1 x 1 的网络结构很方便改变维度。灵活设计网络，并且减小计算量。(来自论文：Deep Residual Learning for Image Recognition)
Linear Bottleneck这个结构设计来自论文MobileNetV2: Inverted Residual and Linear Bottlenecks 下面就来具体解释一下。
这篇论文中的网络模块也参考了ResNet的网络模块，使用了 1 x 1 的卷积，但所不同的是因为MobileNetV2使用了深度可分离卷积，所以网络结构样子有所调整。
MobileNetV2结构基于inverted residual（本质是一个残差网络设计，传统Residual block是block的两端channel通道数多，中间少，而本文设计的inverted residual是block的两端channel通道数少，block内channel多，类似于沙漏和梭子形态的区别)。
如果详细具体了解Linear Bottleneck，可以看我写的MobileNetV2[链接]
2.1、Bottleneck 结构
在inception网络中，为了减少参数量，我们想了很多方法，例如：用多个小尺寸卷积代替一个大尺寸卷积；做下面的变换：
3x3 = 3x1 + 1x3，这个效果在深度较深的情况下比规整的卷积核更好，当然也包括经典的bottleneck结构。
Bottleneck结构就是为了降低参数量，Bottleneck三步走是先PW（Pointwise Convolution点卷积，也叫1x1卷积）对数据进行降维，再进行常规卷积核的卷积，最后PW对数据进行升维（类似于沙漏型）。我们举个例子，方便我们理解：
根据上图我们来做个计算对比，假设输入的特征图的维度为256维，要求输出维度也是256维。有以下两种操作：
（1）直接使用3x3的卷积核。256维的输入直接经过一个3x3x256的卷积层，输出一个256维的特征图，那么参数量为：256（输入）x3x3x256（卷积核） = 589824
（2）先经过1x1的卷积核，再经过3x3的卷积核，最后经过一个1x1的卷积核。256维的输入先经过一个1x1x64的卷积层，再经过一个3x3x64的卷积层，最后经过一个1x1x256的卷积层，则总参数量为：
256（输入）x1x1x64（卷积核） + 64（输入）x3x3x64（卷积核） + 64（输入）x1x1x256（卷积核） = 69632。
经过两种方式的对比，我们可以很明显的看到（2）中的方式的参数量远小于（1）的方式的。Bottleneck的核心思想还是利用多个小卷积核代替一个大卷积核，利用1x1卷积核代替大的卷积核的一部分工作。
class Bottleneck():
def __init__(self, c1, c2, shortcut=True, g=1, e=0.5): # ch_in, ch_out, shortcut, groups, expansion
super(Bottleneck,self).__init__()
c_ = int(c2 * e) #hidden channels
self.cv1 = Conv(c1, c_, 1, 1)
self.cv2 = Conv(c_, c2, 3, 1, g = g)
self.add = shortcut and c1==c2
def forward(self, x):
return x + self.cv2(self.cv1(x)) if self.add else self.cv2(self.cv1(x))
参考：
介绍Bottleneck layer结构 - 知乎 (zhihu.com)
(1条消息) 为什么要分别使用1*1，3*3，1*1的卷积核进行降维和升维_Cool_Uncle的博客-CSDN博客_1*1卷积核降维
3*3卷积+1*3卷积+3*1卷积=白给的精度提升 | ICCV 2019 - 知乎 (zhihu.com)
对于xception非常好的理解 - 简书 (jianshu.com)
目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称
最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总
深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or
如何学习ruby的正则表达式？(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具，因为它可以立即将结果可视化。 关于ruby-我如何学习ruby的正则表达式？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/1881231/
深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG（VisualGeometryGroup）是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军，定位竞赛冠军；VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层，其中VGG16和VGG
文章目录1、自相关函数ACF2、偏自相关函数PACF3、ARIMA(p,d,q)的阶数判断4、代码实现1、引入所需依赖2、数据读取与处理3、一阶差分与绘图4、ACF5、PACF1、自相关函数ACF自相关函数反映了同一序列在不同时序的取值之间的相关性。公式：ACF(k)=ρk=Cov(yt,yt−k)Var(yt)ACF(k)=\rho_{k}=\frac{Cov(y_{t},y_{t-k})}{Var(y_{t})}ACF(k)=ρk=Var(yt)Cov(yt,yt−k)其中分子用于求协方差矩阵，分母用于计算样本方差。求出的ACF值为[-1,1]。但对于一个平稳的AR模型，求出其滞
写在之前Shader变体、Shader属性定义技巧、自定义材质面板，这三个知识点任何一个单拿出来都是一套知识体系，不能一概而论，本文章目的在于将学习和实际工作中遇见的问题进行总结，类似于网络笔记之用，方便后续回顾查看，如有以偏概全、不祥不尽之处，还望海涵。1、Shader变体先看一段代码......Properties{ [KeywordEnum(on,off)]USL_USE_COL("IsUseColorMixTex?",int)=0 [Toggle(IS_RED_ON)]_IsRed("IsRed?",int)=0}......//中间省略，后续会有完整代码 #pragmamulti_c
按照目前的情况，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visitthehelpcenter指导。关闭9年前。我来自C、php和bash背景，很容易学习，因为它们都有相同的C结构，我可以将其与我已经知道的联系起来。然后2年前我学了Python并且学得很好，Python对我来说比Ruby更容易学。然后从去年开始，我一直在尝试学习Ruby，然后是Rails，我承认，直到现在我还是学不会，讽刺的是那些打着简单易学的烙印，但是对于我这样一个老练的程序员来说，我只是无法将它
进行这种深度检查的最佳方法是什么:{:a=>1,:b=>{:c=>2,:f=>3,:d=>4}}.include?({:b=>{:c=>2,:f=>3}})#=>true谢谢 最佳答案 我想我从那个例子中明白了你的意思(不知何故)。我们检查子哈希中的每个键是否在超哈希中，然后检查这些键的对应值是否以某种方式匹配:如果值是哈希，则执行另一次深度检查，否则，检查值是否相等:classHashdefdeep_include?(sub_hash)sub_hash.keys.all?do|key|self.has_key?(key)&&ifs