一、Floyd（弗洛伊德）算法简介 Floyd在1962年由RobertFloyd以其当前公认的形式出版。算法作为三个嵌套for循环的现代公式首先由PeterIngerman在1962年描述。Floyd算法是解决图论问题的比较经典的算法，是解决给定的加权图中顶点间的最短路径的一种算法，可以正确处理有向图的最短路径问题。 Floyd算法是一种动态规划算法，节点间的连接权值可正可负。此算法简单有效，在稠密地图中效果最佳。由于三重循环结构紧凑，在稠密图中效率要高于Dijkstra算法。 Floyd算法优点主要体现在①算法简单，容易理解，且代码编写简单。②可以算出任意两个节点之间的最短距离，
一、Floyd（弗洛伊德）算法简介 Floyd在1962年由RobertFloyd以其当前公认的形式出版。算法作为三个嵌套for循环的现代公式首先由PeterIngerman在1962年描述。Floyd算法是解决图论问题的比较经典的算法，是解决给定的加权图中顶点间的最短路径的一种算法，可以正确处理有向图的最短路径问题。 Floyd算法是一种动态规划算法，节点间的连接权值可正可负。此算法简单有效，在稠密地图中效果最佳。由于三重循环结构紧凑，在稠密图中效率要高于Dijkstra算法。 Floyd算法优点主要体现在①算法简单，容易理解，且代码编写简单。②可以算出任意两个节点之间的最短距离，
从注意力机制（attention）开始，近两年提及最多的就是Transformer了，那么Transformer到底是什么机制，凭啥这么牛？各个领域都能用？一文带你揭开Transformer的神秘面纱。目录1.深度学习（DL）背景介绍 2.Transformer的发展历程3.Transformer优缺点3.1Transformer的优点3.2Transformer的缺点4.Transformer详细过程4.1Transformer为什么可以并行？4.2归纳偏置4.3特征提取能力与自编码器1.深度学习（DL）背景介绍 深度学习自出生以来就不被看好，随着计算机的发展和硬件条件的提升，
从注意力机制（attention）开始，近两年提及最多的就是Transformer了，那么Transformer到底是什么机制，凭啥这么牛？各个领域都能用？一文带你揭开Transformer的神秘面纱。目录1.深度学习（DL）背景介绍 2.Transformer的发展历程3.Transformer优缺点3.1Transformer的优点3.2Transformer的缺点4.Transformer详细过程4.1Transformer为什么可以并行？4.2归纳偏置4.3特征提取能力与自编码器1.深度学习（DL）背景介绍 深度学习自出生以来就不被看好，随着计算机的发展和硬件条件的提升，
前言VisionTransformers中，输入图像的空间维度会出现相当大的冗余，从而导致大量的计算成本。因此，本文中提出了一种由粗到精的视觉变换器（CF-ViT）来减轻计算负担，同时保持性能。CF-ViT以两阶段的方式实现网络推理。在粗略推理阶段，输入图像被分成一个小长度的补丁序列，用于计算上经济的分类。如果没有被很好地识别，信息块将被识别并进一步以细粒度重新分割。在不影响Top-1准确率的情况下，该方法在ImageNet-1k上将LV-ViT-S的FLOPs降低53%，GPU上实测推理速度也加快了2倍。Transformer、目标检测、语义分割交流群欢迎关注公众号CV技术指南，专注于计算机
前言VisionTransformers中，输入图像的空间维度会出现相当大的冗余，从而导致大量的计算成本。因此，本文中提出了一种由粗到精的视觉变换器（CF-ViT）来减轻计算负担，同时保持性能。CF-ViT以两阶段的方式实现网络推理。在粗略推理阶段，输入图像被分成一个小长度的补丁序列，用于计算上经济的分类。如果没有被很好地识别，信息块将被识别并进一步以细粒度重新分割。在不影响Top-1准确率的情况下，该方法在ImageNet-1k上将LV-ViT-S的FLOPs降低53%，GPU上实测推理速度也加快了2倍。Transformer、目标检测、语义分割交流群欢迎关注公众号CV技术指南，专注于计算机
对Add&Norm层的理解Add操作Norm操作Add操作首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder的输入由InputEmbedding和PositionalEmbedding求和输入Multi-Head-Attention，再通过FeedForward进行输出。由下图可以看出：在Encoder层和Decoder层中都用到了Add&Norm操作，即残差连接和层归一化操作。什么是残差连接呢？残差连接就是把网络的输入和输出相加，即网络的输出为F(x)+x，在网络结构比较深
对Add&Norm层的理解Add操作Norm操作Add操作首先我们还是先来回顾一下Transformer的结构：Transformer结构主要分为两大部分，一是Encoder层结构，另一个则是Decoder层结构，Encoder的输入由InputEmbedding和PositionalEmbedding求和输入Multi-Head-Attention，再通过FeedForward进行输出。由下图可以看出：在Encoder层和Decoder层中都用到了Add&Norm操作，即残差连接和层归一化操作。什么是残差连接呢？残差连接就是把网络的输入和输出相加，即网络的输出为F(x)+x，在网络结构比较深
前言 我在写上一篇博客《22下半年》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。关于BERT的笔记，其实一两年前就想写了，迟迟没动笔的原因是国内外已经有很多不错的资料，比如国外作者JayAlammar的一篇图解Transformer：TheIllustratedTransformer，再比如国内张俊林老师的这篇《说说NLP中的预训练技术发展史：从WordEmbedding到Bert模型》。本文基本上可以认为
前言 我在写上一篇博客《22下半年》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。关于BERT的笔记，其实一两年前就想写了，迟迟没动笔的原因是国内外已经有很多不错的资料，比如国外作者JayAlammar的一篇图解Transformer：TheIllustratedTransformer，再比如国内张俊林老师的这篇《说说NLP中的预训练技术发展史：从WordEmbedding到Bert模型》。本文基本上可以认为
