1一些准备的说明为了便于读者理解，笔者将采取一个盾构机掘进参数预测的实际项目进行Transformer模型的说明。此外，该贴更多用于本人的学习记录，适合于对Transformer模型已经有一定了解的读者。此此次外，不定期更新中。一些参考与图片来源：Transformer论文链接transformer的细节到底是怎么样的？深入理解Transformer及其源码解读Informer论文链接1.1采用的数据具体的数据在csv中如下，这里只展示部分数据在本项目中，并非所有参数都有用到，本文的示例中，仅仅用到了"state":["刀盘转速(r/min)","刀盘压力(bar)","总推进力(KN)","
1一些准备的说明为了便于读者理解，笔者将采取一个盾构机掘进参数预测的实际项目进行Transformer模型的说明。此外，该贴更多用于本人的学习记录，适合于对Transformer模型已经有一定了解的读者。此此次外，不定期更新中。一些参考与图片来源：Transformer论文链接transformer的细节到底是怎么样的？深入理解Transformer及其源码解读Informer论文链接1.1采用的数据具体的数据在csv中如下，这里只展示部分数据在本项目中，并非所有参数都有用到，本文的示例中，仅仅用到了"state":["刀盘转速(r/min)","刀盘压力(bar)","总推进力(KN)","
前言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。解决问题：YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局部性，缺乏全局建模长距离建模的能力，引入自然语言处理领域的框架Transformer来形成CNN+Transformer架构，充分两者的优点，提高目标检测效果，本人经过实验，对小目标以及密集预测任
前言：作为当前先进的深度学习目标检测算法YOLOv5，已经集合了大量的trick，但是还是有提高和改进的空间，针对具体应用场景下的检测难点，可以不同的改进方法。此后的系列文章，将重点对YOLOv5的如何改进进行详细的介绍，目的是为了给那些搞科研的同学需要创新点或者搞工程项目的朋友需要达到更好的效果提供自己的微薄帮助和参考。解决问题：YOLOv5主干特征提取网络为CNN网络，CNN具有平移不变性和局部性，缺乏全局建模长距离建模的能力，引入自然语言处理领域的框架Transformer来形成CNN+Transformer架构，充分两者的优点，提高目标检测效果，本人经过实验，对小目标以及密集预测任
最近ChatGPT大火，其实去年11月份就备受关注了，最近火出圈了，还是这家伙太恐怖了，未来重复性的工作很危险。回归主题，ChatGPT就是由无数个（具体也不知道多少个，哈哈哈哈）Transformer语言模型组成，Transformer最开始在2017年提出，目的是解决序列数据的训练，大多数应用到了语言相关，最近在图像领域也很有作为，属于是多点开花了。今天来简单看看他的实现吧。目录一、Transformer原理二、代码实现三、通俗解释如何使用Transformer 四、总结一、Transformer原理 说实话，介绍这个东西优点太伤神了，我想把有限的时间浪费在有意义的事情上，不
最近ChatGPT大火，其实去年11月份就备受关注了，最近火出圈了，还是这家伙太恐怖了，未来重复性的工作很危险。回归主题，ChatGPT就是由无数个（具体也不知道多少个，哈哈哈哈）Transformer语言模型组成，Transformer最开始在2017年提出，目的是解决序列数据的训练，大多数应用到了语言相关，最近在图像领域也很有作为，属于是多点开花了。今天来简单看看他的实现吧。目录一、Transformer原理二、代码实现三、通俗解释如何使用Transformer 四、总结一、Transformer原理 说实话，介绍这个东西优点太伤神了，我想把有限的时间浪费在有意义的事情上，不
知乎：VisionTransformer超详细解读(原理分析+代码解读) CSDN：vit中的cls_token与position_embed理解CSDN：ViT为何引入cls_tokenCSDN:ViT中特殊classtoken的一些问题Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个classtoken作为分类特征。如果没有cls_token，我们使用哪个patchtoken做分类呢？根据自注意机制，每个patchtoken一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个
知乎：VisionTransformer超详细解读(原理分析+代码解读) CSDN：vit中的cls_token与position_embed理解CSDN：ViT为何引入cls_tokenCSDN:ViT中特殊classtoken的一些问题Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个classtoken作为分类特征。如果没有cls_token，我们使用哪个patchtoken做分类呢？根据自注意机制，每个patchtoken一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
