最近ChatGPT大火，其实去年11月份就备受关注了，最近火出圈了，还是这家伙太恐怖了，未来重复性的工作很危险。回归主题，ChatGPT就是由无数个（具体也不知道多少个，哈哈哈哈）Transformer语言模型组成，Transformer最开始在2017年提出，目的是解决序列数据的训练，大多数应用到了语言相关，最近在图像领域也很有作为，属于是多点开花了。今天来简单看看他的实现吧。目录一、Transformer原理二、代码实现三、通俗解释如何使用Transformer 四、总结一、Transformer原理 说实话，介绍这个东西优点太伤神了，我想把有限的时间浪费在有意义的事情上，不
最近ChatGPT大火，其实去年11月份就备受关注了，最近火出圈了，还是这家伙太恐怖了，未来重复性的工作很危险。回归主题，ChatGPT就是由无数个（具体也不知道多少个，哈哈哈哈）Transformer语言模型组成，Transformer最开始在2017年提出，目的是解决序列数据的训练，大多数应用到了语言相关，最近在图像领域也很有作为，属于是多点开花了。今天来简单看看他的实现吧。目录一、Transformer原理二、代码实现三、通俗解释如何使用Transformer 四、总结一、Transformer原理 说实话，介绍这个东西优点太伤神了，我想把有限的时间浪费在有意义的事情上，不
前言编写这个专栏主要目的是对工作之中基于Cesium实现过的功能进行整合，有自己琢磨实现的，也有参考其他大神后整理实现的，初步算了算现在有实现120个左右的功能，后续也会不断的追加，所以暂时打算一周2-3更的样子来更新本专栏（每篇博文都会奉上完整demo的源代码，尽可能把代码简洁一些）。博文内容如存在错误或者有可改进之处，也希望在这里和各位大佬交流提高一下。更多内容/样例/demo说明：DEJA_VU3D完整功能目录介绍专栏内容本着尽可能简洁的原则，本篇主要介绍实现动态扩散圆材质的实现和对象展示效果，类似于动态扩散点，不同的是是以面状对象的形式创建，最终效果大致如下：动态扩散圆的实现通过自定
前言编写这个专栏主要目的是对工作之中基于Cesium实现过的功能进行整合，有自己琢磨实现的，也有参考其他大神后整理实现的，初步算了算现在有实现120个左右的功能，后续也会不断的追加，所以暂时打算一周2-3更的样子来更新本专栏（每篇博文都会奉上完整demo的源代码，尽可能把代码简洁一些）。博文内容如存在错误或者有可改进之处，也希望在这里和各位大佬交流提高一下。更多内容/样例/demo说明：DEJA_VU3D完整功能目录介绍专栏内容本着尽可能简洁的原则，本篇主要介绍实现动态扩散圆材质的实现和对象展示效果，类似于动态扩散点，不同的是是以面状对象的形式创建，最终效果大致如下：动态扩散圆的实现通过自定
时隔两年半（2年4个月），我又回来研究生成技术了。以前学习研究GAN没结果，不管是技术上，还是应用产品上，结果就放弃了，现在基于diffusion的技术又把生成技术带上了一个新的高度。现在自己又来研究学习这方面的东西了。现在看来，以前还是自己自我定位不清晰，想搞研究，搞出研究成果来，自己能力不够，也没人带，搞不了；然后格局不够，对事物曲折变化认识不够，坚持力也不够。现在就还是面向应用进行学习研究了。当时的GAN生成效果还差一截，但是现在的完全能够达到真实效果了，并且技术使用难度也没那么大，应该能做成受欢迎产品级的效果了。一、基本概念扩散模型diffusion当前主要有四大生成模型：生成对抗模型
时隔两年半（2年4个月），我又回来研究生成技术了。以前学习研究GAN没结果，不管是技术上，还是应用产品上，结果就放弃了，现在基于diffusion的技术又把生成技术带上了一个新的高度。现在自己又来研究学习这方面的东西了。现在看来，以前还是自己自我定位不清晰，想搞研究，搞出研究成果来，自己能力不够，也没人带，搞不了；然后格局不够，对事物曲折变化认识不够，坚持力也不够。现在就还是面向应用进行学习研究了。当时的GAN生成效果还差一截，但是现在的完全能够达到真实效果了，并且技术使用难度也没那么大，应该能做成受欢迎产品级的效果了。一、基本概念扩散模型diffusion当前主要有四大生成模型：生成对抗模型
知乎：VisionTransformer超详细解读(原理分析+代码解读) CSDN：vit中的cls_token与position_embed理解CSDN：ViT为何引入cls_tokenCSDN:ViT中特殊classtoken的一些问题Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个classtoken作为分类特征。如果没有cls_token，我们使用哪个patchtoken做分类呢？根据自注意机制，每个patchtoken一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个
知乎：VisionTransformer超详细解读(原理分析+代码解读) CSDN：vit中的cls_token与position_embed理解CSDN：ViT为何引入cls_tokenCSDN:ViT中特殊classtoken的一些问题Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个classtoken作为分类特征。如果没有cls_token，我们使用哪个patchtoken做分类呢？根据自注意机制，每个patchtoken一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
目录前言1.注意力机制1.1非自主提示和自主提示1.2查询，键和值1.3注意力机制的公式1.3.1平均汇聚1.3.2非参数的注意力汇聚（Nadaraya-Watson核回归）1.3.3带参数的注意力汇聚（Nadaraya-Watson核回归）1.4注意力机制的评分函数（a(query,key)a(query,key)a(query,key)）1.4.1加性注意力1.4.2点积注意力1.5多头注意力（multi-head）2.自注意力机制2.1优缺点2.2单一自注意力机制图片示例2.3多头自注意力机制图片示例总结前言由于我对注意力机制和自注意力机制的原理和区别不是很清楚。因此，对相关内容进行了深
