基于随机tokenMASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题MASK的不一致性：MASK只在预训练任务中存在，在微调中不存在，Bert只是通过替换部分的随机MASK来降低不一致性的影响独立性假设：对MASK的预测是基于独立概率而不是联合概率，模型并不会考虑MASK之间的条件关联MASK训练低效：每次只遮盖15%的token，每个batch的模型更新只基于这15%的input，导致模型训练效率较低MASK有这么多的问题，那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们使用两种截然不同的方案实现了在下游迁移的En
作者：京东零售彭馨1.背景我们知道Bert预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于Word2Vec、Glove等并没有明显的提升。有学者研究发现，这是因为Bert词向量存在各向异性（不同方向表现出的特征不一致），高频词分布在狭小的区域，靠近原点，低频词训练不充分，分布相对稀疏，远离原点，词向量整体的空间分布呈现锥形，如下图，导致计算的相似度存在问题。2.问题分析为什么Bert词向量会呈现圆锥形的空间分布且高频词更靠近原点？查了一些论文发现，除了这篇ICLR2019的论文《RepresentationDegenerationProblemi
作者：京东零售彭馨1.背景我们知道Bert预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果，但在语义相似度任务上，表现相较于Word2Vec、Glove等并没有明显的提升。有学者研究发现，这是因为Bert词向量存在各向异性（不同方向表现出的特征不一致），高频词分布在狭小的区域，靠近原点，低频词训练不充分，分布相对稀疏，远离原点，词向量整体的空间分布呈现锥形，如下图，导致计算的相似度存在问题。2.问题分析为什么Bert词向量会呈现圆锥形的空间分布且高频词更靠近原点？查了一些论文发现，除了这篇ICLR2019的论文《RepresentationDegenerationProblemi
所有的成功都有迹可循，ChatGPT也不例外。前不久，因为对ChatGPT的评价过于苛刻，图灵奖得主YannLeCun被送上了热搜。在他看来，「就底层技术而言，ChatGPT并没有什么特别的创新，」也不是「什么革命性的东西」。许多研究实验室正在使用同样的技术，开展同样的工作。更重要的是，ChatGPT及其背后的GPT-3在很多方面都是由多方多年来开发的多种技术组成的，是不同的人数十年贡献的结果。因此，LeCun认为，与其说ChatGPT是一个科学突破，不如说它是一个像样的工程实例。「ChatGPT是否具有革命性」是个充满争议的话题。但毋庸置疑，它确实是在此前积累的多项技术的基础上构建起来的，比
所有的成功都有迹可循，ChatGPT也不例外。前不久，因为对ChatGPT的评价过于苛刻，图灵奖得主YannLeCun被送上了热搜。在他看来，「就底层技术而言，ChatGPT并没有什么特别的创新，」也不是「什么革命性的东西」。许多研究实验室正在使用同样的技术，开展同样的工作。更重要的是，ChatGPT及其背后的GPT-3在很多方面都是由多方多年来开发的多种技术组成的，是不同的人数十年贡献的结果。因此，LeCun认为，与其说ChatGPT是一个科学突破，不如说它是一个像样的工程实例。「ChatGPT是否具有革命性」是个充满争议的话题。但毋庸置疑，它确实是在此前积累的多项技术的基础上构建起来的，比
参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输
参考：李宏毅2021/2022春机器学习课程王树森RNN&Transformer教程Transformer详解0.背景：序列数据及相关任务序列数据是由一组相互关联的样本组成的数据，其中任意样本对应的标记是由其自身和其他样本共同决定的；序列数据任务是输入或输出为序列数据的机器学习任务，用传统机器学习模型处理他们是困难的，比如序列模型（1）——难处理的序列数据中第3节的例子传统方法的局限性在于其问题建模，这些模型不是针对可变长度的输入输出设计的，无法体现序列数据的特点，具体而言传统的MLP、CNN这类模型都是one-to-one模型，即一个输入一个输出。这种模型会把序列数据作为一个整体来考虑，其输
