借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~Bert-WWMTakeAway:WholeWordMasking全词掩码Paper：Bert-WWM，Pre-TrainingwithWholeWordMaskingforChineseBERTGithub：https://github.com/ymcui/Chinese-BERT-wwm全词掩码并不是中文的专属，而是google
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~Bert-WWMTakeAway:WholeWordMasking全词掩码Paper：Bert-WWM，Pre-TrainingwithWholeWordMaskingforChineseBERTGithub：https://github.com/ymcui/Chinese-BERT-wwm全词掩码并不是中文的专属，而是google
Albert是ALiteBert的缩写，确实Albert通过词向量矩阵分解，以及transformerblock的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪los
Albert是ALiteBert的缩写，确实Albert通过词向量矩阵分解，以及transformerblock的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪los
论文地址；中文翻译；代码地址；视频地址；本篇大部分内容来源。只做整理补充，推荐去看李沐老师原视频，讲的真的很好建议学习顺序：5min全局理解->李沐老师论文讲解->图解or手推BERT->代码讲解，都强力安利图解BERT真的非常适合过完论文对每一个小part都有所感受以后做整体串联！！我可太喜欢这个up了1-标题+作者BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingpre-training:在一个大的数据集上训练好一个模型pre-training，模型的主要任务是用在其它任务training上dee
论文地址；中文翻译；代码地址；视频地址；本篇大部分内容来源。只做整理补充，推荐去看李沐老师原视频，讲的真的很好建议学习顺序：5min全局理解->李沐老师论文讲解->图解or手推BERT->代码讲解，都强力安利图解BERT真的非常适合过完论文对每一个小part都有所感受以后做整体串联！！我可太喜欢这个up了1-标题+作者BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstandingpre-training:在一个大的数据集上训练好一个模型pre-training，模型的主要任务是用在其它任务training上dee
模型结构演进本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型，首先来看看“完全版的BERT”：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach（2019）可看成是完全体的BERT，主要3方面改进，首先采用了Dynamicmask，即每个文本进入训练时动态mask掉部分token，相比原来的Bert，可以达到同一个文本在不同epoch被mask掉的token不同，相当于做了一个数据增强。其次，不使用NSP任务，效果会有一定提升。最后，RoBERTa增大了训练时间和训练数据、batchsize以及对BPE（输入文本的分词方法
模型结构演进本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型，首先来看看“完全版的BERT”：RoBERTa:ARobustlyOptimizedBERTPretrainingApproach（2019）可看成是完全体的BERT，主要3方面改进，首先采用了Dynamicmask，即每个文本进入训练时动态mask掉部分token，相比原来的Bert，可以达到同一个文本在不同epoch被mask掉的token不同，相当于做了一个数据增强。其次，不使用NSP任务，效果会有一定提升。最后，RoBERTa增大了训练时间和训练数据、batchsize以及对BPE（输入文本的分词方法
基于随机tokenMASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题MASK的不一致性：MASK只在预训练任务中存在，在微调中不存在，Bert只是通过替换部分的随机MASK来降低不一致性的影响独立性假设：对MASK的预测是基于独立概率而不是联合概率，模型并不会考虑MASK之间的条件关联MASK训练低效：每次只遮盖15%的token，每个batch的模型更新只基于这15%的input，导致模型训练效率较低MASK有这么多的问题，那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们使用两种截然不同的方案实现了在下游迁移的En
