paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新
paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~Bert-WWMTakeAway:WholeWordMasking全词掩码Paper：Bert-WWM，Pre-TrainingwithWholeWordMaskingforChineseBERTGithub：https://github.com/ymcui/Chinese-BERT-wwm全词掩码并不是中文的专属，而是google
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~Bert-WWMTakeAway:WholeWordMasking全词掩码Paper：Bert-WWM，Pre-TrainingwithWholeWordMaskingforChineseBERTGithub：https://github.com/ymcui/Chinese-BERT-wwm全词掩码并不是中文的专属，而是google
摘要：本文从流程上需要改进的地方进行讨论，分四个方面来分析产生这个问题的原因。本文分享自华为云社区《Bug改不完，迭代总延期，咋办？》，作者：华为云PaaS服务小智。前言随着互联网的兴起，版本交付越来越频繁，企业开始了敏捷转型、DevOps落地，项目组雄心勃勃，期望产品能按迭代快速交付。然而常见的现象是，到了迭代的最后一天，还有不少Bug来不及修复，迭代无法产生潜在可交付成果，延期成了必然。然后发现连续几个迭代都是这样，团队没有成就感，士气低落。迭代的无法按期交付，让团队及公司领导又觉得敏捷只是形式化，并没有解决问题，久而久之，就干脆放弃了所采用的敏捷框架，回到老路子上了。迭代总是因为修复不完
摘要：本文从流程上需要改进的地方进行讨论，分四个方面来分析产生这个问题的原因。本文分享自华为云社区《Bug改不完，迭代总延期，咋办？》，作者：华为云PaaS服务小智。前言随着互联网的兴起，版本交付越来越频繁，企业开始了敏捷转型、DevOps落地，项目组雄心勃勃，期望产品能按迭代快速交付。然而常见的现象是，到了迭代的最后一天，还有不少Bug来不及修复，迭代无法产生潜在可交付成果，延期成了必然。然后发现连续几个迭代都是这样，团队没有成就感，士气低落。迭代的无法按期交付，让团队及公司领导又觉得敏捷只是形式化，并没有解决问题，久而久之，就干脆放弃了所采用的敏捷框架，回到老路子上了。迭代总是因为修复不完
Albert是ALiteBert的缩写，确实Albert通过词向量矩阵分解，以及transformerblock的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪los
Albert是ALiteBert的缩写，确实Albert通过词向量矩阵分解，以及transformerblock的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪los
