摘要：快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！本文分享自华为云社区《这就是华为速度：2.69分钟完成BERT训练！新发CANN5.0加持，还公开了背后技术》，作者：昇腾CANN。快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！这是华为全联接2021上，针对异构计算架构CANN5.0放出的最新性能“预热”：4K老电影AI修复，原本需要几天时间，现在几小时就能完成；针对不同模型进行智能优化，300+模型平均可获得30%性能收益；支持超大参数模型、超大图片计算，几乎无需手动修改原代
摘要：快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！本文分享自华为云社区《这就是华为速度：2.69分钟完成BERT训练！新发CANN5.0加持，还公开了背后技术》，作者：昇腾CANN。快，着实有点快。现在，经典模型BERT只需2.69分钟、ResNet只需16秒。啪的一下，就能完成训练！这是华为全联接2021上，针对异构计算架构CANN5.0放出的最新性能“预热”：4K老电影AI修复，原本需要几天时间，现在几小时就能完成；针对不同模型进行智能优化，300+模型平均可获得30%性能收益；支持超大参数模型、超大图片计算，几乎无需手动修改原代
paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新
paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~Bert-WWMTakeAway:WholeWordMasking全词掩码Paper：Bert-WWM，Pre-TrainingwithWholeWordMaskingforChineseBERTGithub：https://github.com/ymcui/Chinese-BERT-wwm全词掩码并不是中文的专属，而是google
这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~Bert-WWMTakeAway:WholeWordMasking全词掩码Paper：Bert-WWM，Pre-TrainingwithWholeWordMaskingforChineseBERTGithub：https://github.com/ymcui/Chinese-BERT-wwm全词掩码并不是中文的专属，而是google
Albert是ALiteBert的缩写，确实Albert通过词向量矩阵分解，以及transformerblock的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪los
Albert是ALiteBert的缩写，确实Albert通过词向量矩阵分解，以及transformerblock的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪los
