paper:Don'tstopPretraining:AdaptLanguageModelstoDomainsandTasksGitHub：https://github.com/allenai/dont-stop-pretraining论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptivepretraining）和TAPT任务适应预训练（task-adaptivepretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新