草庐IT

解密Prompt系列2. 冻结Prompt微调LM: T5 & PET & LM-BFF

这一章我们介绍固定prompt微调LM的相关模型,他们的特点都是针对不同的下游任务设计不同的prompt模板,在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍,支持任意NLP任务的T5,针对文本分类的两篇PET和LM-BFF。在小样本场景,固定prompt微调LM对比常规微调的优点,在分类任务上比较直观我能想到的有三点(在下面PET中会细说)无需额外的分类层的参数引入,微调成本低标签词本身前置语义信息的引入,无需重头学习可类比MRC微调和预训练的Gap更小,任务转化成LM任务后一致性高T5paper:2019.10ExploringtheLimitsofTransferLearni

解密Prompt系列2. 冻结Prompt微调LM: T5 & PET & LM-BFF

这一章我们介绍固定prompt微调LM的相关模型,他们的特点都是针对不同的下游任务设计不同的prompt模板,在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍,支持任意NLP任务的T5,针对文本分类的两篇PET和LM-BFF。在小样本场景,固定prompt微调LM对比常规微调的优点,在分类任务上比较直观我能想到的有三点(在下面PET中会细说)无需额外的分类层的参数引入,微调成本低标签词本身前置语义信息的引入,无需重头学习可类比MRC微调和预训练的Gap更小,任务转化成LM任务后一致性高T5paper:2019.10ExploringtheLimitsofTransferLearni
12