摘要：本文介绍大模型低参微调套件——MindSporePET。本文分享自华为云社区《大模型高效开发的秘密武器——大模型低参微调套件MindSporePET篇》，作者：yd_280874276。人工智能进入“大模型时代”。大模型具备更强泛化能力，在各垂直领域落地时，只需要进行参数微调，就可以适配多个场景。因此，发展大模型已成为产学研各界共识。在大模型开发方面，昇腾推出了大模型开发使能平台，基于昇思MindSpore构建了支撑大模型开发的全流程大模型使能套件，包括TransFormers大模型套件MindSporeTransFormers、以文生图大模型套件MindSporeDiffusion、人

摘要：本文介绍大模型低参微调套件——MindSporePET。本文分享自华为云社区《大模型高效开发的秘密武器——大模型低参微调套件MindSporePET篇》，作者：yd_280874276。人工智能进入“大模型时代”。大模型具备更强泛化能力，在各垂直领域落地时，只需要进行参数微调，就可以适配多个场景。因此，发展大模型已成为产学研各界共识。在大模型开发方面，昇腾推出了大模型开发使能平台，基于昇思MindSpore构建了支撑大模型开发的全流程大模型使能套件，包括TransFormers大模型套件MindSporeTransFormers、以文生图大模型套件MindSporeDiffusion、人

这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。在小样本场景，固定prompt微调LM对比常规微调的优点，在分类任务上比较直观我能想到的有三点(在下面PET中会细说）无需额外的分类层的参数引入，微调成本低标签词本身前置语义信息的引入，无需重头学习可类比MRC微调和预训练的Gap更小，任务转化成LM任务后一致性高T5paper:2019.10ExploringtheLimitsofTransferLearni

这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。在小样本场景，固定prompt微调LM对比常规微调的优点，在分类任务上比较直观我能想到的有三点(在下面PET中会细说）无需额外的分类层的参数引入，微调成本低标签词本身前置语义信息的引入，无需重头学习可类比MRC微调和预训练的Gap更小，任务转化成LM任务后一致性高T5paper:2019.10ExploringtheLimitsofTransferLearni