上一章我们介绍了不同的指令微调方案,这一章我们介绍如何降低指令数据集的人工标注成本！这样每个人都可以构建自己的专属指令集,哈哈当然我也在造数据集进行时~介绍两种方案SELFInstruct和AutomaticPromptEngineer，前者是基于多样的种子指令，利用大模型的上下文和指令理解能力，以及生成的多样性来Bootstrap生成更多样的指令样本，后者是prompt逆向工程，基于输入和输出，使用LLM来生成和挑选最优的prompt指令。于是我把这两个方法强行组了CP，用APE把原始任务转化成种子指令，再用SELF去扩充，在医学和金融NLP任务上进行了尝试。也在huggingface上用g
上一章我们介绍了不同的指令微调方案,这一章我们介绍如何降低指令数据集的人工标注成本！这样每个人都可以构建自己的专属指令集,哈哈当然我也在造数据集进行时~介绍两种方案SELFInstruct和AutomaticPromptEngineer，前者是基于多样的种子指令，利用大模型的上下文和指令理解能力，以及生成的多样性来Bootstrap生成更多样的指令样本，后者是prompt逆向工程，基于输入和输出，使用LLM来生成和挑选最优的prompt指令。于是我把这两个方法强行组了CP，用APE把原始任务转化成种子指令，再用SELF去扩充，在医学和金融NLP任务上进行了尝试。也在huggingface上用g
在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见ClassicSolution/enhancement半监督领域有几个相互关联的基础假设Smoothness平滑度假设：两个样本在高密度空间特征相近，则他们的label大概率相同，宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解，感觉可以近似理解为DBSCAN中的密度可达Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的labe
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见ClassicSolution/enhancement半监督领域有几个相互关联的基础假设Smoothness平滑度假设：两个样本在高密度空间特征相近，则他们的label大概率相同，宏毅老师美其名曰近朱者赤近墨者黑。这里的高密度比较难理解，感觉可以近似理解为DBSCAN中的密度可达Cluster聚类假设：高维特征空间中，同一个簇的样本应该有相同的labe
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~知识增强KnowledgeisanyexternalinformationabsentfromtheinputbuthelpfulforgeneratingtheoutputTutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可
小样本利器2.文本对抗+半监督FGSM&VAT&FGM代码实现上一章我们聊了聊通过一致性正则的半监督方案，使用大量的未标注样本来提升小样本模型的泛化能力。这一章我们结合FGSM，FGM，VAT看下如何使用对抗训练，以及对抗训练结合半监督来提升模型的鲁棒性。本章我们会混着CV和NLP一起来说，VAT的两篇是CV领域的论文，而FGM是CV迁移到NLP的实现方案，一作都是同一位作者大大。FGM的tensorflow实现详见Github-SimpleClassification我们会集中讨论3个问题对抗样本为何存在对抗训练实现方案对抗训练为何有效存在性对抗训练下面我们看下如何在模型训练过程中引入对抗样
小样本利器2.文本对抗+半监督FGSM&VAT&FGM代码实现上一章我们聊了聊通过一致性正则的半监督方案，使用大量的未标注样本来提升小样本模型的泛化能力。这一章我们结合FGSM，FGM，VAT看下如何使用对抗训练，以及对抗训练结合半监督来提升模型的鲁棒性。本章我们会混着CV和NLP一起来说，VAT的两篇是CV领域的论文，而FGM是CV迁移到NLP的实现方案，一作都是同一位作者大大。FGM的tensorflow实现详见Github-SimpleClassification我们会集中讨论3个问题对抗样本为何存在对抗训练实现方案对抗训练为何有效存在性对抗训练下面我们看下如何在模型训练过程中引入对抗样
这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。之前在NER系列中我们已经介绍过DataAugmentation，不熟悉的童鞋看过来中文NER的那些事儿4.数据增强在NER的尝试。样本增强是通过提高标注样本的丰富度来提升模型泛化性，另一个方向半监督方案则是通过利用大量的相同领域未标注数据来提升模型的样本外预测能力。这一章我们来聊聊半监督方案中的一致性正则～一致性正则～一个好的分类器应该对相似的样本点给出一致的预测，于是在训练中通过约束样本和注入噪声
这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。之前在NER系列中我们已经介绍过DataAugmentation，不熟悉的童鞋看过来中文NER的那些事儿4.数据增强在NER的尝试。样本增强是通过提高标注样本的丰富度来提升模型泛化性，另一个方向半监督方案则是通过利用大量的相同领域未标注数据来提升模型的样本外预测能力。这一章我们来聊聊半监督方案中的一致性正则～一致性正则～一个好的分类器应该对相似的样本点给出一致的预测，于是在训练中通过约束样本和注入噪声
