小样本利器2.文本对抗+半监督FGSM&VAT&FGM代码实现上一章我们聊了聊通过一致性正则的半监督方案，使用大量的未标注样本来提升小样本模型的泛化能力。这一章我们结合FGSM，FGM，VAT看下如何使用对抗训练，以及对抗训练结合半监督来提升模型的鲁棒性。本章我们会混着CV和NLP一起来说，VAT的两篇是CV领域的论文，而FGM是CV迁移到NLP的实现方案，一作都是同一位作者大大。FGM的tensorflow实现详见Github-SimpleClassification我们会集中讨论3个问题对抗样本为何存在对抗训练实现方案对抗训练为何有效存在性对抗训练下面我们看下如何在模型训练过程中引入对抗样
这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。之前在NER系列中我们已经介绍过DataAugmentation，不熟悉的童鞋看过来中文NER的那些事儿4.数据增强在NER的尝试。样本增强是通过提高标注样本的丰富度来提升模型泛化性，另一个方向半监督方案则是通过利用大量的相同领域未标注数据来提升模型的样本外预测能力。这一章我们来聊聊半监督方案中的一致性正则～一致性正则～一个好的分类器应该对相似的样本点给出一致的预测，于是在训练中通过约束样本和注入噪声
这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。之前在NER系列中我们已经介绍过DataAugmentation，不熟悉的童鞋看过来中文NER的那些事儿4.数据增强在NER的尝试。样本增强是通过提高标注样本的丰富度来提升模型泛化性，另一个方向半监督方案则是通过利用大量的相同领域未标注数据来提升模型的样本外预测能力。这一章我们来聊聊半监督方案中的一致性正则～一致性正则～一个好的分类器应该对相似的样本点给出一致的预测，于是在训练中通过约束样本和注入噪声
导读：验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码领域带来了新的契机，并已应用于验证码反识别当中，为这场旷日持久攻防对抗注入了新的活力。分享内容包括三大方面：对抗样本介绍极验对抗样本技术探索与应用后续的工作与思考--01对抗样本介绍1.什么是对抗样本对抗样本(AdversarialExamples)的概念最早是ChristianSzegedy（克里斯蒂安·塞格迪）在ICLR2014（国际学习表征会议）上提出来的，即在数据集中通过故意添加细微的非随机
导读：验证码作为网络安全的第一道屏障，其重要程度不言而喻。当前，卷积神经网络的高速发展使得许多验证码的安全性大大降低，一些新型验证码甚至选择牺牲可用性从而保证安全性。针对对抗样本技术的研究，给验证码领域带来了新的契机，并已应用于验证码反识别当中，为这场旷日持久攻防对抗注入了新的活力。分享内容包括三大方面：对抗样本介绍极验对抗样本技术探索与应用后续的工作与思考--01对抗样本介绍1.什么是对抗样本对抗样本(AdversarialExamples)的概念最早是ChristianSzegedy（克里斯蒂安·塞格迪）在ICLR2014（国际学习表征会议）上提出来的，即在数据集中通过故意添加细微的非随机
第四章数理统计的基础知识4.1总体与样本总体与总体分布概念总体：在某种共性基础上由许多个别事物结合起来的整体。个体：指构成统计总体的个别事物的总称。总体的容量：总体中个体的个数。有限总体：容量有限的总体。无限总体：容量无限的总体。每一个个体代表一次试验的观察值，不同个体可以有相同的观察值。在统计学中，称\(X\)为总体，把\(X\)的分布称为总体的分布。表示总体的\(X\)可以是随机变量或随机向量。个体的定性指标可以转化为数量指标，从而设定一个随机变量来表示研究的总体。总体分布就是设定的\(X\)的分布，一般是未知的。统计学的主要任务就是对总体的未知分布进行推断。样本与样本分布概念样本：通过一
第四章数理统计的基础知识4.1总体与样本总体与总体分布概念总体：在某种共性基础上由许多个别事物结合起来的整体。个体：指构成统计总体的个别事物的总称。总体的容量：总体中个体的个数。有限总体：容量有限的总体。无限总体：容量无限的总体。每一个个体代表一次试验的观察值，不同个体可以有相同的观察值。在统计学中，称\(X\)为总体，把\(X\)的分布称为总体的分布。表示总体的\(X\)可以是随机变量或随机向量。个体的定性指标可以转化为数量指标，从而设定一个随机变量来表示研究的总体。总体分布就是设定的\(X\)的分布，一般是未知的。统计学的主要任务就是对总体的未知分布进行推断。样本与样本分布概念样本：通过一
AI模型与人脑在数学机制上并没有什么区别。只要模型够大、样本够多，AI就可以变得更智能！chatGPT的出现，实际上已经证明了这点。1，AI和人脑的底层细节都是基于ifelse语句逻辑运算，是产生智能的基础运算。编程语言的基本逻辑是ifelse，它会根据条件表达式把代码分成两个分支。在这个基础上，程序员可以写出非常复杂的代码，实现各种各样的业务逻辑。人脑的基本逻辑也是ifelse，ifelse这两个词就来自英语，对应的中文词汇是如果...否则...人脑在思考问题时也是这么一个逻辑思路，这点上跟电脑没有区别。ifelse语句，逻辑的核心AI模型的“ifelse语句”就是激活函数！AI模型的一个
AI模型与人脑在数学机制上并没有什么区别。只要模型够大、样本够多，AI就可以变得更智能！chatGPT的出现，实际上已经证明了这点。1，AI和人脑的底层细节都是基于ifelse语句逻辑运算，是产生智能的基础运算。编程语言的基本逻辑是ifelse，它会根据条件表达式把代码分成两个分支。在这个基础上，程序员可以写出非常复杂的代码，实现各种各样的业务逻辑。人脑的基本逻辑也是ifelse，ifelse这两个词就来自英语，对应的中文词汇是如果...否则...人脑在思考问题时也是这么一个逻辑思路，这点上跟电脑没有区别。ifelse语句，逻辑的核心AI模型的“ifelse语句”就是激活函数！AI模型的一个
目录1、FGSM原理2、pytorch实现2.1建立模型2.2FGSM模块2.3测试2.4可视化对比2.5对比样本与对抗样本1、FGSM原理论文Explainingandharnessingadversarialexamples. 这篇论文由Goodfellow等人发表在ICLR2015会议上，是对抗样本生成领域的经典论文。FGSM（fastgradientsignmethod）是一种基于梯度生成对抗样本的算法，属于对抗攻击中的无目标攻击（即不要求对抗样本经过model预测指定的类别，只要与原样本预测的不一样即可）我们在理解简单的dp网络结构的时候，在求损失函数最小值，我们会沿着梯度的反方向移
