Transformer具体就是属于Sequence-to-Sequence的模型，而且输出的向量的长度并不能够确定，应用场景如语音辨识、机器翻译，甚至是语音翻译等等，在文字上的话例如聊天机器人、文章摘要等等，在分类问题上如果有问题是一些样本同时属于多个类也可以用这个的方法来求解。只要是输入向量，输出向量都可以用这个模型来求解。那么Seq2seq的大致结构如下：也就是有一个Encoder和一个Decoder，将输入的向量给Encoder进行处理，处理后的结果交给Decoder，由Decoder来决定应该输出一个什么样的向量。Encoder以上便是Encoder的作用，输入一排向量，输出也是一排向
Transformer具体就是属于Sequence-to-Sequence的模型，而且输出的向量的长度并不能够确定，应用场景如语音辨识、机器翻译，甚至是语音翻译等等，在文字上的话例如聊天机器人、文章摘要等等，在分类问题上如果有问题是一些样本同时属于多个类也可以用这个的方法来求解。只要是输入向量，输出向量都可以用这个模型来求解。那么Seq2seq的大致结构如下：也就是有一个Encoder和一个Decoder，将输入的向量给Encoder进行处理，处理后的结果交给Decoder，由Decoder来决定应该输出一个什么样的向量。Encoder以上便是Encoder的作用，输入一排向量，输出也是一排向
1、基本概念介绍1.1、WhatisGenerator在之前我们的网络架构中，都是对于输入x得到输出y，只要输入x是一样的，那么得到的输出y就是一样的。但是Generator不一样，它最大的特点在于多了另外一个具有随机性的输入，如下图：其中输入除了x之外，还有一个z，而z是从一个已知的分布之中进行采样得到的，例如高斯分布等等。那么由于z具有一定的随机性，那么由x与z获得的输出y也就不再只是一个确定的值，而是一个复杂的分布。1.2、Whydistribution为什么需要将输出y变成一个分布呢？来看下面这个例子：假设我们现在正在做一个画面预测的任务，根据以前的画面数据预测接下来里面的小精灵会往哪
1、基本概念介绍1.1、WhatisGenerator在之前我们的网络架构中，都是对于输入x得到输出y，只要输入x是一样的，那么得到的输出y就是一样的。但是Generator不一样，它最大的特点在于多了另外一个具有随机性的输入，如下图：其中输入除了x之外，还有一个z，而z是从一个已知的分布之中进行采样得到的，例如高斯分布等等。那么由于z具有一定的随机性，那么由x与z获得的输出y也就不再只是一个确定的值，而是一个复杂的分布。1.2、Whydistribution为什么需要将输出y变成一个分布呢？来看下面这个例子：假设我们现在正在做一个画面预测的任务，根据以前的画面数据预测接下来里面的小精灵会往哪
在前面的学习之中，我们已经学习了很多的模型，它能够针对特定的任务，接受我们的输入并产生目标的输出。但我们并不满足于此，我们甚至希望机器告诉我们，它是如何得到这个答案的，而这就是可解释的机器学习。WhyweneedExplainableML首先我们要明确，即使我们训练出来的模型能够得到一个正确的输出，但是这并不代表它真正学习到了内核的规律所在，因此我们总是希望能够知道为什么机器给出这个答案，在一些特定的场景也是如此：例如将机器学习用于医疗诊断，那我们希望机器做出来的决策是有根据的将机器学习用于法律，那我们也希望看到机器学习做出判定背后的原因，是否存在歧视问题等而且如果我们能够拥有可解释性的机器学
在前面的学习之中，我们已经学习了很多的模型，它能够针对特定的任务，接受我们的输入并产生目标的输出。但我们并不满足于此，我们甚至希望机器告诉我们，它是如何得到这个答案的，而这就是可解释的机器学习。WhyweneedExplainableML首先我们要明确，即使我们训练出来的模型能够得到一个正确的输出，但是这并不代表它真正学习到了内核的规律所在，因此我们总是希望能够知道为什么机器给出这个答案，在一些特定的场景也是如此：例如将机器学习用于医疗诊断，那我们希望机器做出来的决策是有根据的将机器学习用于法律，那我们也希望看到机器学习做出判定背后的原因，是否存在歧视问题等而且如果我们能够拥有可解释性的机器学
研究这个方向的动机，是因为在将神经网络模型应用于实际场景时，它仅仅拥有较高的正确率是不够的，例如在异常检测中、垃圾邮件分类等等场景，那些负类样本也会想尽办法来“欺骗”模型，使模型无法辨别出它为负类。因此我们希望我们的模型能够拥有应对这种攻击的能力。HowtoAttack通过影像辨识的例子来解释如何进行攻击。假设我们已经训练了一个图像的分类器，对于我们下图中输入的图片它能够分辨出来是一只猫；那么我们现在对原始的输入进行一定的扰动，加入干扰项再输入到模型中看看它是否会辨别成其中的东西（图中这种扰动太大了，一般加入的扰动项是人眼无法辨别的）：那么这种攻击又划分为两类：Non-targeted：这一类
研究这个方向的动机，是因为在将神经网络模型应用于实际场景时，它仅仅拥有较高的正确率是不够的，例如在异常检测中、垃圾邮件分类等等场景，那些负类样本也会想尽办法来“欺骗”模型，使模型无法辨别出它为负类。因此我们希望我们的模型能够拥有应对这种攻击的能力。HowtoAttack通过影像辨识的例子来解释如何进行攻击。假设我们已经训练了一个图像的分类器，对于我们下图中输入的图片它能够分辨出来是一只猫；那么我们现在对原始的输入进行一定的扰动，加入干扰项再输入到模型中看看它是否会辨别成其中的东西（图中这种扰动太大了，一般加入的扰动项是人眼无法辨别的）：那么这种攻击又划分为两类：Non-targeted：这一类
假设现在有两种类别的样本，其类别分别为\(C_1\)和\(C_2\)，而拥有的样本数分别为\(N_1\)和\(N_2\)，那么假设每个样本都是从其类别对应的高斯分布中取出来的，那么则可以进行如下推导：那么就可以得到《统计学习方法》中第六章的逻辑回归对于两类概率的定义（解决了我的疑惑）那么逻辑回归就是如何找到式子中的参数\(\omega\)和b。假设\(f_{\omega,b}(x)=P(C_1\midx)\)，可以将该模型用神经网络结点的形式来表达，如下图所示，可以更直观地理解。那么可以将样本出现的概率写成这样的表达式：因此求解目标即为：\[\omega*,b*=argmax_{w,b}L(w
假设现在有两种类别的样本，其类别分别为\(C_1\)和\(C_2\)，而拥有的样本数分别为\(N_1\)和\(N_2\)，那么假设每个样本都是从其类别对应的高斯分布中取出来的，那么则可以进行如下推导：那么就可以得到《统计学习方法》中第六章的逻辑回归对于两类概率的定义（解决了我的疑惑）那么逻辑回归就是如何找到式子中的参数\(\omega\)和b。假设\(f_{\omega,b}(x)=P(C_1\midx)\)，可以将该模型用神经网络结点的形式来表达，如下图所示，可以更直观地理解。那么可以将样本出现的概率写成这样的表达式：因此求解目标即为：\[\omega*,b*=argmax_{w,b}L(w
