1、生成模型首先回顾一下生成模型要解决的问题：如上图所示，给定两组数据z和x，其中z服从已知的简单先验分布π(z)（通常是高斯分布），x服从复杂的分布p(x)（即训练数据代表的分布），现在我们想要找到一个变换函数f，它能建立一种z到x的映射f:z–>x，使得每对于π(z)中的一个采样点z，都能在p(x)中有一个（新）样本点x与之对应。如果这个变换函数能找到的话，那么我们就实现了一个生成模型的构造。GAN、VAE和基于流的模型。他们在生成高质量样本方面取得了巨大成功，但每个都有其自身的局限性。GAN模型因其对抗性训练性质而以潜在的不稳定训练和较少的生成多样性而闻名，GANs的良好结果可能局限于变
标准VAE(VariationalAutoencoder)的原理：在autoencoder模型中，我们加入一个编码器，它能帮我们把图片编码成向量。然后解码器能够把这些向量恢复成图片。标准自编码器我们现在获得了一个有点实际用处的网络了。而且我们现在能训练任意多的图片了。如果我们把这些图片的编码向量存在来，那以后我们就能通过这些编码向量来重构我们的图像。我们称之为标准自编码器。 但是，我们想建一个产生式模型，而不是一个只是储存图片的网络。现在我们还不能产生任何未知的东西，因为我们不能随意产生合理的潜在变量。因为合理的潜在变量都是编码器从原始图片中产生的。这里有个简单的解决办法。我们可以对编码器添加
标准VAE(VariationalAutoencoder)的原理：在autoencoder模型中，我们加入一个编码器，它能帮我们把图片编码成向量。然后解码器能够把这些向量恢复成图片。标准自编码器我们现在获得了一个有点实际用处的网络了。而且我们现在能训练任意多的图片了。如果我们把这些图片的编码向量存在来，那以后我们就能通过这些编码向量来重构我们的图像。我们称之为标准自编码器。 但是，我们想建一个产生式模型，而不是一个只是储存图片的网络。现在我们还不能产生任何未知的东西，因为我们不能随意产生合理的潜在变量。因为合理的潜在变量都是编码器从原始图片中产生的。这里有个简单的解决办法。我们可以对编码器添加
作者：韩信子@ShowMeAI教程地址：https://www.showmeai.tech/tutorials/37本文地址：https://www.showmeai.tech/article-detail/275声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容本系列为斯坦福CS231n《深度学习与计算机视觉(DeepLearningforComputerVision)》的全套学习笔记，对应的课程视频可以在这里查看。更多资料获取方式见文末。引言之前了解到的都是监督学习（SupervisedLearning）：我们有数据x和标签y，目标是学习到一个函数可以将数据
作者：韩信子@ShowMeAI教程地址：https://www.showmeai.tech/tutorials/37本文地址：https://www.showmeai.tech/article-detail/275声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容本系列为斯坦福CS231n《深度学习与计算机视觉(DeepLearningforComputerVision)》的全套学习笔记，对应的课程视频可以在这里查看。更多资料获取方式见文末。引言之前了解到的都是监督学习（SupervisedLearning）：我们有数据x和标签y，目标是学习到一个函数可以将数据
AE自编码器，无监督的特征学习，其目的是利用无标签数据找到一个有效低维的特征提取器。AE学习过程使用无监督，输入样本$x$通过编码器获得低维特征$z$，最后通过解码器重构输入数据获得$\hatx$，loss直接最小化$||x-\hatx||^2$即可实现无监督训练。学习完成之后，编码器可以作为监督学习的特征提取器，解码器就可以做图片生成器。在低维空间上非编码处进行解码可以生成新的不同于输入的样本。但是问题在于因为神经网络只是稀疏地记录下来你的输入样本和生成图像的一一对应关系，所以，如果介于某两个特征之间的某个点，编码器并没有学习到码空间里。因此无法实现码空间随机采样即可生成对应的图片，随机采样
AE自编码器，无监督的特征学习，其目的是利用无标签数据找到一个有效低维的特征提取器。AE学习过程使用无监督，输入样本$x$通过编码器获得低维特征$z$，最后通过解码器重构输入数据获得$\hatx$，loss直接最小化$||x-\hatx||^2$即可实现无监督训练。学习完成之后，编码器可以作为监督学习的特征提取器，解码器就可以做图片生成器。在低维空间上非编码处进行解码可以生成新的不同于输入的样本。但是问题在于因为神经网络只是稀疏地记录下来你的输入样本和生成图像的一一对应关系，所以，如果介于某两个特征之间的某个点，编码器并没有学习到码空间里。因此无法实现码空间随机采样即可生成对应的图片，随机采样
