AE学习过程使用无监督，输入样本$x$通过编码器获得低维特征$z$，最后通过解码器重构输入数据获得$\hat x$，loss直接最小化$||x-\hat x||^2$即可实现无监督训练。
学习完成之后，编码器可以作为监督学习的特征提取器，解码器就可以做图片生成器。在低维空间上非编码处进行解码可以生成新的不同于输入的样本。
但是问题在于因为神经网络只是稀疏地记录下来你的输入样本和生成图像的一一对应关系，所以，如果介于某两个特征之间的某个点，编码器并没有学习到码空间里。因此无法实现码空间随机采样即可生成对应的图片，随机采样的点在解码时一定不会生成我们所希望特征的图像。码空间的泛化能力基本为零，所以AE模型训练出来的解码器存在缺陷。
用大白话说一下，中间灰色分割线是我们学到的码空间， 下边的月亮是输入，上边的月亮是重建的输出。AE的编码器只能知道，满月对应码空间中间那个点，把这个点给AE的解码器，就能重建出一个满月。但是如果你说左数第二个点会生成什么呢？解码器说：啊？编码器没告诉过我啊。 所以是生成不出你期望的东西的。那怎么办呢？我们可以使用VAE。
一步一步解释：
那我们就要想办法：
$\begin{aligned}
& \frac{1}{\sqrt{2 \pi \sigma^2}} \exp \left(-\frac{(z-\mu)^2}{2 \sigma^2}\right) d z \
=& \frac{1}{\sqrt{2 \pi}} \exp \left[-\frac{1}{2}\left(\frac{z-\mu}{\sigma}\right)^2\right] d\left(\frac{z-\mu}{\sigma}\right)
\end{aligned}$
上边公式可以知道$\epsilon = \frac{z-\mu}{\sigma}$是服从标准正态分布的。
所以我们就可以从 $\mathcal{N}\left(\mu, \sigma^2\right)$中采样一个 $z$ ，相当于从 $\mathcal{N}(0, I)$中采样一个 $\varepsilon$，然后让 $z=\mu+\varepsilon \times \sigma$ 。
于是，我们将从$\mathcal{N}\left(\mu, \sigma^2\right)$采样变成了从$\mathcal{N}(0, I)$中采样，然后通过参数变换得到从 $\mathcal{N}\left(\mu, \sigma^2\right)$中采样的结果。这样一来，采样这个操作就不参与梯度下降了，改为采样的结果参与，使得整个模型可训练了。
这就是参数重整化技巧（ reparameterization trick ） 。
补一个链接：变分贝叶斯学习（variational bayesian learning）及重参数技巧（reparameterization trick） - zcsh - 博客园 (cnblogs.com)
现在模型学习的码空间中一个样本从原来对应的单点变为一个分布，分布上采样的点可以重建输入样本。那两个分布中心之间的点会被覆盖到。采样码空间两个分布中心之间的点的时候，模型就会尽力产生与两个分布中心都相似的东西，因此模型获得一定的泛化能力。
比如我们输入一个满月，获得绿色的分布，那绿色分布上采样得到的点就应该尽力重建一个满月。当我们从绿色蓝色分布共同覆盖到的地方采样的时候，它应该尽力重建一个既像满月又像弯弯月亮的的东西。
是模型自己学的，如果不加约束，那它可以直接学成0，开摆了，那模型就会退化回AE。所以需要加条件限制
。
加一个损失最小化$\sum_{i=1}^n\left(\exp(\sigma_i)-(1+\sigma_i)+\mu_i^2\right)$
这段是我个人的理解，如果大家有什么观点可以和我交流，如果我理解有错误欢迎各位大佬指正。
上图是一个高斯混合模型，我们可以看到上边有一条黑线，实际生活中我们可能无法知道这条线的具体分布，我们就无法获取到它的表达式，但是我们可以用多个高斯分布去逼近它。
下边的红线就是用七个高斯分布去逼近这条黑线，来模仿它的分布。这就是一个高斯混合模型。
混合高斯的概率分布为$P(x) = \sum_{i=1}^7P(i)P(x|i)$，$i$是高斯分布组件的数量。
在图中的例子中，我们是用到七个高斯组件，这七个高斯模型要有对应的$P(i)$概率，$\sum P(i) = 1$。我们将其认为是高斯混合模型中每个高斯分布的权重。
看右边的图，如果我们想要从高斯混合模型中采样一个值的时候，首先我们选择一个权重比如我们取到$P(3)$，然后找到其对应的高斯分布$x|3 \sim \mathcal N (\mu_3,\sigma_3^2)$ 进行采样即可。
所以对于一个高斯混合模型，我们需要两项：
现在我们假设有一个标准正态分布p(z)，那我们用它采样计算高斯组件就是$p(x) = \int p(z)p(x|z)dz$。
如果我们模型学到的分布能模拟这个原始图像的分布，我们就可以从中采样去生成其他的组合体宝可梦。
编码器的作用是把输入分布编码成一个码空间（假设是标准正态分布），解码器的作用就是从这个码空间中采样，去尽力还原编码器的那个分布。
比如我们这个宝可梦分布，当我们训练完一个VAE之后，宝可梦分布会被编码器编码成为尽量接近于 标准正态分布 的分布了，现在解码器就要从这个接近于 标准正态分布 的分布去重建宝可梦分布。
编码器学到的不是单个的值，而是一个连续分布 。 那VAE的解码器就是使用这个分布，解码，再用极大似然去估计宝可梦分布。
解码器就是要计算极大似然估计$L=\sum_x \log p(x)$，其中$x$代表每一个样本。就是让你每个样本的码$z$都能重建出一个$p(x)$接近于图片$x$的分布，让每个样本重建的分布都尽量地接近。
我们先抛开前边的那个$p(x) = \int p(z)p(x|z)dz$。
解码器计算极大似然估计$L=\sum_x \log p(x)$，其中$\log p(x) = \int q(z|x)\log p(x)dz$，可以看到这是一个关于q分布的积分。好吧，怕你们不懂，再写写$\int q(z|x)\log p(x)dz = \log p(x)\int q(z|x)dz = p(x) \times 1$，其中q是关于z的分布，对z的分布做dz积分就是1啊。
接着往下可以写为$\int q(z|x)\log p(x)dz = \int q(z|x)\log \frac{p(z,x)}{p(z|x)}dz$因为条件概率公式$P(A \mid B)=\frac{P(A B)}{P(B)}$。
接下来这一步也没问题$\int q(z|x)\log \frac{p(z,x)}{p(z|x)}dz = \int q(z | x) \log \frac{p(z, x)}{q(z |x)} \frac{q(z| x)}{p(z | x)} d z$，分子分母同时乘以一个数，结果不影响。
公式再给他拆一下$\int q(z | x) \log \left(\frac{P(z, x)}{q(z |x)}\right) d z+\int q(z| x) \log \left(\frac{q(z|x)}{P(z| x)}\right) d z$，这一步用的是初中的对数公式吧$\log(AB) = \log A + \log B$。拆成两部分之后我们可以知道$\int q(z| x) \log \left(\frac{q(z|x)}{P(z| x)}\right) d z$是算了一下$K L(q(z| x) | p(z | x))$，我们知道KL散度一定是大于等于0的，所以我们就可以丢了KL散度，用另一部分做一个边界（lower bound缩写为$L_b$)。
到这里公式就推完了，整个极大似然估计就是算：
$$
\begin{aligned}
\log p(x) &= \int q(z|x)\log p(x)dz \
紧接着我们继续看一下$L_b$的公式：
$$
\begin{aligned}
L_b&=\int_z q(z | x) \log \left(\frac{p(z, x)}{q(z |x)}\right) d z \
。
那最后就变成了计算最大化$L_b$的后半项$\int q(z |x) \log p(x|z) d z=E_{q(z |x)}[\log p(x | z)]$。就是根据$q(z|x)$获得$\log p(x|z)$的最大期望。现在我们发现已经丢弃掉假设的$p(z)$了，其实这里并不要求$p(z)$一定是标准正态分布，也可以是别的分布，但是在VAE原文中是假设这里是标准正态分布，也可以设置别的分布的，可以去看一下补充内容中苏神的博客。
作者论文中的：
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何
我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah
我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss
我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢
我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:
对于Rails模型，是否可以/建议让一个类的成员不持久保存到数据库中？我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量，我想将值存储在一个“虚拟”类成员中，该成员只是将值传递回Controller。你能有这样的类(class)成员吗？ 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中，所有实例变量都是私有(private)的，不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs
我有一个正在构建的应用程序，我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是，在make_tires内部有一个错误，如果我为Tire尝试它，则没有用于创建或新建的activerecord方法。当我检查轮胎时，它没有这些方法。我该如何补救？错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发，它们都因相同的错误而失败。 最佳答案
ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序
我正在使用Rails3.1并在一个论坛上工作。我有一个名为Topic的模型，每个模型都有许多Post。当用户创建新主题时，他们也应该创建第一个Post。但是，我不确定如何以相同的形式执行此操作。这是我的代码:classTopic:destroyaccepts_nested_attributes_for:postsvalidates_presence_of:titleendclassPost...但这似乎不起作用。有什么想法吗？谢谢! 最佳答案 @Pablo的回答似乎有你需要的一切。但更具体地说...首先改变你View中的这一行对此#
