标准高斯过程回归（Gaussian Processes Regression, GPR）从零开始，公式推导

今天也是睡觉的一天 2023-04-05 原文

一、什么是高斯过程回归，他是用来干什么的

高斯过程回归是一种监督学习方法，我们可以将回归理解为拟合，比如：线性拟合，就是将一些数据拟合成一条直线。那么高斯过程回归就是将数据拟合成高斯过程，进而实现预测。

举个例子：我们在同一地点从上午八点开始，每隔一个小时采集一次气温，直至下午五点结束。那么我们可以用采集到的气温信息，拟合成高斯过程去预测一个小时之后的气温。

再举个例子：我们在同一时间内，在不同的地方采集气温，我们可以通过这些数据，拟合成高斯过程去预测当前时刻其他地方的气温。

值得注意的是！！！高斯过程不是简单的高斯分布。我们首先简单介绍一下高斯过程。

二、高斯过程

高斯过程是连续域（例如空间域和时间域）上无线多个点的联合高斯分布。

对于一维高斯分布，我们可以用该数据的均值和该数据的方差来表示， $x\sim N(\mu ,\sigma^2)$

$f(x)=\frac{1}{\sigma\sqrt {2\pi}}exp(-\frac{(x-\mu)^2}{2\sigma^2})$

对于二维高斯分布，我们可以用这两个数据的均值和他们之间的协方差矩阵来表示， $X\sim N(\mu,\varSigma)$ ，其中 $X(x_1,x_2)$ ， $\varSigma$ 为协方差矩阵。

$f(X)=\frac{1}{\sqrt {(2\pi)^2|\varSigma|}}exp(-\frac{1}{2}(X-\mu)^T\varSigma^{-1}(X-\mu))$

对于连续域上无数个多维高斯分布（以空间域为例），我们用空间上的每个点的均值和这些点之间的协方差矩阵来表示这个无限维的高斯分布，即高斯过程。此时，均值和协方差矩阵就由原来的单个数字，变成了函数，即均值函数和协方差函数。

$S(x_1,x_2,...,x_n,...)\sim N(\mu(x),\varSigma(x_i,x_j))$

其中， $x_i$ 表示第 $i$ 个点的坐标， $\mu(x)$ 为均值函数； $\varSigma(x_i,x_j)$ 表示协方差函数。

因此，我们只需要均值函数和协方差矩阵函数即可确定一个高斯过程。并且一个高斯过程的有限维度的子集都服从一个多元高斯分布。

三、高斯过程回归

我们以空间域为例进行解释，假设空间中第i个点的坐标为 $x^{(i)}$ ，该点的数据输出为 $y^{(i)}$ ，则高斯过程回归模型的表达式为：

$y^{(i)}=f(x^{(i)})+\varepsilon^{(i)},i=1,...,n$

其中 $\varepsilon^{(i)}$ 表示噪声变量，服从 $N(0,\sigma^2)$ 。在GPR中，我们假设 $f(x^{(i)})$ 服从高斯过程，即：

$f(x)\sim GP(m(x),K(x,x'))$

$f(x)\sim N(\begin{bmatrix}m(x_1)\\m(x_2)\\\vdots\\m(x_n)\end{bmatrix},\begin{bmatrix} k(x_1,x_1) & k(x_1,x_2) &\cdots &k(x_1,x_n)\\ k(x_2,x_1) & k(x_2,x_2) &\cdots &k(x_2,x_n)\\ \vdots & \vdots & \ddots & \vdots \\ k(x_n,x_1) & k(x_n,x_2) &\cdots &k(x_n,x_n) \end{bmatrix})$

其中，m(x)为均值函数，K(x,x')为协方差函数，我们也称之为核函数。

四、给出均值函数和核函数

我们已经假设 $f(x^{(i)})$ 服从高斯过程，同时，高斯过程是由一个均值函数和一个协方差函数来确定的，那么为了对 $f(x^{(i)})$ 进行表示，我们需要给出均值函数和协方差函数

通常来讲，我们将均值函数设为0。为什么会设为零呢，这显然不符合常识，特别是对于那些已经通过测量而得到数据输出的点来说，那些点的均值应该是测量值的均值才对。

首先，均值函数设为0是为了方便计算，可以简化我们的公式。

其次，均值函数设为0，即便他有些不符合“常识”，但对于短期预测结果来说几乎没有影响，均值函数影响的是长期预测结果，举个例子：你在某一时刻测量了南京新街口50米×50米范围内多个点的气温，你想通过这些测量值去预测距离测量范围1米处的气温，此时均值函数的影响很小；但如果你想预测北京某地的气温，那预测值几乎等于均值函数值，然而，这样的预测是不准确的。

最后，这里的均值函数和协方差函数可以理解为先验概率，也就是说对于“地点—气温”这一函数，给出的先验概率是怎样的，如果有确定的函数关系，则可以将这个函数作为均值函数。如果没有，则通常设为0。

协方差函数，也就是核函数，在这里极其重要。核函数是高斯过程的核心，它决定了高斯过程的性质。不同的核函数得到的高斯过程性质也不一样。

比较常用的核函数是高斯核函数，也就是径向基函数RBF。其基本形式如下：

$K(x_i,x_j)=\sigma_f^2exp(-\frac{||x_i-x_j||^2_2}{2l^2})$

在上式中， $\sigma_f$ 和 $l$ 是需要人为给定的参数，我们称之为超参数。通常会根据采集到的数据对超参数进行简单的计算，根据计算得到的超参数给出核函数。

五、基于高斯过程回归的预测

我们给出了高斯过程回归的模型表达式：

$y^{(i)}=f(x^{(i)})+\varepsilon^{(i)},i=1,...,n$

以及高斯过程的均值函数和协方差矩阵函数：

$f(x)\sim N(\begin{bmatrix}0\\0\\\vdots\\0\end{bmatrix},\begin{bmatrix} k(x_1,x_1) & k(x_1,x_2) &\cdots &k(x_1,x_n)\\ k(x_2,x_1) & k(x_2,x_2) &\cdots &k(x_2,x_n)\\ \vdots & \vdots & \ddots & \vdots \\ k(x_n,x_1) & k(x_n,x_2) &\cdots &k(x_n,x_n) \end{bmatrix})$

其中，

$k(x_i,x_j)=\sigma_f^2exp(-\frac{||x_i-x_j||^2_2}{2l^2})$

现在我们根据高斯过程回归进行预测。设 $X(x_1,x_2,...,x_n)$ 和 $Y(y_1,y_2,...,y_n)$ 为数据库中已有的位置坐标及其对应的数据值。 $X_*$ 和 $Y_*$ 为预测点的位置坐标及其对应的数据值。因为 $f(x)$ 服从高斯过程，那么 $f(X)$ 和 $f(X_*)$ 服从联合高斯分布，即

$\begin {bmatrix} f(X) \\f(X_*) \end {bmatrix}\sim N(0,\begin {bmatrix} K(X,X)& K(X,X_*) \\ K(X_*,X)&K(X_*,X_*) \end {bmatrix})$

通过贝叶斯公式，得到 $f(X_*)$ 的概率分布。

$p(f,f_*)=N(\begin {bmatrix} \mu_f \\ \mu_{f_*} \end{bmatrix} ,\begin {bmatrix} K& K_*^T \\ K_*&K_{**} \end {bmatrix})$

$p(f,f_*)=p(f_*|f)p(f)$

$p(f_*|f)=N(\mu_{f_*}+K_*K^{-1}(f-\mu_f),K_{**}-K_*K^{-1}K_*^T)$

p $(f_*|f)$ 的计算过程即为舒尔补求解，我会在文章最后给出舒尔补的求解过程。

将均值函数和协方差函数代入，即可得到预测点的概率表达式。

$\begin {bmatrix} f(X) \\f(X_*) \end {bmatrix}\sim N(0,\begin {bmatrix} K& K_*^T \\ K_*&K_{**} \end {bmatrix}))$

$f(X_*)\sim N(K_*K^{-1}f(X),K_{**}-K_*K^{-1}K^T_*)$

需要注意的是，我们一直假设的是f(x)服从高斯过程，在函数的输出y中，还有一个噪声项 ${\color{Red} \varepsilon{\color{Red} }}$ 。

我们将噪声项加入其中，并重新给出公式。

$\begin {bmatrix} Y \\Y_* \end {bmatrix}\sim N(0,\begin {bmatrix} K+\sigma^2I& K_*^T \\ K_*&K_{**}+\sigma^2I \end {bmatrix}))$

$Y_*\sim N(u_*,\varSigma_*)$

$\mu_*=K_*(K+\sigma^2I)^{-1}Y$

$\varSigma_*=K_{**}+\sigma^2I-K_*(K+\sigma^2I)^{-1}K^T_*$

六、根据已有数据给出超参数

在上文中，需要人为给定的超参数实际上有三个， $\theta=\{\sigma,l,\sigma_f\}$ 。

分别是高斯过程表达式和核函数中的超参数，我们统一用 $\theta$ 表示。

$y^{(i)}=f(x^{(i)})+\varepsilon^{(i)},i=1,...,n$

$y\sim N(0,K+\sigma^2I)$

我们需要让构建的高斯过程表达式，能够准确的表达坐标点x和数据输出y之间的关系，因此，我们应当找到一组超参数 ${\color{Red} \theta}$ 使得y的似然估计 ${\color{Red} p(y|x,\theta)}$ 最大。

$p(y|x,\theta)=\frac{1}{\sqrt{(2\pi)^n|(K+\sigma^2I)|}}exp(-\frac{1}{2}y^T(K+\sigma^2I)^{-1}y)$

$log\ p(y|x,\theta)=-\frac{1}{2}y^T(K+\sigma^2I)^{-1}y-\frac{1}{2}log|K+\sigma^2I|-\frac{n}{2}log\ 2\pi$

$\theta = \underset{\theta}{argmax}\ log\ p(y|x,\theta)$

至此，标准高斯过程回归全部结束。

附录舒尔补公式推导

多元高斯分布的概率密度函数为：

$p(X)=\frac{1}{\sqrt{(2\pi)^n|\varSigma|}}exp(-\frac{1}{2}X^T\varSigma^{-1}X)$

假设一对多元正态分布变量(x,y)，他们的联合概率密度函数：

$p(x,y)=N(\begin {bmatrix} \mu_x \\ \mu_y \end {bmatrix}, \begin {bmatrix} \varSigma_{xx} & \varSigma_{xy} \\ \varSigma_{yx} & \varSigma_{yy} \end {bmatrix})$

其中 $\varSigma_{xy}=\varSigma_{yx}^T$ ，我们的目的是将联合密度分解为条件概率和边缘概率的乘积，即

$p(x,y)=p(x|y)p(y)$

首先，我们可以将协方差矩阵进行分解：

$\begin {bmatrix} \varSigma_{xx} & \varSigma_{xy} \\ \varSigma_{yx} & \varSigma_{yy} \end {bmatrix} = \begin {bmatrix} 1 & \varSigma_{xy}\varSigma_{yy}^{-1} \\ 0 & 1 \end {bmatrix} \begin {bmatrix} \varSigma_{xx}-\varSigma_{xy}\varSigma_{yy}^{-1}\varSigma_{yx} & 0 \\ 0 & \varSigma_{yy} \end {bmatrix} \begin {bmatrix} 1 & 0 \\ \varSigma_{yy}^{-1}\varSigma_{yx} & 1 \end {bmatrix}$

对矩阵两边进行求逆运算：

$\begin {bmatrix} \varSigma_{xx} & \varSigma_{xy} \\ \varSigma_{yx} & \varSigma_{yy} \end {bmatrix}^{-1} = \begin {bmatrix} 1 & 0 \\ -\varSigma_{yy}^{-1}\varSigma_{yx} & 1 \end {bmatrix} \begin {bmatrix} (\varSigma_{xx}-\varSigma_{xy}\varSigma_{yy}^{-1}\varSigma_{yx})^{-1} & 0 \\ 0 & \varSigma_{yy}^{-1} \end {bmatrix} \begin {bmatrix} 1 & -\varSigma_{xy}\varSigma_{yy}^{-1} \\ 0 & 1 \end {bmatrix}$

将联合概率密度p(x,y)的指数部分二次项展开，可以得到：

$(\begin {bmatrix} x\\y \end {bmatrix} - \begin {bmatrix} \mu_x\\\mu_y \end {bmatrix})^T \begin {bmatrix} \varSigma_{xx} & \varSigma_{xy} \\ \varSigma_{yx} & \varSigma_{yy} \end {bmatrix}^{-1} (\begin {bmatrix} x\\y \end {bmatrix} - \begin {bmatrix} \mu_x\\\mu_y \end {bmatrix}) \\ =(\begin {bmatrix} x\\y \end {bmatrix} - \begin {bmatrix} \mu_x\\\mu_y \end {bmatrix})^T \begin {bmatrix} 1 & 0 \\ -\varSigma_{yy}^{-1}\varSigma_{yx} & 1 \end {bmatrix} \begin {bmatrix} (\varSigma_{xx}-\varSigma_{xy}\varSigma_{yy}^{-1}\varSigma_{yx})^{-1} & 0 \\ 0 & \varSigma_{yy}^{-1} \end {bmatrix} \\ \times \begin {bmatrix} 1 & -\varSigma_{xy}\varSigma_{yy}^{-1} \\ 0 & 1 \end {bmatrix} (\begin {bmatrix} x\\y \end {bmatrix} - \begin {bmatrix} \mu_x\\\mu_y \end {bmatrix})$

$= \begin {bmatrix} x-\mu_x-\varSigma_{xy}\varSigma_{yy}^{-1}(y-\mu_y) \\ y-\mu_y \end {bmatrix}^T \begin {bmatrix} (\varSigma_{xx}-\varSigma_{xy}\varSigma_{yy}^{-1}\varSigma_{yx})^{-1} & 0 \\ 0 & \varSigma_{yy}^{-1} \end {bmatrix} \\ \times \begin {bmatrix} x-\mu_x-\varSigma_{xy}\varSigma_{yy}^{-1}(y-\mu_y) \\ y-\mu_y \end {bmatrix} \\ =(x-\mu_x-\varSigma_{xy}\varSigma_{yy}^{-1}(y-\mu_y))^T (\varSigma_{xx}-\varSigma_{xy}\varSigma_{yy}^{-1}\varSigma_{yx})^{-1} \\ \times (x-\mu_x-\varSigma_{xy}\varSigma_{yy}^{-1}(y-\mu_y)) +(y-\mu_y)^T\varSigma_{yy}^{-1}(y-\mu_y)$

由于幂运算中同底数幂相乘，底数不变，指数相加的性质，可以得到：

$\begin {aligned} p(x,y) &= p(x|y)p(y) \\ p(x|y) &= N(\mu_x+\varSigma_{xy}\varSigma_{yy}^{-1}(y-\mu_y),\varSigma_{xx}-\varSigma_{xy}\varSigma_{yy}^{-1}\varSigma_{yx}) \\ p(y) &= N(\mu_y,\varSigma_{yy}) \end {aligned}$

Regression Processes 20 latex span 回归 $机器学习 $人工智能 $算法 $朴素贝叶斯算法

有关标准高斯过程回归（Gaussian Processes Regression, GPR）从零开始，公式推导的更多相关文章

ruby - 将 spawn() 的标准输出/标准错误重定向到 Ruby 中的字符串 - 2
我想使用spawn(针对多个并发子进程)在Ruby中执行一个外部进程，并将标准输出或标准错误收集到一个字符串中，其方式类似于使用Python的子进程Popen.communicate()可以完成的操作。我尝试将:out/:err重定向到一个新的StringIO对象，但这会生成一个ArgumentError，并且临时重新定义$stdxxx会混淆子进程的输出。最佳答案如果你不喜欢popen，这是我的方法:r,w=IO.pipepid=Process.spawn(command,:out=>w,:err=>[:child,:out])
ruby-on-rails - 标准化文件名的字符串，删除重音和特殊字符 - 2
我正在尝试找到一种方法来规范化字符串以将其作为文件名传递。到目前为止我有这个:my_string.mb_chars.normalize(:kd).gsub(/[^\x00-\x7F]/n,'').downcase.gsub(/[^a-z]/,'_')但第一个问题:-字符。我猜这个方法还有更多问题。我不控制名称，名称字符串可以有重音符、空格和特殊字符。我想删除所有这些，用相应的字母('é'=>'e')替换重音符号，并将其余的替换为'_'字符。名字是这样的:“Prélèvements-常规”“健康证”...我希望它们像一个没有空格/特殊字符的文件名:“prelevements_routin
Observability：从零开始创建 Java 微服务并监控它（二） - 2
这篇文章是继上一篇文章“Observability：从零开始创建Java微服务并监控它（一）”的续篇。在上一篇文章中，我们讲述了如何创建一个Javaweb应用，并使用Filebeat来收集应用所生成的日志。在今天的文章中，我来详述如何收集应用的指标，使用APM来监控应用并监督web服务的在线情况。源码可以在地址 https://github.com/liu-xiao-guo/java_observability 进行下载。摄入指标指标被视为可以随时更改的时间点值。当前请求的数量可以改变任何毫秒。你可能有1000个请求的峰值，然后一切都回到一个请求。这也意味着这些指标可能不准确，你还想提取最小/
Ruby:标准递归模式 - 2
我经常迷上ruby的一件事是递归模式。例如，假设我有一个数组，它可能包含无限深度的数组作为元素。所以，例如:my_array=[1,[2,3,[4,5,[6,7]]]]我想创建一个方法，可以将数组展平为[1,2,3,4,5,6,7]。我知道.flatten可以完成这项工作，但这个问题是作为我经常遇到的递归问题的一个例子-因此我试图找到一个更可重用的解决方案。简而言之-我猜这种事情有一个标准模式，但我想不出任何特别优雅的东西。任何想法表示赞赏最佳答案递归是一种方法，它不依赖于语言。您在编写算法时要考虑两种情况:再次调用函数的情
ruby-on-rails - 使用 Ruby 标准 Logger 每天只创建一个日志 - 2
我正在使用ruby标准记录器，我想要每天轮换一次，所以在我的代码中我有:Logger.new("#{$ROOT_PATH}/log/errors.log",'daily')它运行完美，但它创建了两个文件errors.log.20130217和errors.log.20130217.1。如何强制它每天只创建一个文件？最佳答案您的代码对于长时间运行的应用程序是正确的。发生的事情是您在给定的一天多次运行代码。第一次运行时，Ruby会创建一个日志文件“errors.log”。当日期改变时，Ruby将文件重命名为“errors.log
ruby-on-rails - Ruby/Rails 中的夏令时开始和结束日期 - 2
我正在开发一个Rails应用程序，我需要在其中找到给定特定偏移量或时区的夏令时开始和结束日期。我基本上在我的数据库中保存了从用户浏览器接收到的时区偏移量(“+3”，“-5”)，我想在它出现时修改它由于夏令时的变化。我知道Time实例变量有dst?和isdst方法，如果存储在它们中的日期在夏令时与否。>Time.new.isdst=>true但是使用它来查找夏令时的开始和结束日期会占用太多资源，而且我还必须为我拥有的每个时区偏移量执行此操作。我想知道更好的方法。最佳答案好的，基于你所说的和@dhouty'sanswer:您希望能够
ruby-on-rails - phusion passenger 和 ruby 1.9.1 已经开始工作了吗？ - 2
我有一台生产机器和一台开发机器，都运行ubuntu8.10并且都运行最新的phusionpassenger。当我在osx上的本地开发机器上使用ruby1.9.1时，我想知道外面的人是否已经在使用带有ruby1.9.1甚至1.9.2的phusionpassenger？如果是这样，请告诉我们您的设置!此外，有没有办法在apache上使用phusionpassenger同时运行ruby1.8.7(ree)和1.9.1？感谢您的指点，我在任何地方都找不到任何提示... 最佳答案是的，从某些2.2.x版本开始就正式支持它，我不记
ruby - Rails 3 - 我可以将开始日期设置为 date_select 方法吗？ - 2
date_select方法只能设置:start_year，但我想设置开始日期(例如3个月前的日期)(但没有这样的选项)。那么，我可以将开始日期设置为date_select方法吗？或者，要制作这样的选择框，我应该使用select_tag和options_for_select吗？或者，有什么解决办法吗？谢谢，最佳答案有可能……例如:start_year–设置年份选择的开始年份。默认为Time.now.year-5参见thisresource. 关于ruby-Rails3-我可以将开始日期
用于从 Open3.popen3 标准输出中提取值的正则表达式 - 2
如何获取外部命令的输出并从中提取值？我有这样的东西:stdin,stdout,stderr,wait_thr=Open3.popen3("#{path}/foobar",configfile)if/exit0/=~wait_thr.value.to_srunlog.puts("Foobarexitednormally.\n")puts"Testcompleted."someoutputvalue=stdout.read("TX.*\s+(\d+)\s+")puts"Outputvalue:"+someoutputvalueend我没有在标准输出上使用正确的方法，因为Ruby告诉我它不能
ruby - 强制 Ruby 不以标准形式/科学记数法/指数记数法输出 float - 2
我遇到了同样的问题here对于python，但对于ruby。我需要输出这样一个小数字:0.00001，而不是1e-5。有关我的特定问题的更多信息，我正在使用f.write("Mynumber:"+small_number.to_s+"\n")输出到一个文件对于我的问题，准确性不是什么大问题，所以只做一个if语句来检查是否small_number那么更通用的方法是什么？最佳答案 f.printf"Mynumber:%.5f\n",small_number您可以将.5(小数点右侧5位数字)替换为您喜欢的任何特定格式大小，例如，%8

标准高斯过程回归（Gaussian Processes Regression, GPR）从零开始，公式推导

一、什么是高斯过程回归，他是用来干什么的

二、高斯过程

三、高斯过程回归

四、给出均值函数和核函数

五、基于高斯过程回归的预测

六、根据已有数据给出超参数

附录 舒尔补公式推导

有关标准高斯过程回归（Gaussian Processes Regression, GPR）从零开始，公式推导的更多相关文章

随机推荐

附录舒尔补公式推导