机器学习（一）回归算法

• 1. 什么是回归算法
• 2.线性回归、最大似然估计及二乘法
• • 线性回归
  • 似然函数
  • $\theta$的求解过程
  • 最小二乘法的参数最优求解
• 3.目标函数(loss/cost function)
• 4.线性回归的过拟合
• • Ridge(L2-norm)和LASSO(L1-norm)比较
  • Elasitc Net
• 5.模型效果判断
• 6.梯度下降算法
• • 梯度方向
  • 批量梯度下降算法(BGD)
  • 随机梯度下降算法(SGD)
  • BGD和SGD算法比较
  • 梯度下降法
• 线性回归总结
• 补充知识
• • 局部加权回归-损失函数
  • 局部加权回归-权重值设置
• Logistic回归
• • Logistic回归及似然函数
  • 最大似然/极大似然函数的随机梯度
  • 极大似然估计与Logistic回归损失函数
  • Logistic回归实例
• Softmax回归
• 总结
• 回归算法实例代码

1. 什么是回归算法

• 回归算法是一种有监督算法
• 回归算法是一种比较常用的机器学习算法,用来建立"解释"变量(自变量X)和观测值(因变量Y)之间的关系;从机器学习角度来讲,用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系,在算法学习过程中试图寻找一个函数$h:R^d->R$使得参数之间的关系拟合性最好。
• 回归算法中算法(函数)的最终结果是一个连续的数据值,输入值(属性值)是一个d维度的属性/数值向量

2.线性回归、最大似然估计及二乘法

线性回归

$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$

• 误差${ϵ}^{(i)}(1\le i\le n)$是独立同分布的,服从均值为0,方差为某定值${\delta }^2$的高斯分布。

  • 原因:中心极限定理

• 实际问题中,很多随机现象可以看作众多因素的独立影响的综合反应,往往服从正态分布

似然函数

$y^{(i)}={\theta }^T{x}^{(i)}+{ϵ}^{(i)}$

$p({ϵ}^{(i)})=\frac{1}{\delta \sqrt{2\pi }}{e}^{-\frac{({ϵ}^{(i)}{)}^2}{2{\delta }^2}}$

$p(y^{(i)}|x^{(i)};\theta )=\frac{1}{\delta \sqrt{2\pi }}exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\delta }^2})$

$L(\theta )=\prod _{i=0}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=0}^m\frac{1}{\delta \sqrt{2\pi }}exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\delta }^2})$,希望$L(\theta )$越大越好

求对数
$$\begin{array}{rl}l(\theta )=& logL(\theta )\\ =& log\sum _{i=1}^m\frac{1}{\delta \sqrt{2\pi }}exp(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2{\delta }^2})\\ =& mlog\frac{1}{\delta \sqrt{2\pi }}-\frac{1}{{\delta }^2}\cdot \frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2\end{array}$$

$$loss(y_j,\widehat{y_j})=J(\theta )=\frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$$

$\theta$的求解过程

$$\begin{array}{rl}J(\theta )=& \frac{1}{2}\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2\\ =& \frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)\to mi{n}_{\theta }J(\theta )\end{array}$$

$$\begin{array}{rl}\nabla J(\theta )=& {\nabla }_{\theta }\frac{1}{2}(X\theta -Y{)}^T(X\theta -Y)\\ =& {\nabla }_{\theta }\frac{1}{2}(({\theta }^T{X}^T-Y)(X\theta -Y))\\ =& {\nabla }_{\theta }(\frac{1}{2}({\theta }^T{X}^{T}X\theta -{\theta }^T{X}^{T}Y-Y^{T}X\theta +Y^{T}Y))\\ =& \frac{1}{2}(2X^{T}X\theta -X^{T}Y-(Y^{T}X{)}^T)\\ =& X^{T}X\theta -X^{T}Y\end{array}$$

$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$

最小二乘法的参数最优求解

• 参数解析式

  $\theta =(X^{T}X{)}^{-1}{X}^{T}Y$

• 最小二乘法要求矩阵$X^{T}X$是可逆的；为了防止不可逆或者过拟合的问题存在，可以二外增加二额外数据的影响，导致最终的矩阵是可逆的
  $$\theta =(X^X+\lambda I{)}^{-1}{X}^{T}y$$

• 最小二乘法直接求解的难点：矩阵逆的求

3.目标函数(loss/cost function)

• 0-1损失函数
  $$J(\theta )=\{\begin{array}{r}1,Y\ne f(X)\\ 0,Y=f(X)\end{array}$$

• 感知损失函数
  $$J(\theta )=\{\begin{array}{r}1,|Y-f(X)|>t\\ 0,|Y-f(X)|\le t\end{array}$$

• 平方和损失函数

  $$J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$$

• 绝对值损失函数

  $$J(\theta )=\sum _{i=1}^m|h_{\theta }(x^{(i)}-y^{(i)}|$$

• 对数损失函数

  $$J(\theta )=\sum _{i=1}^m(y^{(i)}{h}_{\theta }(x^{(i)}))$$

4.线性回归的过拟合

• 目标函数

  $J(\theta )={\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$

• 为了防止数据过拟合，也就是$\theta$值在样本空间中不能过大/国过小，可以在目标函数之上增加一个平方和损失：

  $$J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2+\lambda \sum _{i=1}^n{\theta }_j^2$$

• 正则项(norm):$\lambda {\sum }_{i=1}^n{\theta }_j^2$

  • L2-norm:

    $J(\theta )={\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2+\lambda {\sum }_{j=1}^n{\theta }_j^2\lambda >0$

  • L1-norm:

    $J(\theta )={\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2+\lambda {\sum }_{j=1}^n|{\theta }_j|\lambda >0$

Ridge(L2-norm)和LASSO(L1-norm)比较

• L2-norm中，由于对于各个维度的参数缩放是在一个圆内缩放的，不可能导致有维度参数变为0的情况，那么也就不会产生稀疏解；实际应用中，数据的维度中是存在噪音和冗余的，系数的解可以找到有用的维度并且减少冗余，提高回归预测的准确性和鲁棒性（减少了overfitting)（L1-norm可以达到最终解的稀疏性的要求）
• Ridge模型有较高的准确性、鲁棒性以及稳定性；LASSO模型具有较高的求解速度，主要用于特征选择。
• 如果稳定性和求解速度都考虑，就使用Elasitc Net

Elasitc Net

• 同时使用L1正则和L2正则的线性回归模型就成为Elasitc Net算法（弹性网络算法）

• $J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2+\lambda (p{\sum }_{j=1}^n|{\theta }_j|+(1-p)su{m}_{j=1}^n{\theta }_j^2)$

  $\{\begin{array}{rl}& \lambda >0\\ & p\in [0,1]\end{array}$

5.模型效果判断

• MSE:误差平方和，越趋近于0表示模型越拟合训练数据。
• RMSE：MSE的平方根，作用同MSE
• $R^2$:取值范围(负无穷，1]，值越大表示模型越拟合训练数据；最优解是1；当模型预测为随机值的时候，有可能为负；若预测值恒为样本期望，$R^2$为0
• TSS：总平方和TSS(Total Sum of Squares)，表示样本之间的差异情况，是伪方差的m倍
• RSS：残差平方和RSS(Residual Sum of Squares)，表示预测值和样本值之间的差异情况，是MSE的m倍

$$\begin{array}{rl}& MSE=\frac{1}{m}\sum _{i=1}^m(y_i-\widehat{y_i}{)}^2\\ & RMSE=\sqrt{MSE}=\sqrt{\frac{1}{m}\sum _{i=1}^m(y_i-\widehat{y_i}{)}^2}\\ & R^2=1-\frac{RSS}{TSS}=1-\frac{{\sum }_{i=1}^m(y_i-\widehat{y_i}{)}^2}{{\sum }_{i=1}^m(y_i-\overline{y_i}{)}^2}\end{array}$$

6.梯度下降算法

• 目标函数$\theta$求解$J(\theta )={\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$
• 初始化$\theta$(随机初始化，可以初始为0)
• 沿着负梯度方向迭代，更新后的$\theta$使得$J(\theta )$更小

$$\theta =\theta -\alpha \cdot \frac{\partial J(\theta )}{\partial \theta }$$

​ $\alpha$：学习率、步长

梯度方向

$$\begin{array}{rl}\frac{\partial }{\partial {\theta }_j}J(\theta )=& \frac{\partial }{\partial {\theta }_j}\frac{1}{2}(h_{\theta }(x)-y{)}^2\\ =& 2\cdot \frac{1}{2}(h_{\theta }(x)-y)\cdot \frac{\partial }{\partial {\theta }_j}(h_{\theta }(x)-y)=(h_{\theta }(x)-y)\frac{\partial }{\partial {\theta }_j}(\sum _{i=1}^n{\theta }_i{x}_i-y)\\ =& (h_{\theta }(x)-y)x_j\end{array}$$

$$J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$$

批量梯度下降算法(BGD)

$$\frac{\partial }{\partial {\theta }_j}J(\theta )=(h_{\theta }(x)-y)x_i$$

$$\frac{\partial J(\theta )}{\partial {\theta }_j}=\sum _{i=1}^m\frac{\partial }{\partial {\theta }_j}=\sum _{i=1}^m(x_j^{(i)}(h_{\theta }(x^{(i)})-y^{(i)}))=\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}))x_j^{(i)}$$

$${\theta }_j={\theta }_j+\alpha \sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)})))x_j^{(i)}$$

随机梯度下降算法(SGD)

$$\frac{\partial }{\partial {\theta }_j}J(\theta )=(h_{\theta }(x)-y)x_i$$

for i=1 to m,{

$${\theta }_j={\theta }_j+\alpha \sum _{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)})))x_j^{(i)}$$

}

BGD和SGD算法比较

• SGD速度比BGD快(迭代次数少)
• SGD在某些情况下(全局存在多个相对最优解/$J(\theta )$不是一个二次)，又肯跳出某些小的局部最优解，所以不会比BGD坏
• BGD一定能够得到一个局部最优解(在线回归模型中一定是得到一个全局最优解)，SGD由于随机性的存在可能导致最终结果比BGD的差
• 优先选择SGD

梯度下降法

• 由于梯度下降法中负梯度方向作为变量的变化方向，所以有可能导致最终求解的值是局部最优解，所以在使用梯度下降的时候，一般需要进行一些调优策略：
  • **学习率的选择：**学习率过大，表示每次迭代更新的时候变化比较大，可能会跳过最优解；学习率过小，就会导致迭代速度过慢，很长时间都不能结束。
  • **算法初始值的选择：**初始值不同，最终获得的最小值也有可能不同，因为梯度下降法求解的是局部最优解，所以一般情况下，选择多次不同初始值运行算法，并最终返回损失函数最小情况下的结果值；
  • **标准化：**由于样本不同特征的取值范围不同，可能会导致在各个不同参数上迭代速度不同，为了减少特征取值的影响，可以将特征进行标准化操作。

线性回归总结

• 算法模型：线性回归(Linear)、岭回归(Ridge)、LASSO回归、Elastic Net
• 正则化：L1-norm、L2-norm
• 损失函数/目标函数：$J(\theta )={\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2\to {\min }_{\theta }J(\theta )$
• $\theta$求解方式：最小二乘法(直接计算，目标函数是平方和损失函数)、梯度下降(BGD\SGD\MBGD)

补充知识

局部加权回归-损失函数

• 普通线性回归损失函数：$$J(\theta )=\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$$
• 局部加权回归损失函数：$$J(\theta )=\sum _{i=1}^m{w}^{(i)}(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$$

局部加权回归-权重值设置

• $w^{(i)}$是权重，它根据要预测的点与数据集中的点的距离来为数据集中的点赋权值。

  当某点离要预测的点越远，其权重越小，否则越大。常用公式选择为：

  $w^{(i)}=exp(-\frac{(x^{(i)})-\bar{x}{)}^2}{2k^2})$

• 该函数称为指数衰减函数，其中k为波长参数，它控制了权值随距离下降的速率

• 使用该方式主要应用到样本之间的相似性考虑，主要内容在SVM中再考虑(核函数)

Logistic回归

• Logistic/sigmoid函数 $p=h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$

  或者写成$g(z)=\frac{1}{1+e^{-z}}$
  KaTeX parse error: Expected 'EOF', got '&' at position 2: &̲y=\left\{\begin…
  $g^{\prime }(z)=(\frac{1}{1+e^{-z}}{)}^{\prime }=\frac{e^{-z}}{(1+e^{-z}{)}^2}=\frac{1}{1+e^{-z}}\cdot \frac{e^{-z}}{1+e^{-z}}=\frac{1}{1+e^{-z}}\cdot (1-\frac{1}{1+e^{-z}})$

Logistic回归及似然函数

• 假设：$P(y=1|x;\theta )=h_{\theta }(x)$

  ​ $P(y=0|x;\theta )=1-h_{\theta }(x)$

  ​ $P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{(1-y)}$

  	$y=1$	$y=0$
  $p(y|x)$	$\theta$	$1-\theta$

• 似然函数：$$\begin{array}{rl}L(\theta )=& p(\vec{y}|X;\theta )=\prod _{i=1}^{m}p(y^{(i)}|X^{(i)};\theta )\\ =& \prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-(h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\end{array}$$

• 对数似然函数：$l(\theta )=logL(\theta )={\sum }_{i=1}^m(y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\theta }(x^{(i)})))$

最大似然/极大似然函数的随机梯度

$$\begin{array}{r}\frac{\partial l(\theta )}{\partial {\theta }_j}=\sum _{i=1}^m(\frac{y^{(i)}}{h_{\theta }(x^{(i)})}-\frac{1-y^{(i)}}{1-h_{\theta }(x^{(i)})})\cdot \frac{\partial h_{\theta }(x^{(i)})}{\partial {\theta }_j}\\ =\sum _{i=1}^m(\frac{y^{(i)}}{g({\theta }^T(x^{(i)})}-\frac{1-y^{(i)}}{1-g({\theta }^T(x^{(i)})})\cdot \frac{\partial (g({\theta }^T{x}^{(i)})}{\partial {\theta }_j}\\ =\sum _{i=1}^m(\frac{y^{(i)}}{g({\theta }^T(x^{(i)})}-\frac{1-y^{(i)}}{1-g({\theta }^T(x^{(i)})})\cdot g({\theta }^T{x}^{(i)})(1-g({\theta }^T{x}^{(i)}))\cdot \frac{\partial {\theta }^T{x}^{(i)}}{\partial {\theta }_j}\\ =\sum _{i=1}^m(y^{(i)}(1-g({\theta }^T{x}^{(i)})+(1-y^{(i)})g({\theta }^T(x^{(i)}))\cdot x_j^{(i)}=\sum _{i=1}^m(y^{(i)}-g({\theta }^T(x^{(i)}))\cdot x_j^{(i)}\end{array}$$

极大似然估计与Logistic回归损失函数

$l(\theta )\prod _{i=1}^{m}p(y^{(i)}|x^{(i)};\theta )=\prod _{i=1}^m{p}^{y^{(i)}}(1-p_i{)}^{(1-y^{(i)})}$

$p_i=h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}$

$l(\theta )=logL(\theta )={\sum }_{i=1}^{m}ln[p^{y^{(i)}}(1-p_i{)}^{(1-y^{(i)})}]$

$$\begin{array}{rl}loss=& l(\theta )\\ =& -\sum _{i=1}^m[y^{(i)}ln(p_i)+(1-y^{(i)})ln(1-p_i)]\\ =& \sum _{i=1}^m[-y^{(i)}ln(h_{\theta }(x^{(i)}))+(1-y^{(i)})ln(1-h_{\theta }(x^{(i)}))]\end{array}$$

Logistic回归实例

Softmax回归

• softmax回归是logistic回归的一般化，适用于K分类的问题，第k类的参数为向量${\theta }_k$，组成的二维矩阵为${\theta }_{k\ast n}$;
• softmax函数的本质就是将一个K维的任意实数向量压缩（映射成另一个k维的实数向量，其中向量中的每个元素取值都介于(0,1)之间。
• softmax回归概率函数为：
  • $p(y=k|x;\theta )=\frac{e^{{\theta }_k^{T}x}}{{\sum }_{l=1}^K{e}^{{\theta }_l^{T}x}},k=1,2,...,K$

总结

• 线性模型一般用于回归问题，Logistic和Softmax模型一般用于分类问题
• 求$\theta$的中主要方式是梯度下降算法，梯度下降算法是优化参数的重要手段，主要是SGD，适用于在线学习以及跳出局部极小值。
• Logistic/Softmax回归是实践中解决分类问题的最重要的方法
• 广义线性模型对样本要求不必服从正态分布\只要服从指数分布簇(二分布、伯努利分布、分布等)即可；广义线性模型的自变量可以是连续的也可以是离散的。

回归算法实例代码