线性回归（LinearRegression）是一种非常简单、用处非常广泛、含义也非常容易理解的一类经典的算法，非常合适作为机器学习的入门算法。 线性回归就是拟合出一个线性组合关系的函数。要找一条直线，并且让这条直线尽可能地拟合所有数据点。即：试图找到一条直线，使所有样本到直线上的欧式距离之和最小。一元线性回归（LinearRegression）拟合出一个线性组合关系的函数：y=wx+b。 拟合图像：多元线性回归 多元线性回归比一元线性回归复杂，其组成的不是直线，而是一个多维空间中的超平面，数据点散落在超平面的两侧。求解方法：1、最小二乘法（least
目录第一章：逻辑回归的应用场景第二章：逻辑回归的原理1.输入2.Sigmoid函数3.损失函数4.优化损失采用梯度下降：第三章逻辑回归应用案例1.数据集 2.具体流程1.读取数据 2.缺失值处理3.划分数据集4.标准化5.预估器流程6.模型评估7.结果展示第四章分类评估算法 1.分类的评估方法------精确率与召回率精确率：召回率：F1-score2.分类的评估方法------ROC曲线和AUC指标第一章：逻辑回归的应用场景广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。注意：逻辑回归虽
目录第一章：逻辑回归的应用场景第二章：逻辑回归的原理1.输入2.Sigmoid函数3.损失函数4.优化损失采用梯度下降：第三章逻辑回归应用案例1.数据集 2.具体流程1.读取数据 2.缺失值处理3.划分数据集4.标准化5.预估器流程6.模型评估7.结果展示第四章分类评估算法 1.分类的评估方法------精确率与召回率精确率：召回率：F1-score2.分类的评估方法------ROC曲线和AUC指标第一章：逻辑回归的应用场景广告点击率是否为垃圾邮件是否患病金融诈骗虚假账号看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器。注意：逻辑回归虽
理论格兰杰Granger因果关系检验只能得出两变量之间是否存在因果关系https://max.book118.com/html/2018/0613/172349596.shtm名字有误，并非因果这个例子揭示了GrangerCausality和因果关系的本质区别：前者说的是一种可预测性（forcasting），如果A事件对于预测B事件是有用的，那么我们就说：A是B的GrangerCausality（即：拒绝“A不是B的GrangerCausality”）；https://www.zhihu.com/question/34787362p7格兰杰因果检验https://max.book118.com
理论格兰杰Granger因果关系检验只能得出两变量之间是否存在因果关系https://max.book118.com/html/2018/0613/172349596.shtm名字有误，并非因果这个例子揭示了GrangerCausality和因果关系的本质区别：前者说的是一种可预测性（forcasting），如果A事件对于预测B事件是有用的，那么我们就说：A是B的GrangerCausality（即：拒绝“A不是B的GrangerCausality”）；https://www.zhihu.com/question/34787362p7格兰杰因果检验https://max.book118.com
线性回归在多元线性回归模型中，估计回归系数使用的是OLS，并在最后讨论异方差和多重共线性对模型的影响。事实上，回归中自变量的选择大有门道，变量过多可能会导致多重共线性问题导致回归系数不显著，甚至造成OLS估计失效。岭回归和lasso回归在OLS回归模型的损失函数上加上了不同的惩罚项，该惩罚项由回归系数的函数组成，一方面，加入的惩罚项能够识别出模型中不重要的变量，对模型起到简化作用，可以看作逐步回归法的升级版，另一方面，加入的惩罚项让模型变得可估计，即使原数据矩阵不满足列满秩。线性回归模型在标准线性回归中，通过最小化真实值(yiy_{i}yi)和预测值(y^i\hat{y}_{i}y^i)
高斯过程回归（GaussianProcessesRegression,GPR）简介一、高斯过程简介二、高斯分布1.一元高斯分布2.多元高斯分布三、高斯过程回归1.高斯过程2.高斯过程回归四、sklearn中高斯过程回归的使用1.核函数的选择2.sklearn中高斯过程回归的使用a.初始数据b.高斯过程回归拟合c.高斯过程回归后验结果分布d.不同核函数拟合结果对比一、高斯过程简介高斯过程是一种常用的监督学习方法，可以用于解决回归和分类问题。高斯过程模型的优点有：预测对观察结果进行了插值预测的结果是概率形式的通用性：可以指定不同的核函数（kernels）形式高斯过程模型的确定包括：它们不是稀疏的，
1.概念一直看一遍忘一遍，实在懒得再查了，理解后再次整理，希望能加深理解。先总结几个概念：回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。为什么要回归分析？它表明自变量和因变量之间的显著关系；它表明多个自变量对一个因变量的影响强度。回归分析允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。这些有利于数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。常见的回归模型很多，在此我对自己常用的进行整理。2.logistic回归引用一篇整理不错
基于Lasso回归的实证分析一、背景随着信息化时代的到来，对如证券市场交易数据、多媒体图形图像视频数据、航天航空采集数据、生物特征数据等数据维度远大于样本量个数的高维数据分析逐渐占据重要地位。而在分析高维数据过程中碰到最大的问题就是维数膨胀，也就是通常所说的“维数灾难”问题。研究表明，随着维数的增长，分析所需的空间样本数会呈指数增长。并且在高维数据空间中预测将变得不再容易，同时还容易导致模型的过拟合。因此为了应对高维数据中的维数灾难所带来的过拟合问题，其中一条解决思路是进行数据降维。在数据降维的方法中，Lasso方法是一种既适用于线性情况也适用于非线性情况的数据降维方法。二、理论基础Lasso
目录一，原理二，python代码2.1数据集的格式2.2代码三，适用条件一，原理回归： 假设存在一些数据点，用一条直线或者曲线或折现去拟合这些点就叫做回归。也就是找出平面点上两个轴变量之间的函数关系，或者其他坐标系下的变量间关系。一句话就是：回归就是依靠已有数据点去拟合函数关系。 常见的回归有：线性回归，非线性回归，局部加权回归……逻辑回归：回归的目标是一个二值结果(0和1)，是一种常见的二元分类模型。本质就是线性回归与激活函数sigmoid的结合，与大脑神经元工作方式类似，是入门机器学习的基础。应用：对于一个具体的实际问题，我们可以得到他既有的一些数据，那么就可以使用逻辑
