回归分析(线性回归、逻辑回归、多项式回归、岭回归、Lasso回归)

《回归分析(线性回归、逻辑回归、多项式回归、岭回归、Lasso回归)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、回归学习SchoolofInformationandMathematics2of内容概要361、线性回归2、多元线性回归3、代价函数4、逻辑回归3of回归学习36回归属于有监督学习中的一种方法。该方法的核心思想是从连续型统计数据中得到数学模型，然后将该数学模型用于预测或者分类。该方法处理的数据可以是多维的。回归是由达尔文的表兄弟FrancisGalton发明的。Galton于1877年完成了第一次回归预测，目的是根据上一代豌豆的种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸（身高）。Galton在大量对象上应用了回归分析，甚至包括人的身高。他得

2、到的结论是：如果双亲的高度比平均高度高，他们的子女也倾向于平均身高但尚不及双亲，这里就可以表述为：孩子的身高向着平均身高回归。Galton在多项研究上都注意到了这一点，并将此研究方法称为回归。4of线性回归介绍36例子假如你刚刚搬到学校，需要知道在你学校周围的房价，设计一个数据回归程序。距离学校的距卧室数目房租离2.30km116005.06km220004.33km221001.09km11500…1.50km1?2.70km1.5?5of线性回归介绍36例子假如你刚刚搬到学校，需要知道在你学校周围的房价，设计一个数据回归程序。房房租租1.0/

3、距离房间距离6of回归学习36问题引入假设有一个房屋销售的数据如下：如果来了一个新的面积，假设在销售价钱的记录中没有的，怎么处理？面积(m^2)销售价钱（万元）解决方法：用一条曲线去尽量准的拟合这些数据，然后如果有新的输入过来，我们可以123250在将曲线上这个点对应的值返回。如果用一条直线去拟合，可能是下面的样子：15032087160102220……7of回归学习36常用概念和符号：房屋销售记录表：训练集(trainingset)或者训练数据(trainingdata),是我们流程中的输入数据，一般称为x房屋销售价钱：输出数据，一般称为y拟合的

4、函数（或者称为假设或者模型）：一般写做y=h(x)训练数据的条目数(#trainingset),：一条训练数据是由一对输入数据和输出数据组成的输入数据的维度n(特征的个数，#features)这个例子的特征是两维的，结果是一维的。然而回归方法能够解决特征多维，结果是一维多离散值或一维连续值的问题。8of回归学习36学习过程首先给出一个输入数据，算法通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计，也被称为构建一个模型。就如同上面的线性回归函数。一个典型的机器学习的过程9of回归学习36线性回归（Linearregr

5、ession）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析.线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的函数（costfunction最小）即可.10of线性回归36注意：(1)因为是线性回归，所以学习到的函数为线性函数，即直线函数(2)因为是单变量，因此只有一个x；单变量线性回归模型：X:feature，h(x):hypothesis；问题：线性函数拟合的好不好？11

6、of36简单线性回归(SimpleLinearRegression)1很多做决定的过程通常是根据两个或者多个变量之间的关系2回归分析(regressionanalysis)：用来建立方程模拟两个或者多个变量之间如何关联3被预测的变量叫做：因变量(dependentvariable),y,输出(output)4被用来进行预测的变量叫做：自变量(independentvariable),x,输入(input)12of36正向线性关系13of36负向线性关系：14of36无关系：15of估计的简单线性回归方程36ŷ=b0+b1x这个方程叫做估计线性方程(es

7、timatedregressionline)其中，b0是估计线性方程的纵截距，b1是估计线性方程的斜率，ŷ是在自变量x等于一个给定值的时候，y的估计值。使用场景：一般来说，只要觉得数据有线性关系，首先选择LinearRegression类。如果发现拟合或者预测的不好，再考虑用其他的线性回归库。如果是学习线性回归，推荐先从这个类开始第一步的研究。16of线性回归分析流程：3617of关于偏差ε的假定361、ε是一个随机的变量，均值为02、ε的方差(variance)对于所有的自变量x是一样的3、ε的值是独立的4、ε满足正态分布18of简单线性回归模型举例

8、36汽车卖家做电视广告数量与卖出的汽车数量：19of如何画出适合简单线性回归模型