线性回归专题 一元线性回归.docx

《线性回归专题 一元线性回归.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯最新料推荐⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯线性回归专题一元线性回归在客观世界中普遍存在着变量之间的关系。变量之间的关系一般来说可分为确定性的与非确定性的两种。确定性关系是指变量之间的关系可以用函数关系来表达。另一种非确定性的关系即所谓相关关系。例如人的身高与体重之间存在着关系，一般来说，人高一些，体重要重一些，但同样高度的人，体重往往不相同。人的血压与年龄之间也存在着关系，但同年龄的人的血压往往不相同。气象中的温度与湿度之间的关系也是这样，这是因为我们涉及的变

2、量（如体重、血压、湿度）是随机变量，上面所说的变量关系是非确定性的。回归分析是研究相关关系的一种数学工具。它能帮助我们从一个变量取得的值去估计另一变量所取的值。（一）一元线性回归设随机变量y与x之间存在着某种相关关系。这里，x是可以控制或可以精确观察的变量，如年龄、试验时的温度、施加的压力、电压与时间等。换句话说我们可以随意指定n个值x1,x2,,xn。因此我们干脆不把x看成随机变量，而把它当作普通的变量。本章中我们只讨论这种情况。由于y是随机变量，对于x的每一个确定值，y有它的分布。若y的数学期望存在，则其取

3、值随x的取值而定，即y的数学期望是x的函数，记为y

4、x或(x)。(x)称为y关于x的回归。由于(x)的大小在一定程度上反映在x处随机变量y的观察值的大小，因此如果能设法通过一组样本来估计(x)，那么，在一定条件下我们就能解决如下的问题：在给定置信度下，估计出当x取一定值时，随机变量y的取值情况，即所谓预测问题；以及在给定置信度下，控制自变量x的取值范围，使y在给定的范围内取值，即所谓控制问题。我们对于x的、取定的一组不完全相同的值x1,x2,,xn，作独立试验得到n对观察结果(x1,y1),(x2,y2),,(

5、xn,yn)，其中yi是xxi处对随机变量y观察的结果。这n对观察结果就是一个容量为n的样本。我们首先要解决的问题是如何利用样本来估计y关于x的回归(x)。为此，首先需要推测(x)的形式。在一些问题中，我们可以由专业知识知道(x)的形式。否则，我们可将每对观察值(xi,yi)在直角坐标系中描述出它的相应的点，这种图称为散点图。散点图可以帮助我们初略地看出(x)的形式。例1为研究某一化学反应过程中，温度x(0C)对产品得率y(%)的影响，测得数据如1⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯最新料推荐⋯⋯⋯⋯

6、⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯下。温度x(0C)100110120130140150160170180190得率y(%)45515461667074788589这里自变量x是普通变量，y是随机变量。画出散点图如图9-2所示。由图大致看出(x)具有线性函数abx的形式。图9-2设y关于x的回归为(x)。利用样本来估计(x)的问题称为求y关于x的回归问题。特别，若(x)为线性函数：(x)abx，此时估计(x)的问题称为求一元线性回归问题。本节我们只讨论这个问题。我们假定对于x（在某个区间内）的每一个值有y~N(ab

7、x,2)，其中a,b及2都是不依赖于x的未知参数。对y作这样的正态假设，相当于假设yabx，~N(0,2)（3.2）其中未知参数a,b及2都不依赖于x。（3.2）式称为一元线性回归模型。如果由样本得到（????做为3.2）式中a,b的估计a?b，则对于给定的bx,x，我们取ya(x)abx的估计。方程???yabx2⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯最新料推荐⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯称为y关于x的线性回归方程或回归方程，其图形称为回归直线。思考：回归模型与回归方程有何异同？（二）a,b

8、的估计取x的n个不全相同的值x1,x2,,xn作独立试验，得到样本(x1,y1),(x2,y2),,(xn,yn)。由（3.2）式，得yiabxii，i~N(0,2)，各i相互独立。（3.3）于是yi~N(abxi,2)，i1,2,,n。且由y1,y2,,yn的独立性，知y1,y2,,yn的的联合密度为nLi11exp12(yiabxi)2221n1nabxi)2exp2(yi（3.4）22i1现用极大似然估计法来估计未知参数a，b。对于任意一组观察值y1,y2,,yn，（3.4）式就是样本的似然函数。显然，

9、要L取最大值，只要（3.4）式右端方括弧中的平方和部分为最小，即只需函数n)2Q(a,b)(yiabxii1（3.5）取最小值。注意：如果y不是正态变量，则直接用（3.5）式估计未知参数a，b，使得y的观察值yi与abxi偏差的平方和Q(a,b)为最小。这种方法叫最小二乘法。它是求经验公式的一个常用方法。若y是正态变量，则最小二乘法与极大似然估计法给出相同的结果。取Q分别关于a，b的偏