神经网络与回归方法分析报告(数学建模)

《神经网络与回归方法分析报告(数学建模)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用文档多元回归与神经网络的应用摘要本文主要是通过整理分析数据,以得出题目中所给出的与的函数关系.由于数据并不是很充足，我们选择了所有数据为样本数据和部分数据为验证数据。我们首先采用了多元回归方法，由于数据之间并没有明显的线性或者其它函数关系，模型很难选择，得到的结论对于来说残值偏大，效果很差，于是我们引用了BP神经网络，经过选择合适的参数，多次训练得到合适的网络，拟合得到了相对精确的结果，并进行了验证，最后将三种模型进行了对比。关键字:多元线性回归多元非线性回归最小二乘法牛顿法BP神经网络1.问题重述现实生活中,由于客观事

2、物内部规律的复杂性及人们认识程度的限制,人们常收集大量的数据,基于数据的统计分析建立合乎基本规律的数学模型,然后通过计算得到的模型结果来解决实际问题.回归分析法和神经网络是数学建模中常用于解决问题的有效方法.本文要解决的主要问题是:通过对所给数据的分析,分别用回归方法或神经网络来确立与之间的函数关系，并验证结论。2.问题分析题目要求我们使用神经网络或回归方法来做相关数据处理，相比较之下，我们对回归方法比较熟悉，所以首先选取了回归方法。得到相关函数，并分析误差，再利用神经网络模型建立合理的网络，进行误差分析并和前者比较，得出合

3、理的结论。3.符号说明的自变量个数回归系数残差文案大全实用文档Q偏差平方和分别为两个变量序列的均值第一层网络与第二层网络之间的权值第二层神经元的阈值第二层与第三层之间的权值第三层神经元的阈值第二层与第三层权值调整量第二层与第三层阈值调整量第一层与第二层权值调整量第一层与第二层阈值调整量Logsig函数Tansig函数偏差平方和观察值回归值估计参数回归平方和（p-1）个变量所引起的回归平方和（即除去）偏回归平方和文案大全实用文档4.模型建立与求解4.1多元回归方法它是研究某个变量与另一些变量的函数关系.主要内容是从一组样本数据

4、出发,通过合理分析得到正确的函数关系，建立相应的表达式，并通过相关软件处理得到相应的系数。4.1.1多元线性回归方法1.回归模型的一般形式为：Y=其中是待估计参数，e是随机误差即残差。残差服从均数为0，方差为的正态分布。这就是线性回归的数学模型。，，，，那么多元线性回归数学模型可也写成矩阵形式：其中的分量是独立的。2.参数的最小二乘估计.为了估计参数，我们采用最小二乘估计法.设分别是参数的最小二乘估计，则回归方程为由最小二乘法知道，应使得全部观察值与回归值的偏差平方和Q达到最小，即使=最小文案大全实用文档所以Q是的非负二次式

5、，最小值一定存在。根据微积分中的极值原理，应是下列正规方程组的解：显然，正规方程组的系数矩阵是对称矩阵，用A来表示，则，则其右端常数项矩阵B亦可以用矩阵X和Y来表示：，所以可以得到回归方程的回归系数：3.由于利用偏回归方程和可以衡量每个变量在回归中所起的作用大小（即影响程度），设是p个变量所引起的回归平方和，是（p-1）个变量所引起的回归平方和（即除去），则偏回归平方和为就是去掉变量后，回归平方和所减少的量。4.建立模型5.模型的求解我们通过MATLAB，求得其回归系数，并最终得到与的函数关系：同时通过MATLAB可以得出与

6、的误差结果如下：文案大全实用文档由此,我们可得出结论,采用多元线性回归得出的函数关系对于残差太大,效果很差,对于的拟合也并不是很完美。4.1.2非线性回归方法1.数据标准化我们选用的是非线性模型LSE的Gauss-Newton算法：采用Z-score标准化法，即对序列进行变换：，（1其中，，，则构成新序列，均值为0，方差为1.。首先考虑单参数的非线性回归模型：其残差平方和函数为文案大全实用文档要使取极小值，则令其一阶导数为0，来求.一个近似的方法是用Taylor近似展开来代替。设的初值为，则在点附近函数有近似Taylor展式

7、：可以求的其导数值，简记为：则即为线性回归的残差和.上式被称为拟线性模型.其最小二乘估计是如果我们有的初值，就可以得到另一个新值，进而可以得到一个序列，写出一个迭代表达式，即与的关系。若在迭代过程中有=，即的一阶导数为0，此时取得一个极值。为了避免迭代时间过长或迭代来回反复，可以引入进步长控制函数，由计算机程序根据误差自动调整.上述算法一般称为Gauss-Newton算法.文案大全实用文档2.建立非线性回归模型：采用多元二次多项式函数设函数：通过Gauss-Newton算法和MATLAB计算最终得出以下结果：通过MATLAB

8、编写相应程序所得结果如下：的残差图文案大全实用文档由图可以明显看出误差很大，拟合效果不好。综合多元非线性和多元线性这两种模型，我们可以发现并不适合这两种模型，模拟相对较好，但误差并没有足够小，不再我们的预期效果之内。于是我们采用了BP神经网络。4.2神经网络4.2.1模型的原理BP(Bac