商务数据挖掘介绍(教授制作)课件.ppt

商务数据挖掘介绍(教授制作)课件.ppt

ID:56977816

大小:412.50 KB

页数:27页

时间:2020-07-25

商务数据挖掘介绍(教授制作)课件.ppt_第1页
商务数据挖掘介绍(教授制作)课件.ppt_第2页
商务数据挖掘介绍(教授制作)课件.ppt_第3页
商务数据挖掘介绍(教授制作)课件.ppt_第4页
商务数据挖掘介绍(教授制作)课件.ppt_第5页
资源描述:

《商务数据挖掘介绍(教授制作)课件.ppt》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、神经网络西南财经大学统计学院李保坤老师概览神经网络介绍BP算法基本步骤梯度下降法用于神经网络-线性感受器:回归模型-神经元分类-神经网络训练神经网络神经网络介绍是人工智能中研究比较成熟的技术。神经网络最早是由心理学家和神经生物学家提出的,旨在寻求和测试神经的计算模拟。神经网络是一组连接的输入/输出单元,其中每个连接都与一个权值相连。在学习阶段,通过不断调整神经网络的相连权值,使得能够正确预测输入样本的正确类标号。神经网络介绍神经网络通常由输入层、输出层和隐藏层组成,输入层的神经元个数等于样本的特征数+1,输出层就是分类判决层,它的神经元个数等于样本的

2、类别数(2分类1个节点,或公用一个节点)。特点:对噪声数据具有较高的承受能力,但训练需要花费较长的时间。神经网络介绍目前最流行的神经网络学习算法是:后向传播算法(Back-propagation,BP)。它通过迭代地处理一组训练样本,将每个样本的网络预测与实际知道的类标号比较,进行学习。对于每个训练样本,修改连接权值,使得网络预测与实际类之间的均方误差最小。这种修改“后向”地进行,即由输出层,经由每个隐藏层,到第一个隐藏层。BP算法基本步骤1.初始化网络各层的权值及神经元阈值。(一个小的随机数)2.向前传播输入:对每一样本,计算隐藏层和输出层每个单元

3、的净输入和输出。BP算法基本步骤3.后向传播误差通过更新权值和偏置以反映网络的预测误差。OOOOOO输出向量输出节点隐藏层节点输入节点输入向量BP算法基本步骤终止条件:更新权值较小正确分类的样本百分比超过预先指定的训练周期(实践中,权收敛可能需要数百到数十万个周期)梯度下降法用于神经网络给定是梯度,其方向是函数f上升最陡的方向梯度下降法:w会越来越趋向最低点(η是大于0的小数)作为一种有约束学习算法,神经网络是矩阵w(参数,称作权重)为参数的模型神经网络建模是二次优化问题(以下有说明),我们要计算使得残差平方和最小的权重我们将使用梯度下降法梯度下降法

4、用于神经网络g(v)=v线性感受器(LinearPerceptron):多元回归模型线性感受器线性感受器就是多元回归模型:y=out(x)=wTx“训练”模型包括用梯度下降法最小化残差平方和:如何用梯度下降法?线性感受器的训练方法梯度下降法告诉我们要最小化E,按以下革新w那么线性感受器的训练方法梯度下降法告诉我们要最小化E,按以下革新w那么线性感受器的训练方法梯度下降法告诉我们要最小化E,按以下革新w那么我们经常忽略这个2线性感受器的训练方法神经元分类挤压函数:g(h)=1/(1+exp(-h))把实数值1-1转化到0~1之间的值使用y=g(out(

5、wTx))可对具有x属性的观测进行分类:y≥0.5,x属于一个类别,否则另一类挤压函数g(h)=1/(1+exp(-h))我们选择w以最小化神经元分类神经网络含一个隐藏层的网络,输入变量数=2,隐藏层节点数=3神经网络其它神经网络结构2隐藏层+1常数项“跳跃”连接结构后向传播算法把神经网络看作感受器,其输出为:我们的目标是使用梯度下降法计算{Wj},{wjk}以最小化这就是后向传播算法后向传播算法理论上不能保证这一算法会收敛到全局最小实际上,这不是大问题找到合适的隐藏层节点数、训练常数却不是简单的事。关于训练常数:-如果太小,可能要几天才收敛-如果太

6、大,可能会发散-恰当的值很难找到训练神经网络1隐层数一般认为,增加隐层数可以降低网络误差(也有文献认为不一定能有效降低),提高精度,但也使网络复杂化,从而增加了网络的训练时间和出现“过拟合”的倾向。Hornik等早已证明:若输入层和输出层采用线性转换函数,隐层采用Sigmoid转换函数,则含一个隐层的MLP网络能够以任意精度逼近任何有理函数。显然,这是一个存在性结论。在设计BP网络时可参考这一点,应优先考虑3层BP网络(即有1个隐层)。一般地,靠增加隐层节点数来获得较低的误差,其训练效果要比增加隐层数更容易实现。2隐层节点数在BP网络中,隐层节点数的

7、选择非常重要,它不仅对建立的神经网络模型的性能影响很大,而且是训练时出现“过拟合”的直接原因,但是目前理论上还没有一种科学的和普遍的确定方法。目前多数文献中提出的确定隐层节点数的计算公式都是针对训练样本任意多的情况,而且多数是针对最不利的情况,一般工程实践中很难满足,不宜采用。事实上,各种计算公式得到的隐层节点数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象,保证足够高的网络性能和泛化能力,确定隐层节点数的最基本原则是:在满足精度要求的前提下取尽可能紧凑的结构,即取尽可能少的隐层节点数。研究表明,隐层节点数不仅与输入/输出层的节点数有关

8、,更与需解决的问题的复杂程度和转换函数的型式以及样本数据的特性等因素有关。训练神经网络在确定隐层节点数时必须

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。