误差反向传播

误差反向传播

ID:40887354

大小:45.00 KB

页数:5页

时间:2019-08-09

误差反向传播_第1页
误差反向传播_第2页
误差反向传播_第3页
误差反向传播_第4页
误差反向传播_第5页
资源描述:

《误差反向传播》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、误差反向传播(ErrorBackPropagation,BP)算法  1、BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。  1)正向传播:输入样本->输入层->各隐层(处理)->输出层  注1:若输出层实际输出与期望输出(教师信号)不符,则转入2)(误差反向传播过程)  2)误差反向传播:输出误差(某种形式)->隐层(逐层)->输入层  其主要目的是通过将输出误差反传,将误差分摊给各层所有单元,从而获得各层单元的误差信号,进而修正各单元的权值(其过程,是一个权值调整的过程)。  注2:权值调整的过程,也就是网络的

2、学习训练过程(学习也就是这么的由来,权值调整)。  2、BP算法实现步骤(软件):  1)初始化  2)输入训练样本对,计算各层输出  3)计算网络输出误差  4)计算各层误差信号  5)调整各层权值  6)检查网络总误差是否达到精度要求  满足,则训练结束;不满足,则返回步骤2)  3、多层感知器(基于BP算法)的主要能力:  1)非线性映射:足够多样本->学习训练  能学习和存储大量输入-输出模式映射关系。只要能提供足够多的样本模式对供BP网络进行学习训练,它便能完成由n维输入空间到m维输出空间的非线性映射。  2)泛化:输入新样本(训练

3、是未有)->完成正确的输入、输出映射  3)容错:个别样本误差不能左右对权矩阵的调整  4、标准BP算法的缺陷:  1)易形成局部极小(属贪婪算法,局部最优)而得不到全局最优;  2)训练次数多使得学习效率低下,收敛速度慢(需做大量运算);  3)隐节点的选取缺乏理论支持;  4)训练时学习新样本有遗忘旧样本趋势。  注3:改进算法—增加动量项、自适应调整学习速率(这个似乎不错)及引入陡度因子  BP算法基本介绍  含有隐层的多层前馈网络能大大提高神经网络的分类能力,但长期以来没有提出解决权值调整问题的游戏算法。1986年,Rumelhart

4、和McCelland领导的科学家小组在《ParallelDistributedProcessing》一书中,对具有非线性连续转移函数的多层前馈网络的误差反向传播(ErrorBackProragation,简称BP)算法进行了详尽的分析,实现了Minsky关于多层网络的设想。由于多层前馈网络的训练经常采用误差反向传播算法,人们也常把将多层前馈网络直接称为BP网络。  BP算法的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传人,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信

5、号)不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。  5,BP算法的网络结构示意图      BP算法输入、输出层各3节点,隐层要多少节点合适?悬赏分:0-解决时间:2010-5-215:16对下面九种模式实现正

6、确的分类:第一类输入样本(3/4,1/8),(1/4,1/4),(3/4,3/4),对于第一类样本对应的期望输出为(1;-1;-1)第二类输入样本(1/2,1/8),(3/4,1/4),(1/4,3/4),对于第一类样本对应的期望输出为(-1;1;-1)第三类输入样本(1/4,1/2),(1/2,1/2),(3/4,1/2),对于第一类样本对应的期望输出为(-1;-1;1)提问者:dingyong198608-一级最佳答案可以使用试凑法,采用公式m=sqrt(n+l)+a,其中m为隐层结点数,n为输入层结点数,l为输出层结点数,a为1-5之间

7、的常数。 2编辑本段摘要  BP神经网络算法是在BP神经网络现有算法的基础上提出的,是通过任意选定一组权值,将给定的目标输出直接作为线性方程的代数和来建立线性方程组,解得待求权,不存在传统方法的局部极小及收敛速度慢的问题,且更易理解。编辑本段关键词固定权值gauss消元法;BP算法  人工神经网络(artificialneuralnetworks,ANN)系统是20世纪40年代后出现的,它是由众多的神经元可调的连接权值连接而成,具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点,在信息处理、模式识别、智能控制及系统建模等领域得到

8、越来越广泛的应用。尤其误差反向传播算法(ErrorBack-propagationTraining,简称BP网络)可以逼近任意连续函数,具有很强的非线性映射能力,而

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。