资源描述：
《智能控制神经网络控制ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、人工神经网络（3）—BP神经网络主讲：罗健旭华东理工大学自动化系本节内容3.3BP网络1.BP网络结构2.误差反向传播学习算法（BP算法）3.BP算法的特点4.学习算法的改进5.BP神经网络训练的一些问题6.应用matlab设计BP神经网络1.网络结构与多层感知器具有相同的网络结构12Q第1层为输入层，第Q层为输出层，中间各层为隐层。设第q层的神经元个数为nq，输入到第q层的第i个神经元的连接权系数为:神经元模型如下：注:也可以用其他函数作为转换函数,只要该函数是处处可微的.2.BP学习算法问题的提出:设
2、给定P组输入输出样本,具有以下形式：如何利用该样本集对BP网络进行训练，对网络的连接权系数进行学习和调整,使得网络能够表达输入输出样本所蕴涵的函数关系.解决问题的思想：给出一个目标函数，调整连接权系数，使得目标函数最小。误差函数网络关于第p个样本的误差函数为:网络关于所有样本的误差函数为:权值的调整是沿着误差的负梯度方向进行调整,即:BP算法训练过程概述(1)前向传播阶段从样本集中取一个样本,将输入网络,计算各个神经元状态,及最终的网络输出;(2)反向传播阶段计算实际输出与期望输出之间的差按极小化误差的方
3、式调整权矩阵对于输出层有:其中算法推导则权值的修正为:其中，对于隐含层:(先考虑层)依此类推,可求得第q层:则权值的修正为:BP算法的解释:输出层的误差用来调整输出层的权矩阵;用输出层的误差估计输出层前一层的误差,再用输出层前一层的误差估计更前一层的误差.如此获得所有其他各层的误差估计,并用这些估计实现对各层权矩阵的修改.上述过程将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递.3BP网络的特点优点可以逼近任意的非线性映射;全局网络,有较好的泛化能力;缺点收敛速度慢局部最优权值问题网络结构难以
4、确定(隐含层数,隐含层节点数)局部极小问题在学习过程中有时会发现，当学习反复进行到一定次数以后，虽然网络的实际输出与希望输出还存在很大的误差，但无论再如何学习下去，网络全局误差的减小速度都变得十分缓慢，或者根本不再变化。这种现象就是因网络收敛于局部极小点所致。因此，BP网络的收敛过程，很可能在遇到局部极小点便被“冻结”，而无法最终收敛于全局最小点，也就无法对学习模式准确记忆。局部极小点全局极小点局部极小点有些像高山滑雪运动员，总是在寻找坡度最大的地段向下滑行．当他处于A点位置时，沿最大坡度路线下降．到达局
5、部极小点，则停止滑行。如果他是从B点开始向下滑行，则最终他将到达全局最小点。由此可知，BP网络的收敛依赖于学习模式的初始位置。适当改变网络中间层的单元个数，或给每个连接权加上一个很小的随机数，都有可能使收敛过程避开局部极小点。4BP学习算法的改进(1)1引入动量项K时刻的负梯度K-1时刻的负梯度减小了学习过程的振荡趋势,改善了收敛性.动量因子BP学习算法的改进(2)2变步长法学习率α的选择对于学习至关重要.α太小,学习很慢,α太大,学习会振荡,甚至发散.当连续两次迭代其梯度方向相同时，表明下降太慢。这时可
6、使步长加倍；当连续两次迭代其梯度方向相反时，表明下降过头，这时可使步长减半。BP神经网络训练的一些问题(1)数据样本集的产生包括原始数据的收集、数据分析变量选择：分析变量之间的相关性，选择最重要变量作为神经网络的输入以及数据的预处理尺度变换：变换到[01]，或者[-11]之间野点剔除：异常点，显著误差数据样本集的分类:训练样本集测试样本集数据样本集的大小一般原则：取的数据越多，学习和训练的结果使越能正确反映输入输出关系。矛盾：数据太多：导致收集、分析数据以及网络训练代价大；数据太少：有可能得不到正确的结果
7、。事实上数据的多少取决于许多因素，其中网络大小最关键。通常较大的网络需要较多的训练数据。经验规则是：训练样本应是连接权总数的5到10倍。数据样本的分布：在样本空间均匀分布BP神经网络训练的一些问题(2)网络结构的确定网络结构的确定尚无精确的理论作指导，多以经验和试凑来决定。总的原则是:满足性能的前提下，使网络结构尽可能简单.需要几个隐含层?原则:首先考虑一个隐含层隐含层需要多少节点?原则:在能反映正确的输入输出关系的基础上,尽量选用较少的隐层节点数.当一个隐含层需要的节点数过多时,可考虑增加隐含层数BP神
8、经网络训练的一些问题(3)网络的泛化能力:神经网络经过训练后,网络找出了蕴含在样本数据中的输入和输出之间的本质联系，从而对于未经训练的输入也能给出合适的输出，这种功能叫做泛化能力。网络的性能主要用它的泛化能力来衡量,泛化能力不是用训练数据,而是用一组独立的测试数据来加以检验。泛化均方误差:不是训练次数越多,泛化能力越强.不是节点数越多,泛化能力越强.试验法确定网络结构.均方误差训练数据测试数据训练次数6应用matlab实现BP
