最新径向基函数神经网络学习动态（精品-药学医学精品资料.ppt

《最新径向基函数神经网络学习动态（精品-药学医学精品资料.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最新径向基函数神经网络学习动态（精品）-药学医学精品资料径向基函数神经网络(RadialBasisFunctionNeuralNetwork，RBFNN)主要内容：1、RBFNN结构与工作原理2、常用算法3、学习动态上节课内容回忆：上一节课我们介绍了RBF神经网络的学习方法，在RBF神经网络训练过程中，最主要的首先是RBFNN的中心、宽度的确定，一般中心的确定有这么几种方法：1、固定法；2、随机固定法；3、kohonen中心选择法；4、K-means聚类中心固定法。宽度的确定主要有：固定法（中心确定后，

2、宽度可由类的最大距离与根号下二倍的中心数目之比来确定，这样确定的径向基函数，既不会太平，也不会太尖）；本节课主要讲解内容本节课主要讲解RBF神经网络的学习动态。学习动态是指神经网络在训练过程中所表现出来的各参数的变化情况。主要包括以下内容：网络中不存在冗余节点时，隐节点的变化情况；网络中存在冗余节点时，隐节点的变化情况。概念：最小网络结构：在能对给定目标函数或训练样本实现给定精度学习的RBF网络中，称具有最少隐节点的网络为最小网络。隐节点重合：算法收敛时，如果两个隐节点具有相同的中心和宽度，则称这两个隐节

3、点重合，如果隐节点还具有相同的输出权值，则称这两个隐节点完全重合。隐节点外移：算法收敛前，某隐节点对样本输出矢量不等于0，而算法收敛时该隐节点的数据中心位于样本输入区域以外，且其宽度也已经不足以影响输入区域的样本，导致输出等于0的现象称为隐节点外移隐节点衰减：算法收敛前某隐节点权值不等于0，而算法收敛时该权值等于0的情况称为隐节点衰减。隐节点萎缩：算法收敛前某隐节点对所有样本的输出不等于0，而算法收敛时，该隐节点数据中心虽位于样本输入区域内，且其宽度较小，已经不足以影响附近的样本，出现输出等于0的情况称为

4、隐节点萎缩。学习动态讨论采用高斯函数为基函数，则第i个隐节点的激活函数为：则该神经网络为：假设学习函数为g（x），那么神经网络的学习任务就是通过确定网络的中心、宽度、以及输出权值，使得在神经网络在目标函数自变量的定义域内逼近目标函数，即满足下面的性能指标函数：其中益普赛冷表示一个任意小正数。插值问题与上述问题的关系：插值问题是通过神经网络寻找一个函数，可以使得给定样本点都满足该函数，而上述问题则确定一个网络，使得该网络可以表示目标函数。其实二者是同一个问题。。因此上式可以表示为：在该讨论中，我们假设知道函

5、数g（x）上的N个点，分别为（x1，y1），…，（xN，yN），其中yi表示期望输出，用oi来表示隐节点i的输出，则第j个训练样本在i个神经网络节点的输出为：这样，我们可以定义所有节点对目标输出的误差为：同样可以定义性能指标函数：如果上式等于0，那么我们就可以说神经网络对所有样本实现了完全学习。一、不存在冗余节点的情况分析首先考虑最后一个节点即节点h的参数变化情况：那么有：根据梯度下降法求解上式的中心、宽度以及神经网络权值的导数有：(1)其中那么我们有：(2)(3)分析：由于负梯度是性能指标函数下降最快的

6、方向，根据上面两个式子，我们可以知道，由于高斯函数为正值，因此影响其符号的只有期望输出与实际输出之间的误差以及输入与中心之间的差值。若误差大于0，那数据中心被拉向输入，同时宽度增加；反之，如果误差小于0，中心被推离输入，宽度减小。而中心的调整方向以及宽度是否增加，由所有输入共同决定。中心值与宽度以及权值的最终取值问题：梯度下降法最终将收敛到性能指标函数的局部最小值点，因此算法收敛是必有上述三个导数的值等于0。因此我们可以通过让式（1）、（2）、（3）等于0来求得中心值、宽度以及权值的最终取值。如下：通过上

7、面三个式子我们可以得到：如果某样本输入xi不能激活隐节点h（ohi值较小），或者当前神经网络对该样本的误差较小（ehi,较小），则该xi对ch的影响就较小。隐节点h的数据中心ch最终移向那些未被其它隐节点激活且偏差较大的样本输入。然而第二个式子是算法收敛时rh必须满足的约束条件。其变化必将导致oh发生变化，从而导致eh发生变化，当rh调整到最佳状态时，eh和oh应该是垂直的第三个式子的几何意义相当明显，就是使得eh-1和oh的最小二乘误差达到最小时系数wh的取值。二、存在冗余节点的情况考虑RBF神经网络实

8、现函数g（x）的情况，假定冗余的神经节点数为1，这个神经网络的网络动态，即网络参数的变化情况主要由几个定理来说明：定理1：假设目标函数g（x）可由最小结构网络Net1来实现，而Net2比Net1多一个隐节点。如果Net2也能实现g（x），那么Net2或者有h-1个隐节点与Net1的隐节点完全重合，而余下的那个独立隐节点输出权值为零；或者Net2中有h-2个隐节点与Net1中的隐节点完全重合，而余下的两个重合的隐节点叠加后与Ne