感知器算法实验.doc

《感知器算法实验.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、感知器算法&BP算法实验硕6333106036072赵杜娟一.实验目的1.理解线性分类器的分类原理。2.掌握感知器算法，利用它对输入的数据进行分类。3.理解BP算法，使用BP算法对输入数据进行分类。二.实验原理1．感知器算法感知器算法是通过训练模式的迭代和学习算法，产生线性可分的模式判别函数。感知器算法就是通过对训练模式样本集的“学习”得出判别函数的系数解。在本次实验中,我们主要是采用硬限幅函数进行分类。感知器的训练算法如下：设输入矢量，加权矢量,则神经元的输出可通过下式来计算（1）这里对于训练结束我们判断的依据

2、是实际输出值与理想预期值之间误差的均方值最小。定义它的均方值记作,令,则可以推出（2）可证存在最佳的加权矢量，使达到最小。解得（3）式（3）给出了求最佳加权矢量的方法，但是需要做大量的统计计算，并且需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出一种递推求解的方法：在给定初始权值后，以这种方法可以得到递推公式：11（4）用这种方法虽然可以保证求得严格的最佳解，且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算。2．BP算法由于硬限幅函数是非可微函数,不能实现多层神经网络的一种有效的LM

3、S学习算法。而BP算法中所用到的是Sigmoid型函数，它既具有完成分类所需的非线性特性，又具有实现LMS算法所需的可微特性。采用S型函数的神经元的输入和输出之间的关系为：（5）采用了S型函数就可将用于单神经元的LMS学习算法适当推广，得到一种适用于前向多层神经网络的有效学习算法。我们现在研究一个采用S型函数的前向三层神经网络来说明其原理。对于训练样本p,它的输入是N维矢量X，X=，网络的第一，二，三层分别包括J，K，M个神经元，它的总输出是一个M维矢量，Y=，第i层到第i+1层之间的权重系数用来表示。可设前向三

4、层神经网络输出各个分量的理想值是,i=0,1,……M-1，而这些分量的实际值是,i=0,1,……M-1，理想值和实际值之间的误差是。各输出误差的平方和可以表示为：（6）现在我们希望改变网络中的各个加权系数，使得尽可能的减小。为此我们可以采取最陡下降算法的公式来调整权重系数。公式如下：式中的是学习的步幅，它应随学习过程而变化。对于通用神经层，它的各个输出与各个输入之间的关系可以表示为：11如果设，则式中的表示s型函数。我们不难看出上式即为给输入加一个恒等于1的部分，在神经网络中也应相应的加一个节点，而且这个节点的权

5、系数就是这一层网络的阈值。经推倒可得权系数调整的递推公式如下：（7）对输出层：对隐含层：现对于三层神经网络有l=3时（输出层）l=2时（隐含层）l=1时（第一层）其中：可见，这一算法的计算过程是先计算第三层（即输出层）的各项“误差分量”，然后用计算第二层（隐含层）的“等效误差分量”，最后再用计算第一层（隐含层）的“等效误差分量”11。只要算出这些误差分量，系数调整量即可立即求得。所以，这是一种由输出层向输入层逐步反推的学习算法，故称之为“逆推”学习算法，或BP算法。三．实验内容1.感知器算法实验本实验利用感知器算

6、法的原理，随机抽取两类的部分数据，然后，用这两类的其他数据来验证分类是否正确。这里是利用感知器两两分类的原理。实验可得结果如下表。其中r1是输入x1所得的分类正确率，r2是输入x2所得的分类正确率，r3是输入x3所得的分类正确率。训练样本数输入不同组数据后的训练次数和分类正确率x1和x2x1和x3x2和x3m=5r1=100%r2=100%k=35r1=100%r3=100%k=15r2=98%r3=50%k=135m=15r1=100%r2=100%k=30r1=100%r3=100%k=30r2=86%r3=

7、98%k=120m=25r1=100%r2=100%k=50r1=100%r3=100%k=75r2=94%r3=88%k=174m=35r1=100%r2=100%k=70r1=100%r3=100%k=70r2=82%r3=100%k=210m=45r1=100%r2=100%k=90r1=100%r3=100%k=90r2=70%r3=100%k=270运行程序进行实验，分别可得下图。下面两个图是x1和x2在训练样本选取5和45时所得的分类效果。下面两个图是x1和x3在训练样本选取5和45时所得的分类效果。

8、11下面两个图是x2和x3在训练样本选取5和45时所得的分类效果。由实验可以得到，x1和x2、x1和x3之间是线性可分的，其分类正确率基本上可以达到95％以上。而x2和x3之间则是无法分开的，分类效果不明显。而且迭代次数也是基本随着所选训练样本数的增加而增加，但无论怎样，对于x1和x2、x1和x3之间，都得到了想要的结果，而x2和x3之间却是用此种办法无法解决的。2．BP