模式识别学习论文

《模式识别学习论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、人工神经网络几种算法的学习和总结学号：120070707姓名：王子鉴人工神经网络就是科学家和工程师尝试模拟生物学上的神经元体系结构及其操作。任何一个人工神经网络模型要实现某种功能的操作，就必须对它进行训练，让它学会要做的事情，并把这些知识记忆（存储）在网络的加权中。所以研究者需要对神经网络进行必须的训练，对系统的训练通常是指调整网络加权的操作动作和过程，利用计算机实现时需要有程序算法进行支撑进行模拟，在神经网络的研究早期有很多著名的科学家和工程师开发了一些经典算法，如Hebb算法，σ训练算法等，在神

2、经网络的发展进程中，人们仍一直在以生物学习训练的模式作为目标，继续探索新的算法。学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传

3、播法，即BP(errorBackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。BP算法：BP算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如下图所示：它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接．但是，它们的状态则影响输入输出之间的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。设有一个m层的神经网

4、络，并在输入层加有样本X；设第k层的i神经元的输入总和表示为Uik，输出Xik；从第k—1层的第j个神经元到第k层的第i个神经元的权系数为Wij各个神经元的激发函数为f，则各个变量的关系可用下面有关数学式表示：Xik=f(Uik) 反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。1．正向传播输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，

5、如果现行输出不等于期望输出，则进入反向传播过程。2．反向传播反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。在反向传播算法应用于前馈多层网络时，采用Sigmoid为激发面数时，可用下列步骤对网络的权系数Wij进行递归求取。注意对于每层有n个神经元的时候，即有i＝1，2，…，n；j＝1，2，…，n。对于第k层的第i个神经元

6、，则有n个权系数Wi1，Wi2，…，Win，另外取多—个Win+1用于表示阀值θi；并且在输入样本X时，取x＝(X1，X2，…，Xn，1)。算法的执行的步骤如下：1．对权系数Wij置初值。对各层的权系数Wij置一个较小的非零随机数，但其中Wi,n+1=-θ。2．输入一个样本X＝(xl，x2，…，xn，1)，以及对应期望输出Y＝(Y1，Y2，…，Yn)。3．计算各层的输出对于第k层第i个神经元的输出Xik，有：Xik=f(Uik)4．求各层的学习误差dik，对于输出层有k＝m，有dim=Xim(1-X

7、im)(Xim-Yi)，对于其他各层，有：5．修正权系数Wij和阀值θ时有：其中：6．当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。这个学习过程，对于任一给定的样本Xp＝(Xp1，Xp2，…Xpn，1)和期望输出Yp=(Yp1，Yp2，…，Ypn)都要执行，直到满足所有输入输出要求为止。Hopfield模型：Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。Hopfield网络有离散型和连续型两种。反馈

8、神经网络由于其输出端有反馈到其输入端；所以，Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。应该指出：反馈网络有