资源描述：
《基于遗传BP算法的神经网络及其在模式识别中的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第21卷第1期长沙交通学院学报Vol.21No.12005年3月JOURNALOFCHANGSHACOMMUNICATIONSUNIVERSITYMar.2005文章编号:1000-9779(2005)01-0053-04基于遗传BP算法的神经网络及其在模式识别中的应用王英健,戎丽霞(长沙理工大学,湖南长沙410076)摘要:介绍了传统的遗传算法与BP算法,并分析了它们的不足。提出了一种将遗传算法和BP算法相结合的遗传BP算法,在遗传算法的群体设计中采用小生境技术,防止优秀个体早期退化。实验证明了此方法的正确性和有效性。关键
2、词:BP算法;遗传算法;小生境技术;神经网络;模式识别中图分类号:TP13文献标识码:A神经网络是近年来人工智能的一个前沿研究领域,应用日趋广泛,在语音识别、模式识别、图像处理[1]和工业控制等领域颇有成效。其中应用最广泛的是BP网络。但有效地确定神经网络的参数和结构,一直是神经网络研究的一个重点也是一个难点。由于传统的神经网络训练算法———BP算法本质上是一种局部寻优的方法,存在学习速度慢、容易陷入局部最优解等弊端,故需要找到一种更有效的训练方法。遗传算法是一种随机的优化与搜索方法,算法搜索轨道有多条,具有良好的并行性、全
3、局优化性[2,3]和稳健性,但其局部寻优能力差,不易获得全局最优解。基于此,本文将两种算法有机地结合起来,提出了遗传BP算法,并在遗传算法的群体设计中采用小生境技术。将该算法应用于对格雷码的模式识别实例中,实验结果证明它比单纯的BP算法和遗传算法收敛速度快,而且有更好的识别结果。1BP算法和遗传算法及其不足1.1BP算法BP算法由信息的正向传递与误差的反向传播两部分组成。在正向传播过程中,输入信息从输入层经隐含层逐层计算传向输出层,每一层神经元的输出作用于下一层神经元的输入。如果在输出层没有得到期望的输出,则计算输出层的误差
4、变化值,然后转向反向传播,通过网络将误差信号沿原来的连接通路反传回来修改神经元的权值直到达到期望目标。随着应用的广泛,BP网络存在的问题也日益显现出来,主要有以下几点。1)收敛速度慢。即使一个比较简单的问题,也需成百上千次的学习训练才能收敛。2)容易陷入局部最优解。BP算法在数学上属非线性优化问题,网络输入输出间的非线性关系致使网络的误差或能量函数是一个具有多极点的非线性空间,而BP算法一味追求的是网络误差或能量函数的单调下降,也就是说,算法赋予网络的是只会“下坡”而不会“爬坡”的能力。正因如此,常导致网络落入局部最小点不能
5、自拔,而达不到全局最小点。所以,有人说它是一种急于求成的“贪心”算法。3)网络的学习、记忆具有不稳定性。一个训练结束的BP网络,当给它提供新的记忆模式时,将使已有的连接权值打乱,导致已记忆的学习模式的信息消失,要避免这种现象,就必须将原来的学习模式连同新加入的学习模式一起重新进行训练。4)网络结构的确定无理论指导。网络隐层的层数及隐层单元数的选取完全凭经验确定,这往往使收稿日期:2004-03-26作者简介:王英健(1958—),男,长沙理工大学副教授.54长沙交通学院学报第21卷网络具有很大的冗余性,无形中也增加了网络的学
6、习时间。1.2遗传算法遗传算法以生物进化过程为背景,模拟生物进化的步骤,将繁殖、交差、变异、竞争和选择等概念引入到算法中,通过维持一组可行解,并通过可行解的重新组合,改进可行解在多维空间的移动轨迹和去向,最终走向最优解。它克服了传统优化方法容易陷入局部极值的缺点,是一种全局优化算法。标准GA求解过程本质上是随机寻优过程,一般不收敛于全局最优解,在多数情况下只能得到全局范围的次优解。综上所述,可以将GA与BP算法相结合,形成一种兼有两者之长的算法———遗传BP算法。此算法将遗传算法的全局寻优能力与BP算法的指导性搜索思想相结合
7、,既克服了寻优中的盲目性,又避免了局部收敛情况的发生。2基于遗传BP算法的神经网络2.1神经网络结构模型神经网络在模式识别、图像处理等方面的广泛应用越来越显示了它解决问题的优越性,而其中应用最广泛的是BP网络。BP网络就是前馈多层神经网络,它是由若干个神经元以一定的连接方式组成的非线性系统,可以模拟复杂的、但不能用确定的数学公式表达的非线性函数关系(这个函数关系是通过节点间连接权和节点阈值的综合运算来实现的)。本文所讨论的网络只有一个隐层,其网络结构图1多层前馈神经网络如图1所示。2.2神经网络编码表示因为要对神经网络的结构
8、和权值同时进行训练,在训练过程中不仅要调整神经网络的权值,还要调[4]整神经网络的拓扑结构。对神经网络拓扑结构的调整,也即对隐层节点个数的调整,涉及到两方面的问题:一个是增加(删除)一个隐层节点,将意味着增加(删除)n+m(n为输入节点个数,m为输出节点个数)个与该隐层节点的连接权;另一个
