bp神经网络泛化能力改进研究

《bp神经网络泛化能力改进研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、太原科技大学硕士学位论文BP神经网络泛化能力改进研究姓名：夏玫申请学位级别：硕士专业：计算机软件与理论指导教师：陈立潮20090701BP神经网络泛化能力改进研究中文摘要随着BP神经网络研究的逐渐深入，泛化能力作为它的一个重要评价指标也引起了人们的广泛讨论。泛化能力体现了神经网络识另,]iJll练集合以外的样本集合的能力，它对神经网络能否应用在实际的生产中起着决定性的作用。BP神经网络的泛化能力比较敏感，容易影响到神经网络的稳定度，反映在BP神经网络中表现为容易陷入到局部极值中、训练速度较慢等，这些都制约着BP神经网络发展。人们尝试利用模拟退火、遗传算法等多种方法对BP神经网络的拓扑结构、学

2、习方法等方面进行改进，使得它能够快速、准确的进行拟合和预测，并以此来增强BP神经网络自身的泛化能力。本文主要研究了影响BP神经网络泛化能力的因素，包括样本空间、初始权值、网络结构参数等几个方面，并针对BP神经网络训练速度较慢、网络结构难以确定、易陷入局部极值等问题，提出了三种独立的改进算法：基于PCA的GA-BP神经网络改进算法、自确定结构参数的GA—BP神经网络改进算法和自确定结构参数的PCA．GA．BP神经网络改进算法。其中，基于PCA的GA．BP神经网络改进算法是通过主成分分析方法对BP神经网络的样本空间进行合理降维和去噪，并利用遗传算法逐步迭代出优化的初始权值，减少了网络训练时间，并

3、有效避免了神经网络陷入到局部极值中；自确定结构参数的GA．BP神经网络改进算法是在一种自确定BP神经网络隐层及隐层单元数目方法的基础上，结合遗传算法提出的，该算法将传统的三层BP神经网络扩展成为三层／四层BP神经网络，提高了网络的预测准确率；而自确定结构参数的PCA．GA．BP神经网络改进算法在自确定结构参数的GA．BP神经网络改进算法中加入主成分分析方法，从样本空间、初始权值和网络结构参数三个方面对BP神经网络进行改进，使得BP神经网络的训练速度得到加强。本文通过大量数据验证了三种改进算法改进BP神经网络泛化能力的有效性，并针对不同的样本数据对三种改进算法的预测准确率进行比较，总结了每种算

4、法适应的条件和各自的特点。关键词：BP神经网络；泛化能力；主成分分析；遗传算法；网络结构参数ResearchonImprovingGeneralizationofBPNeuralNetworkGraduateName：MeiXiaMajor：ComputerSoftwareandTheoryDirectedby：LichaoChenABSTRACTWiththedeeplyresearchonBPneuralnetwork，generalizationisarousedwidelydebatingofpeopleasanimportantevaluationindex．Generalizat

5、ionistheabilitythatneuralnetworkcanidentifythesetsexcepttrainingset，anditdecideswhethertheneuralnetworkcanbeusedornotintheproduction．ThegeneralizationofBPneuralnetworkisverysensitive，SOit．affectsneuralnetwork’Sstability．Inotherwords，itiseasytogetintoalocalvalueandslowtrainingspeed，SOthedevelopmento

6、ftheBPneuralnetworkisrestricted．一●●‘●·-。‘Peopleuseslmulatedannealing，genetmalgorithmandSOontoimprovetopologicalstructureandlearningmethod．Itcanfitandforecasttheneuralnetworkfastandaccurately．BythesewaystheBPneuralnetwork’Sgeneralizationcanbeimproved．ThefactorsaboutthegeneralizationoftheBPneuralnetw

7、orkarestudiedinthispaper,forexamplesamplespace；initialweights，theparametersofnetworkstructure，andSOon．BecauseBPneuralnetworktrainingspeedisslow,networkstructureishardtodetermine，andeasytogetintoalocalvaluea