改进的pso算法优化神经网络模型与其应用-研究

《改进的pso算法优化神经网络模型与其应用-研究》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

目录第一章绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．1研究背景和意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。11．2国内外研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯31．3论文主要研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．41．4论文结构安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．5第二章相关算法理论介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。62．1人工神经网络基本原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。72．1．1生物神经元模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯72．1．2人工神经元模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯82．1．3人工神经网络模型分类⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯82．2三层前馈神经网络⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯92．2．1BP神经网络基本原理及学习算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯92．2．2BP神经网络缺陷⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．132．3PSO算法概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．132．3．1PSO算法思想的起源和研究背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．132．3．2PSO算法的基本原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．142-3．3标准的PSO算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．3．4粒子群算法的基本流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．162．4PSo算法参数的分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯172．5PSo算法的研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯192．5．1．PSO改进算法的研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．202．5．2PSO优化神经网络算法及应用研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．212．6本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯22第三章改进的PS0算法优化神经网络模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．233．1改进的PSo算法基本思想及参数设置⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯233．2基于改进的PSo算法优化神经网络模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯243．3本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。27第四章算法仿真⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。284．1函数及实验参数设置⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．284．2仿真结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．294．3本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．36第五章算法应用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。375．1应用实例之一：径流预测⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．375．1．1径流数据资料来源⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．375．1．2运行环境及参数的选择⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．375．1．3基于改进的PS0算法优化神经网络模型的径流水位预报及结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．37V 5．2应用实例之二：降水预测⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯425．2．1降水资料来源及特征⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．425．2．2预报因子提取⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．425．2．3基于改进的PS0算法优化神经网络模型的月降水预报及结果分析435．3本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯49第六章总结与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯506．1总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯506．2展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯51参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯52附录攻读硕士期间发表的论文⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．57蜀Cj射⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．58VI ContentsChapter1Introduction⋯⋯．⋯⋯⋯．⋯⋯⋯⋯。．．⋯．。。。。。⋯⋯⋯⋯．⋯。。。⋯⋯．11．1BackgroundandSignincance⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l1．2ResearchstatusofDomesticandForeign⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．31．3MainResearchContents⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．41．4organizationalstructure⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。5Chapter2RelatedAlgorithmsTheoreticalIntroduction⋯⋯⋯⋯⋯⋯⋯62．1TheBasicPrinciDleofArtificialNeuralNetwork⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．72．1．1BiologicalNeuronModel⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯72．1．2AnificialNeuronModel⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．82．1．3ClassificationofArtificialNeuralNetworkModel⋯⋯⋯⋯⋯⋯⋯⋯82．2ThreefeedfbrwardneuraIne押ork⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯92．2．1ThebasicDrincipleofBPneuralnetworkandleanlingalgorithm⋯⋯⋯92．2．2BPNeuralNetworkDefects⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯132．3oven唷ewofPSo⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．132．3．1OriginandBackgrl3undofPSOIdeas⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．132．3．2BausicPrincipleofPS0A190ritlml⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯142．3．3StandardPS0Algorithm⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．152．3．4BaSicProcessofPS0⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．162．4AnalysisofPSOAlgorithmParameters⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯172．5ResearchstatusofPSO⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯192．5．1．RIesearchStatusofImprovedPS0⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯202．5．2I沁searchStatusofPSOOptimizationNeuralNetv旧rkAlgorith[IlaJldItsApplication⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．⋯⋯⋯⋯⋯．．212．6Summar、r⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。22Chapter3ImproVedPSOoptimizationneuralnetworkalgorithm．．233．1BasicIdeaofImproVedPSoandItsParameterSettings⋯⋯⋯⋯⋯⋯⋯⋯．233．2NeuralNetworkBasedonImproVedPSo⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。243．3Summary⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。27Chapter4AlgorithmSimulation⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．284．1FunctionandExperimentalParameters⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．284．2SimulationResultsAnalysis⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．294．3Summary⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。36Chapter5AlgorithmApplied⋯⋯⋯。。⋯⋯⋯⋯⋯．。。⋯⋯⋯⋯。⋯．．⋯⋯⋯．。375．1ExampleOfAppUcation1：RunoffForecast⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。375．1．1RunofrDataSources⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．375．1．20peratiIlgenviromnent龇ldp撇etersettings⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯375．1．3ResultsAnalysisBasedonNN衍ⅡlIInproVedPSOWraterR1mofrVII Forecasting⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．3。／5．2ExamplesofApplication2：PrecipitationForecast⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯425．2．1RainfallDataSourcesAndCharacteristics⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯425．2．2PredictorsExtract⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯435．2．3ResultsAnalysisBasedonNNwitllImprovedPSOmontlllyrainfanf-orecast⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．445．3Summarv⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．49Chapter6Conclusions⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯506．1Summary⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。506．2Outlool【．⋯⋯⋯⋯⋯⋯⋯．．⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。5lRef．erences。。．⋯⋯⋯。⋯⋯。。⋯．⋯。⋯⋯。。．⋯。．．．。．⋯⋯⋯．⋯⋯⋯．．⋯⋯．。．。。．。52Appendix⋯⋯。．⋯。。．⋯⋯．。．．。．。．⋯．⋯⋯。．．。。。。。。⋯⋯⋯⋯．．。。．．．．。。⋯．⋯⋯．57Acknowledgements⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯58VIII 第一章绪论广西柳江是珠江流域西江水系主要支流之一，位于广西的北部，发源于贵州的独山县，跨越了黔、湘、桂三个省区，其流域总面积为58270l(rn2，广西占41925kIn2，近20多年来，河川流域的干旱、洪涝灾害等自然灾害频繁的发生，抗旱防洪已成为流域管理所要面临的首要问题。随着全球气候变暖、环境恶化和人类活动等因素对降水影响及径流水文变化的影响加剧，径流预测问题受到科学工作者得广泛关注。1．1研究背景和意义水文现象是受水文、气候、流域自然地理特征等因素综合影响的一个复杂动力学系统，具有随机性、非线性、多时间和空间尺度等特征。其中径流、降水、蒸发是形成陆地水循环的主要部分。气候变化和当地的人类活动直接影响了流域径流的变化。由于我国地理位置的特殊、地形西北高、东南底等特征和气候条件十分复杂。随着全球气候变暖和环境的恶化，自然灾害和极端气候事件频频发生，已经严重地阻碍我国的经济发展以及对人民生命财产安全造成了巨大的威胁。应对极端的气象灾害已成为水文研究者面临的重大课题之一。根据统计，从1990年到2012年期间，各类自然灾害造成我国平均每年约3亿人次受灾，300多万间房屋倒塌，紧急转移安置1000多万人次，直接经济损失2000多亿元。据不完全统计，我国2013年前三个季度，各类自然灾害造直接经济损失5170．8亿元。灾情比2012年同期偏重。由于我国大部分地位处于季风候区，水灾旱灾呈现出明显的区域性和季节性变化。如广西位于亚热带季风气候区，四季分明，气候温和，柳江流域的年径流变化比较平稳，但季节性变化很大，降水时空分布不均匀，夏季4．7月是主要的降水汛期，因为夏季东南风由海洋吹向陆地，雨季持续的时间较长、强度较大、降水较集中，夏季的降水汛期量约是超过全年降水量的60％。有时受强台风影响，多地出现强降雨，而气候的变化和人类活动的影响导致西江流域径流发生了新的变化和严重的流域洪涝灾害。如广西2010年5月31日，因强降雨引起的径流洪涝灾害，造成 改进的Ps0算法优化神经网络模型及其应用研究多人死亡和直接经济损失超过12亿，2013年6月因一次暴雨引起的洪涝灾害造成直接经济损失42．49亿元。准确的径流预测是对国民经济发展具有重要的意义，因为径流量是一个地区的工业农业供水的重要依据，也是地区经济发展规模的重要因素。人工调节和控制天然径流的能力，关系到农业生产和当地人们是否受到干旱洪涝灾害的危害。目前，径流预测技术还存在理论不够完善，预测的精度低等缺陷。气候变化和人类的活动对河川径流量和水位及其敏感，分析径流和水位的长期变化规律并建立准确及时的河川径流预测，不仅能为洪水灾害的风险分析提供良好的基础，也能为流域的水资源保护和管理等工作提供参考依据，因此，找到一种预测模型既能对降水进行预报又能对径流水位提供一种精确度更高的预报对水利管理者具有重要的参考价值。优化神经网络的性能一直是学者们研究的重点，BP算法是最常用的训练方法，其利用误差梯度下降信息来确定训练的方向，具有收敛速度慢，特别是在接近局部极值或全局极值时，收敛的速度变得更慢，而且还会时常出现陷入局部极值【l】。最近十几年，虽然有很多学者对BP算法进行了大量的改进，所得到的收敛速度和精度还是有限的，仍然容易陷入局部最优解。近年来，国内外的许多学者和专家把全局优化性能的群智能优化算法迭代BP神经网络，如遗传算法乜1、粒子群算法口1，这些算法可以克服BP算法的缺陷。但如果针对复杂高维的大规模问题，遗传算法因具有复杂的遗传操作使得网络训练时间和复杂程度出现指数级增长。同时算法也缺乏局部区域的有效搜索机制，在后期收敛速度缓慢可能有停滞现象出现。而PS0算法只有速度一位移模型简单操作，只要根据自己的速度就可以来决定搜索方向，可以避免遗传算法上的缺陷。最近十年，改进的PS0算法来进化神经网络已成为被研究的热潮，并也取得了较好的效果。大量文献表明，PS0算法优化神经网络模型可用于多目标优化、任务分配、模式分类和高维复杂的数据处理等优化问题。但PSO算法发展较短，理论基础和应用推广还需要进一步深入研究。因此，本文基于这个背景对PS0算法进行改进，用于前馈神经网络参数和结构的训练，并将新的方法应用于建立柳江径流水位预测和降水预测模型。因为径流预测和降 第一章绪论水预测是比其他预测问题更具有复杂性和难度性。因此本文研究工作具有非常重要的实际意义和现实价值的。1．2国内外研究现状由于全球气候变暖和人类活动的影响，引起降水径流发生变化的因素具有大量的不确定性和复杂性H{3，所以建立降水径流预测模型十分复杂，目前，还没有找到一个比较统一的、完整的和普遍使用的预报体系。常规采用时间序列方法和协整理论等方法，这些方法很难准确的把握径流的变化规律和特征，主要是因为径流过程表现出强烈的非正态、非线性等特征。20世纪40年代，由美国wARRENMCCULLOCH和WALTERPITTS等提出的神经元模型后开始研究人工神经网络，经过几十年的快速发展，ANN已经成功的应用在多个领域，如图像处理、智能控制、模式识别、自适应信号处理、生物医学工程和非线性优化等诸多学科领域并取得了可喜的应用研究成果。国内外研究者也成功的将神经网络(NeuralNetworks，NNS)方法应用在大气学科和径流预测建模等各个复杂领域睁。1¨。但目前还没有找到确定优化神经网络的各个参数的定量方法，其中采用最多的是BP神经网络，但对于复杂多维的训练数据或设置不同的参数会存在过拟合、收敛速度低、陷入局部最优和预测效果差等缺陷。这就限制了神经网络在实时降水和径流预测模型中的应用口2‘15|。近年来，由于群智能优化算法的出现，大量文献表明，其优化的神经网络应用在天气预报和径流预报模型中，利用遗传算法H，143、粒子群算法盯’10’坞3和线性、非线性回归n31以及各种改进算法或混合算法n卜191进化神经网络，以达到更好的预测效果。其中，改进粒子群算法来进化神经网络已成为被研究的热潮。如文献[19]利用粒子群遗传混合方法优化的神经网络的降水预报具有很好的效果；文献[20]利用粒子群优化性能优化BP神经网络后应用到径流预测中，结果提高了模型的收敛速度和预测精度。目前国内外研究者对粒子群本身存在的一些缺陷，提出了各种改进的思想，如惯性权重的非线性递减瞳¨、自适应变化心2】、随机权重晗33等这些方法都是针对惯性权重这个参数进行改进的方法相对较多，且这些改进的算法在高维复杂问题寻优时仍存在早熟收敛、收敛精度低的缺点。但对惯性权重和学习因子同时改进优化神经网络的径流预报的研究相对少见。 改进的PS0算法优化神经网络模型及其应用研究如DOHALDW和McCann(1992)提出了BP神经网络预报强雷暴事件的研究，实验结果表明具有很好的预测效果瞳4|。S．K．Jain等堙53人利用人工神经网络预测水库的入流量，比自回归滑动平均模型预测效果要好。JulianDorado等皿刚人将遗传算法与人工神经网络相结合进行水文研究，文中分析了降雨与径流之间的转化关系，实验表明该方法比较适合应用在分析径流系统方面。2001年，HONGPINGLIU和V．CHANDRASEKAR等乜71人利用雷达探测到的资料来建立具有白适应神经网络的降水预报，结果表明，具有较高的预报精度。FrancoisAncti等瞳胡人利用人工神经网络与小波相结合方法对河流径流量进行预测，并与人工神经网络模型进行对比。Gillispie研制开发了一些基于ANN的智能系统，美国气象局将其投入了使用，用来进行降水、河川流量和水位预报乜9J。王其虎等口阳人利用流溪河水库1959～2000年径流数据，运用BP神经网络对径流量进行预测。金龙，吴建生等人口门利用遗传算法优化神经网络并建立短期气候预测建模，具有较高的预报精度高和较好的稳定性。JiangLin—li等口扣人将遗传和粒子群混合优化神经网络的结构和参数并建立径流预报，跟传统的BP和单个的算法比较，具有更高的预测精度。1．3论文主要研究内容本文分析了PS0算法以及该算法优化神经网络的研究现状的基础上，从种群多样性、收敛速度等多个角度出发，提出了同时对惯性权重和学习因子改进的PS0算法，用于训练前馈神经网络的参数和结构，并将该模型应用于降水预测和径流水位预测以检验效果。论文主要研究内容如下：(1)PSO算法研究现状及其优化神经网络与应用研究现状介绍目前各种改进粒子群算法并做出分析和归纳了现有方法的优缺点，分析了PS0算法各个参数的作用。(2)改进PSO算法并优化神经网络首先，对粒子群算法进行改进，采用0．5到1的随机分布的方法获取惯性权值来提高全局和局部搜索能力，同时采用异步变化的策略方式动态地来改变学习因子值以加强粒子的学习能力，使得算法跳出局部最优解、具有更快的收敛速度和提高了最优解的精度；其次，将改进粒子群算法优化神经网络应用于 第一章绪论四个测试函数以验证算法的有效性。(3)将改进的算法应用在广西月降水预报和柳州径流预报建模中。针对复杂多维的降水因子和径流因子，采用均生函数和奇异谱处理后，最后采用主成分分析对因子进行降维来获取主要相关信息的因子。并将所有数据设计分成训练样本集和测试样本集，建立基于改进PS0优化神经网络的降水预报模型和径流预报模型。并对预报结果加以分析对比。与标准的、线性惯性权值、随机权值等几种粒子群神经网络在天气降水预报和径流预报上进行对比。1．4论文结构安排本论文共7章：第一章绪论。阐述本论文的研究背景和意义、国内外研究现状、论文的主要研究内容和论文组织结构。第二章相关算法理论研究。首先概述人工神经网络。介绍了应用及优缺点。其次介绍了粒子群优化算法的背景、基本思想、参数的分析以及对PSO算法实现，最后简单介绍了该算法的研究现状和主要应用。第三章改进粒子群优化神经网络。对粒子群优化神经网络改进的具体方法。主要对惯性权重和学习因子同时进行改进使算法保持种群的多样性、跳出局部最优以及加快收敛速度。第四章实验仿真。采用四个常用测试函数来验证本文提出改进的算法的有效性，各个算法的参数的设置，实验结果与线性递减的自适应的粒子群进化神经网络算法和随机权重粒子群的神经网络算法的结果进行分析比较。第五章实例应用。将改进的粒子群算法优化神经网络分别应用于广西降水预报和广西径流水位预报模型中。并对预报因子进行选取和预处理，并分析其结果。第六章总结与展望。对基于改进的粒子群优化神经网络应用于降水预报和径流水位预报模型的总结，并对其未来发展方向进行展望。 改进的PSO算法优化神经网络模型及其应用研究第二章相关算法理论介绍随着对进化计算方法的深入研究，研究者发现进化计算方法具有较强的鲁棒性和全局收敛性，利用进化算法在解空间内进行搜索最优解，能进化网络的权重系数、网络结构和学习规则。将网络的结构进行编码，然后转化成进化的个体，在训练过程中根据进化的规则及适应度函数值的反馈，不断进化寻优以达到搜索到合适的网络结构和相应的参数的目的。因此，将神经网络和进化计算方法结合使用，不仅可以发挥神经网络的映射性能，而且也提高了神经网络的收敛速度和学习能力，得到了广泛的应用口3。35|。进化计算方法在优化神经网络参数时，计算量大，特别是对大规模复杂的问题，在训练的过程当中，神经元和连接的权值的个数都比较多，这就使得进化计算的搜索空间也比较大。在进行优化网络结构和学习规则时，先直接将没有经过训练的网络的结构模式和其学习规则进行编码，将编成的码串用来表示个体；接着执行相应的进化操作，与传统的优化连接权值的方法相比，其搜索空间会变小，但也存在一定的缺陷，如在优化过程中，被选择的任何个体都必须先进行解码，而这些解码串是没有经神经网络训练的，然后再通过传统方法的训练以达到确定其连接的权值，因此，这种方法的收敛速度比较慢阳6J。目前，在大量的文献中发现，进化计算方法中研究最多的是遗传算法。遗传算法能够处理许多复杂的问题，其理论相对比较完善，但仍容易陷入局部最优，在训练神经网络时，因其设置的参数较多而很难控制其过程。近年来，兴起的具有分布性、快速性、协作性和鲁棒性等特点的群智能优化算法得到越来越多研究者的关注，如粒子群优化算法的出现克服了上面描述的缺陷，其具有算法简单直观、参数少、容易实现和计算量偏小等特征，得到了研究者的青睐。目前己广泛应用在神经网络训练、模式分类和函数优化等领域，并取得了比较好的效果。 第二章相关算法理论介绍2．1人工神经网络基本原理人工神经网络(ArtificialNeuralNetworks，A1呵N)，是对人脑组织结构、运行机制的认识和理解的基础之上模拟其神经网络结构和智能行为的一种信息处理系统。经过近20多年来的迅速发展，神经网络技术已成功的应用在各个领域中。人工神经网络是大量神经元通过适当的方式相互连接而成的网络。是对人脑的某些基本特征的描述，如学习、联想、记忆、并行处理信息、模式分类等。也就是说对人脑生物系统进行了抽象、简化和模仿，虽然不能反映人脑的全部功能，但它吸取了人脑生物神经网络的一些优点，具有一些固定的特性：可进行大规模的并行处理，网络的信息处理由处理单元之间的相互作用来实现，并且能快速得到预期的计算结果。(1)具有很强的容错性，局部的损坏对全局影响很小。(2)信息与知识的分布式存储方式，即神经元之间分布式的物理关系。(3)处理单元连接权系的动态演化过程决定了网络的学习与识别。(4)具有记忆与学习功能强等特点。2．1．1生物神经元模型神经元是构成人脑的最基本单位，人的大脑系统是十分复杂的，它是由大约1010～1011个神经元组成。细胞体、树状突起和轴索是构成神经元的主要部分。主要接受和处理信息的细胞体是神经元的主体；树状突起的作用就是将这些信号传送给细胞体，而细胞体又将这些输入的信号重新进行整合和阀值处理；轴索则是各个神经元的信息输出通道。神经元问的相互连接是依靠突轴或神经健的。各神经元之间的连接信号的强弱是随着外部激励信号自适应变化而变化的，大脑的学习过程也是这个原理。可以把整个信息处理过程简单的描述：当大脑受到刺激时，神经细胞就通过树状突起一细胞体一轴索一神经连接，其他细胞这样的顺序传给其他神经细胞。图2．1为生物神经元的基本结构简化图。 改进的PSO算法优化神经网络模型及其应用研究2．1．2人工神经元模型图2．1生物神经元的基本结构20世纪40年代提出了人工神经元模型，其中由美国的McCulloch和Pitts共同提出的形式神经元模型在人工神经网络领域影响最大。图2．2是一个典型多维输入的单个神经元模型。它是由输入值、网络权值、阀值、激活函数以及输出值组成。图2．2人工神经元模型其中_，x：，⋯，h为人工神经网络的输入数信，每个神经元的对应的连接权值为矽=[wl’1，Ⅵ．2，⋯wl。．Ⅳ]，表示输入信息与神经元之间的连接强弱程度；uf_删=釜_wl，，+目为所有输入加权后的和，曰表示神经元的阀值，当u，值超过pf-l时，则神经元被激活。．厂为激活函数，是一种非线性连续模型，一般采用S型(Sigmoid)函数(或称为压缩函数)，因为它具有对信号较好的增益控制。D甜是表示根据输入u，和传递函数及阈值作用后所得到终端的输出。2．1．3人工神经网络模型分类从不同的角度对生物神经系统进行抽象和模拟。人工神经网络具有多种类型。根据网络拓扑结构分类，分为前向神经网络(如有感知器网络，BP网络，径向基函数(I也F)神经网络等)和反馈前向型网络以及互联型神经网络(如Hopfield网络)；根据网络的学习方法分类，可分为有教师的和无教师的学习网 第二章相关算法理论介绍络；根据网络性能分类，分为确定性神经网络和随机型神经网络，或分离散型神经网络和连续型神经网络。此外，还可分为静态神经网络和动态神经网络。2．2三层前馈神经网络前向神经网络是人工神经网络应用最为广泛的一种，该神经网络中的神经元是以层状的方式排列，每层多个神经元之间互不相连，而相邻层之间的神经元是两两相互连接的，后一层结点神经元的输入信息是前一层结点的神经元。典型的三层前向神经网络有BP和I也F神经网络。2．2．1BP神经网络基本原理及学习算法BP(BackPropagation)神经网络是一种基于误差反传的多层前向神经网络，1986年由心里学家L．LMcclelland和D．E．Rumelh耐共同提出的，这种误差反馈网络模型是使用信号前向传播和误差的反向传播动态地调节每层节点间的权值和阈值，最终达到学习和训练的目的。已成为至今影响最大和应用最广的一种网络模型。目前在实际应用中，80％以上的人工神经网络模型都是采用BP网络模型陆0I。BP的拓扑结构由三部分组成，即输入层、隐藏层和输出层，其中隐层可为多层或一层，输出层结点可以为多个也可以为一个。如图2．3是一个多维输入一维输出的三层BP网络结构。输入层权值Xl焉墨迄隐藏层权值输出层如图2．3三层BP神经网络基本结构简化图其中，[xl，x2，．．．xm】_x是m维输入数据集，％是输入层到隐层间的连接权值， 改进的PS0算法优化神经网络模型及其应用研究巳是输入层到隐层之间的阈值，0是隐层到输出层间的连接权值，，．是隐层到输出层间的阈值，】，为网络实际输出值。本文的网络训练激活函数采用常用的Sigmoid函数(即S型函数)：m)=专(2．1)在BP网络训练过程中主要由前向和反向传播两部分组成，即输入信息是沿着各层前向传播的，误差信息则沿着各层逆向传播。设前向神经网络的输入层个数为m个，输出层个数有1个，隐藏层个数有p个，神经网络的训练样本有Ⅳl对。(1)样本的正向计算过程隐藏层节点．，的总输入为曲：曲=§咐而+巳(2．2)f-1隐藏层节点，输出为乃：乃=厂(曲)=厂(墨wf，xf+巳)(2．3)f-l输出层节点，的总输入为Df：Df：圭_，乃+々_，=l输出层节点，的输出为允：多，-／(Df)：墨(厂(兰xfwf，+％))v_，，竹(2．5)f_l，=l。(2)误差信息的反向传播过程由输入信息通过上述网络内部处理后最后得到输出结果，将网络的实际输出与期望输出进行对比，对于每对样本七的误差可定义如下：取=妻妻(矿七一珞)2(2．6)二七=l一般情况把所有一批训练样本误差作为一个整体来处理，即网络对Ⅳ1个训练样本的总误差为：E：釜取七=l(2．7) 第二章相关算法理论介绍如果误差比较大，则将误差值反向送回，通过调整各层单个连接权系数不断重复训练学习来修正网络的权值和阈值，直到误差值减少达到设定的目标值范围内或到设定的最大迭代次数为止。依据误差梯度下降法原则分别修正输出层和隐层的连接权和阀值：输出层权值修正公式：％一口‘嚣一口，鼍。嚣一口‘鲁‘鲁。嚣c2．8，隐藏层权值修正公式“～一p·薏一∥·茜·考·嚣(2．9)。Ow“dBiobiOw娃输出层阀值修正公式：卸一盼筹一卵茜‘鲁一甜筹。鲁‘等(2．10)anovl0rl口vToUlon隐藏层阀值修正公式¨巳一甜考一甜考‘考。考(2·⋯其中学习因子为口(o<口<1)，动量因子为∥(o<∥<1)f=l，2，⋯，肌；，=l，2，⋯，三，，=l，2，⋯，p。经过调整后可得网络连接权值和阀值如下：Ⅵ_，(f+1)=Ⅵ_，(f)+△Ⅵ_，(2．12)V_，以+1)=_以)+△V／，(2．13)0(，+1)=乃p)+△岛．，(2．14)，f(f+1)=，f(f)+卸(2．15)其中，f为训练次数。BP神经网络学习算法的整个训练过程可描述如下：1．初始化各个参数：如随机生成连接权wf_，，V-『，和阀值巳，，f；2．提供训练样本对：从所有样本实例数据中选出一个训练样本集对；3．正向传播过程：利用输入训练样本，产生连接权和阀值并计算各层的输出；4．计算神经网络输出误差值及计算各层误差信号；5．误差反向传播过程：即从输出层逆向逐层按上述修正公式修正各个单元的连接权和阀值；重复执行修正过程，直到满足误差条件为止；6．选取下一组训练样本：重复2～5的计算过程，直到全部的Ⅳ1个样本训练 改进的PSO算法优化神经网络模型及其应用研究完。7．开始进行下一次训练，从第1个样本开始，重复2～5过程，直到网络全局总误差函数E小于预先所设定误差值或网络训练的次数达到预先设定的最大次数，结束整个训练过程。BP神经网络的流程如下：图2．4BP优化神经网络的流程图 第二章相关算法理论介绍2．2．2BP神经网络缺陷由于BP算法是首先利用随机函数生成一组权重系数，然后利用梯度下降法来计算权值的修正量，最后通过误差反向传播重复训练，最终找到最优权值和阈值。但该算法存在收敛速度慢、陷入局部最优、网络稳定性差和出现过拟合现象等缺陷。如因为在实际训练过程中随着不同的初始权值将可能会导致结果完全不同。如果取值不恰当，可能会引起网络振荡现象或不收敛现象，即使可能会收敛但也会导致训练时间变长，又由于实际问题往往是十分复杂且不规则的高维曲面，存在多个局部最优点，使BP算法极易陷入局部最优解。针对BP算法的存在的不足，很多学者对该算法进行了改进，如共轭梯度法、非线性最小二乘算法、修正牛顿法和正交最小二乘算法等，但这些算法都有一个共同点，即在迭代过程中是通过计算目标函数值的梯度，然后找到一个最速下降的方向，并以此进行搜索。这些方法能够快速的收敛到局部最优，但存在无法保证能收敛到全局最优，因为这种基于梯度的下降方向的方法只能反映目标函数的局部性质，这就限制了该类算法在许多优化问题上的应用，从而影响神经网络的泛化性能，极大的限制了神经网络在实际预报中的应用。2．3PSo算法概述粒子群算法啪3(ParticleSwarm0ptimization，PS0)是一种群智能的优化方法。该算法是美国的Kennedy和Eberhart受到鸟集群飞行捕食行为的启发，在1995年共同提出的。PS0算法出现后就一直受到学者们的广泛关注，并对该算法进行了很多改进。但大多数都是对基于惯性权重系数的改进或结合其他优化算法，而对学习因子的研究文献相对较少。2．3．1PSO算法思想的起源和研究背景粒子群算法的产生主要起源于两方面的研究，即由H011and教授在1994年正式提出的复杂适应系统理论(complexAd印tivesystem，cAs)和人工生命的研究。在CAS系统中的成员称为具有适应性的主体，简称为主体，如在鸟群系统中的每只鸟就称为主体。而每个主体与环境以及其它主体能进行交流，在这种交流的过程中不断”学习“或“积累经验”，并且依据自己学到的经验来调整和改变自 改进的PS0算法优化神经网络模型及其应用研究身的结构和行为方式。整个CAS系统的演变或进化包括了新层次和新主体的产生，分化和多样性的出现。如在鸟群系统中，小鸟的出生，由多个小的鸟群形成大的鸟群或鸟群分成多个小的鸟群，鸟在寻找食物过程中不断发现新的食物等。在CAS系统中具有适应性的主体具有四个基本特征：(1)主体是主动的、活得实体；(2)主体与环境以及主体之间的相互影响、相互作用；(3)把微观和宏观有机的联系起来以达到一个稳定的平衡，如微观是指主体对主体之间的影响，而宏观是指环境对主体的影响；(4)引入了随机因素的作用，使其具有更好的描述和表达能力。粒子群优化算法就是受了CAS系统的一个实例的启发而产生的，即鸟群系统行为特性，源于1987年Reynolds对鸟群社会系统Boids的仿真研究。在Boids模型中，一群鸟在空中飞行，群中每只鸟遵循如下三条规则：(1)避免与相邻的鸟发生冲撞。(2)在速度上，尽量与自己周围的鸟保持协调和一致。(3)试图飞向自己感知到的鸟群中心在这个鸟群系统研究中，Reynolds只是将其作为CAS的一个实例仿真研究，但并未将它应用于优化计算中，同时也没赋予它任何其它使用价值。社会心理学家KeIllledy与Eberhart博士在1995年修改了Reyllolds的鸟群聚集模型，并设计将其用于解决优化问题的通用方法。因此，Ke皿edy和Eberhan被学术界人看作是PSO算法的创始人。2．3．2PSO算法的基本原理基本PS0算法是模拟一群鸟寻找食物的过程。在PSO算法中，把一个需要优化的问题看成是在空中正在飞行觅食的鸟群，寻找的食物就是优化问题的最优解，而正在空中飞行的每只鸟就是所谓PSO算法中要进行搜索的每个“粒子”。而这群粒子是以一定的速度在搜索空间不断飞行，而每个粒子是根据其本身的飞行经验及结合同伴的飞行经验来动态地调整自己的速度。在迭代过程中，每个粒子都依据自身的最优位置值和群体的最优位置值来不断地调整自身的位置和速度，在搜索过程中，所有的粒子都有一个适应度值作为目标函数，主要14 第二章相关算法理论介绍用于评价粒子的“好坏”程度，然后把“好”的粒子逐步移到比较优的区域，并最终以达到群体寻找最优解的目的。PS0算法的数学表示如下：第，个粒子的位置：_=“l，而2，．．．坳)第f个粒子的速度：vf=(vfl，vf2，⋯vfD)第f个粒子的所搜到的个体最优位置值：pf=(pfl，岛2，．．．pfD)群体所搜到的全局最优位置值：pg=(pgl，艮2，．．．pgD)在每次迭代过程中，粒子f通过下面公式来更新自己的速度和位置：v谢(f+1)=v谢(f)+cln(p耐一x耐O))+c2您(p鲥一x耐O))(2．16)x耐(f+1)=工耐(f)+1’耐(f+1)(2．17)其中1≤f≤M，1≤d≤D，M表示群体规模大小，D表示粒子的维数；f为迭代的次数；cl，c2为学习因子，也称为加速因子或加速常数，通常取值均为2；，1，，2是0—1之间的一个随机数；公式中的速度v耐设置在【一vm驭，vm双]范围内，如果v谢≥vma)【时，贝0v耐=vm缸；当v耐≤一vma)【时，贝0v耐=～．1，max。从社会学的角度来看，粒子速度是由三项组成，第一项为记忆部分，代表粒子的当前速度，这项可调节粒子的局部搜索能力和全局搜索能力；第二项为粒子的自知项，说明粒子的动作来源于自己的飞行经验，这项可使粒子具有较好的局部搜索能力；第三项为粒子群体的社会部分，反映粒子之间的协同合作与知识共享，促使整个群体靠近当前全局最优值，有利于加强粒子的全局搜索能力。但粒子在寻优过程中，如何使粒子既能沿着之前的速度方向搜索，又能在偏离原先的轨迹进行新的方向的探索之间找到一个平衡点。2．3．3标准的PSO算法针对上述问题，1998年sbj等㈣人在进化计算的国际会议上首次引入了惯性权重因子，对粒子群的速度公式更新为：1，耐(f+1)=wV耐(f)+c1，1(p耐一x诏O))+c2您(pgd—x耐(f))(2．18)带惯性权重的粒子群优化算法被称为标准的PS0。其中惯性权重取值较大 改进的PS0算法优化神经网络模型及其应用研究时，全局搜索能力较强，局部搜索能力较弱；如惯性权重取值较小时则反之。Slli对其进一步研究后，发现动态权重因子可获得更好的寻优结果，并建议采用线性递减权值(LinearlyDecreasingWdght，LDW)策略，其表达式可表示为：w=wm默一墨警竺堑．ff盯(2．19)“maX其中，wm缸，wmin是权重因子的最大最小值；豇盯和ffm舣是当前迭代和最大迭代次数。LDW策略的提出，可使权重因子随着迭代次数的增加而出现缓慢递减，并动态地调节了上一代速度对当前的速度的影响，以此达到动态调节粒子进一步沿着原来轨迹的搜索能力和进行新的方向的探索能力之间的平衡。提高了PSO算法的收敛性能及全局性，并成功应用于很多实际问题。是目前使用最多的一个方法。2．3．4粒子群算法的基本流程标准PS0算法的流程：(1)对粒子群初始化：随机选取群体规模为M的一群粒子，包括位置和速度的初始化；(2)根据适应度函数计算每个粒子的适应度值；(3)最优个体极值：每个粒子适应值与其经历的自身最好位置作比较，若较好，则将其作为当前的最好位置；(4)最优全局极值：将其适应值与其经历的群体最好位置作比较，若较好，则将其作为当前的全局最好位置；(5)根据粒子速度(2．18)和(2．19)和位置公式(2．17)来更新速度和位置；(6)判断是否满足结束条件，即达到设定的最大迭代次数或达到误差目标值，如是，则退出，否则转到(2)。PS0算法流程图2．5所示： 第二章相关算法理论介绍图2．5粒子群算法流程图2．4PSO算法参数的分析在PSO算法中，参数对算法的性能及优化结果起着至关重要的作用，如何选取到合适的参数一直是研究者们对PSO算法的一个重点研究。PSO算法的参数主要有惯性权重因子w、学习因子cl和c2、最大速度vm疆和种群规模M等。 改进的PS0算法优化神经网络模型及其应用研究1．惯性权重因子w分析惯性权重系数w使粒子能够保值一定的运动惯性以及能扩展其搜索空间的趋势，对PSO算法的整体性能起着重要的作用。w较大时，则全局搜索能力较强，同时能扩展粒子的搜索空间，有可能会找到新的解域，但如果w过大，则使粒子可能会跳过群体的最优值；w较小时，则局部搜索能力较强，有可能使粒子在子空间内找出更优的解，但相应的搜索时间会延长，如果w为O，则速度无法记忆性迭代调整，只能在有限的区域内搜索。所以选择适当的权重因子值可以使粒子的局部搜索能力和全局搜索能力达到平衡，增强粒子群的寻优能力。目前，应用最广的是线性递减权值策略(LDw)。2．学习因子的分析学习因子也称作加速因子，cl和c2两个参数是使粒子具有自我总结和向所有群体中优秀个体学习的能力，从而向本群体内或相邻域内最优极值靠近。即决定粒子个体经验和群体经验对粒子运动轨迹的影响，反映了粒子与粒子之间的信息交流。它可以控制粒子与目标位置的距离，若cl和c2取较小的值时，则允许粒子可在目标区域内徘徊，若c1和c2取较大值时，则会导致粒子突然地冲向目标区域甚至越过目标区域。但若cl取为0，c2不为0，则粒子只具有“社会经验”并没有“自身经验”，称这种情况为全局PSO算法，它的特点是收敛速度较快，但针对较复杂的问题时，极易陷入局部最优；如果c2取值为0而cl不为0，则粒子只有“自身经验”而没有群体共享信息，这种称为局部PSO算法，它的特点是搜索速度慢，且得不到最优解，因为在搜索过程中个体之间是没有信息交互的，只能依靠自身得经验进行盲目的搜索。相比惯性权值研究成果，研究学习因子的研究成果比较少，通常情况下，c，和c：取值均为2，在同等条件下，可以得到较好的解。但也有一些改进的策略，如RatnaWeeraA提出的动态调整学习因子的策略口81，认为学习因子c】和c2呈线性递减和递增时能加强粒子的寻优效果。如果选择合适的学习因子参数搭配可使粒子的搜索速度加快，且有可能减少粒子陷入局部最优解。 第二章相关算法理论介绍3．粒子最大速度vm缸分析vm默是一个非常重要的参数，主要是用来对粒子速度进行钳制，粒子的速度在空间中的每一维上都有一个速度范围限制为[一vm戤，vm驭]，决定了问题空间搜索的力度。如果vm默取值太大，则导致粒子们可能会飞过优秀区域：如果vm觚取值太小，则导致粒子们可能无法对局部最优区域以外的区域进行充分的探测，可能会陷入到局部最优解，而无法移动足够远的距离跳出局部最优达到搜索空间中更好的位置。这个值一般由用户根据具体问题而设定。4．种群规模M分析种群规模M大小并没有明确的规定，一般根据具体问题来定，一般设置粒子的个数取为20～50。对于解决大部分的问题而言这样设置10个粒子就能取得较好的效果，但如果对于一些较难的问题或特别指定类别的问题需要取到100或200。张丽平∞们在试验中通过对7中测试函数的寻优分析，结果发现其中有5种函数在粒子数目大于50时，粒子数目对PS0的影响比较小，但如果小于50时，对PSO算法的性能存在着一定的影响。但一般来说M越小，算法越容易陷入局部最优解，M越大，算法的优化性能就越好，但是收敛速度变慢。2．5PSo算法的研究现状自从1995年PSO算法被提出来后，因具有简洁、易于实现、直观及具有良好的适应性，所以，大量学者热衷于通过不同角度对其进行不同的改进，并将这些改进的算法应用于训练神经网络，在理论研究和应用研究方面都有了一定的进展，主要包括以下几个方面：参数选择与优化、算法改进研究、工程应用研究以及与其它的优化算法相结合等。但由于PS0算法的发展比较短，在基础理论和应用推广方面存在一些缺陷，如陷入局部最优和后期收敛速度慢等问题，同时算法的有效性应在实际的应用中更能得到体现，根据不同的问题的特点相应设计出不同的算法，因此，对PSO算法有更深化研究的空间。 改进的PSO算法优化神经网络模型及其应用研究2．5．1．PSo改进算法的研究现状(1)参数选择与优化ShjY等人刚最先对基本PSO算法进行了改进，对PS0算法参数的选择进行了分析，将一个惯性权重参数w引入到原来的速度公式当中，后来又相继提出了自适应调整惯性权重策略、随机的惯性权重策略和模糊的惯性权重策略【40431，陈贵敏等㈣人提出了一种非线性的权重动态调整方法；周敏等【441人利用正弦和正切函数变化的非线性调整权重的策略；EberhartR．C等人提出了一种基于0．5．0．55范围内的随机惯性权重的调整方法。还有其他研究者们也提出了一些不同的惯性权重策略，这种通过对惯性权重的调节来达到局部开发和全局探索能力以及收敛速度的平衡，虽然在很大程度上提高了算法的性能，但针对高维复杂问题寻优时，仍然存在早熟收敛和收敛精度低等缺陷。1997年KeIuledy对两个学习因子参数进行研究，文献中分别对两个参数设置为0，提出了PSO的认知模型和社会模型【421。Ratna、Ⅳeera等‘38】引入了自组织概念，并针对PSO局部收敛能力不强，提出了学习因子的线性调整方法策略，使算法具有更高的收敛速度。Clerc等【45J人提出了压缩因子的概念，并将其加入在PSO算法的速度更新公式中，以此来控制PS0算法的收敛性。接着他又将压缩因子和惯性权重方法作对比，并讨论其各自的优缺点【461。唐岑琦等人【471提出了两个学习因子不等的算法模式，通过实验得到的。清华大学M．JiaJlg采用随机方法对基本的PS0算法中的参数选择和收敛问题进行了研究，也取得了有价值的结果【481。EI．Gallad等【49】人分析了PSO算法的各个参数，如对粒子速度大小、迭代最大最小次数和种群规模大小，并得出了选择这些参数的基本原则，但对一些有约束极值的特殊问题是适合的。虽然上述的研究已取得了较好的效果，但是都忽略了惯性权重参数和学习因子参数之间的相互关系，同时对其进行改进的算法相对较少。(2)与其他进化方法和优化算法相结合为了提高PSO算法的优化性能，近年来，研究者们将PSO算法与其他优化算法思想相结合，由此产生混合PS0算法，并得到了广泛的应用以及取得较好的效果，其设计与分析已经成为研究者研究的一个热点。Angeline【50】提出引入选择算子到PSO算法中，对每次迭代后较好的粒子进行选择并复制到下一代，以确保每次迭代后的粒子群都具有较好的性能，结果表明对一些单峰函数具有 第二章相关算法理论介绍良好的效果。赵志刚等人【5l】在基本PSO算法的基础上，利用改进的非线性递减惯性权重策略来更新速度公式，同时利用随机扰动因子来更新位置公式，并引入变异算子的操作的PSO算法提高了收敛速度和精度，后来又提出了基于随机惯性权重的对PSO优化算法进行简化的方法【52】。夏天等瞄31人将PS0算法和遗传算子相结合优化神经网络具有较好的收敛性能和全局搜索能力，基于群体的适应度方差进行自适应变异的PS0算法【54】、基于模拟退火的PS0算法嘲和李玉军等人提出【56】基于最小二乘支持向量机的PS0算法等其他改进优化算法，提高了局部和全局优化性能。2．5．2PSo优化神经网络算法及应用研究现状PS0算法采用速度一位移简单操作模型，在训练的过程中，其保留了原基本种群特点及并行的全局搜索方法。大量的研究表明，该算法是一种较好的优化神经网络工具。其不仅能优化神经网络的惯性权重系数，而且还可以优化神经网络的结构。利用PS0优化算法对神经网络进行训练，其速度和寻优的结果都比常用的BP算法效果好，主要是由于该算法的中间传递函数可以是可导也可以是不可导以及在训练过程中不再利用梯度信息，这样不容易陷入局部最优解。目前PS0算法被应用的领域越来越广泛，如函数优化、训练神经网络、组合优化，还有遗传算法能应用的领域。针对PS0优化神经网络方面，近年来，国内外已经出现很多研究成果。FvandenBergh等人分别利用标准的PS0算法、自适应PS0(即APS0)算法和协同进化PS0(即CPS0)算法来训练神经网络的权重系数，结果神经网络训练在时间和精度上都有很大改善畸7—8，593。对于实际应用的工程中存在高维和多局部极值的问题，采用遗传算法来优化神经网络，在其训练过程中一般会出现精度不高和收敛速度慢等现象，PS0算法能克服遗传算法的缺点，并成功的应用在多个学科领和工程领域，如TSP问题、机器人路径规划、组合优化、气象预测等实际问题的解决方面都有很好的应用前景。如吴建生等人利用PS0算法优化神经网络的并应用在气象预报嵋印和径流预报研∞妇究中，并取得了较好的效果。№gz等人拍23利用二进制PSO训练前向神经网络结构和利用PS0优化前向神经的权重系数值。 改进的PSO算法优化神经网络模型及其应用研究2．6本章小结本章介绍了人工神经网络的基本原理，前馈神经网络的BP算法优化神经网络的算法、流程以及存在的缺陷。详细的介绍了PS0算法的基本思想和算法的实现，并对其各个参数进行了分析，接着简单地介绍了对PS0算法进行改进的研究现状以及改进的PS0优化神经网络的研究现状及主要应用领域。PS0算法作为一种新起的智能优化算法，虽然应用方面取得一定的效果，但理论还不够成熟，同时基本的粒子群还存在许多缺点，如早熟收敛、稳定性差等，所以，有必要对其进行改进和进一步地探讨与研究。 第三章改进的PSO算法优化神经网络模型第三章改进的PS0算法优化神经网络模型针对基本PS0算法存在的缺点，采用不同的策略，研究者们对PSO算法进行大量的改进，但这些改进的方法基本上是对惯性权重的改进或基于与其它优化算法相结合的改进。而对其它参数的改进比较少，通过上一章节对PS0算法的参数分析中发现，其实学习因子对PSO优化性能也起着重要的影响。虽然与其他优化混合算法优化神经网络也取得较好的效果，但是以增加算法复杂度作为代价，这对复杂大量数据工程应用是很不利的，例如具有大量、复杂的非线性因子的降水和径流预测问题。因此，以进一步改进PSO算法来寻求尽量简单有效的方法，是非常有意义的。为了提高PSO算法的性能和保持粒子群在进化的过程中的多样性，本文提出采用不同方式分别对惯性权重参数和两个学习因子参数同时进行的方法，将改进的PSO算法优化神经网络各个参数及结构。3．1改进的PSo算法基本思想及参数设置(1)权值参数改进在大多数改进的PSO算法中一般采用线性递减策略的来改变惯性权重，在实际的搜索过程中，是不能有效的反映粒子群复杂的非线性行为，目标函数所提供的一些信息也不能充分地被利用，导致其搜索方向的启发性不强。虽然初期惯性权重值能取到有利于全局搜索的较大值，但是存在算法的开销较大而且收敛速度慢的缺点；在后期能得到有利于加速算法收敛的较小值，却容易陷入局部最优解【12】。如果在前期找不到合适的惯性权值，算法将很难收敛到它的最好点。如果采用随机数的特性来调整惯性权值，惯性权值可以在后期也可以取到较好的值，能跳出局部极值，有利于更好的保持种群的多样性和搜索性能，也有利于加快算法的收敛速度。随机惯性权值W的具体计算公式修改为：w=0．5+m玎d／2其中，，．册d函数是产生在【0，1]之间均匀分布的随机数。(2)学习因子参数的改进(3．1) 改进的PS0算法优化神经网络模型及其应用研究学习因子c1调节着向其个体极值方向飞行的最大步长；学习因子c：调节着向全局极值方向飞行的最大步长，这两个因子反映了每个粒子的个体经验和群体经验对每个粒子运行轨迹的影响和粒子群之间的信息交流。所以合适的q和c：值既能加快收敛速度又能不容易陷入局部最优。毛恒㈣博士论文中对c1和cz作了相对非线性调整配对实验，发现ct和cz之和小于3，其算法优化性能是最好的。这里采用异步变化策略的学习因子，使得粒子在后期更多地向社会最优解学习和较少的向自身最优解学习，有利于保持种群的多样性和提高收敛速度。具体修改如下(3)所示：c12clf一(clf—cl，)(七／％a)【)(3．2)c22c2f一(c2，一c2f)(七／％a)【)其中，cl和c2的初始值分别是c·如，和cz叫，迭代终值分别为c·廊和c：加，k表示为当前的迭代次数，1一为最大迭代次数。(3)最大速度最大速度控制着每个粒子在每一维上要移动的距离，对粒子的运动速度进行了规定，有利于防止搜索发散。从某种意义上来说，速度最大值的设定是为每维变量的变化范围，选择最大值问题需要对所研究的问题有一定的先验知识。本文设置为[．1，1]。3．2基于改进的PSO算法优化神经网络模型三层前馈神经网络应用最广的是BP神经网络，由于BP神经网络对初始权值参数选择的敏感，对于处理实际复杂多维的问题，存在后期收敛速度慢和易陷入局部最优解的缺点，然而，PSO算法具有参数少、收敛速度快和全局搜索能力强等优点，本文首先确定前馈神经网络隐藏层节点的个数问题，本实验中采用隐藏层节点个数与输入层节点个数相同，其具体确定的方法是参考了文献[2]提出的隐藏层节点的个数最有可能是在输入层节点个数的附近变化的经验性结论。然后将用改进的PSO算法优化三层前向神经网络的连接权重系数和阀值，能较好的克服BP优化神经网络存在的上述缺陷，并且有效地提高神经网24 第三章改进的PSO算法优化神经网络模型络的性能。可用如下数学公式来描述粒子群一神经网络的优化问题：1M￡．曲即，v，印)2玄盔嗽)一绷】2<占芦拼死(f卜善∥‘善五Ⅵ々-『+巳，))o，+，r(3．3)，=lf=l。’＼j·j／m)=专J．fw∈尺朋×p，v∈Rp×三，p∈尺p，，_∈尺工其中，爿，是输入训练样本变量矩阵，丸(f)为训练样本网络的实际输出矩阵，J，．|}(f)是训练样本的网络的期望输出矩阵。利用PSO算法应用到神经网络训练模型中，则需要为PSO算法提供合适的适应度函数，适应度函数是用于评价群体中各个粒子的优劣程度的标准，一般对于不同的问题，适应度函数的设计也不相同。其中粒子的优劣程度表示了神经网络的准确性。在网络训练过程中样本学习的均方误差越小，说明对应的粒子的适应度就越好，这里采用训练过程产生的均方根误差作为适应度函数，定义公式如下：厂。，=／[，+击薹季cyt。，一夕，cr，，2]c3．4，改进的PS0优化神经网络的基本流程：以三层前馈神经网络为例，其算法过程描述如下：1)初始化参数及随机产生初始群体：种群规模M大小；确定输入层、隐藏层和输出层节点个数；学习因子；目标误差占；权重系数、粒子位置和速度范围都设置在在【．11]的范围内；随机生成粒子的速度向量和位置向量，用来分别表征神经网络的权值和阀值。2)个体粒子编码的方式及初始群体编码格式：对每个粒子的位置及速度进行实数编码，形成一个空间解向量。每个解就是对应的每个粒子的位置。其中粒子位置矩阵向量又包括连接权值矩阵向量和阈值矩阵向量，粒子群编码方式则图3．1所示。 改进的PSO算法优化神经网络模型及其应用研究粒子位置各维表示粒子速度各维表示适应度值工llx12⋯xldV11V12⋯Vld厂(x)x2lz22⋯x2dV2lV22⋯V2d厂(x)一xMlxM2⋯工^掰VMlVM2⋯VJ】l材厂0)图3．1粒子群编码格式上述1)的初始群体是随机产生的一个矩阵，但随机产生的这个矩阵要满足粒子群所示的编码要求3)输入训练样本集，根据设定的适应度函数公式分别计算各个粒子的适应度值，并且得到初始化个体经历最好的位置p耐和群体经历最好的位置p∥。4)结合上述改进参数的速度公式和位置公式来更新每个粒子i的速度和位置，并检查粒子位置和速度各维是否在规定的范围内，如果越上届则取上届值，如果越下界则取下界值。5)若在当前迭代中粒子i的适应度厂(f)的值优于个体自身的最优极值p谢的适应度／(p耐)，则用粒子的当前位置x磊代替p嗣。若优于全局极值p鲥的适应度厂(p∥)，则用该粒子的当前位置x磊代替全局极值。6)反复执行3)～4)步骤进行搜索，直到迭代次数达到设定的最大值或适应度值满足条件。7)把进化后的最后一代得到的新群体一∥解码，输出最终的解决方案，获得合适网络结构连接权和阈值的解。模型建立的流程图如图3．2所示：26 第三章改进的PS0算法优化神经网络模型3．3本章小结图3．2PS0一TFNN流程图在本章中，采用同时对惯性权值w和学习因子q和c2进行改进策略的PSO算法优化三层前馈神经网络，该模型利用算法中的一定范围内的随机变量来调整权值以保持种群的多样性和快速跳出局部最优解；利用异步变化的策略调节2个学习因子参数，使算法更快速收敛到全局最优解，提高了神经网络的性能。 改进的PS0算法优化神经网络模型及其应用研究4．1函数及实验参数设置第四章算法仿真程序在W工N7系统，CPU：13—21003．09GHz，内存：1．91GB，软件Matlab7．8(R2009a)环境运行，各改进粒子群设置的初始参数如表4．1所示。本实验中采用四个测试函数来验证改进PSO优化前馈神经网络算法(简称改进的PS0一TFNN)的有效性，数据的维数为D，四个函数如表4．2所示。本文参考文献[2]中的结论设定三层前向神经网络基本解空间，隐藏层的节点个数与输入层的个数相同，输出层为1。粒子的速度和位置的维数可以设置为L=D木D+D水1+1；各粒子群算法的参数初始化参考表4．1。随机初始化训练样本取120组，对所提出的改进PSO算法与LDWPSO算法优化的神经网络(即LDwPS0一TFNN)、随机权重PS0算法优化的神经网络(即随机权重PS0一TFNN)结果进行对比。并给出4个函数的最优适应度值变化曲线以及对应的误差表。表4．1三种改进的粒子群优化神经网的初始参数设置情况算法参数名称公式或初始值惯性权重w=0．5+rand／2最大迭代次数T。=100改进的种群规模M40PS0一TFNN学习因子1cl2。l，一(clf一。l从七7％ax)(其c2=c2f一(c2，一c2f)(七／k舣)学习因子2中cli=c2f-2．5，c2i=clf-O．5)位置范围、速度范围[一1，1]参惯性权重最大值Wmax=0．9数惯性权重最小值Wmin=0．4标准PS0(或初学习因子1CI=C2=2始学习因子2LDWPS0一TFNN)化位置和速度范围[一l，1]最大迭代次数和种群规T。。=100模MM=40惯性权重w=rand随机权重学习因子1，学习因子2C1=C2=2位置和速度范围[一l，1]PS0一TFNN最大迭代次数和种群规T。。=100模MM=40 第四章算法仿真表4．2测试函数集D厂l=∑xfxf∈【_1，1lD=8，lof=l九=xf+10sin(5xf)+7cos(4工f)xl∈【0，9lD=8，10厂3：兰k2一loc。s(嬲f)+10】工f∈【_5．12，5．12lD=8，10f-1一2咖㈩．2再h砸扣啦酬，zf∈【-100，100lD=8，104．2仿真结果分析分别对四个函数随机取8维和10的150组数据，其中随机选取120数据来训练神经网络。剩下的30组数据作为预测样本。图4．卜4．8分别为四个不同函数的8维和10维输入数据对应的3种不同的PS0优化三层前向神经网络训练过程中各个最优适应度值变化曲线对比图。函数f1运行结果：f1函数三种不I荀算法的适应度值曲线图4．1f1函数三种PSO优化神经网络训练样本最优适应度值变化对比 改进的PS0算法优化神经网络模型及其应用研究f13；}巾不同算法的适应度值曲线图4．2f1函数三种PS0优化神经网络训练样本最优适应度值变化对比函数f2运行结果图：趔蜊趟蜊{2函数的三种算法适应度变化曲线迭代次数图4．3f2函数三种PS0优化神经网络训练样本最优适应度值变化对比30覃l趔趟蜊 第四章算法仿真趔例堪蜊12函数三种算法适应度变化曲线迭代次数图4．4f2函数三种PS0优化神经网络训练样本最优适应度值变化对比函数f3运行结果图：f3函数三种算法适应度变化曲线迭代次数图4．5f3函数三种PSO优化神经网络训练样本最优适应度值变化对比趔世域划 改进的PsO算法优化神经网络模型及其应用研究趔倒毯蜊f3函数三种算法适应度变化曲线图4．6f3函数三种PS0优化神经网络训练样本最优适应度值变化对比函数f4运行结果图：f4函数三种不同算法的适应度值曲线图4．7f4函数三种PS0优化神经网络训练样本最优适应度值变化对比32掣雠趟划 第四章算法仿真趔瑙毯划饵函数三种不同算法适应度值曲线迭代次数图4．8f4函数三种PS0优化神经网络训练样本最优适应度值变化对比从图4．卜4．8可以看出，在迭代次数相同的情况下，相对其它两种方法，本文提出改进的PSO在训练神经网络过程中适应度值最大，即训练过程的均方误差是最小的，则说明具有较高的训练精确度和较好的学习能力。下面是对图4—1进行分析，对改进的PSO—TFNN的训练样本适应度变化曲线可以看出，在前卜20次，最优适应度值变化较快，在20—50次，最优适应度值变化变慢，在50—60次之间最优适应度值又变化很快，60次后最优适应度值变化缓慢，而对于另外两种算法的训练样本适应度变化曲线在多处出现适应度值有停滞的现象，这些现象说明，在进化神经网络过程当中，陷入局部解。由于本文中是采用随机变量来调整惯性权重，可以使算法快速地跳出局部最优解和保持种群的多样性，在搜索的后期也不易发生适应度值停滞的现象；另一方面，在搜索早期学习因子c1取值较大c2取值较小，这使粒子更多地向自身最优学习，这样有利于加强全局的搜索能力；而在搜索的后期学习因子c1取值较小c2取值较大，这就使得粒子更多地向群体全局最优学习，有利于快速收敛到全局最优解。因此，本文提出改进的PS0优化神经网络具有更好的性能。 改进的PSO算法优化神经网络模型及其应用研究从图4．2—4．8也可以看出，在相同的迭代次数的情况下，对不同的训练数据进行训练，本文提出的算法的适应度值最大，则说明网络输出的值与实际值最接近，训练的误差最小。所以，该改进的算法对新的数据样本更具有适应性和良好的性能。表4．3函数的8维数据对应的三种PSO算法优化神经网络的训练误差函模型LDWPS0一TFNN随机权重修改PSO—TFNN数PS0一TFNN平均模拟值2．550873．2514122．58386fl平均误差O．55087O．534070．50073l平均相对误差0．262950．249630．24670平均模拟值4．70245．38174．7677f2平均误差0．68451O．675840．67447平均相对误差O．134770．136140．12952平均模拟值81．89178．79566．736f3平均误差O．498640．501490．52022平均相对误差O．19207O．189880．13769平均模拟值21．70621．72121．705f4平均误差0．16609O．166140．16563平均相对误差0．0076740．00781920．0076516表4．4函数的10维数据对应的三种PSO算法优化神经网络的训练误差函模型LDWPS0一TFNN随机权重修改PS0一TFNN数PS0一TFNN平均模拟值3．270723．199153．21537fl平均误差O．65172O．665030．6385l平均相对误差0．24531O．241580．23402平均模拟值4．95215．3617f2平均误差0．774480．738290．70516平均相对误差0．127040．135520．12572平均模拟值103．75104．5105．21f3平均误差7．02886．695．7869 第四章算法仿真平均相对误差O．27650．18052O．1737平均模拟值21．68321．67921．677f4平均误差0．17218O．17870．16863平均相对误差0．0079578O．00826190．0078166表4．5函数的8维数据对应的三种PSO算法优化神经网络的预测误差函模型LDWPS0一TFNN随机权重修改PS0一TFNN数PSO—TFNN平均模拟值2．644892．6675l2．50134f1平均误差0．603720．580870．25046平均相对误差0．215080．209760．24673l平均模拟值5．0366．36696．124lf2平均误差0．9240．90221O．83344平均相对误差0．177650．168680．12273平均模拟值114．42113．5775．735f3平均误差6．28976．65416．3404平均相对误差0．364270．36570．24434平均模拟值21．70121．72421．712f4平均误差0．201930．202960．20414平均相对误差0．00938840．00945010．0095014表4．6函数的10维数据对应的三种PSO算法优化神经网络的预测误差函模型LDWPS0一TFNN随机权重修改PS0一TFNN数PS0一TFNN平均模拟值3．259743．264393．21399f1平均误差O．906950．956170．82597平均相对误差O．281220．292720．24877平均模拟值4．03685．69534．196lf2平均误差O．842451．01130．77859平均相对误差0．2255O．4864l0．19531平均模拟值92．393114．3590．758f3平均误差5．69538．39587．866平均相对误差0．15606O．152310．11296平均模拟值21．70321．68421．682f4平均误差0．177530．18250．18465平均相对误差0．00820820．008430l0．0085268 改进的PSO算法优化神经网络模型及其应用研究表4．3和表4．4分别列出了四种测试函数的10维数据和8维数据训练神经网络的误差比较。表4．5—4．6分别是四种测试函数的的10维数据和8维数据预测数据的误差比较。从表4．3—4．4我们可以看出，本文改进的算法在训练过程中平均相对误差和平均误差都是最小的，平均模拟值最接近实际平均值，说明具有较高的训练精度和良好的学习能力。从上面适应度曲线也可以看出本文提出的算法具有均方误差值是最小的。这就说明该算法具有较好的鲁棒性。判断一个模型的好坏除了参考模拟效果外，还要参考它的预测效果，从表4．5—4．6的误差对比可以看出，针对8维数据的f1函数和f4函数来看，三种方法的预测精度相差不大，其他两种函数是本文提出的算法精度最高；针对10维数据的四个测试函数来看，本文提出的算法的预测精度最高。同样也说明采用一定范围的随机权重系数和异步变化的两个学习因子对算法的有效性，通过随机变量来调整权值以保持种群的多样性以及能快速跳出局部最优，学习因子策略则能快速收敛到全局最优解，提高了神经网络的性能。优于对比的其它两种算法。4．3本章小结利用四个测试函数来验证本文提出的改进算法的有效性，并与常用的线性递减的自适应的粒子群的神经网络算法和随机权重粒子群的神经网络算法的结果进行对比，仿真结果表明，本文提出的算法具有更高的训练精确度和学习能力，能跳出局部最优解，适宜于建模。同时也说明对惯性权重和两个学习因子同时改进的策略是合理和正确的。 改进的PS0算法优化神经网络模型及其应用研究第五章算法应用5．1应用实例之一：径流预测5．1．1径流数据资料来源本文所采用的数据来自位于中国西南部的柳江流域，是西江流域排水最重要的支流。干流全长773．3公里，年均流量为1865立方米／秒，这里以柳州站平均日流量数据作为该模型的研究对象。该径流预测的数据集包含2007年到2011年5年共1826个数据点作为本文应用实例一中网络的训练样本和测试样本的输入，其中取前4年共1461个作为训练样本集，2011年的365个作为测试样本。5．1．2运行环境及参数的选择本文的程序在WIN7系统，CPU：13—21003．09GHz，内存：1．9lGB，软件Matlab7．8(R2009a)环境运行，输入训练样本和检测样本，各改进粒子群设置的初始参数如表4．1所示。本文将提供的原始数据进行降维和归一化处理后，数据的维数为8，本文参考文献[2]中的结论设定三层前向神经网络基本解空间，网络结构设为8—8—1(其中8为输入层的节点个数，8为隐节点的个数，1为输出层节点的个数)。为了对比各种算法的优化神经网络模型的优劣，本文引入平均绝对误差、平均相对误差、误差小于一定值等评价指标。平均绝对误差为：土芝lyf一萝f(5．1)仃f-1平均相对误差为：土曼地上生d(5．2)月f-1J，f其中，y，是实际值，多，是预测值，以数据的个数。误差<0．1的次数：Iyf一多fI