探析神经网络的动态行为与优化计算

《探析神经网络的动态行为与优化计算》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东南大学博士学位论文神经网络的动态行为与优化计算姓名：孙长银申请学位级别：博士专业：控制理论与控制工程指导教师：冯纯伯20031018摘要自20世纪40年代信息科学的开创时期诞生到现在，人工神经网络的研究已经走过了漫漫半个多世纪的曲折历程，吸引了许多领域科学家的重视和研究，有关的杂志，会议不断涌现，成为现代脑神经科学、数理科学以及信息科学等综合研究领域的共同的科学前沿之一．反馈神经网络是典型的人工神经网络模型之一，也是在神经计算方面发展得最早、研究人员最多、应用最为广泛的一类人工神经网络模型，在工

2、程上有着重要的应用和前景．著名的Hopfield网络就属于其中一种．本文基于Lyapunov泛函方法，以拓扑度，M矩阵及线性矩阵不等式(LMI)为主要工具，针对反馈神经网络理论和应用中亟需解决的若干重要问题进行了研究，包括动态特性、更好地模拟生物神经系统、设计出易于使用的工程化神经网络模型以及如何避免陷入局部极小等．本论文包含以下六个部分，第一部分介绍最优化计算和神经网络的发展趋势、研究概况、在最优化计算和神经网络动态行为研究中所涉及到的一些主要方法和存在的问题．第二部分系统地研究了一类反馈神经网

3、络的全局指数稳定性，仅假设激活函数是全局李普希兹连续的，给出了其平衡点的存在性、唯一性和指数稳定性的充分条件．本章结果拓宽了可应用的激活函数范围，并且说明了神经网络具有很强的全局指数收敛能力．所得结果对于神经网络的应用具有重要的指导意义．第三部分研究了一类具有脉动信号的神经网络的动态特性．以线性矩阵不等式和拓扑度为分析工具，利用Lyapunov泛函法分别给出了常数时滞神经网络的全局稳定性和连续分布时滞神经网络的的全局稳定性的充分条件．没有假设激活函数具有Lipschitz连续性、可微性和严格单调递

4、增的性质，所得结果可以用来分析生物神经网络的某些动态或者设计稳定的人工神经网络．第四部分研究了一类带有周期输入的神经系统的周期解．以M矩阵为工具，首先给出了连续时间神经网络模型的指数周期解的充分条件；其次提出了所研究的连续时间神经网络模型对应的离散时间神经网络模型；最后证明了离散时间网络模型继承了所对应的连续时间网络模型的指数周期性．所得结果为神经网络的工程实践和计算机仿真提供了方便，第五部分研究了一类时滞神经网络的鲁棒性．以Young不等式为引理，以Poincare映射为工具，利用Banach压

5、缩映射原理，证明几类具有常时滞的神经网络的周期解的存在性，且在所设条件下这类周期解是全局鲁棒指数稳定的．进而，在理论上揭示了鲁棒指数周期性和鲁棒指数稳定性之间的一些内在联系，给出了神经网络的全局鲁棒指数稳定性的充分条件．第六部分针对非线性优化问题，参照[171]，给出了～种求解全局优化问题的两阶段神经网络模型；该模型包含两个阶段：函数值下降阶段和求下降点阶段．它从任意给定的初始点出发，先在第一阶段中．进行局部极小化．得到一个稳定点，如果该点不是全局极小点，那么，利用第二阶段，求出也必可求出一个下降

6、点，并把它作为下次函数值下降阶段的初始点，交替使用这两个阶段，最终可得全局极小点．严格证明了两阶段神经网络模型对于无约束优化问题，无论其含有限个局部极小点还是无穷多个极小点，总可以求得全局极小点．最后，针对实际中目标函数的梯度函数可能存在间断点的情形对两阶段神经网络方法提出了进一步修正的方案．仿真结果表明，该方法是有效的．本章是[171]的深化和完善．关键词：神经网络，时滞，激活函数，鲁棒稳定，周期解，全局优化AbstractSincethefourthdecadeof20thcentury，th

7、estudyofartificialneuralnetworks(ANN)haseverbeenevolvingforabouthalfacenturyandithasattractedalargenumberofresearchersinmanydifferentareas．NowANNhasbecomeafrontierofencephaloneuralscience，matbematicsandinformationscience．Feebaekneuralnetworkisoneofthe

8、mostimportanttypesofANN．Ithasfoundwideapplicationinengineering，suchasoptimizationcomputing．Well—knownHopfieldneuralnetworkisincludedaSaparticularcase．BasedonLyapunovfunctionapproach，thisdissertationdevotedonseveralissuesstandinginneedofsolutio