第六章神经网络的优化学习.doc

《第六章神经网络的优化学习.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第六章：神经网络的优化学习人工神经网络的研究始于二十世纪四十年代，神经网络的优化学习一直是研究热点。1943年美国心理学家WarrenMcCulloch和数理逻辑学家WalterPitts首先提出人工神经元模型；1949年心理学家DonaldO.Hebb提出了神经网络联想式学习规则，给出了神经网络学习方法；1957年美国学者FrankRosenblatt和其他几位研究人员提出的一种简单的且具有学习能力的神经网络——感知器(Perceptron)，并给出了感知器学习规则；1960年BernardWidrow和他的研究生MarcianHoff提出了自适应线性

2、神经元，并给出Widrow—Hoff学习算法；由于Rosenblatt的感知器和Widrow—Hoff的自适应神经网络都是由单层神经元构成，故其具有其内在的局限性。1969年美国著名学者MarvinMinsky和SeymourPapert在其所著的《感知器》(Perceptrons)一书中，对这些局限性进行了全面深入的分析，指出感知机网络不能实现某些基本的功能(如异或等)。Minsky的结论曾一度导致神经网络研究陷入低潮。直到80年代，改进的(多层)感知器网络和相应学习规则的提出才为克服这些局限性开辟了新的途径，并重新唤起人们对神经网络研究的兴趣。本章将

3、主要分析前向神经网络的优化学习方法，以便于更好的了解和掌握神经网络的性能。§6.1感知器学习规则感知器是第一个完整的人工神经网络。由于它具有联想记忆的功能，可以用于模式识别，并且在工程中得到实现，因此，感知器曾经掀起了神经网络的研究热潮。当前，人们仍然认为感知器网络是一种重要的神经网络。对于某些应用问题而言，这种神经网络仍不失为一种快速可靠的求解方法。另外，对感知器网络行为的理解将会为理解更加复杂的神经网络奠定良好基础。因此，这里讨论感知器网络结构及其学习规则十分必要。6.1.1感知器的结构一、单神经元感知器单神经元感知器结构与McCulloch和Pit

4、ts提出的神经元模型十分相似，如图6.1.1。图6.1.1　单神经元感知器结构对于图6.1.1给出的感知器神经元，其净输入及输出为：(6.1.1)若令，则(6.1.2)其中：和是感知器神经元的输出和阈值；是输入向量与神经元之间的连接权系数向量；是感知器的输入向量；是感知器神经元的作用函数，这里取阶跃函数。即(6.1.3)由于单神经元感知器的作用函数是阶跃函数，其输出只能是0或1。当神经元净输入时，当净输入时。可见，单神经元感知器可以将输入向量分为两类，类别界限为(6.1.4)为了便于分析，以二输入单神经元感知器为例说明感知器的分类性能。此时，类别界限为：

5、(6.1.5)若将、和看作为确定的参数，那么式(6.1.5)实质上在输入向量空间中定义了一条直线。该直线一侧的输入向量对应的网络输出为0，而直线另一侧的输入向量对应的网络输出则为1。两点决定一条直线，为了获得这条直线，只要找出该直线与空间坐标轴的交点即可。若令，则可求出该直线在轴上的截距：（当时）(6.1.6)同样若令，则可求出该直线在轴上的截距：（当时）(6.1.7)由式(6.1.6)和式(6.1.7)可得单神经元感知器的类别界限如图6.1.2。当，或当，时，感知器输出；反之，感知器输出。图6.1.2　双输入单神经元感知器的类别界限对于三输入单神经元感

6、知器，其类别界限为：(6.1.8)若将、、和看作为确定的参数，那么式(6.1.8)相当在三空间中定义了一个平面，该平面将输入模式分为两类。三点决定一个平面，为了获得这个平面，同样需要找出该平面与空间坐标轴的交点。若令，由式(6.1.8)可求出该平面在轴上的截距：（当时）(6.1.9)令，由式(6.1.8)可求出该平面在轴上的截距：（当时）(6.1.10)同样若令，由式(6.1.8)可求出该直线在轴上的截距：（当时）(6.1.11)以上三点确定的平面即感知器的类别界限，该平面一侧的输入向量对应的网络输出为0，而平面另一侧的输入向量对应的网络输出则为1。当单

7、神经元感知器的输入为（）时，其类别界限为式(6.1.4)。对于在维向量空间上的线性可分模式，通过一个输入的单神经元感知器一定可以找到一个超平面，将该模式分为两类。二、多神经元感知器由于单神经元感知器的输出只有0或1两种状态，所以只能将输入模式分为两类。而事实上输入向量模式的种类可能有许多种，为了将它们有效地分开，需要建立由多个神经元组成的感知器，其结构如图6.1.3。图6.1.3　感知器神经网络结构图6.1.3所示的神经网络输出为(6.1.15)其中：是感知器网络的输出向量；是各神经元之间的连接权系数矩阵；是感知器网络的输入向量；是感知器网络的阈值向量；

8、是感知器神经网络中的作用函数，由式(6.1.3)确定。对于多神经元感知器而言，每