神经网络概述课件.ppt

《神经网络概述课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、神经网络技术概述人工神经网络概述什么是人工神经网络？T.Koholen的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。”人工神经网络是针对生物神经网络提出的，来模拟人脑神经系统的结构和功能，目前实现了对生物神经网络最低级的模拟。人工神经网络研究的发展状况探索时期（开始于20世纪40年代）1943年，神经生理学家麦克拉奇（W.McCulloch)和数学家匹茨（Pitts）合作，应用反馈机制建立了世界上第一个神经网络模型，即人工神经网络（ANN）；1949年，赫布提出改变神经元连接强度

2、的Hebb学习规则；第一次热潮时期（20世纪50年代末——20世纪60年代初）1958年，罗森布.拉特（F.Rosenblatt）设计制作了“感知机”，它是一种多层的神经网络，这项工作首次把ANN的理论探讨付诸于工程实践；1959年，威德罗（Widrow）等提出了自适应线性元件网络，通过训练后可用于抵消通信中的回波赫噪声，在此基础上发展了非线性自适应网络；1960年，他和M.Hoff提出了LMS（LeastMeanSquare)最小方差算法的学习规则；低潮时期（20世纪60年代末——20世纪70年代）1969年，明斯基等在《perceperon》中对感知器的功能得

3、出了悲观结论；1972年，T.Kohonen和J.Anderson分别提出能完成记忆的新型新网络；1976年，S.Grossberg在自组织神经网络的研究；第二次热潮（20世纪80年代至今）1982年，美国物理学家霍普菲尔德（J.Hopfield）陆续提出离散和连续的全互联神经网络模型，并成功求解旅行商问题（TSP）,引起巨大反响；1986年，Rumelhart和McCelland领导的科学家小组提出了（B-P）算法；1987年，首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物；1990年，北京召开首届学术会议。人工神经网络研究的发

4、展状况生物神经元构成神经系统的基本单元，简称神经元。包括细胞体、树突、轴突。轴突树突突触细胞体神经末梢人工神经元模型人工神经元模型可以看成是由三种基本元素组成：（1）一组连接连接强度由各连接上的权值表示，权值可以取正值也可以取负值，权值为正表示激活，权值为负表示抑制；（2）一个加法器用于求输入信号对神经元的相应突触加权之和；（3）一个激活函数用限制神经元输出振幅，激活函数也称为压制函数。因为他将输入信号压制（限制）到允许范围之内的一定值。人工神经元模型输入信号连接权求和阈值激活函数输出图中是神经元的输入，即是来自前级n哥神经元的轴突的信息A，是i神经元的阈值；分别

5、是i神经元对的权系数，也即突触的传递效率；yi是i神经元的输出；f[.]是激励函数它决定i神经元受到输入的共同刺激达到阈值时以何种方式输出。人工神经元模型由神经元模型，可以得到神经元的数学模型表达式：基本特性：（1）非线性（2）非局限性（3）非常定性（4）非凸性激活函数的主要形式一些典型的特性函数阈值型线性s型人工神经网络模型按神经元的连接方式把人工神经网络分为不同的网络模型：（1）分层网络单纯的前向网络具有反馈的前向网络层内互联的前向网络（2）互联网络任意两个神经元之间可以互相连接。互连网络一直处于动态变化之中，最后到达某种稳定状态，也可能进入周期振荡。单纯的前

6、向网络神经元分层排列(输入层、隐层和输出层)。各层之间的神经元全互联，各层内的神经元无连接。每一层只接受来自前一层的输入。从输出层到输入层有反馈的前向网络层内有互连接的网络同一层的神经元可以互相连接.人工神经网络模型按神经网络的学习方式把人工神经网络分为：（1）有导师学习有监督的学习（2）无导师学习无监督的学习（3）再励学习每次都给一个假定，自己去不断缩小。人工神经网络模型按算法分类：（1）Hebb学习算法（2）学习算法（3）随机学习算法（4）竞争学习算法人工神经网络模型Hebb学习算法由DonaldO.Hebb提出，如果两个神经元同时兴奋则它们之间的突触连接加强

7、，如果神经元i是神经元j的上层结点，用，分别表示两个神经元之间的激活值表示两个神经元之间的连接权则Hebb学习规则可以表示为：式中表示学习效率Hebb学习规则是人工神经网络学习的基本规则几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。人工神经网络模型学习方法：误差校正学习算法是根据神经网络的输出误差对神经元的连接强度进行修正，属于有导师学习。权值调整公式：调整目标是使下述公式所表达的误差为最小神经网络的特点不确定性，模糊及数学建模特点并行分布式处理非线性处理具有自学习功能神经网络可采用硬件实现神经网络的应用领域模式识别（1）语音识别语音识别娃娃（2）图

8、像识别与理