人工神经网络简介资料ppt课件.ppt

《人工神经网络简介资料ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

人工神经网络ArtificialNeuralNetwork1 第三章人工神经网络人类具有高度发达的大脑，大脑是思维活动的物质基础，而思维是人类智能的集中体现。思维是人脑的信息处理方式。人脑的思维有逻辑思维、形象思维和灵感思维三种基本方式。逻辑思维的基础是概念、判断与推理，即将信息抽象为概念，再根据逻辑规则进行逻辑推理。由于概念可用符号表示，而逻辑推理可按串行模式进行，这一过程可以写成串行指令由机器来完成。计算机就是这样一种用机器模拟人脑逻辑思维的人工智能系统。2 卡斯帕罗夫在与“深蓝”对弈(右为“深蓝”现场操作者)第三章人工神经网络3 主要内容3.1概述3.2神经网络基础知识3.3神经网络模型3.4神经网络算法3.5神经网络应用4 一、人脑的信息处理信息综合能力综合判断耳听八方眼观六路经验直觉3.1概述第三章人工神经网络5 二、人脑与计算机信息处理机制的比较系统结构3.1概述第三章人工神经网络6 主要内容3.1概述3.2神经网络基础知识3.3神经网络模型3.4神经网络算法3.5神经网络应用7 人工神经网络（ArtificialNeuralNetworks，简记作ANN），是对人类大脑系统的一种描述。ANN是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。人工神经网络是对人脑的模拟人工神经元模拟生物神经元人工神经网络模拟生物神经网络3.2神经网络基础知识第三章人工神经网络8 神经生理学和神经解剖学的研究结果表明，神经元是脑组织的基本单元，是神经系统结构与功能的单位。人类大脑大约包含有1.41011个神经元，每个神经元与大约103～105个其它神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。3.2神经网络基础知识第三章人工神经网络神经元组成：细胞核、树突、轴突、突触完成：神经元间信息的接收、传递和处理。9 3.2神经网络基础知识第三章人工神经网络10 3.2神经网络基础知识第三章人工神经网络从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。11 信息输入生物神经元——信息处理单元3.2神经网络基础知识第三章人工神经网络12 信息传播与处理生物神经元——信息处理单元3.2神经网络基础知识第三章人工神经网络13 信息传播与处理（整合）生物神经元——信息处理单元3.2神经网络基础知识第三章人工神经网络14 信息传播与处理结果：兴奋与抑制生物神经元——信息处理单元3.2神经网络基础知识第三章人工神经网络15 信息输出生物神经元——信息处理单元3.2神经网络基础知识第三章人工神经网络16 主要内容3.1概述3.2神经网络基础知识3.3神经网络模型3.4神经网络算法3.5神经网络应用17 神经网络的基本功能之一分类与识别功能3.3神经网络模型第三章人工神经网络18 神经网络的基本功能之二优化计算功能3.3神经网络模型第三章人工神经网络19 神经网络模型的假设：1）每个神经元都是一个多输入单输出的信息处理单元；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号输入可以起刺激作用，也可以起抑制作用。3.3神经网络模型第三章人工神经网络20 人工神经元－信息处理单元3.3神经网络模型第三章人工神经网络21 信息输入人工神经元－信息处理单元3.3神经网络模型第三章人工神经网络22 信息传播与处理：加权求和人工神经元－信息处理单元3.3神经网络模型第三章人工神经网络23 信息传播人工神经元－信息处理单元3.3神经网络模型第三章人工神经网络24 信息传播与处理：非线性人工神经元－信息处理单元3.3神经网络模型第三章人工神经网络25 信息输出人工神经元－信息处理单元3.3神经网络模型第三章人工神经网络26 3.3神经网络模型第三章人工神经网络27 激励函数3.3神经网络模型第三章人工神经网络——神经元j的阈值；vij——神经元i到j的连接系数或称权重值；f()——神经元激励函数28 (a)阈值型(b)分段线性型(c)Sigmoid函数型(d)双曲正切型激励函数一般具有非线性特性，常用的非线性激励函数如下：3.3神经网络模型第三章人工神经网络这里，称为激活值29 激励函数(ActivationFunction)执行对该神经元所获得的网络输入的变换。1、阈值函数（ThresholdFunction）10阶跃函数人工神经元模型MP模型(McCulloch-Pitts)3.3神经网络模型第三章人工神经网络30 1、阈值函数（ThresholdFunction）、和均为非负数激励函数(ActivationFunction)执行对该神经元所获得的网络输入的变换。3.3神经网络模型第三章人工神经网络31 2、分段线性函数（RampFunction）1-1激励函数(ActivationFunction)执行对该神经元所获得的网络输入的变换。3.3神经网络模型第三章人工神经网络32 3、Sigmoid函数（S型函数、LogisticFunction）a＋baa＋b/2激励函数(ActivationFunction)执行对该神经元所获得的网络输入的变换。3.3神经网络模型第三章人工神经网络33 最常用的激励函数103、Sigmoid函数（S型函数、LogisticFunction）激励函数(ActivationFunction)执行对该神经元所获得的网络输入的变换。3.3神经网络模型第三章人工神经网络34 简单单级网……x1x2…xno1o2omwnmw11w1mw2mwn1输出层输入层3.3神经网络模型第三章人工神经网络35 单纯层次型结构3.3神经网络模型第三章人工神经网络网络拓扑结构36 单级横向反馈网输出层x1o1w11w1mx2o2w2m………xnomwn1输入层V3.3神经网络模型第三章人工神经网络37 多级网输出层隐藏层输入层o1o2om…x1x2xn………………3.3神经网络模型第三章人工神经网络38 层次划分输入层：被记作第0层。该层负责接收来自网络外部的信息输出层隐藏层输入层o1o2om…x1x2xn………………3.3神经网络模型第三章人工神经网络39 第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。输出层：它是网络的最后一层，负责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号。输出层隐藏层输入层o1o2om…x1x2xn………………3.3神经网络模型第三章人工神经网络40 约定:输出层的层号为该网络的层数：n层网络，或n级网络。第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。W(1)W(2)W(3)W(h)3.3神经网络模型第三章人工神经网络输出层隐藏层输入层o1o2om…x1x2xn………………41 循环网x1o1输出层隐藏层输入层x2o2omxn…………………3.3神经网络模型第三章人工神经网络42 输出层到输入层有连接3.3神经网络模型第三章人工神经网络网络拓扑结构uy43 层内有连接层次型结构3.3神经网络模型第三章人工神经网络uy网络拓扑结构44 全互连型结构3.3神经网络模型第三章人工神经网络uy网络拓扑结构45 局部互连型网络结构3.3神经网络模型第三章人工神经网络网络拓扑结构46 前馈型网络3.3神经网络模型第三章人工神经网络网络信息流向类型47 反馈型网络3.3神经网络模型第三章人工神经网络网络信息流向类型48 激励函数一个神经元，用表示3.3神经网络模型第三章人工神经网络49 主要内容3.1概述3.2神经网络基础知识3.3神经网络模型3.4神经网络算法3.5神经网络应用50 输出层隐藏层输入层………x1x2xn…WVo1o2om…3.4神经网络算法第三章人工神经网络51 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动态调整。3.4神经网络算法第三章人工神经网络52 人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程。3.4神经网络算法第三章人工神经网络53 神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督学习)死记式学习3.4神经网络算法第三章人工神经网络54 无导师学习(UnsupervisedLearning)：无监督学习或无导师训练(UnsupervisedTraining)抽取样本集合中蕴含的统计特性，非常适合模式的自动分类。在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，并以神经元之间的联接权的形式存于网络中。3.4神经网络算法第三章人工神经网络55 有导师学习(SupervisedLearning)：有导师训练(SupervisedTraining)输入向量与其对应的输出向量构成一个“训练对”。有导师学习的训练算法的主要步骤包括：1）从样本集合中取一个样本（Ai，Bi）；2）计算出网络的实际输出Oi；3）求Di=Bi-Oi；4）根据Di调整权矩阵W；5）对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。3.4神经网络算法第三章人工神经网络有导师学习56 灌输式学习的权值不是训练得到的，而是通过设计得到的，以后当给定的有关该例子被输入时，例子便被回忆起来。3.4神经网络算法第三章人工神经网络灌输式学习57 1、BP算法的出现非循环多级网络的训练算法UCSDPDP小组的Rumelhart、Hinton和Williams1986年独立地给出了BP算法清楚而简单的描述1982年，Paker完成了相似的工作1974年，Werbos已提出了该方法2、弱点：训练速度非常慢、难以逃离局部极小点、算法不一定收敛。3、优点：广泛的适应性和有效性。3.4神经网络算法第三章人工神经网络BP算法58 样本集：S={(X1,Y1),(X2,Y2),…,(Xs,Ys)}基本思想：逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对W(1)，W(2)，…，W(L)各做一次调整，重复这个循环，直到∑Ep<ε。用输出层的误差调整输出层权矩阵，并用此误差估计输出层的直接前导层的误差，再用输出层前导层误差估计更前一层的误差。如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程。3.4神经网络算法第三章人工神经网络BP算法59 网络的拓扑结构x1o1输出层隐藏层输入层x2o2omxn…………………W(1)W(2)W(3)W(L)3.4神经网络算法第三章人工神经网络BP算法60 x1o1输出层隐藏层输入层x2o2omxn…………WV网络的拓扑结构3.4神经网络算法第三章人工神经网络BP算法61