《神经网络学习》PPT课件

《《神经网络学习》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第6.6节神经网络学习王庆江计算机科学与技术系qjwang@ouc.edu.cn摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面2008-2009学年第1学期神经网络学习6.6.1神经网络基础公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究；19世纪末，出现了神经元学说；美国生物学家W.James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元；20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。2008-2009学年第1学期神经网络学习人脑中

2、神经元（神经细胞）的结构Nucleus：核Cellbody：细胞体Dentrite：树突Axon：轴突2008-2009学年第1学期神经网络学习神经元之间的电信号传递轴突后部裂出许多分枝，分枝末端有突触，突触与树突连接；轴突中的信号经突触转换为“阻止”或“激活”信号；当神经元的“净输入”超过阈值时，其沿轴突发出信号；改变突触的效能，神经元之间的影响随之改变，学习就发生了。突触（神经键）2008-2009学年第1学期神经网络学习生物神经元的结构摘自张仰森《人工智能原理与应用》随书课件2008-2009学年第1学期神经网络学习1943年，W.S.McCulloch和W.A.Pitts合作提出了第

3、一个人工神经元模型（M-P模型）；Sumy0T1f是阈值为T的阶跃函数∑I1I2IN…W1W2WNyM-P模型中输入、输出的关系摘自http://osp.mans.edu.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm2008-2009学年第1学期神经网络学习M-P神经元模型树突加和细胞体阈值轴突参考：http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network

4、突触2008-2009学年第1学期神经网络学习1949年，DonalaU.Hebb在“TheOrganizationofBehavior”一书中认为学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化；连接权的学习律正比于突触前后两个神经元的活动状态值的乘积；可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。突触连接强度的可变性是学习和记忆的基础2008-2009学年第1学期神经网络学习Hebb规则这是神经网络的第1个学习算法；神经元的输出连接权值的调整公式学习率净输入2008-2009学年第1学期神经网络学习1957年，FrankRosen

5、blatt在M-P模型基础上，定义了一个具有单层计算单元的神经网络结构，取名为“感知器”。输入层计算层(输出层)…………x1x2xixny1yjymw1jwnj2008-2009学年第1学期神经网络学习设计一个神经网络模型，除了明确网络的结构、神经元的传输函数（f）；还要给出学习算法。学习算法用于得出神经网络中的各个参数。学习算法通常是迭代算法，对应神经网络的演变过程；算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了；这个过程称为神经网络的学习或训练。2008-2009学年第1学期神经网络学习人工神经网络的两个操作模式训练模式（trainingmode）准备大量的有

6、教师指导的（或无教师指导的）的训练样本（即实例），对ANN进行训练，确定ANN的内部参数（甚至结构）。使用模式（usingmode）输入一个实际例子，让ANN分析并给出结果。2008-2009学年第1学期神经网络学习“感知器”是怎么训练的呢？假设每个样本含n个属性，用向量(x1,x2,…,xn)表示；若X为样本变量，X∈Rn；wij是xi到神经元j的连接权值，Wj是神经元j的输入连接的权值向量，即Wj=(w1j,w2j,…,wnj)；先随机设置{wij}和{θj}，θj是神经元j的阈值；不同神经元的参数（包括连接权值和阈值）的学习是相互独立的，故只需给出一个神经元的学习算法。2008-200

7、9学年第1学期神经网络学习神经元j的参数怎么学习呢？样本必须是有教师指导的，即预先知道其分类；输入(x1,x2,…,xn)时，神经元j的输出应为dj。对于离散感知器，yj按下式计算。则wij的调整规则是wij(t+1)=wij(t)+η(dj-yj)xiη为调整步幅系数，η>02008-2009学年第1学期神经网络学习“感知器”对线性可分问题具有分类能力若样本空间为Rn，存在n-1维的超平面可将样本分为两类，