第2章 神经网络基础知识

《第2章 神经网络基础知识》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章神经网络基础知识2.1人工神经网络的生物基础2.2人工神经元模型2.3人工神经网络模型2.4神经网络学习2.1人工神经网络的生物基础神经元(Neuron)也称神经细胞，它是生物神经系统的最基本单元，它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。2.1.1生物神经元结构每个神经元都包括四个部分：细胞体(cellbody)、树突(dendrite)和轴突(axon)和突触(synapse)。每个神经元大约有1000~100000个突触。若干神经元以突触相连构成神经网络。(a)简单神经元网络图c

2、)简化后的网络示意图图2.1简单神经元网络及其简化结构图b)突触结构图?2.1.2生物神经元的信息处理机理一、信息的产生研究认为，神经元间信息的产生、传递和处理是一种电化学活动。由膜内外离子浓度决定。神经元状态：静息兴奋抑制膜电位：极化polarization去极化depolarization超极化hypeypolarization膜电位变化图神经元对信息的传递与接收通过突触进行。二信息的传递与接收神经电脉冲神经质产生神经质释放结合过程电生理反应突触信息传递过程三、信息的整合空间整合：同一时刻产生的刺激所引起的膜

3、电位变化，大致等于各单独刺激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。四、生物神经网络以确定方式和拓扑结构互连而成，完成信息采集、存储、综合处理等功能。人类社会关系亦如此。2.2人工神经元模型2.2.1神经元的建模最早提出且影响巨大的是1943年McCulloch和W.Pitts提出的M-P模型，具有6点假设：(1)每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；(6)神经元本身是非时变的，即其突触

4、时延和突触强度均为常数。(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；(5)忽略时间整合作用和不应期；(a)表明人工神经元有许多输入信息，一个输出信息；(b)表示突触强度和性质不同，导致作用不同，即权重不同；(c)表明信号整合；(d)总和超过阈值时，神经元被激活。2.2.2神经元的数学模型令xi(t)表示t时刻神经元j接收的来自神经元i的输入信息，oj(t)表示t时刻神经元j的输出信息，则神经元j的状态可用如下数学式表示：τij——输入输出间的突触时延；Tj——

5、神经元j的阈值；wij——神经元i到j的突触连接系数或称权重值；f()——神经元转移函数。(2.1)若取突触时延为单位时间，则式(2.2)全面表达了神经元模型的6点假设。令：(2.2)(2.3)上式是神经元j在t时刻的净输入，体现了神经元j的空间整合特性，但未考虑时间整合。利用矩阵表示如下：net'j=WjTX其中：Wj=(w1,w2,…,wn)TX=(x1,x2,…,xn)T(2.4)(2.5)oj=f(netj)=f(WjTX)(2.6)令x0=-1，w0=Tj则有-Tj=x0w02.2.3神经元的转移函数主

6、要区别为转移函数，常用的有四种：(1)阈值型转移函数1x≥0f(x)=(2.7)0x＜0M-P模型属于此类。单极性阈值函数双极性阈值函数(2)非线性转移函数单极性S型函数双极性S型函数(3)分段线性转移函数0x≤0f(x)=cx0＜x≤xc(2.9)1xc＜x(4)概率型转移函数温度参数玻尔兹曼热力学模型人工神经元－信息处理单元人工神经元－信息处理单元信息输入人工神经元－信息处理单元信息传播与处理：加权求和人工神经元－信息处理单元信息传播人工神经元－信息处理单元信息传播与处理：非线性人工神经元－信息处理单元信息输

7、出转换函数是神经网络特征的第一大要素。单纯层次型结构2.3人工神经网络模型两种分类方法：拓扑结构、信息流向2.3.1网络拓扑结构类型1、层次型结构：3种输出层到输入层有连接层内有连接层次型结构2、互连型结构全互连型结构局部互连型网络结构还有一种稀疏连接型2.3.2网络信息流向类型：2种前馈型网络拓扑结构是神经网络特征的第二大要素反馈型网络2.4神经网络学习神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。这一过程称为神经网络的学习或训练，其本质是可变权值的动

8、态调整。神经网络的学习类型：有导师学习(有监督学习)无导师学习(无监督、自组织)死记式学习(灌输式)日本学者Amari在1990年提出了一种神经网络权值调整的通用学习规则，如下图：通用学习规则：权向量Wj在t时刻的调整量ΔWj(t)与t时刻的输入X(t)和学习信号r的乘积成正比，即：2.4.1Hebb学习规则学习信号：权调整公式：权分量调整公式：要求：使用小的随机数初始化