神经网络理论在数学建模中的应用

《神经网络理论在数学建模中的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、华南农业大学数学建模专题讲座人工神经网络在数学建模中的应用华南农业大学理学院曾庆茂联系方法：（1）手机：13570532655（2）电话：020－38294591（3）电子邮箱：zengqingmao@scau.edu.cn1华南农业大学数学建模专题讲座第一部分人工神经网络理论基础1．什么是神经网络？人工神经元网络，简称神经网络，是一种旨在模仿人脑结构及其功能的信息处理系统，是由大量的人工神经元按照一定的拓扑结构广泛互连形成的，并按照一定的学习规则，通过对大量样本数据的学习和训练，把网络掌握的“知识”以神经元之间的连接权值和阈值的形式储存下来，利用这些“知识”可以实现某种人脑功能的推

2、理机。2．神经网络的三个要素一个神经网络的特性和功能取决于三个要素：一是构成神经网络的基本单元——神经元；二是神经元之间的连接方式——神经网络的拓扑结构；三是用于神经网络学习和训练，修正神经元之间的连接权值和阈值的学习规则。2.1神经元神经元是构成神经网络的基本单位。在人工神经网络中，神经元常被称为“处理单元”。有时从网络的观点出发把它称为“节点”。人工神经元是对生物神经元的一种形式化描述，它对生物神经元的信息处理过程进行抽象，并用数学语言予以描述；对生物神经元的结构和功能进行模拟，并用模型图给以表达。2华南农业大学数学建模专题讲座神经元的数学模型为：nyfi(t1)

3、xifwytijj()ij1如果令y1，w，则有yw，上式可写为0ii0ii00nyti(1)fxifwyijj()tj0TT若令W(www,,,,w)，Xytytyt(),(),(),,yt()，则上式可ji0i1i2in012n进一步写成Tyti(1)fxijfWX通过以上对人工神经元模型的分析，我们知道神经元中的激发函数决定了神经元的特性。常用的转移函数有：（1）阈值函数10xfx()；00x（2）线性函数fx()kx；（3）对数Sigmoid函数1fx()；x

4、1e（4）正切Sigmoid函数x1efx()tanh()x；x1e（5）高斯函数22x/fx()e。2.2神经网络的拓扑结构单个的人工神经元的功能是简单的，只有通过一定的拓扑结构将大量的人工神经元广泛连接起来，组成庞大的人工神经网络，才能实现对复杂信息的处理与存储，并表现出各种优越的特性。根据神经元之间连接的拓扑结构上的不同，可3华南农业大学数学建模专题讲座将神经网络结构分为两大类，即层次型结构和互连型结构。（1）层次型拓扑结构层次型结构的神经网络将神经元按功能分为若干层，一般有输入层、中间层和输出层，各层顺序连接，如图2所示。输入层接受外部的输入信号，并由各输

5、入单元传递给直接相连的中间层各单元。中间层是网络的内部处理单元层，与外部没有直接连接。神经网络所具有的模式变换能力，如模式分类、模式完善、特征提取等，主要是在中间层进行的。根据处理功能的不同，中间层可以有多层也可以没有。由于中间层单元不直接与外部输入输出打交道，故常将神经网络的中间层称为隐含层。输出层是网络输出运行结果并与显示设备或执行机构相连接的部分。图2典型层次型结构的神经网络模型（2）互连型拓扑结构互连型结构的神经网络是指网络中任意两个单元之间都是可以相互连接的，如图3所示。例如，Hopfield网络、波尔茨曼机模型结构均属于此类型。„„图3互连型结构神经网络模型4华南农业大学

6、数学建模专题讲座2.3神经网络的学习规则（算法）一般认为，生物神经网络的所有功能(包括记忆)都存储在神经元和它们之间的联系当中。学习可以看成是神经元之间新连接的建立或对现有连接的修正。为此，神经元按一定的拓扑结构连接成神经网络后，还必须通过一定的学习规则或算法，对神经元之间的连接权值和阈值进行修正和更新。神经网络的学习算法或规则有很多，根据一种广泛采用的分类方法，可将神经网络的学习算法或规则分为三类：第一类是有导师学习，第二类是无导师学习，第三类是死记式学习。有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络提供一个输入模式和一个期望网络正确输出

7、的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的输出不符时，根据差错的方向和大小按一定的规则调整连接权值和阈值，以使下一次网络的输出更接近期望结果。对于有导师学习，网络在能执行工作任务之前必须先学习，当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据中包含的知识规则，可以用来工作。无导师学习也称为无监督学习。在学习过程中，需要不断地给网络提供动态输入信息。网络能根据特有的内部