神经网络及深度学习(包含matlab代码).pdf

《神经网络及深度学习(包含matlab代码).pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、神经网络及深度学习（包含MATLAB仿真）人工神经网络（ArtificialNeuralNetwork，即ANN），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理

2、论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用人工神经网络模型对问题进行研究优化解决。人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。一、人工神经元及神经网络1.1人工神经元模型仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络。人们提出的神经元模型有很多，其中最早提出并且影响较大

3、的是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素：(1)具有一组突触或连接，常用w表示神经元i和神经元j之间的连接强度。ij(2)具有反映生物神经元时空整合功能的输入信号累加器。(3)具有一个激励函数f用于限制神经元输出。激励函数将输出信号限制在一个允许范围内。一个典型的人工神经元模型如图1-11-1所示。x1wi

4、1x2wi2wfyiijxjwiiNxbN图1-1人工神经元模型其中x为神经元i的输入信号，w为连接权重，b为外部刺激，f为激励函数，y为jiji神经元的输出，其输出计算公式如(1.1)。Nyifwxijjb(1.2)j11.2人工神经网络模型建立神经元模型后，将多个神经元进行连接即可建立人工神经网络模型。神经网络的类型多种多样，它们是从不同角度对生物神经系统不同层次的抽象和模拟。从功能特性和学习特性来分，典型的神经网络模型主要包括感知器、线性神经网络、BP网络、径向基函数网络、自组织映射网络和反馈神经网络等。一般来说，当神经元模型确定后，一个神经网

5、络的特性及其功能主要取决于网络的拓扑结构及学习方法。从网络拓扑结构角度来看，神经网络可以分为以下四种基本形式：前向网络、有反馈的前向网络、层内互边前向网络和互连网络。神经网络结构如图1-2，其中子图的图(a)为前向网络结构，图(b)有反馈的前向网络结构、图(c)层内互边前向网络结构和图(d)互连网络结构。根据有无反馈，亦可将神经网络划分为：无反馈网络和有反馈网络。无反馈网络为前馈神经网络(FeedForwardNNs，FFNNs)，有反馈网络为递归神经网络和(RecurrentNNs，RNNs)。图(a)前向网络图(b)有反馈前向网络图(c)层内互边前向网络图(d)互联网

6、络图1-2神经网络拓扑结构图二、BP神经网络原理BP神经网络是一种按误差逆传播BP(BackPropagation)算法训练的多层前馈网络，由它最初是由Pau1werboSS在1974年提出，但未传播，直到20世纪80年代中期Rumelhart、Hinton和Williams、DavidParker和YannLeCun重新发现了BP算法，同时因此算法被包括在《并行分布处理》(ParallelDistributedProcessing)，此算法才广为人知。目前BP算法已成为应用最广泛的神经网络学习算法，据统计有近90%的神经网络应用是基于BP算法的。BP神经网络学习是由信息

7、的正向传播和误差的反向传播两个过程组成。BP神经网络的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP网络的神经元采用的传递函数通常是Sigmoid型可微函数，所以可以实现输入和输出间的任意非线性映射，这使得它在诸如信号处理、计算机网络、过程控制、语音识别、函数逼近、模式识别及数据压缩等领域均取得了成功的应用。2.1BP神经网络结构BP网络的基本结构如图2-1所示，其模型拓扑结构包括输入层（input）、隐层(hiddenlayer)和输出层(outputlayer)三层结构。输入