《神经网络信号处理》PPT课件

《《神经网络信号处理》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第八章神经网络信号处理8.1神经网络模型8.2多层前向网络及其学习方法8.3反馈网络及其能量函数8.4自组织神经网络8.5神经网络在信号处理中的应用第八章神经网络信号处理前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在线性模型的前提下求最佳估计。但在实际中存在着大量的非线性模型问题，或者为题的数学模型往往很难建立或者不可能建立。人工神经网络是一种以自适应为特征的、无固定模型的非线性网络，可用于处理非线性模型为题或模型很难建立的问题。下面仅在第一节简要介绍以生物学为基础的简化的神经元模型，而在其后章节中则是将神经网络作为

2、信号处理的一种手段，不在追求网络的生物学意义。8.1神经网络模型8.1.1生物神经元及其模型生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、触觉）接收外界信息，在大脑中枢进行加工，然后通过执行器官向外输出。从而构成一个具有闭环控制系统特征的大规模系统。下图显示为神经系统的信息流处理。1943年，McCulloch和Pitts提出了一种高度简化的神经元模型，简称M-P模型。设某一个神经元具有个输入，各输入信号的强度分别为。神经元的输出为。模型的激活规则可由离散时间的差分方程描述式中，神经元的输入、输出值为0或1。1代表神经

3、元的兴奋状态，0代表神经元的静止状态。表示第个输入与神经元的连接强度。为神经元的阀值。当各输入与其连接强度的加权和超过时，神经元进入兴奋状态。各种神经元模型的结构是相同的。都由一个处理节点和连接权（神经键连接强度）组成，带有一个输出端，信号从输入到输出端单向传输。各种神经元模型的不同之处仅在于对处理节点中的传递函数和激活函数的数量描述不同。下图为神经元的一般模型及其符号。其中，：输入矢量；：权矢量神经元可看成是一个多输入、单输出的非线性信号处理系统。其输入输出关系为：为方便起见，可将阈值等效成一个恒定的输入，其连接权为，

4、即，这样净输入写成：这样，设为扩展的输入矢量和权矢量：常用的变换函数有以下四种：阶跃函数、线性限幅函数、S函数和随机函数。其中，阶跃函数和S函数分别称为离散型的连接型的，它们可以是单极性的，也可以是双极性的。阶跃函数和S函数的表达式：阶跃函数（离散型）：双极性S型函数（连续型）：可见：8.1.2人工神经网络模型可以这样定义人工神经网络：它是由许多个处理单元相互连接组成的信号处理系统。单元的输出通过权值与其它单元（包括自身）相互连接，其中连接可以是延时的，也可以是无延时的。可见，人工神经网络是由以上许多非线性系统组成的大规

5、模系统。处理单元的互连模式反映了神经网络的结构，按连接方式，网络结构主要分成两大类：前向型和反馈型。前向型常认为是分层结构，各神经元接收前一级的输入，并输出到下一级。各层内及层间都无反馈。：神经元（1）上层下层输入节点为第一层神经元，其余中间层为隐含层神经元。输出节点为最上层神经元，但一般称权值层为网络的层，即网络的第一层包括输入节点层，第一隐含层以及它们之间的连接权。反馈型网络可用一个完全无向图表示：—横线相当于双箭头下面是个简单的用神经网络作处理的例子：如图所示的单层前向网络：由M个神经元（单元）组成，接收N个输入。

6、第个输入到第个神经元的连接权表示为，则有第个神经元的输出是，定义连接权矩阵为：引入一个非线性矩阵算子其中为神经元的变换函数，则网络的输出矢量可写成：可见，一个前向神经网络用来将一个N维输入空间x映射到M维输出空间y，或者说，将输入模式映射成输出模式。8.1.3神经网络的学习方式前面的研究，主要是考察在给定神经网络（存储在网格内的模式（已知））的输入X后得到的响应y，这个计算过程常称为神经网络的“回想”。现在要讨论的是网络存储模式的设计，这是网络学习的结果。神经网络常用来解决难以用算法描述的问题，或者对处理的对象没有充分的

7、了解，需要作“盲处理”，而神经网络的设计是通过一些例子或某些准则来训练，从方法上来说，神经网络信号处理以科学经验主义替代了传统的科学理性主义。神经网络的学习一般依据两种规则：一种是基于自适应LMS学习算法：即将误差函数的负梯度作为网络权值的调整量。另一种是Hebb学习规则，它是基于心理学中的反射机理给出权值的调整量：Hebb规则的意义是：如果两个神经元同时兴奋，则它们之间的联系得以增强。式中，是第个神经元的输入；是第个神经元的输出。神经网络的学习从方式上分成以下三种情形：①固定权值计算如果已知标准的输入—输出模式，可以根

8、据Hebb规则计算出网络的权值矩阵W，对这样的神经网络，要求容纳足够多的输出模式，并且有一定的容错能力。②有导师学习如果已知部分输入—输出对样本，则用这些输入模式作为训练集，对应的输出模式作为导师信号，基于自适应LMS算法，根据网络对训练样本的响应与导师信号的差距来调整网络的权值。③无导师学习对于一些问题，既不知道输