前馈型神经网络模型

《前馈型神经网络模型》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第三章前馈型神经网络模型第三章前馈型神经网络模型3.1感知器（Perception）3.2多层前馈型神经网络3.3误差逆传播算法（BP算法）3.4误差逆传播算法(BP算法)的若干改进3.5使用遗传算法(GA)训练前馈型神经网络方法3.6前馈型神经网络结构设计方法2873.7基于算法的前馈型神经网络在识别问题中的应用3.8自适应线性元件3.9径向基函数神经网络3873.1感知器（Perception）3.1.1单层感知器3.1.2感知器的收敛定理3.1.3多层感知器网络3.1.4感知器用于分类问题的算例4873.1.1单层感知器一、单层感知器网络单层感知器神经网络，输入向量

2、为X=（X1,X2,…,Xm），输出向量为Y=(Y1,Y2,…,Yn)。感知器的输入向量为X∈Rn,权值向量为W∈Rn单元的输出为Y∈{1,-1}。其中：其中，Xˊ=(X,-1),Wˊ=(W,θ)。587w21wmjw22wmnw12w11xmx1x2y1y2ynθ1θ2θnw1nw2mwmjwijw2jw1jyjθxix1x2xm图3.1单层感知器网络图3.2最简单的感知器wm1687二、单层感知器的学习算法令Wn+1=θ,Xn+1=-1,则，具体算法如下：①初始化给Wi(0)各赋一个较小的随机非零值。这里Wi(t)为t时刻第i个输入的权值（1≤i≤n）,Wn+1(t)

3、为t时刻的阈值。②输入样本X=(X1,X2,…,Xn,T),T称为教师信号，在两类样本分类中，如果X∈A类，则T=1；如果X∈B类，则T=-1。787③计算实际输出④修正权值Wi(t+1)=Wi(t)+η(T-Y(t))Xii=(1,2,…,n,n+1)其中，0<η≤1用于控制修正速度，通常η不能太大，会影响Wi(t)的稳定，也不能太小，会使Wi(t)的收敛速度太慢。⑤转到②直到W对一切样本均稳定不变为止。用单层感知器可实现部分逻辑函数，如：X1∧X2：Y=1·X1+1·X2-2即W1=W2=1,θ=2X1∨X2：Y=1·X1+1·X2-0.5即W1=W2=1,θ=0.5

4、：Y=(-1)·X1+0.5即W1=-1，θ=-0.5887三、单层感知器的局限性异或逻辑为，假定单层感知器能实现异或逻辑，那么，Y=W1X1+W2X2-，要求：表3.1异或逻辑输入样本输出000011101110987W1+W2-<0W1+W2<0+0-<00<W1+0-0W1>0+W2-0W2>(a)XOR逻辑(b)AND逻辑(c)OR逻辑图3.3线性可分性(0,0)(0,0)(0,0)(0,1)(0,1)(0,1)(1,1)(1,1)(1,1)(1,0)(1,0)(1,0)10873.1.2感知器的收敛定理一、线性可分函数对给定的X和Y

5、，存在W和θ和线性映像函数f，使得：f：Rn→{1,-1},X∈Rn,则称f为线性可分函数。所谓的线性可分是指存在一个超平面（二维为一条直线）能将两类样本分开。对于上面的异或逻辑可用一个平面将其输出类别分开。平面方程为：X1W1+X2W2+X3W3=θ，X1W1+X2W2+(X1∧X2)W3=θ。1187表3.2三维异或逻辑输入样本输出00000101100111101287图3.4异或问题的三维表示13871487二、定理3.1感知器收敛定理若函数f是线性可分的，则感知器的学习算法在有限次叠代后收敛。为证明此定理，先做一些简化。(1)令‖Xk‖=1(即学习样本都是单位向

6、量)；(2)若Yk<0，则用-Xk代替Xk，因而对所有的k，都有Yk>0(因f是线性可分的)；这样，要证明上述定理只要证明以下的结论即可。1587因为k个样本是线性可分的，若存在一个W*，对所有的样本k使得W*·Xk>δ都成立，δ>0。则下面步骤中的第④步仅需有限次。①置t=1，选初值W(t)为不等于0的值；②任选k∈{1,N}，置X(t)=Xk；③若W(t)·X(t)≧0返回②，否则④令W(t+1)=W(t)+X(t),t=t+1,返回②。1687证明：C(t)表示向量W(t)与W*间夹角余弦，即W*·W(t+1)=W*·[W(t)+X(t)]=W*·W(t)+W*·X

7、(t)≧W*·W(t)+δ∴W*·W(t)≧tδ‖W(t+1)‖2=‖W(t)‖2+2W(t)·X(t)+‖X(t)‖2<‖W(t)‖2+1∴‖W(t)‖2