人工神经网络课件

《人工神经网络课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第5章对传网5.1网络结构5.2网络的运行5.3Kohonen层的训练5.4Kohonen层联接权的初始化方法5.5Grossberg层的训练5.6补充说明6/17/2021第5章对传网RobertHecht-Nielson在1987年提出了对向传播神经网络(CounterpropagationNetworks，CPN)，简称对传网。CPN为异构网：Kohonen1981年提出的自组织映射(Self-organizationmap，SOM)算法—Kohonen层;Grossberg1969年提出的散射

2、星(Outstar)算法——Grossberg层。6/17/2021第5章对传网Kohonen层—无导师学习算法，解决网络隐含层的理想输出未知问题；Grossberg层—有导师学习算法，解决输出层按系统要求给出指定输出结果的问题。训练时间短：BP的1%；应用面：比较窄。让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路。6/17/20215.1网络结构x1y1WV自组织映射（无导师学习）Kohonen层散射星（有导师学习）Grossberg层输入层K1G1K2G2x2y2………KhGmxny

3、m6/17/20215.1网络结构以Kohonen层的神经元为“中心”讨论问题K1W1=(w11，w21，…，wn1)TV1=(v11，v12，…，v1m)K2W2=(w12，w22，…，wn2)TV2=(v21，v22，…，v2m)……KhWh=(w1h，w2h，…，wnh)TVh=(vh1，vh2，…，vhm)6/17/20215.2网络的运行除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因素。CPN是采用竞争型网络学习规则的异构网。竞争学习：同一层次的神经元相互竞争，胜利

4、的神经元修改与其连接的权值－模式分类。6/17/20215.2网络的运行5.2.1Kohonen层“强者占先、弱者退出”（thewinnertakesall）knetj=XWj=(x1，x2，…，xn)(w1j，w2j，…，wnj)T=w1jx1+w2jx2+…+wnjxn向量形式KNET=(knet1，knet2，…，kneth)6/17/20215.2.1Kohonen层K1，K2，…，Kh的输出k1，k2，…，kh构成向量K=(k1，k2，…，kh)1≦j≦h1knetj=Max{knet1，k

5、net2，…，kneth}kj=0其它6/17/2021上式等价于几何意义：学习目的：寻找与输入向量X最大相似度（最接近）的Wo6/17/20215.2.2Grossberg层Grossberg层的每个神经元Gj（1≦j≦m）gnetj=K(v1j，v2j，…，vhj)T=(k1，k2，…，kh)(v1j，v2j，…，vhj)T=k1v1j+k2v2j+…+khvhj唯一输出1的神经元为Kognetj=k1v1j+k2v2j+…+khvhj=voj6/17/20215.2.2Grossberg层GNE

6、T=(gnet1，gnet2，…，gnetm)=(vo1，vo2，…，vom)=Vo散射星：Vo的各个分量是从Ko到Grossberg层各神经元的联接权6/17/20215.2.2Grossberg层CPN用于模式的完善，此时n=m：接受含有噪音的输入模式(x1，x2，…，xn)，而输出去掉噪音后的模式(vo1，vo2，…，vom)对训练启示W1，W2，…，Wh，各类X的共同特征V1，V2，…，Vh，X对应的理想输出Y的共同特征6/17/20215.3Kohonen层的训练5.3.1输入向量的预处理单

7、位化处理X=(x1，x2，…，xn)X′=(x1′，x2′，…，xn′)=(x1/‖X‖，x2/‖X‖，…，xn/‖X‖)即：xj′＝xj/‖X‖,6/17/2021算法5-1Kohonen层训练算法对所有的输入向量，进行单位化处理；对每个样本（X，Y）执行下列过程2.1forj=1tohdo根据相应式子计算knetj；2.2求出最大的kneto:2.2.1max=knet1；o=12.2.2forj=1tohdoifknetj>maxthen{max=knetj；o=j}；6/17/2021算法5-

8、1Kohonen层训练算法2.3计算K2.3.1forj=1tohdokj=0；2.3.2ko=1；2.4使Wo更接近X：Wo(new)=Wo(old)+α(X-Wo(old));2.5对Wo(new)进行单位化处理6/17/2021Wo(new)=Wo(old)+α(X-Wo(old))α∈（0，1）Wo(new)=Wo(old)+α(X-Wo(old))=Wo(old)+αX-αWo(old)X-Wo(new)=X-[Wo(old)+α(X-Wo(o