神经网络的Hopfield 异步动力学模型及其应用

《神经网络的Hopfield 异步动力学模型及其应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第16卷第4期工　科　数　学Vol.16,№.42000年8月JOURNALOFMATHEMATICSFORTECHNOLOGYAug.2000神经网络的Hopfield异步动力学模型及其应用金　子(北京大学数学科学学院,北京100871)[摘　要]本文阐述了Hopfield异步动力学模型及其马氏链描述,并引入能量函数概念,给出网络稳定性判据.通过学习规则,训练网络,使其实现联想记忆.给出一实例进行模拟计算并给出结果.[关键词]Hopfield异步动力学模型;联想记忆;马氏链[中图分类号]O31312[

2、文献标识码]A[文章编号]100724120(2000)0420017-071　序　　言11什么是人工神经网络人工神经网络(ArtificialNeuralNetworks简记为ANN)是模仿脑结构和功能的信息处理系统.至今为止,虽然模仿仍处于初级水平,但已显示出一些与生物脑类似的特点:大规模并行结构,信息的分布式存储和并行处理,具有良好的自适应性、自组织性和容错性,具有较强的学习、记忆、联想、识别功能等等.神经网络已在信号处理、模式识别、目标跟踪、机器人控制、专家系统、组合优化、网络管理等众多领域的应

3、用中获得了引人注目的成果.21Hopfield网络Hopfield网络是由美国生物物理化学学家Hopfield于1982年提出的一种神经网络模型,Hopfield网络简称HNN,是由若干基本神经元构成的一个单层全互连神经网络,任意两个神经元之间都有连接,是一种对称连接结构.Hopfield网络通常有离散型和连续型两种形式.它的成功之处在于,定义了网络稳定性判据——能量函数的概念.这种网络在联想存储及优化计算等领域得到了成功的应用.2　神经网络的Hopfield异步动力学模型11Hopfield异步动力学

4、模型神经网络是一个由N个神经元彼此有相互作用而联结在一起的一个体系,作为神经网络的整个体系协同工作,共同产生一个总的效应,设每个神经元可以取-1与+1两个状态,其中-1代表该神经元N处于抑制状态,+1代表该神经元处于激发态,于是N个神经元的整体可以处于2个不同的状态,将其全体记为X={(x1,x2,⋯,xN)∶xi=-1或1,i=1,2,⋯,N}.当系统处于状态x=(x1,x2,⋯,xN)∈X时,如果网络中第j个神经元处于激发态时xj=+1,则它对于第i个神经元有相互作用能Wij;如果它处于抑制状态xj

5、=-1,则它对第i个神经元有相互作用能-Wij,即神经元j对i的作用是Wijxj.于是整个网络对神经元i的总相互作用是[收稿日期]1999211224[基金项目]航空科学基金项目(代号:98CB0101)©1995-2004TsinghuaTongfangOpticalDiscCo.,Ltd.Allrightsreserved.18工　科　数　学　　　　　　　　　　　　　　第16卷N∑Wijxj(设Wij=Wji).j=1Hopfield异步动力学网络按如下规则运动:每一步随机地选一个神经元(即每个神经

6、元以1öN的机会被选中);看系统对此神经元(设为第i个)的总相互作用是否超过一个阈值Hi:若超过Hi则此步结束时该神经元处于激发态,否则它处于抑制态.21Hopfield异步动力学网络的马氏链描述由于当系统在现在的状态给定的条件下,选中哪个神经元以及此神经元在下一步取什么状态都与系统的过去历史无关.所以若记第n步结束时系统所处状态为Nn,则{Nn,n=0,1,2,⋯}是一个取值于X的马氏链,其转移阵记为P=(px,y),x,y∈X,其中1i,当y=x,且yi≠xi,Npx,yCP(Nn+1=yûNn=x

7、)=0,yi≠xi的其它情况,1-∑px,y,y=x,y≠x其中ix=(x1,x2,⋯,xi-1,yi,xi+1,⋯,xN),NNyi=sgn∑Wijxj-Hi设∑Wijxj-Hi全不为0.j=1j=1记Nhi=∑Wijxj-Hi.j=1下面举一个例子说明联想记忆的具体实现例1若N=41-111-11-1-1(Wij)=1-1111-1111111H=(H1,H2,H3,H4)=,,-,-22221为符号简单起见,我们用(x+1)所代表的二进制数的十进制数表示作为x的记号.2于是对x=(-1,-1,-1

8、,-1)=0m1sgnh1=sgn∑W1jxj-H1=sgn1×(-1)+(-1)×(-1)+1×(-1)+1×(-1)-j=125=sgn-=-1.2同理可依次进行计算得到下表:x0123456789101112131415sgnh1---+-----+++---+sgnh2+---+++-----+---sgnh3-+++---+++++-+++sgnh4-+++---+++++-+++注　上表中“+”代表“1”,“-”代表“-1”.这