过程神经元网络的若干理论问题

《过程神经元网络的若干理论问题》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据2000年12月中国工程科学Dec．2000堑!堂篁!!塑兰些堕竺型堡量鱼竺竺兰竺!：!些呈：!!攀j{；恭．!．谶j羹过程神经元网络的若干理论问题何新贵1，梁久祯2(1．北京系统工程研究所，北京100101；2．北京航空航天大学，北京100083)[摘要]文章提出一种过程神经元模型，其输入为与时间有关的函数或过程，它是传统人工神经元模型在时间域上的扩展。基于这种过程神经元模型，给出了一种仅含一个隐层的前馈型过程神经网络模型，即基展开过程神经元网络模型。证明了相应的连续性定理，逼近定理，计算能力定理等。[关键词]过程神经元网络；函数逼近能

2、力；计算能力；连续性1引言自从1943年McCulloch与Pitts提出第一个人工神经元网络MP模型⋯，人工神经元网络的研究已走过了半个多世纪的坎坷道路。这期间人们曾提出了几十种较有影响力的神经元网络模型，如Per—ceptron(感知机)汜J，Adaline自适应线性元件旧J，Grossberg的自适应理论H'5J，Anderson的BSB模型【6

3、，Fukushima的神经认知网络理论【7

4、，Koho—nen的自组织映射网络旧。等。特别是进入80年代，Hopfield的反馈网络模型旧1以及多层BP网络¨0J的研究使人工神经元网络再次进入蓬勃

5、发展阶段。之后，各种具有实用意义的神经元网络模型不断涌现，如Boltzmannn机[11

6、，RBF[12

7、，CMAC[13]等。在上述人工神经元网络模型中，系统的输入均为与时间无关的常量，即网络的输入是几何点式的瞬时输入。然而，生物学研究表明u4

8、：在生物神经元中突触的输出变化与输入脉冲的相对定时有关，即依赖于持续一定时间的输入过程。在其它实际问题中，大多数系统的输入亦往往是一个过程，或一个依赖于时间的函数，而几何点式的瞬时输入只能在理论上存在。过程式输入放宽了传统神经元网络模型对输入的同步瞬时限制，使问题更为一般化。很多应用可归结为此问题，如实

9、时控制中，控制的输入往往是依赖于时间的连续函数，控制信号的输出既依赖于空间的聚合(多输入)，又与时间的累积效应密切相关；在变分问题中，泛函的定义域一般可为一个与时间有关的过程区间；依赖于时间的多因素优化问题也都可以归结为具有过程输入的情形。具有过程式输入的神经元网络是人工神经元网络在时间域上的扩展，是更一般化的人工神经元网络模型。因此，研究过程神经元网络模型的拓扑结构，函数逼近性质，学习算法等具有十分普遍性的意义，在实际中对于求解与过程有关的众多问题有着很大的应用价值。2过程神经元过程神经元由加权、聚合和激励三部分组成。单个过程神经元的结构图如图

10、1所示。图1中，z．(t)，z2(t)，⋯，z。(t)为过程神经元输入函数向量；W1(t)，W2(t)，⋯，W。(t)为相应的权函数；K(t)为过程神经元的时间聚合基函数；f(·)为激励函数，可取线性函数、Sigmoid函数、Gauss型函数等。过程神经元的输入与输出之间的关系为Y=f((W(t)④X(t))oK(·)一0)(1)这里“④”表示某种空间聚合运算，“o”表示某种时间(过程)聚合运算。例如[收稿日期】2000—06—29；修回日期2000—09—13[作者简介】何新贵(1938一)，男，浙江浦江县人，北京系统工程研究所研究员，博士生导

11、师万方数据第12期何新贵等：过程神经元网络的若干理论问题4l图1过程神经元Fig．1Procedureneuronw(t)④X(t)=∑Wi(t)zi(t)(2)H‘lrTA(t)oK(·)=lA(t)K(t)dt(3)√0其中K(·)为[0，T]上的一个可积函数。或更一般地设K(·)为一个一元泛函，定义A(t)oK(·)=K(A(t))(4)一般假设权函数w(t)和时间聚合基函数(泛函)K(·)均连续。由式(1～3)描述的过程神经元，其内部运算由加权乘、积分、累加和以及激励函数组成，称之为狭义过程神经元。其实，加权聚合运算“o”和“o”还可以取

12、其它一般形式的运算，例如用max和min，或T一算子和s一算子来构成“①”，激励函数，’也可以是任何形式的有界函数。由式(1，2，4)描述的过程神经元被称为广义过程神经元。3过程神经元网络模型由若干个过程神经元按一定的拓扑结构组成的网络称过程神经元网络。类似于传统神经元网络，过程神经元网络也可以分前向型和反馈型网络。本文仅讨论前向型过程神经元网络。定义一种其权函数可由一组基函数展开的过程神经元网络模型。设U是泛函空间S={厂(z)Iz=z(t)∈R”，t∈R，f’(z)∈VcR⋯}上的一个紧致集，为讨论简单起见，取m=l，即多输入单输出系统。也不

13、难将结果推广到m>l的情况。假设过程神经元网络的权函数可被基函数B(t)展开，即将权函数的形式限制在一类较简单的函数类中来考虑问题。基函