基于构造型前馈神经网络的函数逼近与应用

《基于构造型前馈神经网络的函数逼近与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中南大学博士学位论文基于构造型前馈神经网络的函数逼近与应用姓名：侯木舟申请学位级别：博士专业：计算机应用技术指导教师：韩旭里20091001摘要众所周知，人工神经网络具有很好的函数逼近能力，但传统的学习型神经网络存在许多缺陷，如对初始权重非常敏感，极易收敛于局部极小；往往停滞于误差梯度曲面的平坦区，收敛缓慢甚至不能收敛；过拟合与过训练；网络隐含节点数不确定等。针对此，本文主要研究近年来发展起来的单隐层构造型前馈神经网络的函数逼近能力及其在EEG信号预测、长株潭地区环境数据预测和股市数据挖掘中的应用，以及构造型前馈神经网络与学习型前馈神经网络在上述领域的应用比

2、较。首先，在B．Lianas和F．J．Sainz的工作的启发下，将前馈神经网络的激活函数换成Gaussian函数，得到构造岭函数型Gaussian前馈神经网络，证明了具有单隐层n+1个神经元的神经网络，能精确插值n+1个样本，然后，根据样本值构造出Gaussian型前馈神经网络的内部和外部权值，证明了它能以任意精度近似地插值这些样本，并给出了其误差的上界。进一步，证明了这种构造型Gaussian型前馈神经网络能以任意精度一致逼近闭区间上的任意连续函数，并给出了其误差的上界。同时将上述结论推广到了多维的情况。并通过数值实验，验证了上述结论的正确性和有效性。由于

3、上述造岭函数型Gaussian前馈神经网络在推广到多维的情况时的复杂性和具体操作上的困难性。将构造岭函数型Gaussian前馈神经网络的激活函数换成径向基函数(1也F)，得到构造型前馈RBF神经网络。针对这种径向基函数型前馈单隐层神经网络，根据样本值直接构造出多维(包含一维)情况下的内部和外部权值，并给出了相应的形状参数，证明了它能以任意精度近似地插值这些样本，并给出了其误差的上界。进一步，证明了这种构造型RBF前馈单隐层神经网络能以任意精度一致逼近闭区间上的任意连续函数，并给出了其误差的上界。通过数值实验，验证了上述结论的正确性和有效性。进一步，将前馈神经

4、网络的激活函数换成小波函数，得到小波前馈神经网络，证明了这种具有n+l单隐层个神经元的神经网络，能精确插值n+1个样本，同样根据样本值构造它的内部和外部权值，证明了这种构造型小波前馈神经网络能以任意精度近似地插值这些样本。进一步，证明了它能以任意精度一致逼近闭区间上的任意连续函数。同时将上述结论推广到了多维的情况。并通过数值实验，验证了上述结论的正确性和有效性。对于多维情况，采用比以前更简洁、更有效的构造方法，得到另一种构造型前馈小波径向基神经网络，同样证明了这种具有n+l单隐层个神经元的小波径向基神经网络，能精确插值n+1个多维样本，进一步，证明了它能以任

5、意精度一致逼近闭区域上任意多维连续函数。并通过Matlab编程和数值实验，验证了这种网络操作上更简洁，收敛速度更快。将上述小波径向基神经网络推广到r(R)RBF神经网络，对于多维数据与连续函数，证明了与小波神经网络同样的结论。并和CRBF网络、BP网络、ELM、SVM比较起来，通过8个实验进一步验证了L2RNNs具有更快的收敛速度和更好的泛化性能。将上述构造型sigmoid神经网络应用到EEG信号预测、并和学习型BP神经网络的预测方法和结果作对比，在样本数量不至于出现灾难维的情况下，构造型sigmoid神经网络体现出了明显的优越性。将学习型BP神经网络和构造

6、型小波神经网络应用到长株潭地区环境数据预测中，再一次验证了，在小样本环境的预测中，构造型小波神经网络体现了其直接性、简洁性和稳定性。在股市数据挖掘中，将其中一部分数据作为样本，同时用小波分析、学习型BP神经网络和构造型小波神经网络，构造模型和算法。．另一部分数据作为对模型的验证数据，检验相应的模型和网络。进一步验证了单隐层构造型前馈神经网络，在样本数量非海量的情况下的直接性、简洁性和稳定性。Ⅱ关键词构造型前馈神经网络，小波神经网络，L：(R)RBF神经网络，插值，逼近111ABSTRACTItiSwellknownthatartificialneuralne

7、tworkhasverywellfunctionalapproximationability．Buttraditionalneuralnetworksbasedonlearningalgorithmhavemanyfaults，suchassensitivetotheinitialweights；easilyconvergencetothelocalminimum；ofenstayingtheevenareaoferrorgradientsurface，convergenceveryslowlyornotconvergence；over-fittingand

8、over-training；uncertaintyt