小波神经网络的参数初始化研究.pdf

《小波神经网络的参数初始化研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、华南理工大学学报（自然科学版）第31卷第2期JournalofSouthchinauniversityofTechnologyVol.31No.22003年2月（NaturalScienceedition）February2003"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""文章编号：1000-565X（2003）02-0077-04小波神经网络的参数初始化研究!赵学智1邹春华2陈统坚1叶邦彦1彭永红1（1.华南理工大学机械工程学院，广东广州510640；2.广州（从化）亨龙机电制造实业有

2、限公司，广东从化510990）摘要：随机产生的初始参数往往使小波神经网络的学习次数大幅度地增加，甚至不收敛.为了加快网络的学习速度，本研究提出了一种将小波网络的初始参数设置和小波类型、小波时频参数和学习样本等联系起来的小波神经网络的初始参数设置方法.学习实例结果表明，按照这一方法不但可以获得高几率的优秀初始参数，而且能大大加快小波网络的后续学习速度.关键词：小波神经网络；参数初始化；小波时频参数；学习样本中图分类号：TN911.72；TP274.3文献标识码：A小波神经网络是神经网络研究中一个新的重要数尚未见报道.有鉴于此，本研究提出了一种小波神分支，是结合小波理论与

3、人工神经网络的思想而形经网络的参数初始化方法.实例学习结果表明，按照成的［1，2］本文中提出的方法对初始参数进行设置可大大加快.它的结构如图1所示，其中隐层各神经元的传递函数为小波伸缩系（1／a）!［（s-b）／a］，小波网络的后续学习过程.式中a，b为小波伸缩平移参数，由于a，b不同，因而这些传递函数也互不相同；而输出层为线性神经元，其作用是将隐层的小波伸缩系线性叠加形成输出.在网络学习过程中除了对各连接权值进行修正外，还同时对小波伸缩平移参数a，b进行修正，自适应地搜索小波基函数，以更好地实现对函数的逼近.小波神经网络在解决复杂非线性函数关系等实际问题时所表现出的

4、优于传统BP网络的收敛速度、容错能力和预报效果及其广泛的应用前景，已得图1小波神经网络的结构到证实［3"5］，并受到越来越多的重视.Fig.1Thestructureofwaveletneuralnetwork无论是对于BP网络还是小波神经网络，网络参数的初始化过程对于网络的后续学习是否收敛以1小波神经网络的参数初始化步骤及收敛的快慢都非常重要.对于BP网络，可以根据训练过神经网络的人都有这样的体会：初始权Nguyan-widrow法来获得比较优良的初始参数，但值的设置对于神经网络的后续训练相当重要.初始是对于小波神经网络，如何得到优秀的初始网络参权值选择得好，可大大

5、加快收敛速度；初始权值设置不当，则学习次数会大为增加，乃至于不收敛.然而收稿日期：2002-05-22在一般文献的介绍中，初始权值都是用随机数产生!基金项目：国家自然科学基金资助项目（59905008）；广东的，用这种办法来获得优良的初始权值是没有保障省自然科学基金资助项目（980396）；华南理工大学自然科的，只能靠碰巧.然而在更多的情况下一般都是没有学基金资助项目（E5305292）好运气的，得到的初始权值往往使网络误差停滞徘作者简介：赵学智（1970-），男，博士，讲师，主要从事小波分析、神经网络及其在机械测试信号处理中的应用研究.徊，使学习次数大幅度地增加，甚

6、至不收敛.要想改78华南理工大学学报（自然科学版）第31卷变这种状况，得到高几率的优良的初始权值，必须将初始权值.初始权值的设置和学习样本、神经元传递函数发生得到w之后，再进行隐层神经元阈值"的初i联系，根据这一设想本研究得到了一种初始权值的始设置，其过程如下：设置方法.实践证明，按照这一方法设置的初始权值（1）首先随机产生［-1，1］区间上均匀分布的不依靠“运气”就可以在大多数情况下获得优秀的初随机数作为"的初始值；始权值，从而使网络的学习次数大为减少.（2）然后再乘以一个与输入层数节点I、隐层以Mexicanhat小波神经网络和Gauss小波神节点数J以及传递函数

7、相关的因子：经网络为例，来说明小波网络的参数初始化设置过"=C·J1／I·"（6）程，而其他类型的小波网络除了小波时频参数不同式中的C和表1中的C值是一样的.外，其参数设置步骤都是一样的.Mexicanhat小波（3）最后再与学习样本以及w相联系：i基函数的表达式为I2／2"="-0.5wi（ximax+ximin）（7）!（I）=（1-I2）e-I（1）i=1为了方便，以上各式的书写风格按照计算机编而Gauss小波基函数的表达式为2程语言的格式，即将同一个变量经某种运算后再赋-I／2（2）!（I）=Ie回给原变量.这两种小波网络的学习算法参见文献［