径向基函数网络中的高斯核宽度优化

《径向基函数网络中的高斯核宽度优化》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、径向基函数网络中的高斯核宽度的优化NabilBenoudjitl,CedricArchambeau1,AmauryLendasse2,JohnLeel,MichelVerleysenl,*1UniversiteCatholiquedeLouvain-MicroelectronicsLaboratoy,PlaceduLevant3,B-1348Louvain-la-Neuve,Belgium,Phone:+32-10-47-25-40,Fax:+32-10-47-21-80Email:{benoudjit,archambeau,lee,verleysen}

2、@dice.ucl.ac.be2UniversiteCatholiquedeLouvain-CESAME,AvenueG.Lemaitre4,B-1348Louvain-la-Neuve,Belgium,Email:lendasse@auto.ucl.ac.be摘要：径向基函数网络经常通过一个三阶段的程序得到训练。在学术文献中，很多论文致力于对于高斯核位置的佔计，以及其权巫的计算。同吋，也有很少有人关注高斯核宽度的佔计。在本文中，第一，我们提岀了i种探索式的优化方法对于高斯核宽度进行优化，以达到改善一般化训练过程的目的。其次，我们从理论上和实际应用上对我

3、们的方法进行了验证。1•引言人工神经网络（ANN）被大量应用于分类估计和函数估计。最近，己经证明很多人工神经网络都是广义函数的近似。因此，他们常被用来进行函数插值。在人工神经网络分类中，我们发现了径向基函数网络（RBF）和多层感知器（MLP）。两者都是多层网络，而且他们都可以认为是连接器模型。两者都需要通过一个足够大的数据集合学习近似的过程，从而达到被训练的冃的。即使这样，径向基网络和多层感知器的训练过程是不一样的。多层感知器通过一个可控的技术被训练，其方法是：求解一个非线性约束方程集来计算权重集。相反，径向基函数网络的训练方法可以被分解为一个无控的部分

4、和一个可控的线性部分。无控的更新技术是前向而且相对快速的。同时，它的可控部分通过求解一个线性问题实现，因此也是快速的。所以，径向基函数网络的实现方法可以充分的减少运算时间并节约运算资源。2.径向基网络函数一个径向基网络函数是一个三层的人工神经网络。考虑一个未知的函数在一个径向基函数网络中，/（兀）通过一系列d维的径向基函数來近似估计。那些径向基函数被集中于一个位置精确的数据点，被称为矩心。这些矩心可以认为是隐藏层的节点。通常，这些矩心点的位置和径向基函数的宽度通过一个无控的工具获得，虽然输出层的重量通过一个有控单向的过程计算，这个过程运用伪逆矩阵或者单值

5、分解法。假设我们想要通过一个径向基函数0•(劝的集合M来近似一个函数/(x),(pj:卅T%：0(兀)=0(

6、

7、x-Cj

8、

9、),(1)式中：

10、

11、

12、

13、表示欧式距离，and

14、函数网络就可以恰当的实现。给定一个大小为NT的数据集合T,厂={(%儿)wW汎15〃5弘：儿=/(©)}(4)算法的运算法则包括寻找参数C),(T,和易・，以使得7(兀)尽可能的逼近/(X)o这通过最小化一个价值函数实现。3.1误差准则当最优的拟合函数计算出来之后，径向基函数网络的性能通过计算一个误差来估计。考虑一个有效的数据集合V，包括Ny个数据点，V={(%儿)w卅X汎1

15、)确定高斯核的中心勺；(2)计算高斯核的宽度5；(3)计算权重系数兄厂在前两个阶段，只需要输入数据集合厂所需要的X”，参数由此通过一个无控的修正程序而修改。在第三阶段中，权重系数通过对于期望输出的响应得到修正，在计算的过程中，和^)需要保持不变。根据上讲，很多计算方法和探索式方法被用来计算矩心Cy[4][5]和权重人[3][6]。矩心的估计是通过一个矢量量化方案，比如竞争式的学习，而权重的计算则通过求解方程。由于径向基函数方程⑺(0是固定的，所以求解的方程是线性的。然而，很少有文献讨论过高斯核宽度6•的优化问题。2.宽度因子现在考虑两个典型的方案。第一种

16、方案中，我们认为在高斯方程[7][8][9],宽度(7丿中为常数。比如，在方程[