人工神经网络_ppt.ppt

《人工神经网络_ppt.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2021/7/17第1页第三章径向基函数神经网络（RBF——Radial-BasedFunctionNetworks）§3.1概述用BP算法解决异或问题BP算法很容易收敛到局部最优，而我们无法判断得到的结果是局部最优还是全局最优，因为我们根本没有全局信息。2021/7/17第2页RBF网络的基本思想在分类之前，先将输入特征空间进行非线性映射，使得有待分类的两类样本的分布变成线性可分问题，然后用最简单的线性功能函数的神经元进行分类。例：图示“异或”分布的两类样本，其分类函数相对复杂；采用影射：在新特征空间

2、，原来的问题变成了线性可分问题。于是，学习算法为：第一层：实现非线性影射；第二层：线性分类。§3.2Cover模式分类理论Acomplexpattern-classificationproblemcastinhigh-dimensionalspacenonlinearlyismorelikelytobelinearlyseparablethaninalow-dimensionalspace.复杂模式分类问题非线性地表示在高维空间比表示在低维空间更易线性分类。2021/7/17第3页§3.3插值问题给定N

3、个不同的输入点（矢量）：寻找一个函数满足条件：其中：例1：多项式插值(曲线拟合)插值函数不唯一；多项式阶数与点数相关：阶数+1=点数将给定点的值代入模型，得到一个关于待定系数a、b、c、d、e的方程组：给定5个点，用4次多项式进行插值。以及每个点所对应的输出(标量)：x0为中心位置，s决定“胖瘦”2021/7/17第4页例2.Gaussian函数插值(课件程序：CH3PolyGaussFit)一维Gaussian函数：给定5个点，用中心分别在给定点上的s=1的5个Gaussian函数拟合：得到：将各个点

4、代入有：s取值不同，拟合的结果也不同。例如，为5个Gaussian函数分别取不同的s值：2.5、1.25、3.2、1.5、0.52021/7/17第5页Gauss函数曲面插值插值函数：当X是2维矢量时，插值函数是Gauss曲面径向基函数，Xi是其中心位置。拟合函数：样本数据：将给定的样本点代入：为中心在Xi的径向基函数在Xj点的取值。取：以及：可以得到：拟合函数为径向基函数的线性组合，径向基函数的项数与样本个数相同：2007-10-31第6页其中：插值运算对应于一个两层的径向基网络多项式型：反多项式型：

5、Gauss型：其中：其中：其中：常用径向基函数：2021/7/17第7页§3.4有监督学习作为不适定超曲面重构问题假设一系统，输入x输出y，无误差、无干扰理想情况下的关系为二次函数；实测时输入X=[1,3,5,7,9]，理想值如图示。因存在噪声和误差，实测如图所示。用足够高阶的模型，有可能将含噪的样本无误差地拟合起来，但得到的结果与真值的差距却未必减小。并且，阶数越高误差越小、但模型的泛化性能却越差。过拟合问题(Overfitting/Overdetermined):模型的阶数大于系统的实际阶数。问题：

6、如何得知实际系统的阶数？如何判断过拟合或拟合不足？由线性回归得到输入输出关系的估计：由4阶多项式拟合得到输入输出关系的估计。2021/7/17第8页重构问题的适定性给定稀疏点集的函数（高维映射）重构问题：假定有一个系统f，其输入矢量为，有界响应为，重构的意思就是通过输入输出样本找到未知映射。满足以下准则的重构问题是“适定的”：(1).存在性(Existence)：对于每个输入矢量都存在一个输出与之对应；(3).连续性(Continuity，即，稳定性：Stability)：任给存在，使得当时。其中运算符

7、表示该空间中点与点之间的距离。(2).唯一性(Uniqueness)：任意输入，当且仅当X1=X2时有f(X1)=f(X2)；2021/7/17第9页正问题与反问题(InverseProblem)正问题：例如，给定一个RLC谐振电路及其元件参数，我们可以建立一个描述该电路输入输出之间映射关系的微分方程，即求解一个“正问题”。反问题：对于一个系统，如果所能得到的全部资料就是实际采集得到的输入、输出样本集，从由这些样本数据建立能够表达系统输入输出之间映射关系的数学模型，被称为“反问题(Inverseprob

8、lem)”，也称为“系统重构问题”。反问题通常是不适定的：第一、存在性准则可能得不到满足，即某些输入矢量没有确定的输出对应；第二、实测样本所提供的信息不足以唯一地确定重构模型，唯一性准则得不到满足；第三、由于存在噪声干扰，相近的输入可能对应于差距很大的输出，于是，连续性准则得不到满足。求解反问题的学习算法必须附加先验（专业或经验的）知识等附加条件。因为，任何数学手段都不能补救信息缺失(Alackofinformationcannotbere