高级人工智能4138.ppt

《高级人工智能4138.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、华东理工大学计算机系2014.10.17高级人工智能第三章神经网络图3.1,单个神经元jx1xmxm-1x2xiyjwj1wj2wjiwj(m-1)wjmm个输入分量输出3.1基本概念3.1基本概念基本函数（BasisFunctions）定义：神经元总输入(x)与输入向量x之间的函数关系。常用的有下列三种基本函数：线性基本函数（LinearBasisFunctions）顾名思义，(x)与x之间的函数关系是线性的，即这里，w0=为阈值(注意符号)，wi为第i个权值分量。(x)=0在输入空间决

2、定了一个超维平面。一般情况下，(x)为x到的代数距离。径基函数（RadialBasisFunctions,RBFs）数学表达式为3.1基本概念更一般的写法是，令=w，则有表示x到中心的Euclid距离。当(x)=r时，式(3.3)在输入空间决定了中心，半径r的一个超维球。3.1基本概念椭圆基本函数(EllipseBasisFunctions,EBFs)径基函数的推广，数学表达式为这里，i为中心(均值)分量，i为宽度分量。(x)=a2（常数）在输入空间决定了中心为，第i个半轴长度

3、为ai的一个超维椭球。3.1基本概念活化函数(ActivationFunctions)神经元实际输出y与其总输入之间的函数关系。(1)线性活化函数（LinearActivationFunctions）神经元实际输出y直接等于其总输入，即简称线性神经元，其结构与函数关系如图3.2所示。3.1基本概念f()0y=(a)函数关系y(b)神经元结构3.2线性神经元结构与函数关系示意图3.1基本概念(2)阈值活化函数(ThresholdActivationFunctions)神经元实际输出y与其

4、总输入的函数关系为称之为阈值神经元。阈值神经元结构及其函数关系如图3.3所示。另一种表示是神经元结构及其函数关系如图3.4所示。3.1基本概念3.3阈值神经元(a)结构与函数关系示意图y(b)神经元结构(a)函数关系f()0y=13.1基本概念3.4阈值神经元(b)结构与函数关系示意图y(b)神经元结构(a)函数关系f()0y=1y=-13.1基本概念(3)S型活化函数（SigmoidActivationFunctions）神经元实际输出y与其总输入的函数关系为称之为标准Sigm

5、oid活化函数，神经元结构与函数关系如图3.5所示。Sigmoid活化函数应用最为广泛。3.1基本概念3.5标准Sigmoid神经元结构与函数关系示意图(b)神经元结构y(a)函数关系f()01.00.5渐近线y=+1渐近线3.1基本概念(3)S型活化函数的双曲正切函数形式为：神经元结构与函数关系如图3.6所示。3.1基本概念3.6双曲正切Sigmoid神经元结构与函数关系示意图(b)神经元结构y(a)函数关系f()01.0-1.0渐近线y=1渐近线y=-13.1基本概念值得注意的是，标

6、准Sigmoid活化函数关于的一阶偏导数为于是，当y=0.5或=0时，标准Sigmoid活化函数一阶偏导数有最大值(f‘())max=0.25。图3.7为标准Sigmoid活化函数一阶偏导数f‘())与之间的关系曲线。3.1基本概念0.250图3.7标准Sigmoid活化函数f()一阶偏导数变化曲线3.1基本概念这是一条对称曲线。显然，标准Sigmoid活化函数在=0附近变化最快。Sigmoid活化函数的实际输出y=f()与总输入之间的一阶偏导数处处存在。处处可导是采用这种活化函

7、数的最重要原因之一。3.1基本概念同样地，我们还可以画出标准Sigmoid活化函数f()关于的二阶偏导数变化曲线，如图3.8所示。当=1.33时，一阶偏导数变化最快。3.1基本概念050.1-0.1图3.8标准Sigmoid活化函数f()二阶偏导数变化曲线-51.33-1.333.1基本概念表3.1给出标准Sigmoid活化函数f()与一些特殊自变量之间的对应关系。从表3.1，我们可以看出，标准Sigmoid活化函数f()的两个重要特性：当

8、

9、>5时，f()=(1+exp(-

10、))-1的变化很小，呈现所谓的“饱和”或“截止”状态。f(+)=+1和f(-)=0为两条渐近线。输出有界是采用Sigmoid活化函数的最重要原因之二。3.1基本概念3.1基本概念我们注意到，标准Sigmoid活化函数存在如下关系：3.1基本概念为什么采用Sigmoid活化函数？一种解释如下（参见C.M.Bishop,Neuralnetworksforpatternrecognition,OxfordPress,1995）：假设有1、2两个类别，由Bayes公式