资源描述：
《模式识别基础.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、模式识别基础回顾：模式识别与机器学习的基本思路第十三章xyy??统计学习理论与支持向量机简介Sy'M----暨课程总结与展望XuegongZhang1XuegongZhang2TsinghuaUniversityTsinghuaUniversity声音数据例语音识别结果模式识别系统的基本组成语料库•监督模式识别(supervisedPR)现实经济数据经济发展预测分类器设计(训练)历史数据信息获取与预处理特征提取与选择分类决策(识别)地震数据储层性质•非监督模式识别(unsupervisedPR)已知数据聚类(自学习)信息获取与预处理特征提取与选择基因表达数据复杂疾病结果解释Xuegon
2、gZhang已知病例数据3XuegongZhang4TsinghuaUniversityTsinghuaUniversity监督模式识别：贝叶斯决策回顾与探讨•最小错误率/最小风险---最优分类器•要求模型已知，否则要估计模型•问题：有限样本下估计概率密度模型可能比设计分类器更难XuegongZhang5XuegongZhang6TsinghuaUniversityTsinghuaUniversity1•简单、贝叶斯决策有效，但局限大线性判别•次优，一定条线性判别最小距离Fisher,Perceptron,MSE,…件下可最优分类器•线性假设•问题：•如何设—训练错误率计？最小≠预测错
3、误率小分段线性分类器—多解时谁为最优？•样本较—Fisher准则多时性能的理论依据？近邻法优越，样本少时怎么办？XuegongZhang7XuegongZhang改进的近邻法8TsinghuaUniversityTsinghuaUniversity•通过非线性变换间接实现非线性线性判别线性判别分类•问题：思路很好，但不易实现•MLP:通用的广义线性非线性分类器判别函数•最小化训练错误≠预测错•复杂多非线性•复杂多非线性误最小样，无从判别函数样，无从判别函数•过学习问题确定确定•局部最优解人工神经问题XuegongZhang9XuegongZhang10TsinghuaUniversit
4、yTsinghuaUniversity网络•通过非线•线性性变换间接•训练错误率最小实现非线性线性判别≠预测错误率小分类•多解时谁为最优？统计学习理论概要•问题：思•Fisher准则的理论路很好，但依据？不易实现参考书：广义线性•通用线性/非线性分判别函数类器•大间隔Æ有限样本下高的推广能力支持向量机•核函数Æ巧妙实现（SVM）广义判别函数•二次规划有唯一解XuegongZhang11XuegongZhang12TsinghuaUniversity•良好的理论支持TsinghuaUniversity2机器学习问题的基本表示机器学习的基本目标用三个部分来描述机器学习的一般模型：损失函数(
5、lossfunction)：L(y,f(x,α))(1)产生器(Generator)，产生随机向量x，它们是从固定但未知的概率风险泛函：分布函数F(x)中独立抽取的。R(α)=∫L(y,f(x,α))dF(x,y)(riskfunctional)(2)训练器(Supervisor)，对每个输入向量x返回一个输出值y，产生输出的根据是同样固定但未知的条件分布函数F(y
6、x)。学习的目标就是：(3)学习机器(LearningMachine)，能够实现一定的函数集在联合概率分布函数F(x,y)未知、所有可用的信息f(x,α),α∈Λ其中是参数集合。都包含在训练集(x1,y1),L,(xl,y
7、l)中的情况下，寻找函Λ数f(x,α)，使它（在函数类f(x,α),α∈Λ上）最0小化风险泛函R(α)。----期望风险最小化XuegongZhang13XuegongZhang14TsinghuaUniversityTsinghuaUniversity经验风险最小化（ERM）原则机器学习方法的几个要素经验风险泛函(empiricalriskfuncitonal)：R(α)=∫Q(z,α)dF(z),α∈Λ学习的目标：1lRemp(α)=∑Q(zi,α)在联合概率分布函数F(x,y)未知、所有可li=1用的信息都包含在训练集(x1,y1),L,(xl,yl)中的情况下，寻找函数f(x,
8、α)，使它（在函数使经验风险最小的函数（l个样本下）：Q(z,αl)0类f(x,α),α∈Λ上）最小化风险泛函R(α)。如何求取解ERM(EmpiricalRiskMinimization):函数？R(α)=∫L(y,f(x,α))dF(x,y)用逼Q(z,αl)近。Q(z,α0)选择什么样的函数集作为候选函数集？ERM原则是非常一般性的。解决学习问题的很多传统方期望风险未知，采用什么原则法都是ERM原则的具体实现。Æ最小化训练错误率来对它最小
