《机器学习概念学习》PPT课件

《《机器学习概念学习》PPT课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习第2章概念学习和一般到特殊序2003.12.181机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏提纲概念学习给定某一类别的若干正例和反例，从中获得该类别的一般定义。搜索的观点在预定义的假设空间中搜索假设，使其与训练样例有最佳的拟合。利用假设空间的偏序结构算法收敛到正确假设的条件归纳学习的本质，从训练数据中泛化的理由2003.12.182机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏简介许多机器学习涉及到从特殊训练样例中得到一般概念。概念，可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔

2、函数。概念学习问题的定义给定一个样例集合以及每个样例是否属于某个概念的标注，怎样推断出该概念的一般定义。又称从样例中逼近布尔函数。概念学习是指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数。2003.12.183机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏概念学习任务一个例子目标概念，Aldo进行水上运动的日子，表示为布尔函数EnjoySport任务目的，基于某天的各属性，预测EnjoySport的值一个样例集，每个样例表示为属性的集合2003.12.184机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏概念学习任务（2）

3、YesChangeCoolStrongHighWarmSunny4YesChangeWarmStrongHighColdRainy3YesSameWarmStrongHighWarmSunny2YesSameWarmStrongNormalWarmSunny1EnjoySportForecastWaterWindHumidityAirTempSkyExample表2-1目标概念EnjoySport的训练样例2003.12.185机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏概念学习任务（3）表示假设的形式一个简单的形式，实例的各属性约束的合取式令每个

4、假设为6个约束（或变量）的向量，每个约束对应一个属性可取值范围，为？任意本属性可接受的值明确指定的属性值不接受任何值假设的例子//所有的样例都是正例<,,,,,>//所有的样例都是反例2003.12.186机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏概念学习任务（4）EnjoySport概念学习任务已知实例集X每个实例x由6个属性描述，每个属性的取值范围已确定假设集H每个假设h描述为6个属性的取值约束的合取目标概念c一个布尔函数，变量为实例训练样例集D目标函数（或目标概念

5、）的正例和反例求解H中的一假设h，使对于X中任意x，h(x)=c(x)2003.12.187机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏术语定义实例x实例集X概念目标概念c训练样例x训练样例集D正例，目标概念成员反例，非目标概念成员假设h假设集H机器学习的目标就是寻找一个假设h，使得对所有的h，都有h(x)=c(x)2003.12.188机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏归纳学习假设什么是归纳学习？从特殊的样例得到普遍的规律归纳只能保证输出的假设能与训练样例相拟合归纳假设的一个基本假定对于未见实例最好的假设就是与训练

6、数据最佳拟合的假设归纳学习假设任一假设如果在足够大的训练样例集中很好地逼近目标函数，它也能在未见实例中很好地逼近目标函数。2003.12.189机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏作为搜索的概念学习概念学习可以看作一个搜索的过程搜索范围：假设的表示所隐含定义的整个空间搜索目标：能够最好地拟合训练样例的假设当假设的表示形式选定后，那么就隐含地为学习算法确定了所有假设的空间例子EnjoySport的假设空间2003.12.1810机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏假设的一般到特殊序假设的一般到特殊序关系考虑下面两

7、个假设h1=h2=任何被h1划分为正例的实例都会被h2划分为正例，因此h2比h1更一般。利用这个关系，无需列举所有假设，就能在无限的假设空间中进行彻底的搜索2003.12.1811机器学习-概念学习作者：Mitchell译者：曾华军等讲者：陶晓鹏假设的一般到特殊序（2）关系“更一般”的精确定义任给实例x和假设h，说x满足h，当且仅当h(x)=1令hj和hk是在X上定义的布尔函数，称hj比hk更一般，当且仅当(xX)[(hk(x)=1)(hj(x)=1)]记