[电脑基础知识]机器学习

《[电脑基础知识]机器学习》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、机器学习汇报Machinelearning1主要内容机器学习概述监督学习算法举例：支持向量机非监督学习算法举例：算法最优化算法举例：梯度下降法学习算法的调试诊断什么是机器学习研究计算机怎样模拟或实现人类（动物）的学习行为，以获取新的知识或技能重新组织已有的知识结构使之不断改善自身的性能是人工智能的核心，是使计算机具有智能的根本途径其应用遍及人工智能的各个领域3机器学习的一个形象描述45环境学习环节知识库执行环节反馈外部信息的来源，它将为系统的学习提供有关信息系统的学习机构，它通过对环境的感知取得外部信息，然后经分析、综合

2、、类比、归纳等思维过程获得知识。系统已经具有的知识执行一系列任务，并将运行结果报告学习环节机器学习系统基本结构6把机器学习过程看作是一个数学映射学习的结果得到一个目标函数（计算模型）目标函数将输入数据转换成为某种特定形式有用的输出。光扫描字符识别机器人为抓住某物体需要执行的动作下棋游戏的下一步移动是否允许贷款申请人贷款的建议机器学习系统是一个计算模型机器学习的应用7机器学习算法类型监督学习：已知类别信息，调整分类器达到要求性能。例：支持向量机，神经网络无监督学习：不带类别信息，类似聚类。半监督学习：利用标注样本和未标注样

3、本进行训练和分类。强化学习：动态地调整参数，以达到强化信号最大。机器学习具体方法1）C4.52）支持向量机3）K均值算法4）先验算法5）最大期望算法6）网络分页算法7）AdaBoost迭代算法8）K近邻算法9）朴素贝叶斯10）分类与回归树9支持向量机支持向量机是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和

4、学习能力之间寻求最佳折衷，以期获得最好的推广能力。10支持向量机的基本思想最大间隔低VC维高推广能力核函数解决低维线性不可分问题11线性可分问题最优分类超平面分类超平面：判决函数：函数间隔：几何间隔：最大间隔问题：在函数间隔固定为1时，寻求最小的优化问题：问题求解：（Lagrange乘子法）得出对偶问题：原问题最优解：决策函数：支持向量：分类超平面仅与离超平面最近的样本点相关（KKT条件）（如H1和H2面上的点）这些输入向量称为支持向量线性不可分情况——核函数的引入低维不可分问题高维未必不可分一个简单的例子二维平面中分类

5、曲线为椭圆（线性不可分）两维向三维的映射：三维空间中线性可分分类面：根据支持向量机求得决策函数为的内积计算：令称为核函数高维空间中内积计算可以通过计算低维空间的内积得到，核函数就是连接低维与高维之间的桥梁。高维空间中支持向量机得出的决策函数可改写成：因此得出一般的情形：对于线性不可分的样本，作一个低维到高维的映射，使之在高维的空间中线性可分，在高维空间中采用最大间隔标准得出决策函数，由于巧妙的选取核函数，决策函数中在计算内积时只需换成核函数即可。优点：由于核函数的特性，只需计算低维空间内积，而无需计算高维空间的内积，因此

6、计算量与样本维数无关，只与样本数有关。常用核函数：多项式核：径向基核：Sigmoid核：Mercer核：所以满足Mercer条件的对称函数，所有核函数要满足Mercer条件！k-means算法简介k-means算法，也被称为k-平均或k-均值，是一种使用最广泛的聚类算法。它是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点。算法的主要思想是通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个聚类内紧凑，类间独立。这一算法不适合处理离散型属性，但是对于连续型具有较好的聚类效果。算

7、法描述为中心向量初始化k个聚类重心分组:将样本分配给距离其最近的中心向量由这些样本构造不相交（non-overlapping）的聚类确定中心:用各个聚类的中心向量作为新的中心重复分组和确定中心的步骤，直至算法收敛算法k-means算法输入：分类的数目k和包含n个对象的数据库。输出：k个类别，使平方误差准则最小。算法步骤：1.为每个聚类确定一个初始聚类中心，这样就有K个初始聚类中心。2.将样本集中的样本按照最小距离原则分配到最邻近聚类3.使用每个聚类中的样本均值作为新的聚类中心。4.重复步骤2.3直到聚类中心不再变化。5.

8、结束，得到K个聚类2021/9/2将样本分配给距离它最近的中心向量，并使目标函数值减小所有点到它的重心的距离平方和更新簇平均值计算准则函数Ek-means实际上就是函数的坐标上升过程交替的固定,相对于使函数最优化。之后固定，相对于，使函数最优化。25的值，随着迭代次数单调下降，它的值只能减小。故k-means算法一定