机器学习算法基础知识

《机器学习算法基础知识》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、机器学习算法基础知识2016-03-27数据玩家在我们了解了需要解决的机器学习问题的类型之后，我们可以开始考虑搜集來的数据的类型以及我们可以尝试的机器学习算法。在本文中，小编会介绍一遍最流行的机器学习算法。通过浏览主要的算法来人致了解可以利用的方法是很有帮助的。可利用的算法非常Z多。困难Z处在于既有不同种类的方法，也有对这些方法的扩展。这导致很快就难以区分到底什么才是正统的算法。在本文中，小编希望给你两种方式來思考和区分在这个领域中你将会遇到的算法。第一种划分算法的方式是根据学习的方式，第二种则是棊

2、于形式和功能的相似性(就像把相似的动物归为一类一样)。两种方式都是有用的。学习方式基于其与经验、环境，或者任何我们称之为输入数据的相互作用，一•个算法可以用不同的方式对一个问题建模。在机器学习和人工智能教科书中，流行的做法是首先考虑一个算法的学习方式。算法的主要学习方式和学习模型只有几个，我们将会逐一介绍它们，并且给出几个算法和它们适合解决的问题类型來作为例子。•监督学习：输入数据被称为训练数据，它们有已知的标签或者结果，比如垃圾邮件/非垃圾邮件或者某段时间的股票价格。模型的参数确定盂要通过一个训练

3、的过程，在这个过程中模型将会要求做出预测，当预测不符吋，则需要做出修改。•无监督学习：输入数据不带标签或者没有-•个已知的结果。通过推测输入数据中存在的结构來建立模型。这类问题的例子有关联规则学习和聚类。算法的例子包括Apriori算法和K-means算法。•半监督学习：输入数据由带标记的和不带标记的组成。合适的预测模型虽然己经存在，但是模型在预测的同吋还必须能通过发现潜在的结构来组织数据。这类问题包括分类和回归。典型算法包括对一些其他灵活的模型的推广，这些模型都对如何给未标记数据建模做出了一些假设

4、。•强化学习:输入数据作为来H环境的激励提供给模型，且模型必须作出反应。反馈并不像监督学习那样来自于训练的过程，而是作为环境的惩罚或者是奖赏。典型问题冇系统和机器人控制。算法的例子包括Q・学习和时序差分学习(TemporalDifferenceLearning)。当你处理人量数据來对商业决策建模时，通常会使用监督和无监替学习。日前-•个热门话题是半监督学习，比如会应用在图像分类中，涉及到的数据集很大但是只包含极少数标记的数据。算法相似性通常，我们会把算法按照功能和形式的相似性来区分。比如树形结构和神

5、经网络的方法。这是一种有用的分类方法，但也不是完美的。仍然有些算法很容易就可以被归入好几个类别,比如学习矢量量化，它既是受启发于神经网络的方法，乂是基于实例的方法。也有一些算法的名字既描述了它处理的问题，也是某一类算法的名称，比如回归和聚类。正因为如此，你会从不同的來源看到对算法进行不同的归类。就像机器学习算法自身一样，没有完美的模空,只有足够好的模型。在这个小节里，我将会按照我觉得最直观的方式列出许多流行的机器学习乳法。虽然不管是类别还是算法都不是全面详尽的，但我认为它们都具有代表性，有助于你对幣

6、个领域有一个大致的了解。如果你发现有一个或一类算法没有被列入，将它写在回复里和大家分享。回归分析冋归是这样i种建模方式，它先确定一个衡量模型预测误差的量，然后通过这个量來反复优化变量Z间的关系。冋归方法是统计学的主要应用，被归为统计机器学习。这有些让人迷惑，因为我们可以用回归來指代一类问题和一类算法。实际上，回归是一个过程。以下是一些例子：・普通最小二乘法・逻辑回归・逐步冋归・多元自适应样条回归(MARS)・局部多项式回归拟合(LOESS)基于实例的学习模型对决策问题进行建模,这些决策基于训练数据中

7、被认为重要的或者模型所必需的实例。这类方法通常会建立一个范例数据库，然后根据某个相似性衡量标准来把新数据和数据库进行比较，从而找到最匹配的项，最后作出预测。因此，基于实例的方法还被叫做“赢者通吃”方法和基于记忆的学习。这种方法的重点在于已有实例的表示以及实例间相似性的衡量标准。・K最近邻算法(kNN)・学习欠虽虽化(LVQ)・自组织映射(SOM)正则化方法这是对另一种方法(通常是冋归分析方法)的扩展，它惩罚复杂度高的模型，倾向推广性好的更加简单的模型。我在这里列卞了一些正则化的方法，因为他们流行、强

8、人，而且通常只是对其他方法简单的改进。・岭回归・套索算法(LASSO)•弹性网络决策树学习决策树方法对•决策过程进行建模，决策是基于数据中属性的实际数值。决策在树形结构上分义直到对特定的某个记录能做出预测。在分类或者回归的问题屮我们用数据來训练决策树。・分类与回归树算法(CART)・迭代二叉树3代(ID3)・C4.5算法・卡方自动互动检视(CHAID)•单层决策树・随机森林・多元白适应样条冋归(MARS)・梯度推进机(GBM)贝叶斯算法贝叶斯方法是那些明确地在分类和回