机器学习与数据挖掘复习new

《机器学习与数据挖掘复习new》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、机器学习与数据挖掘复习第一章：Introduction1.什么是数据挖掘：数据挖掘时从大量的数据中取出令人感兴趣的知识（令人感兴趣的知识：有效地、新颖的、潜在有用的和最终可以理解的）。2.数据挖掘的分类（从一般功能上的分类）：a)描述型数据挖掘（模式）：聚类，summarization，关联规则，序列发现。b)预测型数据挖掘（值）：分类，回归，时间序列分析，预测。3.KDD（数据库中的知识发现）的概念：KDD是一个选择和提取数据的过程，它能自动地发现新的、精确的、有用的模式以及现实世界现象的模型。数据挖掘是KDD过程的一个主要的组成部分。4.用数据挖

2、掘解决实际问题的大概步骤：a)对数据进行KDD过程的处理来获取知识。b)用知识指导行动。c)评估得到的结果：好的话就循环使用，不好的话分析、得到问题然后改进。5.KDD过程中的角色问题：6.整个KDD过程：a)合并多个数据源的数据。b)对数据进行选择和预处理。c)进行数据挖掘过程得到模式或者模型。d)对模型进行解释和评价得到知识。13/13第二章数据和数据预处理1.什么是数据：数据是数据对象和它的属性的集合。一个属性是一个对象的性质或特性。属性的集合描述了一个对象。2.属性的类型：a)标称（nominal）：它的值仅仅是不同的名字，只是提供足够的信息

3、来区分对象。例如邮政编码、ID、性别。b)序数：序数属性的值提供足够的信息确定对象的序。例如硬度、成绩、街道号码。c)区间：对于区间属性，值之间的差是有意义的，即存在测量单位。例如日历日期、温度。d)比率：对于比率变量，差和比率都是有意义的。例如绝对温度、年龄、质量、长度。3.用值的个数描述属性：a)离散的：离散属性具有有限惑无限可数个值，这样的属性可以是分类的。b)连续的：连续属性是取实数值的属性。4.非对称属性：对于非对称属性，出现非零属性值才是最重要的。5.数据集的类型：a)记录型数据：每一个数据对象都是有固定数目的属性组成的。数据矩阵：如果一

4、个数据集中的所有数据对象都具有相同的数值属性集，则数据对象可以看做是多维空间中的点，其中每个位代表描述对象的一个不同属性。文档数据：每个文档看成是一个向量。事务数据：每一个事务涉及一个项的集合。b)图数据：可以表示数据对象间的关系或者是数据对象本身就是用图形表示。c)有序数据：属性在时间或者空间上有关系。时态数据：记录型数据的扩展，但是每个记录都有一个时间。序列数据：由数据构成的序列，没有时间，但表述了一个时间的先后顺序。时间序列数据：每个记录都是一个时间序列。空间数据：属性和空间位置有关。6.噪声和离群点的区别：噪声是对原始值产生了修改；离群点是具

5、有不同于数据集中其他大部分数据对象的特征的数据对象，或是相对于该属性的典型值不寻常的属性值。7.如何处理噪声数据：a)分箱（binning）：分享方法通过考察数据的近邻来光滑有序数据的值。b)回归：可以用一个函数你和数据来光滑数据。c)聚类：将数据划分为不同的类，落在类之外的视为离群点。d)把计算机分析的结果让人检查看是否有问题。8.数据预处理中的主要任务：a)数据清洗：填补缺值、去除噪声、解决数据不一致、解决冗余。b)数据集成：将不同数据源的数据放在一个地方。c)数据转换：平滑处理、数据聚合、数据泛化、归一化、属性特征构造。d)数据约减：减少数据量

6、，但仍需从少量的数据中得到原有或接近原有的结果。e)数据离散化对给定连续值划分为若干小区间，每个区间用一个值表示。9.相关分析两类方法：对于数值属性可以通过计算两属性之间的相关系数。对于分类数据两属性之间的相关联系可以通过卡方来计算。13/1310.对数据归一化处理的三大类方法：a)最小-最大规范化：b)Z-score规范化：c)小数定标规范化：11.属性约减的方法：a)回归：拟合函数。b)直方图：将数据划分为一定的区间，存储时只用存储其平均值。（等宽度、等深度、V-optimal：取最优化分、MaxDiff：根据值间距离来划分）。c)聚类：将数据聚

7、为不同的类，存储类中最有代表性的数据，例如中心点。d)抽样：从数据中抽取一个样本，要能代表原来的数据。12.数据离散化的方法：a)数值型：i.直方图：自上而下的划分。ii.聚类的分析。iii.基于熵的离散化。iv.卡方分析。v.自然划分的方法。b)分类型数据：i.模式集。ii.属性集。iii.通过只可以得到层次的关系。iv.根据不同属性的取值自动生成。13.计算二进制属性的相似性用SMC和Jaccard系数（也可以不用于二进制属性，也可用于连续和计数属性），Cosine相似性用来测文档和文档之间的距离。第三章概念学习1.概念的概念：a)概念是定义在一

8、个大集合上的事物或对象的子集。b)概念是定义在一个大集合上的二值函数。2.概念学习的概念：a)概念学习就是从