数据挖掘PPT2讲课稿.ppt

《数据挖掘PPT2讲课稿.ppt》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、数据预处理1为什么要预处理数据？数据预处理是数据挖掘（知识发现）过程中的一个重要步骤，尤其是在对包含有噪声、不完整，甚至是不一致数据进行数据挖掘时，更需要进行数据的预处理，以提高数据挖掘对象的质量，并最终达到提高数据挖掘所获模式知识质量的目的。2为什么要预处理数据？现实世界的数据是“肮脏的”不完整的：有些感兴趣的属性缺少属性值含噪声的：包含错误或者异常（偏离期望值）的数据不一致的：在编码或者命名上存在差异没有高质量的数据，就没有高质量的挖掘结果高质量的决策必须依赖高质量的数据数据仓库需要对高质量的数据进行一致地集成使挖掘过程更有效、更容易3多方面考查数据

2、的质量精确（Accuracy）完整（Completeness）一致（Consistency）及时（Timeliness）可信（Believability）可添加（Valueadded）可解释（Interpretability）4数据预处理的主要方法数据清理填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不一致性数据集成集成多个数据库、数据立方体或文件数据变换规范化和聚集数据归约（削减）得到数据集的压缩表示，它小得多，但可以得到相同或相近的结果5FormsofDataPreprocessing6数据清理－空缺值数据并不总是完整的例如：数据库表中，很多条记

3、录的对应字段没有相应值，比如销售表中的顾客收入引起空缺值的原因设备异常与其他已有数据不一致而被删除因为误解而没有被输入的数据在输入时，有些数据应为得不到重视而没有被输入空缺值要经过推断而补上7如何处理空缺值忽略该条记录：若一条记录中有属性值被遗漏了，则将此条记录排除在数据挖掘过程之外，尤其当类别属性（classlabel）的值没有而又要进行分类数据挖掘时。当每个属性缺少值的百分比变化很大时，它的效果非常差。8如何处理空缺值人工填写空缺值：工作量大，可行性低使用一个全局变量填充空缺值：对一个属性的所有遗漏的值均利用一个事先确定好的值来填补。比如使用unkn

4、own或-∞或OK使用属性的平均值填充空缺值9如何处理空缺值利用同类别均值填补遗漏值这种方法尤其在进行分类挖掘时使用。如：若要对商场顾客按信用风险（credit_risk）进行分类挖掘时，就可以用在同一信用风险类别下（如良好）的属性的平均值，来填补所有在同一信用风险类别下属性的遗漏值。10数据清理——噪声数据噪声：一个测量变量中的随机错误或变化引起噪声数据的原因数据收集工具的问题数据输入错误数据传输错误技术限制命名规则的不一致11如何处理噪声数据分箱(binning):首先排序数据，并将他们分到等深的箱中然后可以按箱的平均值平滑、按箱的边界平滑等等12数

5、据平滑的分箱方法给定一个数值型属性price:price的排序后数据（单位：美元）：4，8，15，21，21，24，25，28，34划分为（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱边界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，3413如何处理噪声数据聚类方法：通过聚类分析可帮助发现异常数据，相似或相邻近的数据聚合在一起形成了各个聚类集合，而那些位于这些聚类集合之外的数据对象，自然而然就被认为是异常数据。14聚类通过聚类分

6、析查找孤立点，消除噪声15如何处理噪声数据回归通过让数据适应回归函数来平滑数据xyy=x+1X1Y1Y1’16数据集成数据集成：数据挖掘任务常常涉及数据集成操作，即将来自多个数据源的数据，如：数据库、普通文件等，结合在一起并形成一个统一数据集合，以便为数据挖掘工作的顺利完成提供完整的数据基础。17在数据集成过程中，需要考虑解决以下几个问题：模式集成：整合不同数据源中的元数据实体识别问题：匹配来自不同数据源的现实世界的实体，比如：A.cust-id=B.customer_no检测并解决数据值的冲突对现实世界中的同一实体，来自不同数据源的属性值可能是不同的可

7、能的原因：不同的数据表示，不同的度量等等18处理数据集成中的冗余数据集成多个数据库时，经常会出现冗余数据同一属性在不同的数据库中会有不同的字段名一个属性可以由另外一个表导出，如“年薪”有些冗余可以被相关分析检测到仔细将多个数据源中的数据集成起来，能够减少或避免结果数据中的冗余与不一致性，从而可以提高挖掘的速度和质量。19数据转换所谓数据转换就是将数据转换或归并成一个适合数据挖掘的描述形式。数据转换包含以下处理内容：20数据变换平滑：去除数据中的噪声（分箱、聚类、回归）聚集（合计处理）：对数据进行总结或合计操作。例如：每天销售额（数据）可以进行合计操作以获

8、得每月或每年的总额。这一操作常用于构造数据立方或对数据进行多细度的分析。21数据