数据挖掘技术及工程实践

《数据挖掘技术及工程实践》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据挖掘技术及工程实践几个问题•数据挖掘FAQ•What•How•Who•Which•Why•数据挖掘过程•应用案例•总结••数据挖掘FAQWhy?What?Which?How?Who?••数据挖掘FAQ—WhatWhatWhat？What？••数据挖掘FAQ—What
分析能力的八个等级••数据挖掘FAQ—What••数据挖掘FAQ—What••数据挖掘FAQ—What
数据分析能力的演进••数据挖掘FAQ—What
数据挖掘是从大量数据（（包括文本（包括文本））中挖掘）中挖掘出隐含的、、先前未知的、先前未知的、、对决策有

2、潜在价值、对决策有潜在价值的关系、、模式和趋势、模式和趋势，，并用这些知识和规则，并用这些知识和规则建立用于决策支持的模型，，提供预测性决策，提供预测性决策支持的方法、、工具和过程、工具和过程。••数据挖掘FAQ—WhyWhyWhy？Why？••数据挖掘FAQ—Why
企业内产生了大量业务数据，，这些数据和由此产生，这些数据和由此产生的信息是企业的财富，，它如实记录了企业运作的本，它如实记录了企业运作的本质状况。
数据挖掘有助于企业发现业务的趋势，揭示已知的事实,,预测未知的结果,预测未知的结果。
“数据挖掘””已成为企业保

3、持竟争力的必要方法”已成为企业保持竟争力的必要方法。••数据挖掘FAQ—Why
分析和执行能力远跟不上信息的增长••数据挖掘FAQ—WhichWhichWhich？Which？数据挖掘FAQFAQ—FAQ——Which—Which
ᑖᑖ⚜分类预测ᦪ⚜
ᑖ᪆
ᐵὶᑣ
 ⚜
数据挖掘FAQFAQ—FAQ——Which—Which
ᑖᑖ⚜ᦪ⚜数值预测
ᑖ᪆
ᐵὶᑣ
 ⚜
数据挖掘FAQFAQ—FAQ——Which—Which
ᑖᑖ⚜ᦪ⚜


4、ᑖ᪆聚类分析
ᐵὶᑣ
 ⚜
数据挖掘FAQFAQ—FAQ——Which—Which
ᑖᑖ⚜ᦪ⚜
ᑖ᪆
ᐵὶᑣ关联规则挖掘
 ⚜
数据挖掘FAQFAQ—FAQ——Which—Which
ᑖᑖ⚜ᦪ⚜
ᑖ᪆
ᐵὶᑣ
 ⚜时序预测
数据挖掘FAQFAQ—FAQ——Which—Which
ᑖᑖ⚜ᦪ⚜
ᑖ᪆
ᐵὶᑣ
 ⚜
偏差检测••数据挖掘FAQ—WhoWhoWho？Who？••数据挖掘FAQ—Who
企业业务分析

5、人员
系统设计及开发人员••数据挖掘FAQ—HowHowHow？How？••数据挖掘FAQ—How
商业智能及数据挖掘工具BOBIEEPlusCognosMicroStrategySPSSEviewsSAS
数据挖掘过程•数据挖掘FAQ•数据挖掘过程•数据取样•数据探索•模式发现•预测建模•模型评估•应用案例•总结数据挖掘过程数据挖掘过程数据挖掘过程——数据取样—数据取样
根据预测任务抽取数据样本，，是基于对本次，是基于对本次数据挖掘任务深刻理解基础上完成的
数据取样时要严把质量关
抽样数据必须在足够范围内有代

6、表性
数据常分为训练、、测试和验证数据集、测试和验证数据集数据挖掘过程——数据探索—数据探索
抽样数据中是否存在空值、、异常值、异常值???
有没有什么明显的规律和趋势?
有没有出现从未设想过的数据状态???
因素之间的相关性如何???
是否有明显的组差别???数据挖掘过程——模式发现—模式发现
在数据集中发现模式，，比如关联规则，比如关联规则，，分，分类模型，，序列模式等，序列模式等
对问题解决的要求进一步量化
重新审视数据样本，，是否满足目标需要，是否满足目标需要
过滤与挖掘目标无关的记录或属性
数据结构和内容进一步调整

7、数据挖掘过程——预测建模—预测建模
预测建模是对采样数据轨迹或状态进行概括
反映采样数据内部结构的一般特征
与采样数据的具体结构并不完全吻合
模型的具体化就是预测公式，公式可以产生与观察值有相似结构的输出，，这就是预测值，这就是预测值数据挖掘过程——预测建模—预测建模
算法举例----人工神经网络--人工神经网络视频演示数据挖掘过程——模型评估—模型评估•同一采样数据可以用多种数据分析方法和模型进行分析•模型评估目的：：从多个模型中找出最优模型：从多个模型中找出最优模型•模型评估：：1：111）））直接用原来样本数据进行检验

8、）直接用原来样本数据进行检验，222）2））另外找一批新数据检验）另外找一批新数据检验•评价指标：：均方误差：均方误差；；平均绝对误差；平均绝对误差；；平方和；平方和误差；；平均绝对误差；平均绝对误差数据挖掘过程——模型评估—模型评估
不管黑猫、、白猫、白猫，，抓到老鼠就是好猫，抓到老鼠就