数据挖掘算法介绍.ppt

《数据挖掘算法介绍.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘算法介绍－－综述2004年12月17日数据挖掘数据挖掘是从大量数据中提取出有效的、新颖的、有潜在作用的、可信的、并能最终被人理解的模式(pattern)的非平凡的处理过程。KDDDMKDDKDD:knowledgediscoveryindatabase数据建模验证应用DMDM:dataming——KDD的一个阶段KDD与DM等同DMislikesettinguparestaurantkitchen...StartingarestaurantkitchenDataMiningFood/InfoCooks/Team

2、Kitchen/DWH数据挖掘与其他学科的关系DataMiningDatabaseTechnologyStatisticsOtherDisciplinesInformationScienceMachineLearning(AI)Visualization数据挖掘与OLAPOLAP（on-lineanalyticalprocessing）:只能限制于少量的维度和数据类型用户控制的流程假设——验证——结论DM：没有明确假设的前提下去挖掘信息、发现知识——具有未知、有效、可实用三个特征能自动的发现隐藏在数据中的规律可以发现比O

3、LAP更复杂而细致的信息未知——归纳——结论联系：OLAP——DMOLAM数据挖掘与统计学数据挖掘：数据挖掘利用了统计、人工智能、数据库等技术，把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题；不仅仅是统计分析；统计分析：统计分析技术都基于完善的数学理论和高超的技巧，预测的准确度还是令人满意的，但对使用者的要求很高联系统计分析方法学的延伸和扩展很多的挖掘算法来源于统计学前景预言：著名的咨询公司GartnerGroup在（2000年）一次高级技术调查将数据挖掘和人工

4、智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位国外现状：成熟、产品：SAS、CLEMENTINE、UNICA、各大数据库国内现状：起步产品：大部分是实验室产品数据挖掘分类挖掘对象基于数据库的挖掘基于web的挖掘基于文本的挖掘其他：音频、视频等多媒体数据库数据挖掘分类应用响应模型交叉销售价值评估客户分群数据挖掘分类挖掘模式预测型(Predictive)描述型(Descriptive)实际作用可分为以下几种模式：分类：对没有分类的数据

5、进行分类；预测：用历史来预测未来；关联分析：关联规则；聚类：物以类聚；序列模式：在多个数据序列中发现共同的行为模式;描述和可视化：数据挖掘的结果的表示形式;偏差分析：从数据分析中发现异常情况。数据挖掘分类我的理解－挖掘的算法分为三个层次：模式：比如分类、聚类－》模型：决策树、神经网络－》算法：ID3、CHAID、BP举例：分类－决策树－ID3、CHAID等；聚类－聚类分析－k-means、EM等。数据挖掘分类挖掘模型决策树(decisiontree)关联规则(associationrules)聚类(clustering)

6、神经网络(ArtificialNeuralNetworks，简记作ANN)粗糙集(roughset)概念格(conceptlattice)遗传算法(geneticalgorithms)序列模式(sequencepattern)贝叶斯(Bayes)支持向量机(supportvectormachine，简记作SVM)模糊集(fuzzyset)基于案例的推理(case-basedreasoning，简记作CBR)决策树决策树学习是以实例为基础的归纳学习算法,着眼于从一组无次序/无规则的事例中推理出决策树表示形式的分类规则；决策

7、树基本算法是:贪心算法,它以自顶向下递归、各个击破方式构造决策树.关联规则关联规则是形式如下的一种规则，“在购买面包和黄油的顾客中，有90％的人同时也买了牛奶”（面包＋黄油→牛奶）；关联规则的“三度”：支持度、可信度、兴趣度。聚类聚类是根据数据的不同特征,将其划分为不同的簇（cluster）,目的是使得属于同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别（相异度）较大；聚类技术大致分为五种：划分方法（partitioningmethod）层次方法（hierarchicalmethod）基于密度的方法（densi

8、ty-basedmethod）基于网格的方法（grid-basedmethod）基于模型的方法（model-basedmethod）神经网络人工神经网络，是对人类大脑系统的中模拟；神经网络是一组连接的输入/输出单元,其中每个连接都与一个权相关联,在学习阶段,通过调整神经网络的权,使得能够预测输入样本的正确类标号来学习