面向数据流的频繁项集挖掘算法分析

《面向数据流的频繁项集挖掘算法分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、辽宁师范大学硕士学位论文1绪论1．1数据挖掘技术的研究背景与意义随着计算机硬件和软件的迅猛发展和各行各业数据的海量增长，人们对数据库的应用日益普及。数据库中庞大的数据信息快速的增长，其中有用的信息却好像在减少，人们并不能从这些信息中挖掘出有效的信息为决策都提供决策支持，这一现象促进了数据挖掘技术的发展。自20世纪80年代以来，数据资源的大量积累和人们对从数据中提取有效信息的需求的不断增加，使数据挖掘技术得到了迅速的发展。数据的高速增长已超过了人们的处理分析能力，数据很少被访问，使很多的决策不是在数据的基础上分析得出的，而是取决于决策者的感觉，数据挖掘正可以针对这一现状从大量数

2、据中挖掘特定的关系规律，使其可以对商业活动等诸多领域的发展提供必要信息。数据挖掘可视为数据管理和分析的自然进化产物，数据挖掘进化过程如图1．1所示。数据收集与数据库创建(60年代或更早)基础文件处理数据库管理系统(70年代)网络和关系数据库系统、数据建模工具索引和数据组织技术、查询语言和查询处理用户界面与优化方法、在线事务处理先进数据库系统(80年代中期至今)先进数据模型、面向应用数据仓库和数据挖掘(80年代后期至今)先进数据模型、面向应用新一代信息系统(2000年之后)图1．1数据挖掘进化过程示意图Fig．1．1Thedataminingprocessofevolution

3、diagram面向数据流的频繁项集挖掘算法研究在当前市场经济面向全球化的激烈竞争中，对数据中知识的需求来自各行各业，从商业管理、主场分析到工程设计、科学探索等等。任何一个商家的成功都不单纯的取决于其产品和服务上，更需要从日益积累和数据中获取经营决策的相关信息。企业可以通过数据挖掘技术挖掘出有用的信息，确定有利于企业发展的决策，减少日常商业动作的成本。因此，如何对已有数据进行有效的加工分析，从中提炼出有用的知识对企业的发展有着重要的意义。1．2数据挖掘概念与应用数据挖掘(DataMining，简称DM)又可以称为数据库中知识发现(KnowledgeDiscoveryfromDa

4、tabase，简称KDD)就是从大量数据中抽取出有用的知识，它是一个包含了多个处理步骤的知识发现过程，而数据挖掘只是其若干步骤中的一个主要步骤，它的作用就是利用智能的方法挖掘出数据内部的模式或规律。知识挖掘过程示意如图1．2所示。图1．2知识挖掘过程示意图Fig．1．2Knowledgeminingprocessschematic数据挖掘的目的就是为企业的决策提供依据，从海量数据中发现问题、解决问题。利用数据挖掘技术可以帮助决策者得到所需要的信息。在很多情况下，用户不知道在海量的数据中哪些数据是有价值的，所以就需要数据挖掘动动技术来解决这一问题，满足用户的实际需求。实际上，数

5、据挖掘从一开始就是面向应用的。目前很多的重要领域中都有数据挖掘技术应用的身影，如银行、保险、超级市场等等商业领域，特别是在市场营销中应用更为普遍，数据挖掘通过收集、加工和处理消费者行为信息，确定特定消费辽宁师范大学硕士学位论文群体的消费习惯、消费兴趣等，进而推断出该消费群体下一步可能的消费行为，决策者可以利用推断出的消费群体可能的消费行为进行定向营销，这就为营销节省了大量成本，提高了营销效果，为企业带来更大的商业利润。数据挖掘技术在其它方面的应用有：(1)对客户进行分析：银行信用卡、保险行业等利用数据挖掘技术将市场分成不同意义的部分，帮助市场经理和业务人员将更多的精力集中于有

6、促进作用的活动和设计新的市场营销计划上面。(2)客户关系管理：数据挖掘能够挖掘出产品的使用规律或有助于了解客户行为，从而改进管理。(3)零售业：数据挖掘技术用于顾客购物分析，可以帮助调整货布置、促销时间、促销商品的搭配组合等等。(4)产品质量保证：数据挖掘技术在管理大量数据之间相互关系上，能够自动发现其中不正常的数据分布，提示质量工程师快速注意到制造及装配操作过程中存在的各种问题的范围，并协助工程师解决问题。(5)远程通信：数据挖掘分析能够协助企业在高速发展外部环境下组织策略的变更，确定市场的变化模式，对销售计划进行指导。在网络方面，数据挖掘技术能够指导容量计划人员对网络设施

7、的选择做出最佳的投资方案。(6)各个企事业部门：数据挖掘技术在许多方面发挥着重要作用，如灾难评估、错误回避、市场销售和资源的合理分配等等。1．3数据挖掘的国内外研究现状数据挖掘分为聚类、分类、频繁模式挖掘等等，本文主要针对频繁项目集挖掘的研究现状进行分析。在国外，数据挖掘的研究工作开展的较早，取得了很多有价值科研成果。Agrawal等人提出的Apriori算法n3是频繁项集挖掘的经典算法，该算法利用候选频繁项集来解决求解多项集的问题，为频繁模式挖掘奠定了基础，但该算法存在弊端，在求多项集的频繁数时要首先