资源描述：
《基于关联规则挖掘的数据质量提高方法研究》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第39卷第1期太原理工大学学报Vol.39No.12008年1月JOURNALOFTAIYUANUNIVERSITYOFTECHNOLOGYJan.20083文章编号:100729432(2008)0120046203基于关联规则挖掘的数据质量提高方法研究张英俊,谢斌红,赵红燕(太原科技大学计算机学院,太原030024)摘要:为了提高数据质量,提出了在数据录入、校对系统中引入关联规则挖掘,并给出了具体设计思路、体系结构和实现要点。实验结果表明,该方法实现了数据录入、校对准确和高效的预期目标。此方法对平
2、均分布的数据具有一定的通用性。关键词:数据质量;数据挖掘;关联规则中图分类号:TP27114文献标识码:A数据质量在数据库建设中占有举足轻重的作3)数据质量原则上可以测量和改进;用,是数据挖掘和数据分析的基础,是提高数据分析4)数据质量的重要性正在增加,但不平衡;结果有效性、权威性的关键。研究表明,人为差错是5)数据质量与环境有关;导致数据质量问题的主要根源,其次是缺乏必要的6)数据质量是多维度的;系统或人员对数据进行审核验证。因此,开发高效7)数据质量是多尺度的;的数据录入和校对系统,对提高数据的质
3、量就显得8)人的因素是核心。非常重要。数据质量问题具体表现为:在数据挖掘的知识模式中,关联规则模式是比1)正确性(Accuracy)。数据是否正确体现在较重要的一种。关联规则的概念由Agrawal,Imie2现实或可证实的来源。linski等人提出,是数据挖掘技术中一种简单且很2)完整性(Integrity)。数据之间的参照完整实用的规则。采用关联规则挖掘技术对数据录入、性是否存在或一致。处理提供支持,从而提高数据质量。笔者以开发煤3)一致性(Consistency)。数据是否被一致的炭检验数据库为例
4、,探讨了利用关联规则挖掘对数定义或理解。据录入、校对系统的设计思路、体系结构和实现要4)完备性(Completeness)。所有需要的数据点。系统经过实际运行达到了预期的目标,实现了是否都存在。数据录入、校对的准确性和高效性。5)有效性(Validity)。数据是否在企业定义的可接受的范围之内。1数据质量6)时效性(Timeliness)。数据在需要的时间数据是为反映客观世界而记录下来的可以鉴别是否有效。的数字或符号,如数字、文字、图形、图像、声音等。造成数据质量问题的原因有很多。研究表[2]随着信息
5、技术应用的不断普及,信息系统中数据质明,无论是将数据质量定义为数据“使用的适合量问题受到越来越多的关注,特别是统计、管理和计性”,还是根据ISO9000的版本升级引起质量定义算机等领域。美国国家统计科学研究所(NISS)关的变化,而定义为“一组固有特性满足要求的程度”,[1]于数据质量的研究表明:人为差错都是导致数据质量问题的主要根源,其次1)数据是产品;是缺乏必要的系统或人员对数据进行审核验证。2)作为产品,数据有质量,这个质量来自产生从整体上考虑,不论是信息系统开发的数据质数据的过程;量还是运行的
6、数据质量,降低解决系统开发和运行3收稿日期:2007203210基金项目:山西省自然科学基金资助项目(20051044)作者简介:张英俊(1969-),男,山西河津市人,硕士,高级工程师,主要从事数据挖掘、智能软件研究等,(Tel)13015440989©1994-2009ChinaAcademicJournalElectronicPublishingHouse.Allrightsreserved.http://www.cnki.net第1期张英俊等:基于关联规则挖掘的数据质量提高方法研究47过程中数
7、据质量问题的总体成本,开发高效的数据的指标(质量分数)分别为w(灰份)<15%和8、,是数据库和信息决策系录一校规则:即同一份检验报告由不同的录入员分统最前沿的研究方向之一。数据挖掘是一个相对较别进行第一次和第二次录入,由系统进行校对。如新且发展迅速的交叉学科,它集成了许多学科中成果第二次录入时,录入的数据与第一次不一致,则会熟的工具和技术,包括数据库技术、统计学、机器学提示第二次录入的录入员核对数据,再进行录入。习、模型识别、人工智能、神经网络等。它是根据目2)数据关联规则挖掘。根据给定的可信度和标对数据进行探索和分析,揭示其中隐含的
