web日志数据挖掘的研究和实现

《web日志数据挖掘的研究和实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要随着信息技术和计算机网络技术的不断成熟和发展，数据库技术虽然已日渐成熟并被广泛应用，但其只是基本的信息存储和管理的方式，大量有价值的数据被隐藏在数据中而不能被人所使用。数据挖掘作为一门新兴的研究领域应运而生。数据挖掘技术被称为未来信息处理的主要技术之一。依据数据挖掘数据在Web中的数据源的不同，可以把Web挖掘分为Web结构挖掘、WEB访问信息挖掘、Web内容挖掘。Web日志挖掘的过程一般分为三个阶段：日志数据预处理、模式识别分析阶段和挖掘算法的实施。XML全称为可扩展标记语言，它以一种开放的、自我描述的方式定义数

2、据结构，能够明晰的对数据的结构进行表示，从而体现出数据与数据之间的关系，XML为异构的数据源提供了一种统一结构的描述方法。ID3算法是在数据挖掘技术中经常使用的经典算法，其主要应用于分类挖掘的实现中，产生的总是最小的树形结构，通过验证实例证明本文设计的系统对日志文件的的事物分析具有很好的效果。本系统的主要创新之处即是在于采用XML规则文件技术，对日志数据进行预处理，进行规则的匹配。其具有很强的灵活性，表现在用户可以根据自己的习惯偏好对XML规则文件进行配置，产生适合自身特点的日志规则，从而生成用户感兴趣的新的日志文件。

3、在本设计系统可以创建六种针对不同的日志文件的规则：通用日志文件规则、syslog日志文件规则、Weblogic规则、log4j-xml规则、oracle-alter日志规则、jboss规则。根据不同的日志文件类型，本系统可以产生相对应的规则文件。规则文件以XML格式存在，根据规则文件对输入的日志文件进行相关的处理。本系统的创新点即在于采用日志挖掘算法与XML技术结合，运用XML技术的自描述和结构描述功能以及其对数据的通用表示方式，实现对日志文件进行分析和统计。关键字：数据挖掘，日志挖掘，ID3算法，Web日志分析工具，

4、XML语言IABSTRACTAlongwithcontinuousmaturityoftheinformationtechnologyandcomputernetworktechnology,althoughdatabasetechnologyhaveincreasinglyturnedmatureandbeenwidelyused,itisonlyabasicmethodofinformationstorageandmanagement.Agreatamountofvaluabledataissubsurgedint

5、heseaofdataandcan’tbeused.Dataminingemergeasaburgeoningresearchdomain.Dataminingtechnologyiscalledoneofthemajortechnologyofinformationprocessinginthefuture.Accordingtodatafromdifferentdatasourceintheweb,wecanclassifythewebminingintowebstructuremining,webaccessin

6、formationmining,webcontentmining.Weblogminingprocesscanbegenerallydividedintothreestages:logdatapreprocessing、patternrecognitionanalisisandtheimplementationofalgorithmformining.XMLisaExtensiveMarkuplanguage,itdefinedatastructurewithaopenandself-descriptionmode,i

7、tcanclearlyindatedatastructure,sothatitcanreflecttherelationshipbetweendata.XMLprovidesadescriptionoftheunifiedstructureforheterogeneousdatasources.XMLprovideamethodofcommunicatingbetweendifferentdata.ID3algorithmisaoftenusedclassicalalgorithmindataminingtechniq

8、ue,whichismainlyappliedtotheimpletationofdatamining.Italwayscreatesthesmallesttreestructureandisprovedthesystemthisarticledesighhasgoodeffecttotransactionanalysisoflo