基于数据挖掘的web文本分析研究

《基于数据挖掘的web文本分析研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得或其他教育机构的学位或证书而使用过的材料．与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：夕孙艺签字日期：匍辟6月／p日学位论文版权使用授权书本学位论文作者完全了解有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。

2、本人授权可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文．(保密的学位论文在解密后使用本授权书)学位论文作者签名：签字日期：年月日学位论文作者毕业去向：工作单位：通讯地址：导师签名：翟柰兰签字日期：≯a7二年厂月／拍电话：邮编：摘要随着计算机技术的发展，人们利用计算机技术进行生产、研究等方面的需求迅速提高，成千上万的数据库被用于电子商务、商业管理、政府办公和科学研究等众多领域。特别是在Intemet技术日趋成熟的今天，在Intemet上存在着可以

3、广泛被使用的大量甚至海量的数据，人们迫切需要从这些数据中获取有用的信息和知识，为了解决信息过量与知识贫乏之间的矛盾，数据挖掘技术引起了信息产业界乃至整个社会的极大关注，成为当今研究的重点。本文的主要内容是基于数据挖掘的Web文本分析研究，首先分析了当前数据挖掘特别是Web文本挖掘的研究现状，在介绍了数据挖掘的相关概念、基本方法以及基本应用等之后，通过构建Web文本挖掘的框架，重点分析Web文本挖掘的基本方法和步骤。在Web文本分类方面，提出了一种可伸缩的朴素贝叶斯分类算法并作了实验分析。在较全面综述了基

4、于密度的离群点检测的概念、理论和方法后，提出了基于信息熵加权的局部离群测度离群点检测算法，分别针对一般的数据集以及Web文本数据集做了实验和分析，取得了一定的成果。本文的主要内容如下：(1)Web文本挖掘的相关概念，首先介绍了数据挖掘的概念、任务、方法、流程以及应用，然后进一步阐述Wrcb文本挖掘的定义，研究了Web页面的特征表示、Web页面的特征提取、Web文本挖掘的结构模型，并指出了Web文本挖掘未来的发展方向，最后通过实验对Web文本进行了预处理。(2)基于雨林框架的朴素贝叶斯Web文本分类，在介

5、绍了朴素贝叶斯分类算法和雨林框架的基本理论后，提出了一种可伸缩的分类算法，可以用于Web文本分类。通过具体的算法设计与实验验证了该算法的可行性与有效性，最后进行了总结和展望。(3)基于信息熵加权的Web离群点检测，首先对离群点的概念、应用和基本方法等做了综述，特别对基于密度的局部离群检测做了深入的研究，总结了基本的算法及其特点。在这些准备工作之后，对局部空间离群测度(SLOM)算法进行了改进，提出了基于信息熵加权的局部离群测度(ESLOM)离群点检测算法，给出了详细的算法定义和算法描述，最后针对多种不同

6、的数据集进行了具体的实验，特别是对Web文本数据进行了实验，对实验结果进行了分析研究。关键词：数据挖掘；Web文本挖掘；文本分类；离群点检测AbstractWiththedevelopmentofcomputertechnology，theuseofcomputertechnology，production，researchandotherneedsisrapidlyincreasing，andthousandsofdatabasesareusedinmanyareasofe-commerce，busi

7、nessmanagement，governmentoffices，andscientificresearch．Especiallywiththematuresofinternettechnologytoday，intheareaofIntemetitcanbeusedwidelytoalargenumberofevenmassofdata，Peopleurgentneedtoextractusefulinformationandknowledgefromthesedata，inordertosolvet

8、heinformationoverloadandlittleknowledge，theconflictbetweenthedataminingtechnologycausedtheinformationindustryandarousethewholesocialattention，whichnowbecamethefocusofresearch．ThemaincontentofthisthesisisWebtextanalysisbase