面向web的数据挖掘技术.doc

《面向web的数据挖掘技术.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、面向ＷEB的数据挖掘技术[摘要]随着Internet的发展，Web数据挖掘有着越来越广泛的应用,Web数据挖掘是数据挖掘技术在Web信息集合上的应用。本文阐述了Web数据挖掘的定义、特点和分类，并对Web数据挖掘中使用的技术及应用前景进行了探讨。[关键词]数据挖掘Web挖掘路径分析电子商务　　　　一、引言　　　　近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘是面向发现的数据分析技术，通过对大型的数据集进行探查

2、。可以发现有用的知识，从而为决策支持提供有力的依据。　　Web目前已成为信息发布、交互和获取的主要工具,它是一个巨大的、分布广泛的、全球性的信息服务中心。它涉及新闻、广告、消费信息、金融管理、教育、政府、电子商务和其他许多信息服务。面向Web的数据挖掘就是利用数据挖掘技术从Web文档及Web服务中自动发现并提取人们感兴趣的、潜在的有用模型或隐藏的信息。　　　　二、概述　　　　1.数据挖掘的基本概念　　数据挖掘是从存放在数据库、数据仓库、电子表格或其他信息库中的大量数据中挖掘有趣知识的过程。数据挖掘基

3、于的数据库类型主要有:关系型数据库、面向对象数据库、事务数据库、演绎数据库、时态数据库、多媒体数据库、主动数据库、空间数据库、遗留数据库、异质数据库、文本型、Internet信息库以及新兴的数据仓库等。　　　　2.Web数据挖掘　　Web上有少量的数据信息，相对传统的数据库的数据结构性很强，即其中的数据为完全结构化的数据。Web上的数据最大特点就是半结构化。所谓半结构化是相对于完全结构化的传统数据库的数据而言。由于Web的开放性、动态性与异构性等固有特点，要从这些分散的、异构的、没有统一管理的海量数

4、据中快速、准确地获取信息也成为Web挖掘所要解决的一个难点，也使得用于Web的挖掘技术不能照搬用于数据库的挖掘技术。因此，开发新的Web挖掘技术以及对Web文档进行预处理以得到关于文档的特征表示，便成为Web挖掘的重点。　　　　三、Web数据挖掘分类　　　　Web数据有三种类型,它们分别是:HTML标记的Web文档数据、Web文档内的廉洁的结构数据和用户访问数据,相应地,Web数据挖掘可分为三类:内容挖掘(Webcontentmining)、结构挖掘(Webstructuremining)和用户访问

5、模式挖掘(Webusagemining)。如下图所示。　　　　1.Web内容挖掘　　Web内容挖掘是从文档内容或其描述中抽取有用信息的过程，Web内容挖掘按实现方法分为两大类：信息检索（IR）方法和数据库方法。且有两种策略：直接挖掘文档的内容和在其他工具搜索的基础上进行改进。　　IR方法主要处理非结构数据和Web中由HTML标记的半结构化数据。前者一般采用词集方法，用一组组词条来表示无结构的文本。后者主要利用传统的数据挖掘技术：如关联规则、分类算法、演绎逻辑和规则学习等。　　　　2.Web结构挖掘　

6、　Web结构挖掘是从Web组织结构和链接关系中推导知识。挖掘页面的结构和Web结构，可以用来指导对页面进行分类和聚类，找到权威页面、中心页面，从而提高检索的性能。同时还可以用来指导页面采集工作，提高采集效率。Web结构挖掘可以分为Web文档内部结构挖掘和文档问的超链接结构挖掘。　　Web结构挖掘的基本思想是将Web看作一个有向图,他的顶点是Web页面,页面间的超链就是图的边。然后利用图论对Web的拓扑结构进行分析。常见的算法有HITS(HypertextInducedTopicSearch),Pag

7、eRank,发现虚拟社区的算法、发现相似页面的算法、发现地理位置的算法和页面分类算法。Web结构挖掘的算法一般可分为查询相关算法和查询无关算法两类。查询相关算法需要为每一个查询进行一次超链分析从而进行一次值的指派;而查询独立算法则为每个文档仅进行一次值的指派,对所有的查询都使用此值。HITS和PageRank分别是查询相关算法和查询独立算法的代表。　　　　3.Web访问挖掘　　Web访问挖掘是从服务器端记录的用户访问日志或从用户的浏览信息中抽取感兴趣的模式，通过分析这些数据可以帮助理解用户隐藏在数据

8、中的行为模式，做出预测性分析，从而改进站点的结构或为用户提供个性化的服务。　　Web访问挖掘一般分为两种：一般访问模式跟踪和定制使用跟踪。一般访问模式跟踪通过分析Web日志来理解用户的访问模式和倾向；定制使用跟踪分析单个用户的偏好，根据其访问模式为每个用户定制符合其个人特色的Web站点。Web的log数据包括：senrerlog，proxyserverlog，client端的cookielog等。Web使用记录挖掘通常需要经过三个阶段:数据预处理阶段(主要包括数据清洗