基于mapreduce的社会网络分析系统研究与实现

《基于mapreduce的社会网络分析系统研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、密级：保密期限：砖右却童天警硕士研究生学位论文学姓专导学号：．Q252：!z一2名：一拯盛一业：盐篡扭型堂皇蕉丕师：菱查院：．匦终技苤研究瞳2010年1月10日6：1．』／／丫ll／I／11l／I／／／17／／／115l／I／／18／／lllll7Ulll4lll／f18／Hll／独创性(或创新性)声明本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究

2、所做的任何贡献均已在论文中作了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人签名：丞芴一一盘．本人承担一切相关责任．日期：釜型芝：主：么兰关于论文使用授权的说明学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。(保密的学位论文在解密后遵守此规定)保密论文注释：本学位论文属于保密在一年解密后适用本授权书

3、。非保密论文注释：本学位论文不属于保密范围，适用本授权书。本人签名：导师签名：日期：2芝Z芝：主Z』日期：．砬‘臣：生：!五h，，Jp_：j北京邮电大学硕士学位论文摘要基于MapReduce的社会网络分析系统研究与实现摘要随着互联网进入web2．0的时代，出现了越来越多的社会化网站。这些社会化的网站互相模仿借鉴，使得网站提供的服务相似程度很高，网站的同质化加剧。因此需要分析网站的用户的特点，根据用户的特点，有针对性的向用户推出服务，使得用户可以获得更好的服务体验。而传统的基于数据仓库的社会网络分析工具，在用户数据管理和数据分析上存在着很大的困难，面I临着难以管理异

4、构数据和分析数据规模过小的问题。基于MapReduce的社会网络分析方法是很好的解决方案。本文提出了一套基于MapReduce的社会网络分析系统的研究与实现方案。本文提出了基于MapReduce的社会网络分析系统设计方案，包括进行社会网络分析所需的数据获取，数据格式转换，图处理和社会网络分析算法的设计，实现了进行社会网络分析的完整过程。数据获取使用网络爬虫从社会化的网站上进行数据抓取，分析网站URL的特点，通过对网络爬虫的配置文件进行设置，实现内容的精确抓取。基于MapReduce的社会网络分析系统设计方案中，设计了图处理系统。进行社会网络分析，将社会网络抽象成一

5、幅图后，需要对图中的节点和边等图数据进行处理，设计了图处理系统用于图数据的处理，向社会网络分析算法提供图数据处理能力，系统设计了图处理系统。图处理系统提供了从网络爬虫抓取的数据的数据格式向图数据格式的转换。在基于MapReduce的社会网络分析系统中，需要实现社会网络分析算法，用于对社会网络进行度量分析。本文介绍了基于MapReduce进行社会网络算法设计的思想，进行算法设计时的数据结构定义等，并以点度中间度为例，介绍了基于MapReduce的社会网络分析算法的详细设计和实现过程。本文中提出的基于MapReduce的社会网络分析系统经试验验证，运行良好，适于对社会

6、化网站中的大规模数据进行社会网络分析。关键字：MapReduce；社会网络分析；网络爬虫；点度中间瓢．．●“r一北京邮电大学硕士学位论文RESEARCHANDIMPLEMENTATIONOFSOCIALNETWORKANAIYSISSYSTEM0NML气PREDUCEAbstractWiththeInteractcomingtotheeraofweb2．0，thereeme唱esmoreandmoresocialnetsites．Thesesocialnetsitesimitateeachotherandcopytheideaofothers．Asaresult，

7、theservicesprovidedbythesesocialnetsiteshaveahighdegreeofsimilarity,increasingthehomogenizationofthesesocialnetsites．Therefore，thesocialnetsitesneedtoanalyzethecharacteristicsoftheirusers，providetheservicesaccordingtothecharacteristicsoftheusersallowinguserstogetabetterserviceexperien

8、ce．Wh