基于微博数据的用户画像系统的设计与实现

《基于微博数据的用户画像系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201276090学校代码10487密级硕士学位论文基于微博数据的用户画像系统的设计与实现学位申请人：张哲学科专业：软件工程指导教师：覃中平教授答辩日期：2015.1.16AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofUserPortraitSystemBasedonMicroblogDataCandidate:ZhangZheMajor:SoftwareE

2、ngineeringSupervisor:Prof.QinZhongpingHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJanuary,2015独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权

3、书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文摘要随着互联网的蓬勃发展，互联网用户数量快速增加，企业积累了大量的用户行为数据。在如今的大数据时代，企业已经不甘于仅仅是保

4、存这些用户数据，而是希望通过对用户行为的分析去发现新的商业模式。而传统的用户分析过于依赖于个人经验，因此需要一个简单但是功能强大的分析平台让用户分析平台化简单化。基于微博数据的用户画像系统使用K-means聚类算法分析用户行为，将用户分成一个个聚类，通过分析聚类中心将每一类用户抽象成高度精炼的短文本。画像之后的用户是一个个语意突出的短文本的集合。用户画像可以帮助分析者深入，快速的认识用户，并且协助进行用户二次分类。每一个精炼的短标签背后是基于大量数据的分析挖掘，因此大大的提高了数据的可用性，将分析者从繁杂的用户数据中摆脱出来。系统提供了丰富的用户接口

5、，不仅提供页面查询服务，还提供发送UDP数据包的协议查询。页面查询部分，使用LAMP搭建支撑平台。协议查询部分，使用接口层，逻辑层，数据层三层分离的架构，每层由若干台服务器组成，支持动态的增加和减少服务器，能很好的应对流量暴涨。本系统采用多种数据分析方法和数据可视化方法，将用户分析平台化，简单化。此外，在协议查询模块，使用心跳包，缓存，主备机等机制，保证了系统的稳定性和可扩展性。关键词：大数据用户画像K-means聚类算法I华中科技大学硕士学位论文AbstractWiththerapiddevelopmentoftheInternetandbreak

6、throughsofInternetusers,enterpriseshaveaccumulatedalargeamountofuserdata.Intoday'seraofbigdata,enterprisesareunwillingtosimplysavetheuserdata,buthopetotapthebusinessmodelwhichhasnotbeenfoundusingdataanalysistechniques.Butthetraditionalmethodreliesuponpersonalexperienceheavily,s

7、oweneedasimplebutpowerfulplatformtomakeiteasy.TheUserPortraitSystemBasedonMicroblogDatausesclusteringalgorithmssuchasK-meanstoanalysistheusers,thenforeachgroupofusers,analyzeitandgiveittags.Aftertheanalysis,theuserbecomesacollectionofshorttextwhichcandescribetheuserwell.Thesyst

8、emcanhelpustounderstandtheuserdeeply.Everyshorttagofth