互联网舆情监测系统中的热点发现及分析

《互联网舆情监测系统中的热点发现及分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：ＴＰ３１１密级公开ＵＤＣ：６２０学校代码０８２ｆｔＨＥＢ日ＩＵＮＩＶＥＲＳＩ丁ＹＯＦＳＣＩＥＮＣＥＡＭＤＴＥＣＨＮＯＬＯＧＹ硕士学位论文互联网舆情监测系统中的热点发现及分析＃＊论文作者：郭胜指导教师：张冬雯教授企业指导教师：李建明高级工程师申请学位类别：工程硕士（在职培养）学科、领域：计算机技术所在单位：信息科学与工程学院答辩日期：２０１８年５月河北科技大学学位论文原创性声明？明：所呈交的学位论文本人郑重声，是本人在导师的指导下，独立进行研宄工作所取得的成果．对本文的研宄做出重要贡献的个

2、人和集体，均己在文中以明确方式标明。除文中己经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的作品或成果。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：指导教师签名：年月０曰■年月曰又ＪＴｙ河北科技大学学位论文版权使用授权书、本学位论文作者完全了解学校有关保留使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被査阅和借阅。本人授权河北科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制￥段保存和汇编本学位论文。□保密，在

3、。年解密后适用本授权书本学位论文属于■丨保密。“”（请在以上方框内打Ｖ）学位论文作者絲年爻月０曰年ｒ月。曰多）ClassifiedIndex：TP311SecrecyRate：PublicizedUDC：620UniversityCode：10082HebeiUniversityofScienceandTechnologyDissertationfortheMasterDegreeDiscoveryandAnalysisofHotTopicsinInternetPublicOpinionMonitoringSystemCandidate：Gu

4、oShengSupervisor:Prof.ZhangDongwenBusinesEnterpriseSupervisor：SeniorEngineerLiJianmingAcademicDegreeApppliedfor：MasterofEngineeringSpeciality：ComputerTechnologyEmployer：SchoolofInformationScienceandEngineeringDateofOralExamination:May,2018摘要摘要随着互联网的发展，信息传播方式逐渐转变为微博、微信这样的新媒体网络传播形式了，并且内容丰富，

5、信息量大，传播速度很快，涉猎范围很广，当出现热点事件时，广大民众快速加入网络讨论中，甚至形成强大的队伍，互联网舆情事件也就随之产生，甚至有些舆论可能危害国家和谐和稳定，因此针对互联网的舆情热点发现与分析就显得尤为重要。舆情热点发现与分析不仅可以帮助决策者快速发现网民聚焦的话题，并且还可以分析预测舆论方向和趋势，帮助决策者针对可能发生的网络舆情风暴提前进行预防工作。由于互联网爆发式的数据增长模式，传统的技术在获取和存储海量数据已经越来越难满足性能要求，因此，基于大数据的背景，设计并实现能够实时发现和分析互联网舆情热点的方案具有重要的意义。针对以上分析，本文分别完成了以下工作

6、：第一，设计并完成了针对新浪微博平台发布信息的实时增量爬虫，给出了基于树结构的正文抓取算法和增量式网络爬虫方法。第二，给出了热点话题发现模型，针对发现过程中的文本预处理，给出基于网络新词发现的中文分词算法，并结合Hadoop平台，通过实验验证了该算法的有效性。第三，在话题分析上，分析了多种聚类算法，最后选择了增量聚类算法Single-Pass，并且针对该算法对数据顺序敏感的缺点以及当聚类数量急剧增加求解效率明显下降的问题，给出了改进的Single-Pass聚类算法，最后分析了互联网舆情的特点，给出了互联网舆情热点分析模型。本文所给出的增量式数据采集方法，可以有效减少冗余数

7、据，提高采集效率。对比传统文本挖掘模型在处理大量数据效率低的问题，本文所给出的热点话题的发现与分析方法，在一定程度上可以解决该问题，具有较高的实用价值。关键词舆情信息；网络爬虫；热点发现；Hadoop平台；微博I河北科技大学硕士学位论文AbstractAlongwiththedevelopmentoftheInternet,thosenewmediatransmissionforms,suchasthemicroblogandtheWeChat,becomeincreasinglypopularinthefieldofinfo