网络舆情检测和控制关键技术的研究

《网络舆情检测和控制关键技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文网络舆情检测与控制关键技术研究KEYTECHNOLOGIESRESEARCHONDETECTIONANDCONTROLOFINTERNETPUBLICOPINION宋保江2010年6月国内图书分类号：TP393.08学校代码：10213国际图书分类号：681.3.06密级：公开工学硕士学位论文网络舆情检测与控制关键技术研究硕士研究生：宋保江导师：宋颖慧副教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2010年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP393.08U.D.C:68

2、1.3.06DissertationfortheMasterDegreeinEngineeringKEYTECHNOLOGIESRESEARCHONDETECTIONANDCONTROLOFINTERNETPUBLICOPINIONCandidate：SongBaojiangSupervisor：AssociateProf.SongYinghuiAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofCo

3、mputerScienceandTechnologyDateofDefence：June,2010Degree-Conferring-Institution：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着中国网民数量的不断增长，论坛、博客、微博等网络媒体作为民意表达最为集中、信息传播最为畅通的一个“场所”，越来越受到网民的热衷。网络舆情检测与控制涉及到的关键技术，例如，信息的采集与抽取，话题的聚类与分析以及舆情控管等技术，是学术界研究的热点。论文中，将以109所高校论坛作为研究对象，通过对当前信息采集技术以

4、及信息抽取技术的应用与改进，获取能够反映大学生最新思想动态的舆情信息；通过对舆情控管过程中遇到的相关问题进行讨论，提出了一套完整的舆情控制解决方案。论文中，将对网络舆情检测与控制中涉及到的三种关键技术：信息采集、信息抽取以及舆情控管展开详细的讨论。信息采集部分将采集过程分为了两部分：离线部分和在线部分。离线部分，首先，通过对样本网页的采集，获取到采集器的采集路径以及网页属性信息；然后，通过对关键资源的识别，得到了能够抽取它们的路径。另外，通过与信息抽取技术结合，将得到的发言时间及有效信息含量应用到了基于泊松模型的时间模型中，得到增量采集的合理时机。在线

5、部分，将使用离线部分的结果指导采集器的工作，极大地提高了信息采集的准确率以及降低了采集器的负担。信息抽取部分，通过利用帖子中存在的网页结构相似性，结合用户创建信息的特点，提出了索引路径定位标题、主题和回复信息的算法，并对回复信息可能存在的干扰，进行深度噪音去除。舆情控管部分，充分利用论坛提供的操作接口，通过对验证码、身份隐藏等问题的讨论，最终得到一个可以针对不同论坛实施舆情干预的统一解决方案。关键字：网络舆情、增量采集、信息抽取、舆情控管I哈尔滨工业大学工学硕士学位论文AbstractWiththegrowingnumberofnetizen,more

6、andmorenetizensarekeenonforum,blog,microblogandothernetworkmediaasaplacewhereisthemostconcentratedpublicopinionexpression,themostfree-flowingdisseminationofinformation.Detectionandcontrolofinternetpublicopinionrelatedtoseveralkeytechnologies,andacademicresearchfocusoninformation

7、collectionandextraction,clusteringandanalysisoftopic,andcontrolpublicopinion.Inpapertherewillbe109collegesForumforthestudy,itwillhaveadetaileddiscussiononthreekeytechnologiesthatisrelatedtomonitorandintervenetointernetpublicopinion:incrementalcrawling,informationextraction,andco

8、ntrolpublicopinion.Incrementalcrawlingdividesac