基于微博舆情监测和研究探究

《基于微博舆情监测和研究探究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于微博舆情监测和研究探究　　摘要：微博凭借其操作简单、互动性强、传播迅捷的特点，发展飞速。微博不仅已经渗透到社会各个方面，而且日益成为新闻舆论的重要源头。网络舆情的形成和传播呈现的是病毒爆发式的增长方式，能对社会产生巨大的影响。但基于微博的舆情监测和分析还是比较贫乏的。在舆情监测和分析研究的基础上设计与实现了基于微博的Scool舆情监测分析系统。针对微博覆盖面广、用户基数大、数据量巨大、更新速度快的特点，在此系统中信息的存储采取的是NoSQL与关系数据库结合的方式。关键词：微博；舆情监测；舆情分析；Scool；No

2、SQL中图分类号：TP311文献标识码：A文章编号：2095-2163（2013）02-0050-040引言8目前，随着网络全球化的进程加快以及移动技术的推广，微博已经成为了网络舆情的主要源头和有效传播路径。由于微博具有的进入门槛低、操作便捷、互动性强等特点，近两年在全国得到了迅速的普及，获得广泛的应用。但是不可忽视的隐患也随之呈现。微博已经成为了各种谣言和违法信息滋生、蔓延的主要平台，对社会也造成了无法预知的不良影响。因此，开展微博的舆情监控和分析研究已是大势所趋，势在必行。1研究现状目前，已有针对网络舆情分析和挖

3、掘的软件产品，较典型的有Autonomy网络舆情聚成系统、Goonie互联网舆情监测系统、TRS互联网舆情信息监控系统、方正智思舆情预警辅助决策支持系统、中科点击（北京）科技有限公司研发的军犬网络舆情监控系统等。这些系统均能对网络舆情发挥一定的监测、分析和预警的作用，为社会和谐稳定提供了有效的技术和决策支持。虽然如此，但针对微博舆情监测和分析的大部分系统却没有充分考虑到微博用户基数大、覆盖面广、数据量巨大、更新速度快的特点，而在这种情况下，采用普通的关系数据库显然无法满足要求，因此，引入NoSQL技术存储数据则是一个

4、颇有前景的发展方向。2微博舆情传播特点基于上述对微博使用方式的分析，决定了微博舆情的传播将具有如下特点：（1）信息生成和传播简便。只要简单操作，就可以第一时间关注微博新闻中的相关人物，或转发传统新闻和论坛中的内容，而且由于移动终端对微博的支持，微博就超越了时间与地域的限制，完全实现了微博的简便简易性。（2）传播信息快捷。仅以“7.23”动车事件为例，2011年7月23日晚20点388分事故发生，4分钟后网友发出了第一条微博，比传统媒体提早了两个多小时。（3）病毒爆发式的信息传播模式。消息一经发出，用户的所有关注者都能

5、收到，而这一群体再亦如此继续向外传播，则微博信息就呈现了病毒爆发式扩散传播的态势。3基于noSQL的数据库设计NoSQL最初出现于2009年6月11日由Oskarsson在旧金山发起并组织的一个非正式会议上。NoSQL是当下数据库家族的外来者，虽然有些通用的特征，但却没有一个特征得到了明确定义。根据舆情监控系统的数据实际情况，在其系统的数据库设计中引入NoSQL，当写入数据时，可在MySQL、NoSQL中分别写入一条数据的不同字段，而读取数据时，则从MySQL、NoSQL组合字段完成读取。这一读/写过程如图1所示。在

6、如图1所示的组合结构中，MySQL中存储着需要查询字段中的数字、时间等类型的小字段，其后按照查询建立相应的索引，而NoSQL中则存储着包括大文本字段在内的其他并不需要的字段。查询过程可描述为，首先将数据主键从MySQL中查询出来，再从NoSQL中直接取出对应的数据。文中设计的架构模式使得MySQL和NoSQL能够各自发挥所长，即由MySQL实现关系存储，而NoSQL则实现数据存储。这种设计的优点如下：节省MySQL的IO开销、提高MySQlQuery8Cache缓存命中率、改进了MySQL主从同步效率、提升了MySQ

7、L数据备份和恢复的速度、具有更好的扩展性。还需一提的是，这种以MySQL为主、NoSQL为辅的架构设计与MySQL的单体架构相比，系统的多样性能和可扩展性均得到了有效提高。4基于微博的Scool舆情监测分析系统设计与实现基于微博的Scool舆情监测分析系统旨在取代传统的人工收集和监控工作，实现深入、高效挖掘，并实时得到微博网络中相对敏感的舆论信息，以警示管理人员及时采取相应措施。基于微博的Scool舆情监测分析系统的实现过程是，每日需定时、周期地对新浪微博、腾讯微博、网易微博、搜狐微博进行网页抓取后，并对其内容实行解

8、析后存入数据库，而后通过分词索引以建立搜索引擎，实现数据索引，再通过用户设定的关键词库对采集的数据进行关键词集过滤，由此获得敏感舆情信息文本返回给用户界面。系统还应对收集的信息进行自然语言处理，从而识别得到热点话题和热门事件。4.1软件体系结构系统分为后台数据分析模块和前台数据展示模块。后台模块负责实现数据抓取与分析，是系统的核心。前台模块负责