微博热点话题发现系统的设计与实现

《微博热点话题发现系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、万方数据微博热点话题发现系统的设计与实现ABSTRACTKeywordsMicroblog，ShortText，HotTopic，TextClustering，K-BIRCHAlgorithmV万方数据微博热点话题发现系统的设计与实现第一章绪论1．1研究背景第一章绪论随着互联网技术的快速发展，加上移动设备的普及，使得人们相互之间的交流和通信速度大幅度的提高，使用互联网的人群规模正在不断的扩大。中国互联网络信息中心(CNNIC)在京发布的第32次《中国互联网络发展状况统计报告》中显示，到2013年6月底为止，我国活跃的网民数量达到了5．91亿，互联网上网普及的概

2、率为44．1％；其中通过手机使用互联网的网民数量达到了4．64亿，较2012年底增加4379万人，使用手机的网民数量占人群的比例提升到78．5％n1。互联网普及率的提升使得网络媒体的影响力越来越大，使其成为具有巨大影响力的主流媒体之一心，。互联网技术的发展也推动了一些新平台的发展，其中微博(Microblog)就是在这样一种网络高速发展的模式下诞生的社交平台口1。微博又称为微博客，是一种新兴的网络社交应用，它主要是一种短文本的格式，由用户通过微博平台公开发布，它在很大程度上改变了人们以往获取信息以及分享信息的方式，正在被越来越多的网民所使用。微博允许用户通过多

3、种平台来进行消息的发布，包括传统的网页、移动网络、手机短信等方式；发布的终端设备也多种多样，可以使用个人电脑、平板电脑以及智能手机等。微博多以短文本的形式进行内容的发布和更新，传播起来非常的方便和快捷，能够给人们带来信息获取的全新体验，它加快了信息传播的速度，通过微博平台人们能够无差别的将自己的观点和态度表达出来，供别人分享和评论H1。作为一种新的消息传播方式，微博逐渐进入了人们的视线，吸引着越来越多的网民参与其中。2013年第一季度，新浪微博注册的用户数量达到5．36亿，腾讯微博注册用户达到5．07亿，微博成为中国网民上网的主要活动之一，网民中使用微博的比例

4、高达54．7％。根据新浪微博官方发布的数据显示，目前，新浪微博的注册用户已经超过4．24亿人次，平均每天活跃的用户数量达到了4230万，每天通过新浪微博发布的内容超过1．2亿条，用户在线的平均时长为60分钟聆1。微博渐渐的和人们的生活紧密的联系起来。微博作为一种“自媒体”，拥有其自身的一些特性，使得消息可以转发、分享和收藏，现实社会中热门讨论的话题在微博中都会有所体现墒1。微博吸引人的地万方数据微博热点话题发现系统的设计与实现第一章绪论方主要在于，用户可以根据自己的兴趣和喜好，关注特定的某些话题和人物，通过对这些画图和人物的微博的关注，人们可以比传统的方式更快

5、的获得自己想要的信息，同时可以表达自己的观点和想法，最大限度的满足了人们获取信息的需求。微博中蕴含着大量的信息，其中很多的话题映射出社会中一些热门的话题，但是由于信息量太大，很多消息被隐藏在海量数据当中，不易被人们察觉。因此，对微博中的信息进行挖掘，发现其中有用的信息，以方便用户得知目前正在发生和讨论的热门话题，节省人们在众多杂乱无序的信息流中寻找关注点的时间，变得越来越具有现实意义。基于微博的话题发现技术正是为了适应人们对微博中热门的话题进行关注的需要而出现的。众所周知，传统的话题发现技术主要是针对大型论坛，门户网站以及传统博客等以长文本作为信息载体的平台而

6、实现的。微博是以短文本为主，因此在语料和语义的分析上，和长文本有很大的不同之处。微博的语义相对而言更不易归纳，蕴含的话题更加难以被发现，同时，微博的信息量以及更新传播的速度远超前者，往往一个话题还没有获得人们足够的关注，已经被下一个话题所覆盖，信息更新的频率过快使得对微博话题发现的研究难度加大口1。目前，微博上的用户多采用实名制，有很多的名人用户以及认证用户，通过用户之间的相互关注功能，将用户紧密的连接在一起，在微博平台上，每一个用户即时消息的发布者，也是消息的接收者和传播者。消息免费发布和传播使得微博给互联网带来了一场革命性的变化，其中蕴含着很多商业价值和社

7、会价值，供人们进一步的发掘。其中话题发现技术是促进微博信息利用的一个重要的环节，有广阔的发展前景，目前正受到越来越多的研究人员的关注哺，。国内现在主流的微博平台有新浪、腾讯、网易以及饭否等，这其中又以新浪微博的用户量最大，功能最为全面。这些主流的微博平台，大多都提供了“热点话题”等板块，然而，微博上热门话题的内容并不是从海量的数据中自动抽取的，而是存在较多的人为编辑的因素，一个话题热门的程度主要是采用传统的依靠该话题出现的频次进行统计的，缺乏一定的准确性。例如一个名人无意义的一条微博可能会被转发成千上万次，但是不能简单的认为该话题就是热门话题。同时，微博中发布

8、的消息大多比较宽泛，很多是口语化的表现