一种基于云计算舆情数据服务平台

《一种基于云计算舆情数据服务平台》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一种基于云计算舆情数据服务平台摘要：本文提出一种基于云计算的大规模舆情数据服务平台设计方案，依托大规模网页采集分析技术、云计算数据处理技术、社会关系舆情传播分析技术和文本流舆情主题分类技术，针对不同需求的用户提供按需计费、可定制和可弹性管理的商业服务模式，实现网络舆情服务。关键词：云计算数据服务平台中图分类号：TP3长期以来，互联网舆情是人们所关注的重点。通过网络所发布、传播、共享的舆情信息，是展现广大人民群众心态、体现政府能力和信心的重要手段。随着当前社交网络、移动网络等新型互联网平台的出现，目前对互联网舆情服务的要求正在日益增强。现有的互联网舆情监测评估系统在语义处理上采用基

2、于关键词的技术，其在网页处理上直接的局限表现在不能有效地进行实体识别，影响了主题定义的质量，导致系统在热点追踪、文本分类等核心功能的实现质量不高；在数据处理能力方面，由于系统运行在能力有限的物理分割服务器上，导致海量舆情数据的分析能力不足［1］。本文引入语义计算［2］、云计算［3］、主题检测等技术，为舆情分析提供了强大的数据采集、存储和处理能力，可以依据不同需求的用户提供不同的舆情分析能力和服务。本文所提出的针对互联网中出现的新型移动平台、社交平台、舆情数据海量化等新兴状态，采用云计算技术、社交网络分析技术、语义计算技术、文本流主题检测技术、垂直搜索引擎技术等在内的多项新型技术，

3、针对多样化和海量化的舆情数据展开监测和评估，并通过云计算所具备的全新计算架构，针对不同需求的用户提供按需计费、可定制和可弹性管理的商业服务模式，最大程度上契合用户的需求并降低用户的使用费用，通过空间、虚拟机和舆情评估模块定制等跳过用户自行投资信息化硬件建设的成本，为用户提供低价优质的全新舆情监测与评估体验。1整体方案下面，本文将分别从舆情检测技术、云计算平台架构、舆情传播分析技术等三个方面阐述本文所提出平台的技术方案。1.1舆情检测技术主要由三个部分组成：(1)信息采集：主要完成网络舆情信息的采集工作，用户可以通过指定站点、频道、时间范围等对这部分功能进行定制。信息采集主要通过C

4、rawler对网页进行采集，或者通过专用DB导出工具，直接挂接到站点的服务器上实现舆情信息的高效采集。(2)用户接口：允许用户采用专门需求对自己的评估监测需求；允许用户专业特点、应用体验对系统的功能重新进行定制；完成舆情监测评估的报告的反馈呈现功能。（3）舆情监测评估控制：对监测评估需求进行语义解析，并据此调度监测评估程序库的程序，来完成监测评估结果，而后将结果以图形、表格、文字报告等形式反馈给用户。1.2云计算平台云计算平台主要分为四个层次：基础资源服务层（即IaaS层）、数据服务层（即DaaS层）、平台服务层（即PaaS层）和软件服务层（即SaaS层）。在这四个层次中：（1）

5、IaaS层：基础资源虚拟化、基础资源动态负载平衡、超大规模高速网络聚合带宽技术、云安全控制。（2）DaaS层：基于ETL的海量舆情实时信息处理、大规模舆情信息文本流分类管理、海量舆情数据安全防灾管理。该层中将通过结构化数据库（Oracle）和非结构化数据库（HBase和Hive）等同时管理存储数据。（3）PaaS层：标准接口管理、异构数据交互与转化、服务部署、任务分配与平衡。该层中将部署节点控制器、集群控制器等实现平台管理。（4）SaaS层：统一访问门户、舆情采集、管理与分析挖掘应用部署。1.3舆情传播分析技术当重点聚焦当前舆情传播中的用户社交关系的分析和处理：（1）用户社交关系

6、路径获取与分析技术：实现不同ID情况下用户身份的统一识别和认证；继而对用户的网络社交关系、社交圈等进行记录和分析，从而获取用户对于每一个舆情主题的传播路径等。（2）用户社交关系的计算基础技术:该技术为用户社交关系、社交圈、社区身份等信息提供可计算的逻辑基础，从而使每一个用户的社交关系、身份信息等具备可定性或定量计算的可能。（3）用户关系在舆情传播中的路径和影响力预测技术：该技术可计算并预测不同程度和性质的用户关系可能会导致舆情主题的传播方向，传播对象和传播群体；同时可针对不同用户关系，预测这些关系和路径对舆情主题传播可能产生的附加影响力。2关键技术本文所提出的舆情数据服务平台主要

7、包括以下四个方面核心技术。（1）大规模网页信息采集、网页信息抽取、文本实体识别技术：通过构建云计算平台，利用云计算技术实现计算资源整合，并进一步利用虚拟机动态分配、网络节点分布式计算等实现大规模网页舆情数据的爬去的采集；利用语义计算、垂直搜索引擎技术、文本过滤、自然语言处理技术等实现了网页信息的抽取与文本实体识别，最终完成舆情信息的采集、分类、抽取等功能。（2）基于云计算的大规模、分布式舆情信息分析处理能力：在云计算平台下，划分出专门的虚拟机，通过云平台析、主题提取和分类、舆情情