基于云计算平台的全网音乐运营与稽核系统的构建

《基于云计算平台的全网音乐运营与稽核系统的构建》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、研发项目结题报告（上报集团版）项目名称及编号基于云计算平台的全网音乐运营与稽核系统的构建主要研究单位及负责人（联系方式）（如为联合项目，此处只填牵头单位及其负责人，联系方式需注明联系电话和Email）其他研究单位及负责人（联系方式）四川公司曾东13880502818zengdong@12530.com是否集团重点(是/否)是是否联合项目（是/否）是项目经费（万元）50项目起止时间2010年1月－2010年10月专业类别IT云计算研究类别现有业务优化关键词索引（3～5个）云计算云数据处理中心稽核系统该

2、项目在研究单位内部的评审结果优秀该项目在研究单位内部的评审意见：本项目基于大云平台，使用HugeTable的扩展性，高速并行计算等特性构建云计算平台，极大提升了音乐基地运营与业务检测系统在数据存储、统计计算、数据查询等方面的服务能力，具有良好的市场前景。项目的简介：简要描述该项目的目的和意义，解决的问题，取得的社会和经济效益等。本项目通过对无线音乐基地运营与业务检测系统的云计算构架平台研究，以期利用廉价的PC集群，形成强大的、具有高伸缩的并行运算能力和并行海量存储能力的“云数据处理中心”，为运营与业

3、务检测系统提供数据存储、统计计算、数据查询等服务。对现有企业标准规范的符合度：列举该项目使用并符合的中国移动统一发布的企业标准的名称和编号，描述该项目成果在现有的企业标准基础上所需新增的功能要求（如业务流程的改变、设备新增的功能要求等）。符合相关标准该项目的专利情况：没有的话填“无”，有的话填写专利名称及申请号或授权号。无该项目研发存在的主要问题及今后的设想：14云数据存储中心的实施有待深入。项目研究成果的主体内容（3000字以上，可附在表格后）：请点击下面图标：基于云计算平台的全网音乐运营与稽核系

4、统的构建1研究背景:1.1前沿尽管早在上个世纪90年代，“云计算”就已经作为一种新型技术模型被提出，但直到最近两年它才焕发出真正的生机。随着产业链各环节参与者的不断介入，各项基于云计算的业务也表现出了强大的市场潜力。2010年云计算在全球范围内达到了一个空前的热度，几乎全部有影响力的ICT厂商都出台了自己的云战略。随着技术与市场的日益成熟，各大厂商、IT服务提供商、运营商等产业链的各环节参与者都在云计算领域找到了自己位置，并不断有新产品、新方案推向市场。因此，尽早开始对云计算进行摸索和探讨，并结合业

5、务系统，开发和研究出基于云计算的产品或系统，将其用于解决现有或之前架构无法解决的问题是极具意义的。1.2研究与应用现状无线音乐基地业务运营与业务检测系统是中国移动无线音乐基地为加强业务管理，进行业务分析与营销分析支撑，发现并防止CP及用户欺诈行为、业务过程漏洞等情况而建立的两套支撑系统，通过对大量业务数据的统计，进行业务分析、营销分析支撑，以及时发现用户、CP违规行为并告警：如发现单一用户短时间大量业务操作或某段时间对同一CP歌曲进行大量操作等违规行为。14目前运营与业务检测系统单日处理数据记录约1

6、亿条，全天进行不间断运算，仅能实现在违规行为发生15分钟后发现并预警。随着业务量、违规手段的不断变化，需要监测的指标和计算模型不断增加，对主机计算能力和存储的需求成倍增长。1.1本课题需要解决的问题启动对无线音乐基地运营与业务检测系统的研究，以期利用廉价的PC集群，形成强大的、具有高伸缩的并行运算能力和并行海量存储能力的“云数据处理中心”，为运营与业务检测系统提供数据存储、统计计算、数据查询等服务。2使用HugeTable的理论性可行性研究2.1现网业务系统数据处理模式全网音乐运营与稽核系统数据处理

7、分为以下步骤：1)数据获取：数据从一百多个数据源得到；2)数据转换：ETL系统进行数据清洗和转换，然后将数据LOAD进入SYBASEIQA数据库；3)数据处理：调度系统根据需求，定时运行任务，完成数据处理；4)数据同步：数据即时被同步到SybaseIQB数据库，WEB应用系统从此台IQ进行数据查询2.2大云子系统Hugetable特性：1)支持高速数据加载,业务系统每天生成上百G的数据，所以高效数据加载很重要；2)索引查询和查询优化：支持全局索引，可以通过主关键字、此关键字做精确或者范围查询，时间在

8、秒级别；3)支持Mapreduce并行运算；4)支持SQL，方便业务系统开发；5)支持高数据压缩，节省宝贵的磁盘空间，降低能耗；6)数据插入、更新和删除操作：提供完整的数据访问机制。2.3小结1)现网系统每天大量的数据load，HugeTable支持高速的速度导入，可以满足需求2)现网系统每月有小量数据需要更新，HugeTable执行更新删除，可以满足需求3)HugeTable支持数据压缩，更节省磁盘空间，可保存更多数据。因此，综合上述各方面，基于HugeTable的