云数据采集中心及大数据计算平台建设及方案

《云数据采集中心及大数据计算平台建设及方案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、CC云数据采集中心及大数据计算平台建设方案成都中蓝信息技术有限责任公司..目录..1引言51.1项目背景51.2项目目标51.3建设原则61.4参考规范71.5名词解释92云数据采集中心102.1需求概述102.2总体设计132.3核心技术及功能182.3.1分布式文件存储技术182.3.2分布式并行计算技术272.3.3分布式数据库技术312.3.4负载均衡342.3.5数据采集392.3.6开放平台452.4部署方案482.5实施计划50..3大数据计算平台523.1需求概述523.2总体设计523.3应用建

2、设573.3.1收视率统计573.3.2智能推荐603.3.3拍立购633.4部署方案693.5实施计划724性能及成本分析734.1运营商网络性能分析734.2服务器网卡性能分析734.2服务器内存性能分析734.3服务器硬盘性能分析744.4服务器RAID模式分析744.5D2B性能分析754.4DMQ平台性能分析755存储空间规划表766机房选型77..7安全设计788风险分析81....1引言1.1项目背景根据CC智能战略的规划：做强终端、云平台建设、大数据商业模式，CC正迈向大数据时代，当前正面向所有智

3、能终端提供优质的服务，同时通过终端传感器或数据采集服务能够获取海量的数据，并且数据量会以TB级剧增。因此CC迫切需要建设一套高性能、高安全性、高可靠性，可扩展性的云数据采集中心，并搭建一个数据中心支撑平台，以满足当今高速增长的数据存储、管理、计算的需求，同时便于将来拓展和进一步的改造。目前CC数据中心是主要基于CC黑电、白电、浏览器等产品终端传感器采集的海量文本、图片数据以及用户数据，为CC后续其他数据分析挖掘项目提供数据支撑的信息平台。对应方针——终端内容服务、云服务支撑与数据挖掘、个性化数据价值探索。建立统一

4、有效的云数据采集中心有利于CC大数据的管理，符合CC新的发展战略，CC黑电和白电产品终端传感器采集的数据有用户行为的文本数据（log）、台标等图片数据以及自建的影视知识库的结构化数据、电商平台的海量镜像数据。当CC的用户量和采集的数据量与日俱增的时候，数据中心必须能通过添加更多服务节点来扩展性能和负载能力，保证高可扩展性和高可用性从而满足CC业务发展的需要。1.2项目目标l搭建分布式存储平台（能够存储海量非结构化数据和结构化数据）、分布式并行计算平台等等，满足海量数据的采集、存储、计算的需要，平..台必须具备高可

5、用性，高扩展性，高可靠性要求。l为CC后面的产品（收视率统计，智能推荐系统,拍立购，开放平台等等）的应用和实施打下坚实的基础，为集团CC的大数据提供运营支撑。l云中心初期建立至少保证可以正常运营1~2年，硬件选型，软件开始要考虑到今后大规模扩容的要求。l技术平台要有能力支持数据量最高1000W终端数量的数据存储、数据计算、信息推荐等的能力。1.3建设原则基于本项目的建设要求，本项目将遵循以下建设原则：l前瞻性和高标准整个项目要按照企业对大数据应用的需要的高要求和高标准建设，参考行业标杆应用，建立满足需求，面向未来

6、的目标，整个项目具有一定前瞻性。l经济性和实用性整个项目以现有需求为基础，充分考虑未来发展的需要来确定系统的架构，既要降低系统的初期投入，又能满足服务对象的需求，同时系统设计应充分考虑对已有投资的保护，对已建立的数据中心、基础平台、应用软件应提供完备的整合方案。l先进性和成熟性为了确保项目具有较长的生命周期，应充分考虑到管理创新、技术发展需要，按照先进的建设理念，选择先进的技术架构和成熟技术，满足业务需求。..l高性能和安全性规范地进行系统建设和开发，提供合理且经济有效的应急方案，确保系统的稳定，向各类服务对象提

7、供可靠的服务。具有安全性，在系统遭到攻击或崩溃时能快速恢复，确保重要数据的机密性和完整性。1.4参考规范lGB9361-88计算站场地安全要求lGB50173-93电子计算机机房设计规范lGB2887-89计算站场地技术条件lGB50174-2008电子信息系统机房设计规范lGB50462-2008电子信息系统机房施工及验收规范lGB50311-2007综合布线工程设计规范lGB50312-2007综合布线系统工程验收规范lGB50395-2007视频安防监控系统设计规范lGB50263-2007气体灭火系统施工

8、及验收规范lGB50394-2007入侵报警系统工程设计规范lGB/T20269-2006信息安全技术—信息系统安全管理要求lGB/T20984-2007信息安全技术—信息安全风险评估规范lGB/T22239-2008信息安全技术—信息系统安全等级保护基本要求lGB/T22240-2008信息安全技术—信息系统安全等级保护定级指南lGA/T388-2002B计算机信息系统