大数据平台架构及建设思路

(20页)

'大数据平台架构及建设思路'
大数据平台架构及建设思路 2019-10-29 中国移动通信集团设计院有限公司 做国内最佳、创国际一流的通信咨询设计企业 二、主流技术比较三、中国移动大数据平台建设思路 -1-什么是大数据 “大数据”是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的 数据集。目前,大数据的一般范围是从几个TB到数个PB。 ——麦肯锡 无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的大量而复杂的 数据集合。 ——维基百科 数量大、获取速度快或形态多样的数据,难以用传统关系型数据分析方法进行有效 分析,或者需要大规模的水平扩展才能高效处理。 ——美国国家标准技术研究院(NIST) 体量大、快速和多样化的信息资产,需用高效率和创新型的信息技术加以处理,以 提高发现洞察、做出决策和优化流程的能力。 ——Gartner公司 -2-运营商对大数据的理解 网络数据、用户数据、应用数据的汇聚构成了我们的“大数据”。这些结构化、非结构化 的数据的处理和建模形成对用户、服务、资源、终端等对象的洞察。这些洞察与市场营销、网 络运维等业务流程的衔接将会给公司带来新的价值。 采集、建模和应用 数据处理实时性与价值呈正比 运 价值 营 改善市场 提升网络 改善客户 创新商业 改 运营效率 运维效率 满意度 模式 进 流处理,实时 的内容智能感 知,策略执行, 建 洞察:用户/服务/资源/终端/...... 连续更新 大数据2 模 分 结构化数据处理 非结构化数据处理 非结构化的数据, 析 包括互联网日志、 web文本信息,非 应用数据 大数据1 网络数据 用户数据 实时或准实时 ?内容DPI 数 ?话单XDR ?HSS信息 ?Web 批处理,事先定 据 ?性能监测 ?BSS数据 义的查询和模型 ? Social 采 ?故障监测 ?OSS数据 media 集 ?网络资源 ?终端 ?APPS 传统商业智能 实时性 大数据具备Volume 海量、 Variety 多样、 Velocity 快速、Value 价值的特点。据Ericsson预测,到 2018年,每个手机终端每个月将产生2G的数据。(Ericsson Mobility Report,2013年) -3-中国移动数据分布 B域数据以客户关系、用户行为、产品信息等为主,支撑客户经营和产品营销 B域 等 O域数据以设备数据、告警信息和性能信息等为主,支撑网络监控、网络优 O域 化、用户投诉处理等 M域数据以财务、人力资源、供应链和办公信息等为主,支撑企业管理、企 M域 业办公信息化等 DPI数据域以上网日志、内容构成、用户轨迹、网络信令等为主,可支撑流量 DPI数据域 经营、网络运维和增值服务等 九大业务基地:基地数据以用户信息、用户行为信息等为主,可支撑个性化 业务平台 推荐、优化产品和服务等。WAP/短彩信:存储网络日志,可支撑定位网络及 终端问题。 -4-运营商大数据运用 目前主要的电信运营商都已积极探索开发其内部大数据资源。但从目前的应用发展看,电信运 营商的大数据仍主要用于内部服务的,如支持内部的客户流失分析、营销分析和网络优化分析 等,对外的应用模式尚未成型,部分电信运营商开始尝试通过给第三方提供数据产品和服务, 进行数据的增值。 p对内: p客户上网数据处理、网页爬取和网页分类、分析挖掘客户上网行为 p详单查询、上网日志查询 p流量分析、客户视图、精准营销 p网络运维优化 p对外: p与航空公司合作,建立乘机客户识别模型,提供大数据挖掘、客户发展全流程大数据信 息服务,提供针对性的营销方案 p与交通运输部、省高速公路合作,开展“基于移动大数据分析在交通行业中的应用”研 究项目 p利用通信信令实时分析景区人流量,结合游客的行为数据挖掘,为旅游管理部门、景区 提供数据的决策参考 p以客户授权为依据,发挥移动客户实名数据优势,为互联网金融提供客户信息验真服务 p与外部客户合作在手机冲浪平台实施移动广告精准投放 -5-一、大数据介绍三、中国移动大数据平台建设思路 -6-大数据处理技术 大数据对传统数据处理技术体系提出挑战 大数据具备数据量大、数据类型多、数据处理速度要求高和价值密度低的特点,传统分析系统 架构(RDBMS +小型机+ 高端阵列模式)下,传统数据库无法支撑海量数据(如100TB以上,性能下降 )、非结构化数据,现有IOE的架构无法线性扩展且成本高昂。 大数据处理技术 OldSQL :传统关系型数据库 NewSQL:新型MPP数据库,关系型数 据库 NoSQL:泛指非关系型的数据库 Hadoop:对大量数据进行分布式存储 和处理的软件框架 -7-大数据三大技术比较 面对海量种类繁多的数据进行实时数据分析和离线数据分析,仅有传统的数据库技术已不适 用,需要针对不同数据场景选择不同技术手段。 MPP数据库:适合结构化数据的深度分析、复杂查询以及多变的自助分析类应用、数据集市等。 Hadoop :适合海量数据存储查询(详单存储和查询)、批量数据ETL、非结构化数据分析(日志分析、 文本分析)等。 传统数据库:在复杂关联、汇总、事务处理方面能力强,适合数据量小、高可靠、数据价值密度 高的应用。 -8-中国移动大数据目标架构 在当前数据种类繁多、数据处理复杂的情形下,
关 键 词:
大数据平台架构及建设思路 ppt、pptx格式 免费阅读 下载 天天文库
 天天文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
关于本文
本文标题:大数据平台架构及建设思路
链接地址: https://www.wenku365.com/p-44790832.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服点击这里,给天天文库发消息,QQ:1290478887 - 联系我们

本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。本站是网络服务平台方,若您的权利被侵害,侵权客服QQ:1290478887 欢迎举报。

1290478887@qq.com 2017-2027 https://www.wenku365.com 网站版权所有

粤ICP备19057495号 

收起
展开