大数据解决方案ppt课件.pptx

《大数据解决方案ppt课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、北京荣之联大数据解决方案目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例大数据时代到来IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB(1ZB=10亿TB)宽带、移动网络普及和提速移动网络和各种智能终端视频(医疗影像、地理信息、监控录像等)统计、分析、预测、实时处理传感器、RFID阅读器、导航终端等非传统IT设备社交网络(Facebook,Twitter,微博等)数据处理思维转变少量的样本数据数据关系力求明确清晰探求难以捉摸的因果关系要求数据精确无误全量数据乐于接受数据的纷繁复杂转而关注事物的关联关系数据的精确不

2、是那么重要了•谷歌翻译系统为了训练其系统，收集其能找到的所有翻译；•谷歌收集了上万亿页的语料库，包括质量参差不齐的文档；•上万亿的语料库，相当于950亿句英语；•相对而言，谷歌的翻译质量还是最好的；•谷歌翻译之所以更好，不是因为它拥有一个更好的算法机制，而是增加了各种各样的数据，包括有错误的数据；•在谷歌的翻译团队中，大多数工程师并不懂其翻译出来的语言；数据处理思维转变传统数据分析思维大数据分析思维案例一•聘请了20多名书评家和编辑组成的团队，在网页上创立“亚马逊的声音”向客户推荐新书，写书评；•通过客户的购买历史，寻找客户的相似性，对客户分群进行产品推荐，推荐的总是

3、与以往购买的相似或略有区别；•通过大量的数据分析，找出书籍之间的关联关系，即“item-to-item”,时亚马逊发生了天翻地覆的变化。•AMAZON销售额的三分之一来自于“item-to-item”的推荐系统。•AMAZON最终放弃了在线书评，书评团队被解散。案例二数据处理思维转变数据处理思维转变关联关系，预测的关键。很多时候，知道“是什么”就够了，没必要知道“为什么”。一旦我们完成了“关联关系”分析，我们就可以继续向更深层次研究因果关系，找出背后的“为什么”•沃尔玛：请把蛋挞和飓风用品摆在一起，请把啤酒和尿片摆在一起；•某信用评分公司，利用Facebook的社交圈

4、来预测个人偿还债务的可能性；•对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；•某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；•对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；其它案例大数据与BI融合*大数据的商业价值大数据主要厂商大型企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop提供解决方案。Hadoop的发行版除了社区的Apachehadoop外，cloudera，IB

5、M，ORACLE等都提供了自己的商业版本。商业版主要是提供Hadoop专业的技术支持，这对一些大型企业尤其重要。ClouderaEMC。。。IBMOracle大数据生态HIVEBigDataApplicationsPig!ZooKeeperSQLRAW非结构化资料汇入SQL资料汇入分散式档案系统类SQL资料库系统(非即时性)分散式资料库(即时性)并行计算框架资料处理语言数据挖掘程序库目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例企业大数据平台架构原则*技术-按需频度的数据获取批量和实时数据采用不同的技术手段和工具，遵循统一的文件接

6、口标准技术-多样化数据共存跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过数据组织与前端应用功能，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。大数据平台整体架构大数据处理流程建立对非结构化数据进行SQL语法查询的支持，实现与结构化数据的集成关联（key）主分类关键词标签地名人名全国统一分类分词，倒排搜索共性、个性文本识别处理功

7、能模块网页分类反向搜索关键词分析日志关联内容分词索引建立索引分析日志合并用户类别标签摘要结构化元信息网页信息分类数据获取语义分析数据解析非结构化数据数据获取结构化数据数据集市数据集市EDW结构化元数据Hadoop建立非结构化信息的标签、摘要、索引、日志、内容等提取结构化的元数据信息，如类别、标引、摘要等；实现与结构化数据的整合ODSSQL声誉度分析品牌分析服务质量分析竞争产品分析产品评价市场动态跟踪ETL网络爬虫大数据关键技术大数据关键技术-HadoopHadoop系统工作原理大数据关键技术-网络数据获取分布式网络爬虫分布式文件系统分布式存储横向扩容