《大数据架构》pdf版

《《大数据架构》pdf版》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据架构云南机场集团有限责任公司范怀炜2017年3月未来10年最具经济影响力的颠覆性技术未来10年最具经济影响力的颠覆性技术（资料来源《麦肯锡研究报告》）至2025年的预估潜在经济影响上限（单位：万亿美元）12.可再生能源11.先进材料10.先进油气勘探及开采9.3D打印8.储能技术7.下一代基因组学6.自动汽车5.先进机器人4.云3.物联网2.知识工作自动化1.移动互联网（大数据、BI、自然人机接口）024681012大数据分析系统的思维逻辑系统使用思维数据展示数据采集数据存储数据计算系统建设思维数据存储数据计

2、算数据采集数据展示——以系统建设思维，交流讨论大数据系统体系建设规划搭平台采数据建模型编代码图呈现第一阶段第二阶段一次建设逐步扩展重复迭代持续滚动可查询简应用可分析展现深入应用——巧妇有米可炊——巧妇百变花样主要内容1.大数据的基本概念2.大数据存储体系（云计算平台）3.大数据的计算体系（分布式计算）4.大数据的数据采集体系5.大数据的典型应用6.大数据可视化7.大数据与安全本PPT用于教学研讨，引用文档较多且并未全部列出来源，在此一并谢过！大数据是什么？大数据（BigData）一词正式出现是在2011年麦肯锡全

3、球研究院发布的《大数据：下一个创新、竞争和生产力的前沿》研究报告中。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则特指新一代的创新型技术，能够突破常规软件的限制，是对大数据进行采集、存储、和处理的技术的统称。——大数据需要特殊的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统、流计算、深度学习、数据可视化

4、等。——这些年来，大数据先是被神化，继而被“泛华”化。目前，其实谁也不知道别人所谓的大数据指的是什么。有时候大数据的定义里既有平台（硬件）又有分析技术，有时候只是一个硬件平台或者是一个互联网上的应用或者是传统的BI（数据仓库+统计分析）。——大数据的主要作用是还原过去事实，预测未来变化。大数据的特征①数据量大（Volume）：通常指10TB以上规模的数据量。②数据种类多（Variety）:来源包括传感器、智能设备、社交网络数据；结构包括结构化、半结构化、非结构化，如文本、图片、音频、视频、地理位置等类型数据。③数据

5、增长及处理速度快（Velocity）：大数据的处理要求是在线的，1秒定律。④数据的隐藏价值大（Value）：数据的单位价值密度低，但大数据的战略意义不在于掌握庞大的数据，而在于对这些含有意义的数据进行专业化处理，通过“加工”实现数据的“增值”。⑤准确性（Veracity）：IBM提出，强调数据质量。（5V）⑥可视性（Visualization）：⑦合法性（Validity）：大数据技术栈技术分类技术与工具产品举例OpenStack,CloudStack,ApacheHadoop,10genMongoDB；Googl

6、e基础架构支持云计算平台AppEngine,微软Azure,AmazonEC2/S3/SimpleDB，EMCAtoms云存储，阿里云数据采集工具Flume,Scribe，Chukwa,Kafka,网络爬虫AscentialDatastage,InformaticaPowercenter,NCRTeradataETL工具数据采集ETLAutomation;KETTLE;SqoopOracleServiceBus,IBMWebSphereESB,MicrosoftESB,JBOSSSOA数据总线（ESB）Platfo

7、rm分布式文件系统GoogleGFS,HadoopHDFSSQL数据库ORACLE,DB2,MSSQLServer,MySQL数据存储NoSQL数据库HBase,MongoDB，Hypertable,Cassandra,CouchDBNewSQL数据库H-Store,VoltDB，NuoDB，TokuDB,MemSQL查询、统计、分析……数据预测与挖掘……数据计算深度学习……社交计算、计算广告……虚拟现实、增强现实……展现与图形与报表……交互可视化工具……主要内容1.大数据的基本概念2.大数据存储体系（云计算平台）

8、3.大数据的计算体系（分布式计算）4.大数据的数据采集体系5.大数据的典型应用6.大数据可视化7.大数据与安全云计算的概念现阶段广为接受对云计算的定义是美国国家标准与技术研究院（NIST）定义：云计算是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络，服务器，存储，应用软件，服务），这些资源能够被快