大数据技术概述

《大数据技术概述》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大数据技术概述大数据概述大数据平台架构数据平台功能规划大数据核心技术——DataMing目录案例展示大数据大数据时代的背景QQ、facebook社交网络Googlebaidu淘宝、ebuy电子商务超级TV微信、微博、Apps移动互联游戏21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）

2、都在疯狂产生着数据。半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。大数据的产生大数据的4V特征体量Volume多样性Variety价值密度低Value速度Velocity非结构化数据的超大规模和增长总数据量的80~90%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍大数据的异构和

3、多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等）实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据要解决的问题Volume海量的数据规模Variety多样的数据类型StreamsRealtimeNeartimeBatchTBPBEBStructuredUnstructuredSemi-structuredAlltheaboveValueVelocit

4、y快速的数据流转巨大的数据价值大数据技术：统计分析：A/Btest;topN排行榜；地域占比等数据挖掘：聚类；分类；关联规则；预测模型机器学习：神经网络，支持向量机；文本挖掘：自然语言处理技术，文本情感分析解决方案：数据采集：日志、爬虫；ETL工具，kettle等数据存储：HDFS,HBASE,Hive,MongoDB等数据读取：SQL；NoSQL等数据计算：并行计算：MapReduce技术流计算：twitter的storm等内存计算：Spark等结果展现：标签云；关系图等基础架构支持：分布式文件系统等（云存储

5、）相关技术与解决方案数据采集数据储存数据管理数据分析与挖掘大数据应用搜索引擎推荐引擎舆情系统社交网络知识管理……大数据与云计算云计算的模式是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供存储、访问和计算。当前云计算更偏重海量存储和计算，以及提供的云服务，运行云应用，但是缺乏盘活数据资产的能力，挖掘价值性信息和预测性分析，为国家、企业、个人提供决策和服务，是大数据核心议题，也是云计算的最终方向。大数据赋予我们洞察未来的能力机遇鬼城？房屋空置率——电力公司马云成功预测2008年经济危机Mobo的印度危机

6、……“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一

7、。——《大数据时代》挑战诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！更多的隐私、安全性问题：我们的隐私被二次利用了多少密码和账号是因为“社交网络”流出去的？2011年4月索尼的系统漏洞导致7700万用户资料失窃2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息2011年CSDN密码泄露事件2013年，斯诺登事件……2000万开房数据……12306数据……银行账户信息……心得你是T还是P？数据越多越好深度

8、挖掘、精准营销必须搞大数据必须要懂技术心得你是T还是P？数据越多越好深度挖掘、精准营销必须搞大数据必须要懂技术你是E、Z又怎样？价值才是王道！中移动的教训对大数据要宽容，容错性是大数据重要特征！准确率与召回率大数据不是万能的，没有大数据也不是万万不能的！移动互联网最赚钱的是谁？懂点技术当然更好，但不要迷失在不靠谱的技术中！知道自己想要什么更重要！大数据概述大数据平台架构数据平台功能规划