Spark实时流处理编程指南(v1.2.0).pdf

《Spark实时流处理编程指南(v1.2.0).pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Spark官方文档翻译——Spark实时流处理编程指南(v1.2.0)Lifeisshort,youneedspark!Spark官方文档翻译实时流处理编程指南(v1.2.0)翻译者李军Spark官方文档翻译团成员1/40翻译者：李军Spark官方文档翻译团成员Spark亚太研究院QQ群：297931500Spark官方文档翻译——Spark实时流处理编程指南(v1.2.0)Lifeisshort,youneedspark!前言伴随着大数据相关技术和产业的逐步成熟，继Hadoop之后，Spark技术以集大成

2、的无可比拟的优势，发展迅速，将成为替代Hadoop的下一代云计算、大数据核心技术。Spark是当今大数据领域最活跃最热门的高效大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解决了大数据中BatchProcessing、StreamingProcessing、Ad-hocQuery等三大核心问题，更为美妙的

3、是在Spark中SparkSQL、SparkStreaming、MLLib、GraphX四大子框架和库之间可以无缝的共享数据和操作，这是当今任何大数据平台都无可匹敌的优势。在实际的生产环境中，世界上已经出现很多一千个以上节点的Spark集群，以eBay为例，eBay的Spark集群节点已经超过2000个，Yahoo！等公司也在大规模的使用Spark，国内的淘宝、腾讯、百度、网易、京东、华为、大众点评、优酷土豆等也在生产环境下深度使用Spark。2014SparkSummit上的信息，Spark已经获得世界2

4、0家顶级公司的支持，这些公司中包括Intel、IBM等，同时更重要的是包括了最大的四个Hadoop发行商，都提供了对Spark非常强有力的支持。与Spark火爆程度形成鲜明对比的是Spark人才的严重稀缺，这一情况在中国尤其严重，这种人才的稀缺，一方面是由于Spark技术在2013、2014年才在国内的一些大型企业里面被逐步应用，另一方面是由于匮乏Spark相关的中文资料和系统化的培训。为此，Spark亚太研究院和51CTO联合推出了“Spark亚太研究院决胜大数据时代100期公益大讲堂”，来推动Spark

5、技术在国内的普及及落地。具体视频信息请参考http://edu.51cto.com/course/course_id-1659.html与此同时，为了向Spark学习者提供更为丰富的学习资料，Spark亚太研究院去年8月发起并号召，结合网络社区的力量构建了Spark中文文档专家翻译团队，翻译了Spark中文文档V1.1.0版本。2014年12月，Spark官方团队发布了Spark1.2.0版本，为了让学习者了解到最新的内容，Spark中文文档专家翻译团队又对Spark1.2.0版本进行了部分更新，在此，我谨

6、代表Spark亚太研究院及广大Spark学习爱好者向专家翻译团队所有成员热情而专业的工作致以深刻的敬意！当然，作为相对系统的Spark中文文档，不足之处在所难免，大家有任何建议或者意见都可以发邮件到marketing@sparkinchina.com；同时如果您想加入Spark中文文档翻译团队，也请发邮件到marketing@sparkinchina.com进行申请；Spark中文2/40www.sparkinchina.comTEL:4006-998-758Spark官方文档翻译——Spark实时流处理编

7、程指南(v1.2.0)Lifeisshort,youneedspark!文档的翻译是一个持续更新的、不断版本迭代的过程，我们会尽全力给大家提供更高质量的Spark中文文档翻译。最后，也是最重要的，请允许我荣幸的介绍一下我们的Spark中文文档1.2.0版本翻译的专家团队成员，他们分别是（排名不分先后）：傅智勇,《快速开始(v1.2.0)》王宇舟,《Spark机器学习库(v1.2.0)》武扬，《在Yarn上运行Spark(v1.2.0)》《Spark调优(v1.2.0)》徐骄，《Spark配置(v1.2.0)

8、》《Spark作业调度(v1.2.0)》蔡立宇，《Bagel编程指南(v1.2.0)》harli，《Spark编程指南(v1.2.0)》韩保礼，《SparkSQL编程指南(v1.2.0)》李丹丹，《文档首页(v1.2.0)》李军，《Spark实时流处理编程指南(v1.2.0)》俞杭军，《使用Maven编译Spark(v1.2.0)》王之，《给Spark提交代码(v1.2.0)》Ernest，《集群模式概览(v1.