阿里云E-MapReduce-最佳实践-D

《阿里云E-MapReduce-最佳实践-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、E-MapReduce开发手册E-MapReduce/开发手册开发手册开发准备开发准备简介本文档假定:-您已经开通了阿里云服务，并创建了AccessKeyID和AccessKeySecret。文中的ID指的是AccessKeyID，KEY指的是AccessKeySecret。如果您还没有开通或者还不了解OSS，请登录OSS产品主页获取更多的帮助。-您已经对Spark，Hadoop，Hive和Pig具备一定的认识。文中不对Spark，Hadoop，Hive和Pig开发实践做额外的介绍。更多的开发文档资料可以到apache官网获取。-您已经对Scala语法具备一定

2、的认识，文中的某些例子以Scala语言展示。OSSURI在使用E-MapReduce时，用户将会使用到两种OSSURI，分别是：nativeURI：oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path用户在作业中指定输入输出数据源时使用这种URI，可以类比hdfs://。用户操作OSS数据时，可以将accessKeyId，accessKeySecret以及endpoint配置到Configuration中，也可以在URI中直接指定accessKeyId，accessKeySecret

3、以及endpoint。refURI:ossref://bucket/object/path只在E-MapReduce作业配置时有效，用来指定作业运行需要的资源。例如以下作业配置示例：51E-MapReduce/开发手册在使用过程中，需要特别注意URI中scheme的不同。注意E-MapReduce在支持向OSS写数据时使用OSS的multipart分片上传方式。这里需要提醒的是，当作业异常中断后，OSS中会残留作业已经生产的部分数据，需要您手动删掉。这里的行为和作业输出到HDFS是一致的，作业异常中断后，HDFS也会残留数据，也需要手动删掉。但有一个区别，OS

4、S对使用multipart上传的文件，它是先放在碎片管理中，所以您不仅要删除OSS文件管理中的输出目录残留文件，还需要在OSS的碎片管理中清理一次，否则会产生数据存储费用。示例Project本项目是一个完整的可编译可运行的项目，包括MapReduce,Pig,Hive和Spark示例代码，详情如下：MapReduce51E-MapReduce/开发手册Hive-WordCount：单词统计51E-MapReduce/开发手册51E-MapReduce/开发手册Pig-sample.hive：表的简单查询51E-MapReduce/开发手册51E-Map

5、Reduce/开发手册Spark-sample.pig：Pig处理OSS数据实例51E-MapReduce/开发手册-SparkPi:计算Pi51E-MapReduce/开发手册-SparkWordCount：单词统计-LinearRegression：线性回归-OSSSample：OSS使用示例-ONSSample：ONS使用示例-ODPSSample：ODPS使用示例-MNSSample：MNS使用示例-LoghubSample：Loghub使用示例项目下载地址。依赖资源测试数据（data目录下）：-The_Sorrows_of_Young_Werth

6、er.txt：可作为WordCount（MapReduce/Spark）的输入数据-patterns.txt：WordCount（MapReduce）作业的过滤字符-u.data：sample.hive脚本的测试表数据-abalone：线性回归算法测试数据依赖jar包（lib目录下）-tutorial.jar：sample.pig作业需要的依赖jar包准备工作本项目提供了一些测试数据，您可以简单地将其上传到OSS中即可使用。其他示例，例如ODPS，MNS，ONS和Loghub等等，需要您自己准备数据如下：-【可选】创建LogStore，参考日志服务用户指南。-

7、【可选】创建ODPS项目和表，参考ODPS快速开始。-【可选】创建ONS，参考消息队列快速开始。-【可选】创建MNS，参考消息服务控制台使用帮助。基本概念：-OSSURI：oss://accessKeyId:accessKeySecret@bucket.endpoint/a/b/c.txt，用户在作业中指定输入输出数据源时使用，可以类比hdfs://。-阿里云AccessKeyId/AccessKeySecret是您访问阿里云API的密钥，你可以在这里获取。集群运行Spark51E-MapReduce/开发手册●SparkWordCount：spark-sub

8、mit--classSparkWord