阿里云E-MapReduce-快速入门-D

《阿里云E-MapReduce-快速入门-D》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、E-MapReduce快速开始E-MapReduce/快速开始快速开始准备工作申请阿里云账号在申请E-MapReduce集群之前，您需要有一个阿里云的云账号，这个云账号用来标识在整个阿里云生态系统中您的身份，该账号不仅可以用来申请E-MapReduce集群，同时能够开通阿里云的对象存储服务OSS，云数据库RDS等等。如果您还没有阿里云的云账号，请移步注册云账号进行申请。创建AccessKey由于E-MapReduce调用访问的需要，您至少需要创建一个AccessKey。开通OSS服务E-MapRe

2、duce会将您的作业日志，运行日志保存在您的OSS存储空间中。所以需要您开通OSS准备足够的余额目前ECS的规则决定，用户在购买按量ECS的时候，要保证阿里云账户中至少有100元的现金。请确认您的账号中已经充值100元，否则会创建失败。可以创建集群了好了，现在就可以开始创建E-MapReduce集群。创建Hadoop集群有了阿里云的云账户，开通了oss对象存储服务以后，用户就可以申请E-MapReduce集群。9E-MapReduce/快速开始-登录阿里云E-MapReduce控制台-RAM授权进

3、入后如果看到如下，请参考这里-进入选择左侧的"集群"标签后便可以看到各个区域内该用户已经申请过的集群的相关情况。其中包括:●集群的id/名称●类型●创建时间/运行时间●状态，需要注意的是，状态是可以筛选的。默认释放的集群会被隐藏。只展示运行中，创建中。空闲和创建失败的集群。●付费类型,按需付费或包年包月●操作列表等信息。如下图所示：若要创建新集群，在该页面的右上角选择蓝色的"创建集群"按钮。点击后既进入创建集群页面。创建集群流程集群需要填写4个页面的信息：基本信息，软件配置，硬件配置基本信息-在页

4、面中输入集群名称-选择付费类型，默认是"包年包月"，下拉可选择"按量付费"，包年包月会比按量的便宜很多，但是按量的会更加灵活些。-日志保存默认是打开的，您需要点击"选择路径"按钮选择一个OSS日志目录作为该集群中作业日志的保存位置。如果您不需要保存，可以关闭它。我们强烈建议打开OSS日志保存功能，这会对您的作业调试有极大的帮助。-设置master节点的登陆密码。集群启动以后可以使用root账号用设置的密码SSH登录。-引导操作，可以在集群启动hadoop前执行您自定义的脚本（可选）。详细使用说明查

5、看引导操作9E-MapReduce/快速开始软件配置在软件配置页中，选择产品版本。并选择需要的组件。-若要使用HBase，则在组件中勾选HBase-若要使用Storm，则在组件中勾选Storm-若要使用Oozie，则在组件中勾选Oozie，就能在Hue中使用Oozie其他的组件类似，需要的就请勾选上。但是也请注意勾选的越多，你需要的机器的配置就要越高，否则很可能无法有足够的资源来运行这些服务。在下方有一个软件配置，详细使用说明参考软件配置说明硬件配置在硬件配置页中，可以进行集群网络配置和集群节点配

6、置操作。集群网络配置：●选择集群所在的可用区（Zone），不同的Zone会有不同的机型和磁盘●选择网络类型（经典网络和专有网络），专有网络需要额外提供所属VPC以及子网(交换机)，若还未创建，可点击页面上创建VPC/子网（交换机）进入VPC的控制台进行创建，完成后点击刷新列表即可看到新创建的VPC/子网（交换机），EMR专有网络详细使用说明查看专有网络●选择一个已有的安全组，一般用户初次来到这里还没有安全组，打开"新建安全组"开关，在"安全组名称"里面填上你取的名字。集群节点配置：●选择集群模式，

7、目前默认集群为非高可用模式，Master节点数为1；若开启高可用模式，则Master节点数为2。（EMR-1.3.0版本开始提供）●选择Master节点配置，Master节点默认配置了8MB的公网，按量付费。该费用并未计算在集群费用中，需要额外支付。●选择Core节点配置，可调节节点数，但集群至少需要2个Core节点●右下角显示集群费用，按需集群显示每小时费用，包年包月显示总费用。确定后点击"完成创建"。如下图所示：9E-MapReduce/快速开始完成创建-点击"创建"后●若是按量集群，集群就开

8、始创建。页面会返回集群列表页，就能看到在列表中有一个"创建中"的集群。请耐心等待，集群创建会需要几分钟时间。完成之后集群的状态会切换为"空闲"。●若是包月集群，则会先生成订单，在支付完成订单以后集群才会开始创建如果创建失败，会展示"集群创建失败"，鼠标移动到红色的感叹号上会看到出错原因。在AliyunE-MapReduce中，要运行作业，需要有分成两个步骤，分别是：-创建作业在E-MapReduce产品中，说创建一个"作业"，实际上是创建一个"作业运行配置"，它并不能被直接运行。即