Hadoop任务调度器

《Hadoop任务调度器》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop任务调度器演讲人：董西成技术博客：dongxicheng.orgsina微博：西成懂提纲基础知识Hadoop调度流程Hadoop自带调度器介绍编写自己的Hadoop调度器总结基础知识基础知识heartbeatTaskTracker周期性（默认为3s）调用RPC向JobTracker汇报信息，形成heartbeat汇报信息包括TaskTracker状态信息、Task运状况等Slot资源划分单位分为mapslot和reduceslot两种由参数mapred.tasktracker.[map

2、reduce].tasks.maximum设置Hadoop调度流程TaskTrack

3、erTaskTrackerTaskTrackerJobTrackerTaskScheduler④assignTasks()⑤tasklist③⑥tasks-to-lauchTask⑦launch③③Client①submitJob()②notifyinitJob()？？？？？？？？？？？？？？Hadoop作业描述方式JobInProgressTaskInProgressTaskInProgressTaskInProgressTaskAttemptTaskAttemptTaskAttemptTaskAttemptTas

4、kAttempt…………（正常情况）（推测式任务）（任务失败）可概括为“三层多叉树”Hadoop三级调度所有调度器实际上均采用了三级调度策略，即为空闲的slot依次选择一个队列、作业和任务。队列（queue）用户被划分到某个队列每个队列分配一定量的资源作业（job）提交时间优先级（5个优先级：VERY_HIGH,HIGH,NORMAL,LOW,VERY_LOW）任务（task）本地性（nodelocality，racklocality）不同调度器，采用策略不同不同调度器，采用策略相同Hadoop现有调度器FIFO批处理调度器CapacityScheduler多用户调度器FairSc

5、heduler多用户调度器Hadoop现有调度器(FIFO)job1按到达时间排序，先来先服务job2job3job4job5job6job7job8maptask0maptask1maptask2reducetask0reducetask1reducetask2maptask3maptask4maptask5job1queueHadoop现有调度器(FIFO)job1按到达时间排序，先来先服务job2job3job4job5job6job7job8maptask1failedTasksmaptask0localityta

6、sksmaptask3non-localitytasksmaptask2maptask4speculativetasksmaptask5job1reducetask0nonRunningReducesreducetask1speculativetasksreducetask2Hadoop现有调度器(CapacityScheduler)job11按到达时间排序，先来先服务job12job13job14job15job16job21job22job23job24job25job31job32job33job34job35job36job37queueAqueueBqueueC100sl

7、ots(20%,15)(50%,25)(30%,25)Hadoop现有调度器(CapacityScheduler)由Yahoo开源，共享集群调度器以队列方式组织作业每个队列内部采用FIFO调度策略每个队列分配一定比例资源可限制每个用户使用资源量Hadoop现有调度器(FairScheduler)job11按缺额排序，缺额大者优先job12job13job14job15job16job21job22job23job24job25job31job32job33job34job35job36job37queueAqueueBqueueCHadoop现有调度器(FairScheduler)

8、由Facebook开源的，共享集群调度器以队列方式组织作业基于最小资源量(minshare)与公平共享量(fairshare)进行调度作业优先级越高，分配到的资源越多Deficit+=(fairshare-usedslots)*deltaTime理想资源实际资源时间间隔编写自己的Hadoop调度器步骤1编写JobInProgressListener步骤2编写调度器类，继承抽象类TaskScheduler步骤3配置并启用Hadoop调度器编写JobInProgressL