MapReduce v1体系结构

  

Client 客户端
用户编写的MapReduce程序通过Client提交到JobTracker端（一般通过命令行提交）
用户可通过Client提供的一些接口查看作业运行状态
JobTracker
负责资源监控和作业调度
监控所有TaskTracker与Job健康状况，一旦发现失败，就将相应的任务转移到其他节点
跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器（TaskScheduler），调度器会在资源出现空闲时选择合适的任务去使用这些资源
TaskTracker
监控Task运行的情况
周期性通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给JobTracker，同时接收JobTracker发送过来的命令并执行相应的操作（启动新任务、杀死任务等）
使用“slot”等量划分本节点上的资源量（CPU、内存等）。一个Task获取到一个slot后才有机会运行，Hadoop调度就是将各个TaskTracker上的空闲slot分配给Task使用。
slot分为Map slot和Reduce slot，分别给MapTask和ReduceTask使用
Task
分为Map Task和Reduce Task，均由TaskTracker启动

MapReduce v2体系结构
依旧是master/slave结构
主进程ResourceManager是整个集群资源仲裁中心
从进程NodeManager管理本机资源

  
Yarn在执行时包含以下独立实体：

Client
客户端，负责向集群提交作业
ResourceManager
集群主进程，仲裁中心，负责集群资源管理和任务调度
处理客户端作业提交请求
启动或监控ApplicationMaster
监控NodeManager
资源的分配与调度
Scheduler
资源仲裁模块
ApplicationManager
选定，启动和监管ApplicationMaster
NodeManager
集群从进程，管理和监视Containers，执行具体任务
单个节点上的资源管理和任务管理
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
Container
本机资源集合体，如某Container为4个CPU，8GB内存
YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源
对任务运行环境进行抽象，封装CPU、内存等多维度的资源以及运行环境变量、启动命令等任务运行相关信息
ApplicationMaster
任务执行和监管中心
每个应用有一个，负责应用程序整个生命周期的管理，负责协调来自ResourceManager的资源，并通过NodeManager监视容器的执行和资源的使用
负责数据的切分
为应用程序申请资源并分配给内部的任务
任务的监控与容错
————————————————
版权声明：本文为CSDN博主「Jin4869」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Jin4869/article/details/128567086

免责申明：

本文系转载，版权归原作者所有，如若侵权请联系我们进行删除！