博客 MapReduce体系结构

MapReduce体系结构

   数栈君   发表于 2024-01-08 10:10  151  0

MapReduce v1体系结构

http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/f97037ea645ff1f436e277c3345c30ab..jpg
  

Client 客户端
用户编写的MapReduce程序通过Client提交到JobTracker端(一般通过命令行提交)
用户可通过Client提供的一些接口查看作业运行状态
JobTracker
负责资源监控和作业调度
监控所有TaskTracker与Job健康状况,一旦发现失败,就将相应的任务转移到其他节点
跟踪任务的执行进度、资源使用量等信息,并将这些信息告诉任务调度器(TaskScheduler),调度器会在资源出现空闲时选择合适的任务去使用这些资源
TaskTracker
监控Task运行的情况
周期性通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,同时接收JobTracker发送过来的命令并执行相应的操作(启动新任务、杀死任务等)
使用“slot”等量划分本节点上的资源量(CPU、内存等)。一个Task获取到一个slot后才有机会运行,Hadoop调度就是将各个TaskTracker上的空闲slot分配给Task使用。
slot分为Map slot和Reduce slot,分别给MapTask和ReduceTask使用
Task
分为Map Task和Reduce Task,均由TaskTracker启动


MapReduce v2体系结构
依旧是master/slave结构
主进程ResourceManager是整个集群资源仲裁中心
从进程NodeManager管理本机资源
http://dtstack-static.oss-cn-hangzhou.aliyuncs.com/2021bbs/files_user1/article/5f151064ce45cd9d71539e347c5ac0f5..jpg
  
Yarn在执行时包含以下独立实体:

Client
客户端,负责向集群提交作业
ResourceManager
集群主进程,仲裁中心,负责集群资源管理和任务调度
处理客户端作业提交请求
启动或监控ApplicationMaster
监控NodeManager
资源的分配与调度
Scheduler
资源仲裁模块
ApplicationManager
选定,启动和监管ApplicationMaster
NodeManager
集群从进程,管理和监视Containers,执行具体任务
单个节点上的资源管理和任务管理
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
Container
本机资源集合体,如某Container为4个CPU,8GB内存
YARN会为每个任务分配一个Container,且该任务只能使用该Container中描述的资源
对任务运行环境进行抽象,封装CPU、内存等多维度的资源以及运行环境变量、启动命令等任务运行相关信息
ApplicationMaster
任务执行和监管中心
每个应用有一个,负责应用程序整个生命周期的管理,负责协调来自ResourceManager的资源,并通过NodeManager监视容器的执行和资源的使用
负责数据的切分
为应用程序申请资源并分配给内部的任务
任务的监控与容错
————————————————
版权声明:本文为CSDN博主「Jin4869」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Jin4869/article/details/128567086

免责申明:

本文系转载,版权归原作者所有,如若侵权请联系我们进行删除!


《数据治理行业实践白皮书》下载地址:https://fs80.cn/4w2atu

《数栈V6.0产品白皮书》下载地址:https://fs80.cn/cw0iw1

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=bbs

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术群」,交流最新开源技术信息,群号码:30537511,项目地址:https://github.com/DTStack  
0条评论
社区公告
  • 大数据领域最专业的产品&技术交流社区,专注于探讨与分享大数据领域有趣又火热的信息,专业又专注的数据人园地

最新活动更多
微信扫码获取数字化转型资料
钉钉扫码加入技术交流群