数据中台 数据中台

tel 400-002-1024
tel

「大数据开发平台」大数据开发平台如何进行资源优化配置?

2020年6月15日10:30 袋鼠云 文章来源:.

「大数据开发平台」大数据开发平台如何进行资源优化配置?要提高科技的自主创新能力,资源优化配置是关键。运用大数据工具与智能化服务,探索资源优化配置的对策,让有限的资源发挥出最大的效能,从而为解决科技创新管理体制机制存在的长期性、结构性问题提供参考,为科技管理决策方式的转变提供支持。那么「大数据开发平台」大数据开发平台如何进行资源优化配置?

一、TwitterMesos

开发人员:Twitter研发人员JohnOskasson

介绍:ApacheMesos是由美国加州大学伯克利大学的AMPLab最先开发设计的一款开源系统集群管理系统软件,适用Hadoop、ElasticSearch、Spark、Storm和Kafka等构架,因为其开源系统特性愈来愈遭受一些大中型云计算公司的亲睐,比如Twitter、Facebook等。

二、HadoopYarn

Hadoop新MapReduce架构Yarn。为从源头上处理旧MapReduce架构的特性短板,推动Hadoop架构的更长久发展趋势,从0.23.0版本号刚开始,Hadoop的MapReduce架构彻底重新构建,发生了压根的转变。新的HadoopMapReduce架构取名为MapReduceV2或是叫Yarn,其框架图如下图所显示:

Yarn架构相对性于老的MapReduce架构哪些优点呢?我们可以见到:

1、这一设计方案大大的减少了JobTracker(也就是目前的ResourceManager)的資源耗费,而且让检测每一个Job子每日任务(tasks)情况的程序流程分布式系统化了,更安全性、更幽美。

2、在新的Yarn中,ApplicationMaster是一个可变动的一部分,客户能够对不一样的程序编写实体模型写自身的AppMst,让大量种类的程序编写实体模型可以跑在Hadoop群集中,能够参照hadoopYarn官方网配备模版中的mapred-site.xml配备。

3、针对資源的表明以运行内存为企业(在现阶段版本号的Yarn中,沒有考虑到cpu的占有),比以前以剩下slot数量更有效。

4、老的架构中,JobTracker一个挺大的压力便是监管job下的tasks的运行情况,如今,这一一部分就丢给ApplicationMaster干了,而ResourceManager中有一个控制模块称为ApplicationsMasters(留意并不是ApplicationMaster),它是检测ApplicationMaster的行情况,假如出难题,会将其在别的设备上重新启动。

5、Container是Yarn以便未来作資源防护而明确提出的一个架构。这一点应当效仿了Mesos的工作中,现阶段是一个架构,只是出示javavm虚拟机运行内存的防护,hadoop精英团队的设计理念应当事后能适用大量的資源生产调度和操纵,即然資源表明成运行内存量,那么就没了以前的mapslot/reduceslot分离导致群集資源闲置不用的难堪状况。

看到这里,相信大家对于「大数据开发平台」大数据开发平台如何进行资源优化配置?已经很了解了;欢迎咨询官网!