博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Yarn架构基本概况(一)
阅读量:6948 次
发布时间:2019-06-27

本文共 737 字,大约阅读时间需要 2 分钟。

1)引言

针对MRv1在扩展性。可靠性,资源利用率和多框架的支持上存在着明显的不足。进而诞生了下一代的MapReduce的计算框架MapReduce Version2,MRV1中有一个非常大的问题就是把资源管理和作业调度都扔给了JobTracker,造成了严重的单点瓶颈问题,全部MRV2主要在这一点上做了改进。他将资源管理模块构建成了一个独立的通用系统叫做Yarn,一下子MRV2的核心从MapReduce转到了Yarn上。

后面就有了关于Yarn的各种发展和演变了。

)Yarn设计理念和基本架构

yarn是专门为了解决MRV1的缺点而生的。

1.yarn资源利用率高。由于他能够支持不同的计算框架在上面执行

2.运维成本低。以往一个集群一个框架的模式须要非常多管理员去维护系统,如今可与在yarn上跑多个框架了,在上面你能够选择实时计算框架Storm,内存迭代式计算框架Spark,还能够用传统的MPI的方式解决对于数据计算要求比較高的数据挖掘算法。用一句话概括,yarn就是一个轻量级弹性计算平台。

Yarn的基本组成结构整体上仍沿用的是Master/Slave的结构,可是在资源管理这块,还是做了一点的变化的。一个ResourceManager是一个Master,在每一个子节点以下都有一个NodeManager,由RM给NM分配资源。在每一个节点中还会有ApplicationMaster(后面简称AM)的东西。他会负责与RM通信以获取资源,还会与NM通信来启动或者是停止任务。你能够理解成MRV1中的TaskTracker的角色。

NM是每一个节点上的资源和任务管理器,NM。AM,RM三者之间在整个应用从启动到结束的过程中会进行很多的协作。以下是一张模拟图:

你可能感兴趣的文章
6、OC —— 内存管理基本概念
查看>>
在多台linux主机上执行相同的命令
查看>>
1.6的锁优化(适应性自旋/锁粗化/锁削除/轻量级锁/偏向锁)
查看>>
vsm安装(6)
查看>>
webapi使用System.Web.Http.Cors配置跨域访问的几点注意事项
查看>>
使用 JIRA API 更新用户头像
查看>>
IE浏览器“增强保护模式”的笔记
查看>>
SEP防火墙规则处理顺序
查看>>
linux AMP默认安装位置
查看>>
oracle表空间的创建、删除、查看、表空间不存在、及修改默认表空间详解
查看>>
Docker-compose install
查看>>
函数的使用
查看>>
ACL的使用和查看系统上登录的用户的命令使用
查看>>
C/C++源码网站
查看>>
SICP 2.40 2.41 2.42 2.43
查看>>
建立cover组 成员有cover01 cover02 建立team组 成员有team 01 team02 建立user组 成员有user...
查看>>
linux pxe 系统自动化安装
查看>>
iOS游戏开发有奖征文
查看>>
控制台读写
查看>>
LVS+keepalived负载均衡实战
查看>>