Hadoop从入门到放弃(四) -- YARN

Hadoop, YARN, 大数据 评论

什么是 YARN

YARN 是 Hadoop2.0 以后的资源管理器，负责整个集群资源的管理和调度

基本概念

ResourceManager

负责:

  1. 分配和调度资源
  2. 启动并监控 ApplicationMaster
  3. 监控 NodeManager

ApplicationMaster

负责:

  1. 为 MapReduce 类型程序申请资源，并分配给内部任务
  2. 负责数据的切分
  3. 监控任务的执行以及容错

NodeManager

负责:

  1. 管理单个节点
  2. 处理来自 ResouceManager 的命令
  3. 处理来自 ApplicationMaster 的命令