十四、YARN核心架构

news/2024/5/20 0:49:17 标签: hdfs, hadoop, yarn, mapreduce, 大数据

1、目标

(1)掌握YARN的运行角色和角色之间的关系

(2)理解使用容器做资源分配和隔离

2、核心架构

(1)和HDFS架构的对比

HDFS架构:

YARN架构:(主从模式)

(2)角色解释

ResourceManager:整个集群的资源调度者,负责协调各个程序所需要的资源。

NodeManager:单个服务器的资源调度者,负责调整单个服务器上的资源供给应用程序使用。

        在这里,我们可以将ResourceManager理解为一个项目的总经理,将NodeManager理解为每一个模块的负责人。

3、运行机制

(1)分配

        在2(2)中,我们提到,如果某个程序需要申请12G的内存空间,那个它就会向ResourceManager提出申请,ResourceManager收到申请之后,会向每个NodeManager发送命令(此处假设有三台NodeManager),会要求每一台NodeManager准备4G内存。

        此处存在一个问题,每台NodeMangager是如何精准的划分出4G内存空间呢?

(2)解决方案

        在这里,我们将每台NodeManager开辟出来的空间称之为“容器”。

        容器:英文名为Container,假设在运行程序时,ResourceManager要求A服务器开辟4G空间供程序使用,那么该服务器的NodeManager会先在该服务器中划分出4G的空间内存,然后将划分出来的内存空间交给程序使用。(注:容器是虚拟化的相关装置,后面会讲解。)

        在这里,划分出来的4G空间被称为“容器”,每个容器的大小上限是不变的,也就意味着该程序在此服务器内,只能使用4G大小的内存空间,如果超出了4G,就需要另外再次申请。

 4、总结


http://www.niftyadmin.cn/n/5266342.html

相关文章

基于SpringBoot的停车位预约管理系统

文章目录 项目介绍主要功能截图:部分代码展示设计总结项目获取方式🍅 作者主页:超级无敌暴龙战士塔塔开 🍅 简介:Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我,都给你】 🍅文末获取源码联系🍅 项目介绍 基于SpringBoot的停车位预约管理系统,ja…

react函数组件中Hooks和ahooks的区别

Hooks 是 React 16.8 引入的一种新特性,它可以让我们在函数组件中使用状态和其他 React 特性。Hooks 提供了一系列的 API,例如 useState、useEffect 等,用于管理组件的状态和生命周期。具体可参考react hooks。 ahooks 是阿里巴巴开源的一个…

【华为数据之道学习笔记】4-1信息架构的四个组件

企业在运作过程中,首先需要管理好人和物等“资源”,然后管理好各类资源之间的联系,即各类业务交易“事件”,再对各类事件的执行效果进行“整体描述和评估”,最终实现组织目标和价值。以一个通用的工业企业运营为例&…

力扣第一题-两数之和[简单]

题目描述 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出 和为目标值 target 的那 两个 整数,并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。 你可以按任…

Apache Avro编程快速入门

Maven配置 添加Avro依赖 <dependency><groupId>org.apache.avro</groupId><artifactId>avro</artifactId>

状态的一致性和FlinkSQL

状态一致性 一致性其实就是结果的正确性。精确一次是指数据有可能被处理多次&#xff0c;但是结果只有一个。 三个级别&#xff1a; 最多一次&#xff1a;1次或0次&#xff0c;有可能丢数据至少一次&#xff1a;1次或n次&#xff0c;出错可能会重试 输入端只要可以做到数据重…

uniapp自定义导航栏方法

在uniapp中&#xff0c;可以使用uni-app官方提供的自定义导航栏插件 uni-navbar来设置自定义导航栏。 以下是使用 uni-navbar 设置自定义导航栏的步骤和示例代码&#xff1a; 安装 uni-navbar 插件&#xff1a; 在 HBuilderX 的插件市场中搜索 uni-navbar&#xff0c;并安装。…

redis五种数据结构特点

redis五种数据结构特点 redis-string介绍SDS内部存储数据结构三种编码方式特点总结 redis-list介绍quicklist特点总结 redis-hash特点总结 redis-set介绍 特点总结redis-zset介绍特点总结 redis使用五种数据结构&#xff0c;分别是string&#xff08;字符串&#xff09;&#x…