YARN HA配置

news/2024/5/20 4:29:14 标签: hadoop, zookeeper, 大数据, hdfs

文章目录

  • YARN HA配置
    • 先把HDFS HA配置了
    • 官方配置文档位置(英语好去看看)
    • 配置yarn-site.xml
    • 运行YARN

YARN HA配置


先把HDFS HA配置了

HDFS HA教程地址

官方配置文档位置(英语好去看看)

https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

配置yarn-site.xml

<configuration>
<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--启用resourcemanager ha-->
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>

<!--声明两台resourcemanager的地址-->
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>cluster-yarn1</value>
</property>

<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>

<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>server1</value>
</property>

<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>server2</value>
</property>

<!--指定zookeeper集群的地址--> 
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>server1:2181,server2:2181,server3:2181</value>
</property>

<!--启用自动恢复--> 
<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
	<value>true</value>
</property>

<!--指定resourcemanager的状态信息存储在zookeeper集群--> 
<property>
	<name>yarn.resourcemanager.store.class</name>     
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

运行YARN

  1. 第一个节点输入
sbin/start-yarn.sh
  1. 第二个节点输入
sbin/yarn-daemon.sh start resourcemanager
  1. 查看服务状态
bin/yarn rmadmin -getServiceState rm1

http://www.niftyadmin.cn/n/1476342.html

相关文章

中天微致力丰富生态建设,加速客户芯片产品开发

软件生态的建设对芯片上下游有着重要和积极的作用。 随着IC产品设计迭代周期愈发变短&#xff0c;生态环境对开发者来说至关重要&#xff0c;推动软件生态的建设对芯片上下游有着重要和积极的作用。为了满足客户的开发需求&#xff0c;缩短开发周期和降低研发投入&#xff0c;…

Redis命令——适合全体类型的常用命令

EXISTS key返回key是否存在。返回值&#xff1a;整数&#xff0c;1 表示存在&#xff0c; 0 表示不存在。exists key20exists key11DEl时间复杂度O(n)&#xff0c;n表示要移除的key的数量。移除单个字符串key的时间复杂度为O(1)。移除单个列表、集合、有序集合或哈希表的时间复…

第3章 Properties集合

1.1 Properties介绍Properties 类表示了一个持久的属性集。Properties 可保存在流中或从流中加载。属性列表中每个键及其对应值都是一个字符串。特点&#xff1a;1、Hashtable的子类&#xff0c;map集合中的方法都可以用。2、该集合没有泛型。键值都是字符串。3、它是一个可以持…

GridView的stretchMode属性

stretchMode属性值的作用是设置GridView中的条目以什么缩放模式去填充剩余空间。参数stretchMode 可选值为:none,spacingWidth,columnWidth, spacingWidthUniform 注意:spaceWidth和spacingWidthUniform是有差别的&#xff0c;下面通过一个例子说明一下,本人手机屏幕4.7英寸,分…

面试前总结(二)

知识点梳理 一、 JAVA&#xff08;SE&#xff09;基础&#xff1a; 概念-- 面向对象&#xff0c;继承&#xff0c;多态&#xff0c;接口&#xff0c;基础类型String、StringBuffer、StringBuilder-- 区别&#xff0c;源代码&#xff0c;常用方法、使用容器-- 类图结构&#x…

Hive的使用

文章目录第一章 使用Hive就要启动Hadoop集群启动HDFS HA启动YARN HA第二章 使用hive的JDBC访问启动hiveserver2服务启动beeline连接hiveserver2服务第三章 本地访问&#xff08;bin/hive&#xff09;1-帮助2-从命令行执行SQL语句3-查看hdfs文件系统4-查看本地文件系统5-查看hiv…

Storm中的Stream grouping有哪几种方式?

为什么80%的码农都做不了架构师&#xff1f;>>> 在拓扑图中&#xff0c;每个bolt接受一个spout或者bolt的数据&#xff0c;但是每一个spout或者bolt有多个实例&#xff0c;因此哪一个接受哪一个bolt或者spout实例的数据需要stream grouping。 Storm定义了七种内置数…

aabb碰撞检测

在做矩形重叠判断时 要判断A矩形的最大X>B矩形的最小X&#xff0c;A最大Y<小于B最小Y and 要判断B矩形的最大X>A矩形的最小X&#xff0c;B最大Y<小于A最小Y 一套规则&#xff0c;用2遍&#xff0c;很神奇。 转载于:https://www.cnblogs.com/mattins/p/4529452.html…