HDFS HA 之 HA 原理

news/2024/5/20 1:56:27 标签: hdfs, hadoop, 大数据

1 ZKFC解析

HA(High Availability)是HDFS支持的一个重要特性,可以有效解决Active Namenode遇到故障时,将可用的Standby节点变成新的Active状态的问题,使集群能够正常工作。目前支持冷切换和热切换两种方式。冷切换通过手动触发,缺点是不能够及时恢复集群。实际生产中以应用热切换为主,通过自主检查Namenode健康状态、Zookeeper维护Active信息、多种Namenode隔离方法,可以做到自动感应故障发生并实现自主切换。伴随有ZKFC运行进程的Namenode都会参与选举。

1.0 zkfc介绍

ZKFC(ZK Failover Controller) 是HA热切换的主要实现者。当工作时,与Namenode(主要是Active和Standby节点)一对一搭配合作。
运行机制
ZKFC的默认实现者是DFSZKFailoverController,运行时需要独立开启一个JVM进程,并且需要和Namenode位于同一节点,这样做的好处是能够“近距离”了解Namenode的健康状态。

ZKFC主要由以下几个部分组成。

  • HealthMonitor:负责及时获取本地Namenode的监控状态,辅助ActiveStandbyElector做决策参考。
  • ActiveStandbyElector:根据HealthMonitor获得的最新数据,根据一定策略决定是否进行Namenode隔离和HA状态更新。
  • NNHAServiceTarget:作为HAServiceProtocol的

http://www.niftyadmin.cn/n/5357414.html

相关文章

Apache Paimon 介绍

从 Flink Table Store 演进而来 Flink table store 架构如下图:(和今天 Paimon 的架构相比,Log System 不再被推荐使用,Lake Store 的能力大幅强于 Log System,除了延时) 2021 年 9 月,发布了 0…

OpenGL查询对象 Query Objects

查询对象和异步查询(Query Objects and Asynchronous Queries) Query Objects(查询对象)是OpenGL中的一种机制,用于获取有关一系列GL命令处理过程的信息。这些信息可以包括: 绘图命令处理的图元数量。写入变换反馈缓冲区的图元数…

win11安装wsl作为linux子系统并当作服务器

wsl安装 打开控制面板,找到启用或关闭windows功能 开启windows虚拟机监控平台和适用于Linux的Windows子系统,重启电脑。 打开microsoft store搜索ubuntu,找到合适的版本下载安装 输入wsl -l如下所示,即为安装成功。 安装过程比较…

git,gitLib,gitHub以及svn和git的区别

一.git,gitlib,github的区别 Git是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小或大的项目, 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。 gitHub和gitLib都是web界面&…

微服务中间件 RabbitMq学习

1、为什么需要Mq 例如在用户注册业务中,用户注册成功后 需要发注册邮件和注册短信,传统的做法有两种 1.串行的方式;2.并行的方式 ; 假设三个业务节点分别使用50ms,串行方式使用时间150ms,并行使用时间10…

【Linux】多线程(线程概念+线程控制)

🌇个人主页:平凡的小苏 📚学习格言:命运给你一个低的起点,是想看你精彩的翻盘,而不是让你自甘堕落,脚下的路虽然难走,但我还能走,比起向阳而生,我更想尝试逆风…

深入浅出HBase:一文理解HBase基础概念(列存储、时间戳、key-value)、架构特点以及适合的使用场景

文章目录 一. HBase 数据模型1. 行存储与列式存储1.1. 行存储1.2. 列存储 2. HBase 数据模型2.1. 模型概览2.2. 列与列族2.3. 时间戳:定义数据版本2.4. HBase的Key-Value 三. HBase架构1. HBase读写流程简述2. HRegionServer内部内部数据流转:HRegion &l…

使用Server-Sent Events实现后端主动向前端进行通信

目录 概述 使用 Server-Sent Events (SSE) 示例 1.创建SpringBoot项目添加web依赖,并编写以下代码 2.创建Vue项目并在项目的.vue文件中编写以下代码 效果说明 使用触发的方式向前端传递数据 总结 概述 在典型的前后端分离架构中,前端通过发起 H…