HDFS 之 Topology(Rack) Awareness - 机架感知

news/2024/5/20 2:31:51 标签: hdfs, hadoop, 大数据

1、 简介

机架感知在大型分布式存储系统中非常实用,可以有效保证数据的高可用,同时提升集群稳定性。在HDFS中,也实现了类似Topology Awareness的机制,只不过是采用软件的方式模拟。

2、机架感知存在的意义

在这里插入图片描述
分布式存储系统的一个特殊之处在于其通常包含非常多的机器。Client在借助网络通道访问集群时,仍然会受到比如交换机网口的限制,通常大型的分布式集群都会跨好几个机架,甚至多数据中心,由这些机器共同组织一个分布式的集群。一个典型的集群物理节点部署结构如上图。

搭建大型集群时,需要考虑是否跨IDC(数据中心),单IDC可能由多机房组成,为便于管理机器和网络,机房中的机器之间会经过交换机,这里的每一级之间都是通过网络互通。从上到下,每层的网络带宽总和依次变小;同时网络包经过的层级越多,端到端的时延就越长。

对于分布式存储系统而言,有两个不容忽视的问题:

  • 读写访问需要尽可能稳定且高效,也就是两个节点间交互链路不建议过长。
  • 数据副本所在节点区域不建议过近,有利于提高容错能力。上面的两点有着先天的矛盾,为了平衡系统运行,一个有效的方法就是结合Topology Awareness(机架感知)。

将上面的图片抽象为下图。


http://www.niftyadmin.cn/n/5390311.html

相关文章

​LeetCode解法汇总2583. 二叉树中的第 K 大层和

目录链接: 力扣编程题-解法汇总_分享记录-CSDN博客 GitHub同步刷题项目: https://github.com/September26/java-algorithms 原题链接:. - 力扣(LeetCode) 描述: 给你一棵二叉树的根节点 root 和一个正整…

maven3旧版本的下载地址(含新版本)

因为现有的3.8版本与IDEA不兼容,我需要下载3.6版本,但是官网的位置非常隐蔽,找了很多资料才看到。故记录一下。 第一步 进入网址,选择需要的版本 Index of /dist/maven/maven-3 第二步 选择binaries 第三步 选择zip文件下载就可…

china小世界

在遥远的上古时期,华夏族的祖先以其无比的智慧和力量,横扫天下,万族臣服,形成了前所未有的盛世。然而,就在这个辉煌的时刻,境外异族突然入侵,意图侵占华夏族的领土和资源。为了保护族人&#xf…

YOLO(You Only Look Once)详细介绍

YOLO(You Only Look Once)是一种基于深度学习的目标检测方法,其核心思想是将目标检测任务转换为一个回归问题来解决。与传统的目标检测方法相比,YOLO具有更快的速度和更高的准确率,因此在实际应用中得到了广泛的关注和应用。 YOLO的检测过程是在一个单独的端到端网络中完…

美联储突然降息无望

作者:秦晋 我们知道,影响比特币未来1-2年市场走向的重要三因素是比特币ETF、比特币减半以及美联储降息。 如果说前两者是影响比特币市场比较紧密的微观因素。那么美联储降息就是影响比特币市场的重要宏观因素。如何看懂宏观因素?尽量倾听和观…

【Git企业实战开发】Git常用开发流操作总结

【Git企业实战开发】Git常用开发流操作总结 大家好 我是寸铁👊 总结了一篇Git常用开发流操作总结的文章✨ 喜欢的小伙伴可以点点关注 💝 现在刚做项目的伙伴,可能你之前学过git,但是一实战发现不熟悉 没关系,看寸铁这篇…

Docker - compose常用命令(常规操作顺序)

----------------------------------------------------------【Docker】-------------------------------------------------------------------- 【本地部署】 构建Docker镜像 docker build -t your-image-name .运行容器 docker run -p 8080:8700 your-image-name , 本地验…

【论文阅读笔记】Revisiting RCAN: Improved Training for Image Super-Resolution

论文地址:https://arxiv.org/abs/2201.11279 代码地址:https://github.com/zudi-lin/rcan-it 论文小结 本文的工作,就是重新审视之前的RCAN,然后做实验来规范化SR任务的训练流程。 此外,作者得出一个结论:…