(三)HDFS架构原理

news/2024/5/20 2:31:51 标签: hdfs, 架构, hadoop

目录

 

架构

Datanode 从节点(slave)

元数据(Metadata)

元数据信息持久化

Block


架构

Namenode 主节点(master)

管理HDFS文件系统的命名空间,维护元数据信息, 处理客户端读写请求

Datanode 从节点(slave)

存储数据(Block),集群启动时,DataNode向NameNode汇报Block列表信息集群运行期间, 通过心跳机制定期(默认3秒) 与NameNode保持通信

元数据(Metadata)

信息存放在NameNode内存当中 包含:HDFS中文件及目录的基本属性信息(如拥有者、权限信息创建时间等)、文件有哪些block构成、 以及block的位置存放信息。

元数据信息持久化

fsimage(元数据镜像检查点文件)

edits(编辑日志文件,记录写操作)

注:block的位置信息并不会做持久化,仅仅只是在DataNode启动汇报给NameNode,存放在NameNode内存空间内

Block

• Block是HDFS的最小存储单元 • Block的大小 -默认大小:128M(HDFS 1.x中,默认64M)

-若文件大小不足128M,则会单独成为一个block -实质上就是Linux相应目录下的普通文件

-名称格式:blk_xxxxxxx

• Block和元数据分开存储,Block存储于DataNode,元数据存储于NameNode

• Block多副本 -默认副本数:3

-机架感知:将副本存储到不同的机架上,实现数据的高容错

-副本均匀分布:提高访问带宽和读取性能,实现负载均衡,避免出现数据倾斜


http://www.niftyadmin.cn/n/150261.html

相关文章

智驾赛道多点爆发,看头部企业的新玩法|峰会预告

未来2-3年,如何找准市场爆点? 当前,中国乘用车市场处于L2普及、L2冲刺发力以及L3/L4小规模落地的并行发展周期,这意味着,中国智能驾驶赛道将呈现多点爆发的局面。 高工智能汽车研究院数据来看,2022年度中…

【C语言】刷题训练营——“ 牛客语法篇 (7) “

前言 ​ 大家好,继续更新专栏 c_牛客,不出意外的话每天更新十道题,难度也是从易到难,自己复习的同时也希望能帮助到大家,题目答案会根据我所学到的知识提供最优解,希望要学习的小伙伴先思考再看答案。 &am…

Unity实用插件篇 ✨ | 游戏中的求概率插件WeightedRandomization加权随机化算法

🎬 博客主页:https://xiaoy.blog.csdn.net 🎥 本文由 呆呆敲代码的小Y 原创 🙉 🎄 学习专栏推荐:Unity系统学习专栏 🌲 游戏制作专栏推荐:游戏制作 🌲Unity实战100例…

AWS介绍(详细好理解)

一、什么是云计算像水、电、煤一样的使用IT资源,“云计算”指按需交付的IT资源和应用程序,通过互联网使用,按使用量付费。按需使用、高弹性、超大规模。云计算已经成为新常态。二、什么是AWSAWS是亚马逊集团的一家提供云计算服务的公司&#…

python搭建web服务器

前言:相信看到这篇文章的小伙伴都或多或少有一些编程基础,懂得一些linux的基本命令了吧,本篇文章将带领大家服务器如何部署一个使用django框架开发的一个网站进行云服务器端的部署。 文章使用到的的工具 Python:一种编程语言&…

智能合约规范以及ERC规范有哪些?

智能合约规范 智能合约是区块链技术的重要组成部分,用于自动化执行和管理合同。为了确保智能合约的安全性和正确性,需要遵循一些合约规范,以规范智能合约的开发和部署。以下是一些常见的合约规范: Solidity 规范:Soli…

python 字符串:输出字符串中的字符,常用的方法,格式化字符串,字符串的切片

字符串可以用" "或者 字符串中的单引号和双引号的输出可以用\来转义: 读取字符串中的字符 常用的方法: 字符串索引正数从前往后数,负数从后往前数isalpha()判断是否是纯字母isdigit()判断是否是纯数字islower()是否都为小写isupp…

Xshell连接不上虚拟机

问题描述: 小编在使用XShell连接虚拟机的过程中,经常会遇到XShell连接不上虚拟机的情况。此时,虚拟机是正常启动的,为此感到十分困惑。查找了很多资料终于解决了这个问题并记录在此,希望可以帮助到你。 前提条件&…