HDFS 之 数据管理(namespace 和 slaves)

news/2024/5/20 2:31:56 标签: hdfs, hadoop, 大数据

1、namespace

Namespace在HDFS中是一个非常重要的概念,也是有效管理数据的方法。Namespace有很多优点:可伸缩性。使HDFS集群存储能力可以轻松进行水平拓展;系统性能。单点性能受限,影响系统吞吐;隔离性。不同业务类型访问集群有时容易互相干扰,使用多Namespace可以有效管理访问分类。

1.1 Namespace概况

HDFS具有良好的拓展性,单集群可以很轻松地部署数百至数千服务节点。相应的集群所存储的数据也会增加,那么如何有效地管理和使用这些数据?答案就是Namespace,以分层次结构管理数据。集群与Namespace的关系有点类似“大集群”与“小集群”的关系,彼此独立又相互依存。

特点如下:

  • 每个Namespace彼此独立。Namespace工作时只负责维护本区域的数据,各Namespace之间互不干扰。此外也有各自的资源属性,如元数据、Quota、Permission和用户等。
  • 数据节点共用。所有的Namespace维护的文件都可以共用DataNode节点,为了区分数据属于哪些Namespace, DataNode会以BlockPool的形式进行管理。

namespace和集群的关系:
在这里插入图片描述

1.1.1 cluster ID

每个Namespace都有一个属于自己唯一标识符ClusterID,用以标识集群中的所有节点。当对Namenode进行格式化


http://www.niftyadmin.cn/n/5372574.html

相关文章

C 练习实例68-数组循环移动m次

题目:有 n 个整数,使其前面各数顺序向后移 m 个位置,最后m个数变成最前面的 m 个数。 思路: 先保存数组最后面的一个数把最后那个数前面的所有数向后移动一位最后,套入循环语句,循环m次,即移动…

Python编码风格指南: PEP8规范

一. 变量 1、常量: 大写加下划线 USER_CONSTANT。 2、私有变量 : 小写和一个前导下划线 _private_value。 Python 中不存在私有变量一说,若是遇到需要保护的变量,使用小写和一个前导下划线。但这只是程序员之间的一个约定&#xff…

在vscode 中配置 pyside6 环境

在vscode中编写pyside环境配置 start 记录一下在 vscode 中编写 pyside6 程序,环境如何配置。 前提 请自行安装好 python。请自行安装好 vscode。安装 vscode 插件 Python,PYQT Integration。 配置环境 1.借助 pip 安装我们的pyside6 pip install…

单片机在物联网中的应用

单片机,这个小巧的电子设备,可能听起来有点技术性,但它实际上是物联网世界中的一个超级英雄。简单来说,单片机就像是各种智能设备的大脑,它能让设备“思考”和“行动”。由于其体积小、成本低、功耗低、易于编程等特点…

【linux系统体验】-archlinux折腾日记

archlinux 一、系统安装二、系统配置及美化2.1 中文输入法2.2 安装virtualbox增强工具2.3 终端美化2.4 桌面面板美化 三、问题总结3.1 一、系统安装 安装步骤人们已经总结了很多很全: Arch Linux图文安装教程 大体步骤: 磁盘分区安装 Linux内核配置系统&#xff…

【5G NR】【一文读懂系列】移动通讯中使用的信道编解码技术-卷积码原理

目录 一、引言 二、卷积编码的发展历史 2.1 卷积码的起源 2.2 主要发展阶段 2.3 重要里程碑 三、卷积编码的基本概念 3.1 基本定义 3.2 编码器框图 3.3 编码多项式 3.4 网格图(Trellis)描述 四、MATLAB示例 一、引言 卷积编码,作为数字通信领域中的一项…

HCIA--NAT实验

1. 划分网段,配置接口IP地址,内网启用OSPF协议,并配置一对一的NAT: AR1配置: [Huawei]int g0/0/0 [Huawei-GigabitEthernet0/0/0]ip add 10.1.1.1 24 [Huawei-GigabitEthernet0/0/0]int g0/0/1 [Huawei-GigabitEther…

代码随想录|Day 15

Day 15 年三十 今天太忙了… 一、理论学习 二、刷题学习 104. 二叉树的最大深度 应该确实比以前有提升了 已经能写出这么精简的代码了 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeN…