八、hdfs文件系统副本块数量的配置

news/2024/5/20 2:57:57 标签: hdfs, hadoop, 大数据

1、配置方式

2、实际操作演示

(1)在Hadoop用户的根目录下创建text.txt文件

(2)上传文件

hadoop@node1:~$ hdfs dfs -ls hdfs://node1:8020/
Found 4 items
drwxr-xr-x   - hadoop supergroup          0 2023-11-21 23:06 hdfs://node1:8020/home
-rw-r--r--   2 hadoop supergroup         35 2023-11-26 22:54 hdfs://node1:8020/text.txt
-rw-r--r--   3 hadoop supergroup         27 2023-11-26 22:57 hdfs://node1:8020/three_text.txt
drwx------   - hadoop supergroup          0 2023-11-18 12:21 hdfs://node1:8020/user

(3)修改副本数

hadoop@node1:~$ hdfs dfs -setrep 1 hdfs://node1:8020/three_text.txt
Replication 1 set: hdfs://node1:8020/three_text.txt
hadoop@node1:~$ hdfs dfs -ls hdfs://node1:8020/
Found 4 items
drwxr-xr-x   - hadoop supergroup          0 2023-11-21 23:06 hdfs://node1:8020/home
-rw-r--r--   2 hadoop supergroup         35 2023-11-26 22:54 hdfs://node1:8020/text.txt
-rw-r--r--   1 hadoop supergroup         27 2023-11-26 22:57 hdfs://node1:8020/three_text.txt
drwx------   - hadoop supergroup          0 2023-11-18 12:21 hdfs://node1:8020/user

3、fsck命令检查文件的副本数

(1)结果演示:

hadoop@node1:~$ hdfs fsck hdfs://node1:8020/text.txt -files -blocks -locations
Connecting to namenode via http://node1:9870/fsck?ugi=hadoop&files=1&blocks=1&locations=1&path=%2Ftext.txt
FSCK started by hadoop (auth:SIMPLE) from /192.168.88.101 for path /text.txt at Sun Nov 26 23:07:44 CST 2023

/text.txt 35 bytes, replicated: replication=2, 1 block(s):  OK
0. BP-1383297113-192.168.88.101-1699274849934:blk_1073741835_1012 len=35 Live_repl=2  [DatanodeInfoWithStorage[192.168.88.103:9866,DS-89bf9985-fca9-4717-bdd1-1476f0b98a0f,DISK], DatanodeInfoWithStorage[192.168.88.101:9866,DS-bc41ebe7-7da0-4097-813b-7a025fba1b99,DISK]]


Status: HEALTHY
 Number of data-nodes:  3
 Number of racks:               1
 Total dirs:                    0
 Total symlinks:                0

Replicated Blocks:
 Total size:    35 B
 Total files:   1
 Total blocks (validated):      1 (avg. block size 35 B)
 Minimally replicated blocks:   1 (100.0 %)
 Over-replicated blocks:        0 (0.0 %)
 Under-replicated blocks:       0 (0.0 %)
 Mis-replicated blocks:         0 (0.0 %)
 Default replication factor:    3
 Average block replication:     2.0
 Missing blocks:                0
 Corrupt blocks:                0
 Missing replicas:              0 (0.0 %)
 Blocks queued for replication: 0

Erasure Coded Block Groups:
 Total size:    0 B
 Total files:   0
 Total block groups (validated):        0
 Minimally erasure-coded block groups:  0
 Over-erasure-coded block groups:       0
 Under-erasure-coded block groups:      0
 Unsatisfactory placement block groups: 0
 Average block group size:      0.0
 Missing block groups:          0
 Corrupt block groups:          0
 Missing internal blocks:       0
 Blocks queued for replication: 0
FSCK ended at Sun Nov 26 23:07:44 CST 2023 in 1 milliseconds


The filesystem under path '/text.txt' is HEALTHY

(2)分析


http://www.niftyadmin.cn/n/5226753.html

相关文章

Golang开发之------ Beego框架

1.安装go(配置环境变量) 2.安装gorm(Goland编辑器举例): go env -w GO111MODULEon go env -w GOPROXYhttps://goproxy.cn,direct 3.初始化项目(首先需要在工作目录新建bin文件夹,pkg文件…

【开源视频联动物联网平台】开箱即用的物联网项目介绍

写一个开箱即用的物联网项目捐献给Dromara组织 一、平台简介 MzMedia开源视频联动物联网平台,简单易用,更适合中小企业和个人学习使用。适用于智能家居、农业监测、水利监测、工业控制,车联网,监控直播,慢直播等场景。…

Ubuntu 安装Verilator——翻译自官网

… 威尔逊-斯奈德版权所有 2003-2023。 … SPDX 许可证标识符: 仅限 LGPL-3.0 或 Artistic-2.0 … _安装: 安装 本节讨论如何安装 Verilator。 软件包管理器快速安装 使用发行版的软件包管理器是最简单的入门方法。入门的最简单方法。(请注意&#xf…

vue+less+style-resources-loader 配置全局颜色变量

全局统一样式后,可配置vue.config.js实现全局颜色变量,方便在编写时使用统一风格的色彩 一、新建global.less 二、下载安装style-resources-loader npm i style-resources-loader --save-dev三、在vue.config.js中进行配置 module.exports {pluginOpt…

字符串函数精讲1

又是好几天没有更新了,最近有些忙,但这并不是理由,还是怪我自己玩的时间多了!但还是有在每天敲代码的!话不多说,开始这一期的学习: strlen的使用和模拟实现 • 字符串以 \0 作为结束标志&#…

LoRaWAN协议栈LoRaMac-Node版本变迁历史(最新4.7.0)

V4.7.0 2022年12月9日发布 简介 基于“ LoRaWAN 规范1.0.4”和“ LoR aWan 规范1.1.0 FCntDwn 勘误表”的版本,“ LoRA WAN 区域参数2-1.0.3” GitHub报告了问题更正 已知的限制 SAMR34平台不实现NVM存储功能。这是大于或等于1.0.4的LoRaWAN版本的要求。 维护者…

AUTOSAR汽车电子嵌入式编程精讲300篇-汽车CAN总线安全性模糊测试(续)

目录 3.4 CAN总线报文信号字段含义分析 3.5 算法验证 3.5.1 基于翻转率特征字段划分算法验证

Spring Cloud Stream如何屏蔽不同MQ带来的差异性?

引言 在当前的微服务架构下,使用消息队列(MQ)技术是实现服务解耦和削峰填谷的重要策略。为了保证系统的灵活性和可替换性,我们需要避免对单一开源技术的依赖。 市面上有多种消息队列技术,如 Kafka、RocketMQ、Rabbit…