Hadoop 3.x(生产调优手册)----【HDFS--多目录】

news/2024/5/20 1:30:07 标签: hadoop, hdfs, 大数据

Hadoop 3.x(生产调优手册)----【HDFS--多目录】

  • 1. NameNode多目录配置
  • 2. DataNode多目录配置
  • 3. 集群数据均衡之磁盘间数据均衡

1. NameNode多目录配置

  1. NameNode 的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性

在这里插入图片描述

  1. 具体配置如下

    (1)在 hdfs-site.xml 文件中添加如下内容

<property>
	<name>dfs.namenode.name.dir</name>
	<value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>

(2)停止集群,删除三台节点的 data 和 logs 中所有数据

[fickler@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
[fickler@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/
[fickler@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/

(3)格式化集群并启动

[fickler@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format
[fickler@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
  1. 查看结果
[fickler@hadoop102 dfs]$ ll
总用量 0
drwx------. 3 fickler fickler 40 9月  29 15:21 data
drwxrwxr-x. 3 fickler fickler 40 9月  29 15:21 name1
drwxrwxr-x. 3 fickler fickler 40 9月  29 15:21 name2

2. DataNode多目录配置

  1. DataNode 可以配置成多个目录,每个目录存储的数据不一样(数据不是副本)

在这里插入图片描述

  1. 具体配置如下、

hdfs-site.xml 文件中添加如下内容

<property>
	<name>dfs.datanode.data.dir</name>
	<value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>
  1. 查看结果
[fickler@hadoop102 dfs]$ ll
总用量 0
drwx------. 3 fickler fickler 21 9月  29 15:52 data
drwx------. 3 fickler fickler 40 9月  29 15:52 data1
drwx------. 3 fickler fickler 40 9月  29 15:52 data2
drwxrwxr-x. 3 fickler fickler 40 9月  29 15:52 name1
drwxrwxr-x. 3 fickler fickler 40 9月  29 15:52 name2

  1. 向集群上传一个文件
    在这里插入图片描述

3. 集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。
在这里插入图片描述
在这里插入图片描述


http://www.niftyadmin.cn/n/1680109.html

相关文章

DOS状态下查看端口(Win2000)

命令用法:Netstat这个命令可以加一些参数&#xff1a;-n 显示IP地址和端口的数目。-S 显示每个协议的连接状态。-a 显示所有的连接和监听端口。&#xff08;服务所有连接通常不显示的&#xff09;-e 显示太网的连接状态。最好与-s合用。-P PROTO 显示特定的协议连接状态。C:\Do…

XAMPP修改Apache默认网站目录htdocs的图文详解

2019独角兽企业重金招聘Python工程师标准>>> XAMPP&#xff08;ApacheMySQLPHPPERL&#xff09;是一个功能强大的建 XAMPP 软件站集成环境包&#xff0c;大量站长在使用。正确安装好XAMPP后&#xff0c;默认是必须将php程序放到xampp\htdocs文件夹下才能运行&#x…

Hadoop 3.x(生产调优手册)----【HDFS--集群扩容及缩容】

Hadoop 3.x&#xff08;生产调优手册&#xff09;----【HDFS--集群扩容及缩容】1. 添加白名单2. 服役新服务器3. 节点间数据均衡4. 黑名单退役服务器1. 添加白名单 白名单&#xff1a;表示在白名单的注解 IP 地址可以用来存储数据。 企业中&#xff1a;配置白名单&#xff0c;…

python企业发放的奖金根据利润提成_学习Python历程——第二天

Python学习只是兴趣爱好&#xff0c;非业内人士&#xff0c;希望能有所帮助。软件&#xff1a;Pycharm,软件激活方式自行解决Python版本&#xff1a;3.x———————————————————今天任务&#xff1a;完成第二例Python题目(来源网络)题目&#xff1a;企业发放的奖…

ObjectDataSourceGridview

ASP.NET 1.x 中DataGrid的功能在ASP.NET 2.0中得到了增强。DataGrid增强的功能在2.0中分散到了GridView、DetailsView 和FormView 三个控件中。今天讨论一下GridView与DetailsView如何联合使用。GridView和DetailsView的用法与1.x中有很大的不同&#xff0c;主要是2.0新增了4个…

Hadoop 3.x(生产调优手册)----【HDFS--存储优化】

Hadoop 3.x&#xff08;生产调优手册&#xff09;----【HDFS--存储优化】1. 纠删码1. 纠删码原理2. 纠删码案例实操2. 异构存储&#xff08;冷热数据分离&#xff09;1. 异构存储Shell操作2. 测试环境准备3. HOT存储策略案例4. WARM 存储策略测试5. COLD策略测试6. ONE_SSD策略…

docker启动nginx代理不上_阿里云上docker部署nginx实现反向代理

简介需要从镜像仓库找到所需要的nginx版本pull下来.(地址:https://hub.docker.com/)1.docker pull nginx1.挂载目录1.1 获取nginx.conf配置文件首先建立需要挂载的目录。1.mkdir -p {logs,conf,html}1.2 创建nginx.conf文件需要从nginx的配置文件当中获取出来nginx.conf这个配置…

python之pack布局

#Pack为一布局管理器&#xff0c;可将它视为一个弹性的容器1.一个空的widget#不使用pack # -*- coding: cp936 -*- from Tkinter imp ort *root Tk()# 查看当前root下的子组件,解释器没有报异常&#xff0c;说明Pack已创建&#xff0c;并可以使用,此时的输出为空&#xff0c;即…