Hadoop 3.x(生产调优手册)----【HDFS--多目录】
- 1. NameNode多目录配置
- 2. DataNode多目录配置
- 3. 集群数据均衡之磁盘间数据均衡
1. NameNode多目录配置
- NameNode 的本地目录可以配置成多个,且每个目录存放内容相同,增加了可靠性
-
具体配置如下
(1)在
hdfs-site.xml
文件中添加如下内容
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name1,file://${hadoop.tmp.dir}/dfs/name2</value>
</property>
(2)停止集群,删除三台节点的 data 和 logs 中所有数据
[fickler@hadoop102 hadoop-3.1.3]$ rm -rf data/ logs/
[fickler@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/
[fickler@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/
(3)格式化集群并启动
[fickler@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format
[fickler@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
- 查看结果
[fickler@hadoop102 dfs]$ ll
总用量 0
drwx------. 3 fickler fickler 40 9月 29 15:21 data
drwxrwxr-x. 3 fickler fickler 40 9月 29 15:21 name1
drwxrwxr-x. 3 fickler fickler 40 9月 29 15:21 name2
2. DataNode多目录配置
- DataNode 可以配置成多个目录,每个目录存储的数据不一样(数据不是副本)
- 具体配置如下、
在 hdfs-site.xml
文件中添加如下内容
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2</value>
</property>
- 查看结果
[fickler@hadoop102 dfs]$ ll
总用量 0
drwx------. 3 fickler fickler 21 9月 29 15:52 data
drwx------. 3 fickler fickler 40 9月 29 15:52 data1
drwx------. 3 fickler fickler 40 9月 29 15:52 data2
drwxrwxr-x. 3 fickler fickler 40 9月 29 15:52 name1
drwxrwxr-x. 3 fickler fickler 40 9月 29 15:52 name2
- 向集群上传一个文件
3. 集群数据均衡之磁盘间数据均衡
生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。