Hadoop namenode重新格式化需注意问题

news/2024/5/20 5:30:46 标签: hadoop, hdfs, big data

Hadoop namenode重新格式化需注意问题

1、重新格式化意味着集群的数据会被全部删除,格式化前需考虑数据备份或转移问题;
2、先删除主节点(即namenode节点),Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 (注意是删除目录下的内容不是目录);
3、删除所有数据节点(即datanode节点) ,Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容;
4、格式化一个新的分布式文件系统:

$ hadoop namenode -format
注意
(1)Hadoop的临时存储目录tmp(即core-site.xml配置文件中的hadoop.tmp.dir属性,默认值是/tmp/hadoop- u s e r . n a m e ) , 如 果 没 有 配 置 h a d o o p . t m p . d i r 属 性 , 那 么 h a d o o p 格 式 化 时 将 会 在 / t m p 目 录 下 创 建 一 个 目 录 , 例 如 在 c l o u d 用 户 下 安 装 配 置 h a d o o p , 那 么 H a d o o p 的 临 时 存 储 目 录 就 位 于 / t m p / h a d o o p − c l o u d 目 录 下 ( 2 ) H a d o o p 的 n a m e n o d e 元 数 据 目 录 ( 即 h d f s − s i t e . x m l 配 置 文 件 中 的 d f s . n a m e n o d e . n a m e . d i r 属 性 , 默 认 值 是 {user.name}),如果没有配置hadoop.tmp.dir属性,那么hadoop格式化时将会在/tmp目录下创建一个目录,例如在cloud用户下安装配置hadoop,那么Hadoop的临时存储目录就位于/tmp/hadoop-cloud目录下 (2)Hadoop的namenode元数据目录(即hdfs-site.xml配置文件中的dfs.namenode.name.dir属性,默认值是 user.namehadoop.tmp.dirhadoop/tmpcloudhadoopHadoop/tmp/hadoopcloud(2)Hadoopnamenodehdfssite.xmldfs.namenode.name.dir{hadoop.tmp.dir}/dfs/name),同样如果没有配置该属性,那么hadoop在格式化时将自行创建。必须注意的是在格式化前必须清楚所有子节点(即DataNode节点)dfs/name下的内容,否则在启动hadoop时子节点的守护进程会启动失败。这是由于,每一次format主节点namenode,dfs/name/current目录下的VERSION文件会产生新的clusterID、namespaceID。但是如果子节点的dfs/name/current仍存在,hadoop格式化时就不会重建该目录,因此形成子节点的clusterID、namespaceID与主节点(即namenode节点)的clusterID、namespaceID不一致。最终导致hadoop启动失败。


http://www.niftyadmin.cn/n/1466172.html

相关文章

论文阅读《Boros: Secure Cross-Channel Transfers via》

文章目录题目:Boros: Secure Cross-Channel Transfers via Channel Hub1.介绍2.背景及相关工作3.构造思路4.形式化描述5.实施和评价题目:Boros: Secure Cross-Channel Transfers via Channel Hub 摘要——支付渠道允许双方在不涉及区块链的情况下执行微支…

学习红黑树后个人总结--插入删除

一、概念 R-B Tree,全称是Red-Black Tree又称红黑树,它是一种特殊的二叉查找树,红黑树的每个节点上都有存储位表示节点的颜色,可以是红或黑。 二、特性 1、每个节点或者是红色,或者是黑色 2、根节点是黑色的 3、每…

linux搭建db2数据库总结

. 一,常用命令 1. 赋予某用户读写权限 chown -R db2inst2 /home/db2inst2/2,查看数据库信息 db2 get db cfg3,查看数据库表空间 db2 list tablespaces show detail4,查看数据库中的表 db2 list tables for all5,查看当前所有数据库信息 db2 list db directory6,启动…

linux搭建was总结

一 was 基础概念 1单元 单元是整个分布式网络中的一个或多个节点的逻辑分组,单元是一个配置概念,是管理员将节点间逻辑关联起来的实现方法,一般情况单元看做最大的作用域 2 Deployment Manager 管理 代理程序,管控中心&#xff0c…

深入浅出java常用设计模式

https://www.jianshu.com/p/6e5eda3a51af深入浅出java常用设计模式

利用redis-benchmark进行Redis性能测试

参考链接转载地址 什么是redis-benchmark&#xff1a; redis-benchmark是Redis自身携带的性能测试工具&#xff0c;存在于redis安装文件夹下 C:\Users\86186\Downloads\Redis-x64-5.0.10 的目录2020/12/22 00:26 <DIR> . 2020/12/22 00:26 <DIR> …

Redis常用命令以及五大类型和其他常用类型操作命令

切换数据库&#xff1a; select index #切换数据库 redis默认16个数据库 index 从0开始 15结束清空Redis所有key&#xff1a; flushdb # 清除当前数据库的所有keys flushall # 清除所有数据库的所有keys查询匹配key&#xff1a; keys * # 查看所有keys keys…

redis事务以及实现乐观锁

redis事务本质 一组命令的集合,单条命令是可以保证原子性的&#xff0c;但是事务不保证原子性。 一个事务中的所有命令都会被序列化&#xff0c;在事务执行过程中&#xff0c;会按照顺序执行。一次性、顺序性、排他性的执行一些命令。 -----队列 set 、get 、set 执行--red…