hadoop集群启动之后safe mode is on问题解决_2020-09-16

news/2024/5/20 3:09:30 标签: hadoop, hdfs

问题描述
当启动hadoop集群的时候,没有报错,进入hadoop:50070端口也正常,但是在Summary中,安全模式提示为on。不知为何。。。。

当启动hive的时候,会报错:namenode safemode is on

然后看其他博客说是因为集群断电、重启等原因导致很多块文件丢失,类似于在Summary中这样的提示:
Safe mode is ON. The reported blocks 0 needs additional 526 blocks to reach the threshold 0.9990 of

解决办法(暴力解决)
其实我也不清楚为什么会丢失这么多文件,只好将这些损坏的块清空,才能正常使用namenode
使用以下命令清空损坏的block:

# 先启动hdfs之后,退出安全模式
hadoop dfsadmin -safemode leave

# 删除损坏的块文件
hdfs fsck  /  -delete

对于hdfs fsck命令,有以下注释:

HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

具体命令介绍:
-move: 移动损坏的文件到/lost+found目录下
-delete: 删除损坏的文件
-openforwrite: 输出检测中的正在被写的文件
-list-corruptfileblocks: 输出损坏的块及其所属的文件
-files: 输出正在被检测的文件
-blocks: 输出block的详细报告 (需要和-files参数一起使用)
-locations: 输出block的位置信息 (需要和-files参数一起使用)
-racks: 输出文件块位置所在的机架信息(需要和-files参数一起使用)

http://www.niftyadmin.cn/n/1688984.html

相关文章

Error:(3, 41) java: 程序包org.apache.kafka.clients.producer不存在 错误提示解决办法

场景:在Windows上编写Kafka中的main方法,向Linux系统中的Kafka消费者传递消息,执行main方法的时候提示这个错误: Error:(3, 41) java: 程序包org.apache.kafka.clients.producer不存在解决办法: 在Windows上cd到该mav…

Windows Python pip修改源

pip源有以下 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学:http://pypi.hustunique.com/ 山东理工大学:…

echarts鼠标悬停tooltip显示内容的位置自适应

在echarts中的option中添加如下代码即可&#xff1a; tooltip:{formatter: function(obj) {let value obj.value;return <div style"border-bottom: 1px solid rgba(255,255,255,.3); font-size: 18px;padding-bottom: 7px;margin-bottom: 7px"> value[0] &l…

CentOS6.8初始配置(3个文件)

初始化CentOS6.8需要配置静态IP&#xff0c;主机名等内容&#xff0c;需要配置以下3个文件内容&#xff1a; 1. 在这里修改网卡的名称&#xff1a;eth0和网卡的物理地址 sudo vi /etc/udev/rules.d/70-persistent-net.rules2. 在这里修改静态IP&#xff0c;主要修改以下内容&…

CentOS6.8配置Hadoop需要的启动脚本、分发脚本等内容(全)

1. 分发脚本: xsync #!/bin/bash #1 获取输入参数个数&#xff0c;如果没有参数&#xff0c;直接退出 pcount$# if((pcount0)); then echo no args; exit; fi#2 获取文件名称 p1$1 fnamebasename $p1 echo fname$fname#3 获取上级目录到绝对路径 pdircd -P $(dirname $p1); pw…

zookeeper启动时日志报错:java.net.NoRouteToHostException: 没有到主机的路由 (Host unreachable)

#重新部署、重新修改配置文件&#xff0c;都不行&#xff0c;看日志文件发现zookeeper启动需要Java运行环境 #而我的Java运行环境配置在了 /etc/profile 中 #可以将java运行环境加在 zookeeper的bin/zkServer.sh 里的开头部分 #最好还是将 /etc/profile中的环境变量加入到…

Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon runnin?

问题&#xff1a; 重启虚拟机运行docker命令提示&#xff1a;Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 解决办法&#xff1a; 重启docker&#xff0c;或者先把docker进程kill掉&#xff0c;然后重启 ps -ef | g…

c#中对cookie的几种操作(增、删、改、查)

1.添加cookies&#xff08;用cookies方式去做sso&#xff0c;用户信息保存&#xff0c;修改都会依赖cookies&#xff09; 添加cookeis #region##///<summary>/// 添加cookeis///</summary>public void AddCookies(){HttpCookie cookies new HttpCookie("P…