多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

news/2024/5/20 2:31:59 标签: hadoop, hdfs, 大数据

多次重新初始化hadoop namenode -format后,DataNode或NameNode没有启动

在搭建完hadoop集群后,需要对主节点进行初始化(格式化)

其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。

而且主节点格式化操作只能进行一次。

当我们不小心多次初始化,会导致启动hadoop集群时,主节点DataNode或NameNode无法启动

[root@node01 hadoop]# jps
6628 SecondaryNameNode
7412 Jps
6901 ResourceManager
7066 NodeManager

解决方法如下:

在重新初始化(格式化)前,

  • 先在主节点上运行 stop-all.sh终止所有进程 (可以使用jps查看)

  • 删除配置文件core-site.xml 和hdfs-site.xml中指定目录下的文件

    查找方法:查看配置文件里面是如何写的

    image-20230405140150628

    示例:

    $hadoop_home = /opt/app/hadoop-2.7.7
    
    1. 首先找到指定目录

    查看hdfs-site.xml文件

    示例: $hadoop_home/etc/hadoop/hdfs-site.xml

<configuration> 
    .
    .
    .
  <property> 
    <name>dfs.namenode.dir</name>
    <value>file:/opt/app/hadoop-2.7.7/name</value>
  </property> 
    
  <property>
    <name>dfs.datanode.dir</name>
    <value>file:/opt/app/hadoop-2.7.7/data</value>
  </property> 
    .
    .
    .

</configuration>

查看core–site.xml

示例:$hadoop_home/etc/hadoop/core–site.xml

<configuration> 
    .
    .
    .
    
  <property>
    <name>dfs.tmp.dir</name>
    <value>file:/opt/app/hadoop-2.7.7/tmp</value>
  </property> 
    .
    .
    .

</configuration>
  1. cd /opt/app/hadoop-2.7.7去看有哪些内容

20230401180327

  1. 删除 dfs.namenode.dir和dfs.datanode.dir所指目录里的文件
  • rm -rf name

  • rm -rf data

  1. 删除logs日志文件和tmp缓存文件
  • rm -rf logs
  • rm -rf tmp
  1. 最后重新初始化(格式化) hadoop namenode - format

!!!注意:每个结点上都需要删除相应文件


http://www.niftyadmin.cn/n/5107776.html

相关文章

蓝桥杯 (年号字串 C++)

思路&#xff1a; 1、看成10进制转化成26进制 。 2、A表示1、B表示2。以此类推&#xff0c;Z表示26. 代码&#xff1a; #include <iostream> using namespace std; int main() {char str[10]; int sum 2019, n, i 0; while (sum > 0) {str[i] sum % 26 64;sum / …

【Java 进阶篇】深入了解 Bootstrap 全局 CSS 样式

Bootstrap 是一个流行的前端框架&#xff0c;以其强大的全局 CSS 样式而闻名。这些样式能够帮助开发者快速创建漂亮的、响应式的网页&#xff0c;而无需从头编写复杂的 CSS。在本文中&#xff0c;我们将深入探讨 Bootstrap 的全局 CSS 样式&#xff0c;适合初学者&#xff0c;帮…

吴恩达开新课了:面向所有人的生成式 AI 课程!我已偷偷学了起来

作者 | 智商掉了一地 斯坦福大学的吴恩达教授可能是许多人接触 AI 的启蒙课导师吧&#xff0c;在过去的十多年中&#xff0c;他的《Machine Learning》课程已经对数百万的学习者产生了积极影响。 ▲image.png 而随着 ChatGPT 的推出&#xff0c;大模型和各类生成式人工智能&am…

【c++】跟webrtc学std array 2:TaskExecutorMap单例用法

D:\XTRANS\m98_rtc\ndrtc-webrtc\src\base\task\task_executor.ccstd array实现的map:TaskExecutorMap // Maps TaskTraits extension IDs to registered TaskExecutors. Index |n| // corresponds to id |n - 1|. using TaskExecutorMap =std::array<TaskExecutor*, Task…

(N-128)基于springboot,vue酒店管理系统

开发工具&#xff1a;IDEA 服务器&#xff1a;Tomcat9.0&#xff0c; jdk1.8 项目构建&#xff1a;maven 数据库&#xff1a;mysql5.7 系统分前后台&#xff0c;项目采用前后端分离 前端技术&#xff1a;vueelementUI 服务端技术&#xff1a;springbootmybatis 本系统功…

C++之this指针

前言 C中对象模型和this指针是面向对象编程中的重要概念。对象模型描述了对象在内存中的布局和行为&#xff0c;包括成员变量、成员函数的存储方式和访问权限。this指针是一个隐含的指针&#xff0c;指向当前对象的地址&#xff0c;用于在成员函数中引用当前对象的成员变量和成…

如何在CentOS 7中卸载Python 2.7,并安装3.X

Python是一种常用的编程语言&#xff0c;但是如果您不需要在服务器上使用Python 2.7&#xff0c;那么本文将详细介绍如何在CentOS 7上卸载Python 2.7。 一、检查Python版本 在卸载Python 2.7之前&#xff0c;必须检查系统上的Python版本。 在终端中执行以下命令&#xff1a;…

JS基本小知识:函数

目录 函数的基本概念 函数的定义和调用 函数的定义 函数的调用 函数的参数和返回值 参数的作用域和生命周期 返回值的作用和使用场景 匿名函数和箭头函数 匿名函数 本文将介绍 JavaScript 中的一个知识点&#xff1a;函数。函数是 JavaScript 中非常重要的一个概念&am…