在配置HDFS环境时遇到的一些坑

news/2024/5/20 1:29:54 标签: hadoop, hdfs
  1. 启动datanode、namenode时未启动
    1. 使用jps命令查看，未启动datanode，切换到logs目录下，使用tail命令打开刚刚生成的日志查看错误
    2. 一定要查看配置文件，看看有没有单词拼写错误！！！！
  2. 克隆的虚拟机的网卡的uuid需要重新生成，不然在hadoop的浏览器端会默认只有一个datanode
  3. 在格式化HDFS的时候，关闭datanode，namenode等，不然会导致clusterID不同，找到datanode节点上的VERSION，更改其中的clusterID与namenode保持一致即可。
  4. 在linux系统中需要配置hosts文件，添加主机名到ip的映射
  5. 配置ssh免密登陆，不然之后使用脚本启动的时候需要一个一个输入密码。
  6. 运行MapReduce时候出错，先看看yarn启动没
  7. 初始化工作目录结构，hdfs namenode -format 只是初始化了namenode的工作目录，而datanode的工作目录是datanode启动的时候自己初始化的
  8. datanode下线后，namenode不会立刻把他认定为下线，有一个超时时间

http://www.niftyadmin.cn/n/1203741.html

相关文章

lambda（四）

lambda（四）

2019独角兽企业重金招聘Python工程师标准>>> 方法引用 ClassName：methodName 凡是使用lambda表达式的地方就可以使用方法引用。 artist->artist.getName(); Artist::getName 上下等价 (id,name) -> new Artist(id,name); Artist::new 元素顺序 如…
阅读更多...
Hadoop体系简介

Hadoop体系简介

一、Hadoop简介 Hadoop的初衷是采用大量的廉价机器，组成一个集群，完成大数据的存储和计算。 1.1 Hadoop中的组件 1.1.1 Hadoop1.x组成 HDFS：负责数据的存储Common：HDFS和MapReduce共有的常用的工具包的模块MapReduce&#xff1…
阅读更多...
「AI大学·未来课栈@成都栈」报名开启，AI 带你大开眼界！

「AI大学·未来课栈@成都栈」报名开启，AI 带你大开眼界！

2018年「AI大学未来课栈成都栈」将于6月14日在成都拉开序幕。 这一次我们携手中科院上海微系统研究员张晓林、云孚科技CEO张文斌等知名AI大咖，从计算机视觉、人机交互、AI医疗等热门技术方向说起，看AI如何将过去的不可能变成现在的可能。 我们诚挚邀请您…
阅读更多...
Hadoop的安装

Hadoop的安装

一、Hadoop的安装 1.1 安装前注意事项 Hadoop运行的前提是已经在本机安装了JDK，配置JAVA_HOME变量在Hadoop中启动多种不同类型的进程，需要配置主机名到IP的映射注意权限：Hadoop框架运行需要产生的很多数据，数据保存目录&#xf…
阅读更多...
MySql登陆密码忘记了怎么办？MySQL重置root密码方法

MySql登陆密码忘记了怎么办？MySQL重置root密码方法

本文主要介绍Windows和Linux系统下忘记密码重置root密码的方法，需要的朋友可以参考下。MySQL有时候忘记了root密码是一件伤感的事。这里提供Windows 和 Linux 下的密码重置方法。 Windows: 1.以系统管理员身份登陆系统。 2.打开cmd-----net start 查看mysql是否启动…
阅读更多...
C# 汉语生成拼音(微软官方方案)

C# 汉语生成拼音(微软官方方案)

原文:C# 汉语生成拼音(微软官方方案)项目开发中用户的登录名是管理员在后台输入汉字姓名后自动生成的拼音。例如输入：张三，则登录名自动生成ZHANGSAN。 我在网上查阅了很多方法： 如：http://blog.csdn.net/nengzhong/article/detai…
阅读更多...
HadoopHA

HadoopHA

一、HDFS-HA高可用 1.1 HA概述 所谓HA（High Available），即高可用（7*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前…
阅读更多...
OrderOnline——项目概述

OrderOnline——项目概述

一、待开发软件的一般描述 学生在食堂排队会面临长队伍，考虑到这一问题，就想开发一个食堂远程下单系统，完成线上点单、下单，线下取餐。食堂远程下单系统为学生提供了方便，减少了排队等候的时间。 由于本系统的主要服务…
阅读更多...
最新文章

Copyright @ 2022~2023