docker搭建hadoop集群 个人总结

news/2024/5/20 1:29:56 标签: hadoop, docker, hdfs

1.搭建过程

https://dblab.xmu.edu.cn/blog/1233/
https://www.cnblogs.com/rmxd/p/12051866.html#_label4
按照这两篇文章即可,总结来说 pull ubuntu,进入系统,配置java、hadoop,保存镜像。然后根据这个镜像启动三个容器master,slave1,slave2,在master上配置相关信息。

2.注意的踩坑点(与两篇文章有出入):

mapred-site.xml 如下配置

 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
 </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
</property>
</configuration>

start-dfs.sh stop-dfs.sh 首部加入如下属性

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs  #hadoop3.0后使用该名称
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh stop-yarn.sh首部加入如下属性

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

容器重启后,配置的hosts文件中的修改会丢失

原因见链接: https://blog.csdn.net/Lekaor/article/details/127442047,需要重新配置一遍或者在网上找方法去固定ip。

运行程序

把程序在本地打成jar包,传到容器内(ubuntu)(docker cp 命令)。把数据上传到容器内,再上传到 hdfs 上。
hadoop jar 执行程序

如何在浏览器访问

使用 docker 进行端口映射 8808 和 50070,即可在启动集群后在本地浏览器访问


http://www.niftyadmin.cn/n/10148.html

相关文章

一起Talk Android吧(第四百二十回:贝塞尔曲线)

文章目录基本概念绘制方法具体示例各位看官们&#xff0c;大家好&#xff0c;上一回中咱们说的例子是"让时钟走起来",这一回咱们介绍的例子是" 贝塞尔曲线"。闲话休提&#xff0c;言归正转&#xff0c;让我们一起Talk Android吧&#xff01;看官们&#xf…

[MQ] 死信队列介绍与场景描述

✨✨个人主页:沫洺的主页 &#x1f4da;&#x1f4da;系列专栏: &#x1f4d6; JavaWeb专栏&#x1f4d6; JavaSE专栏 &#x1f4d6; Java基础专栏&#x1f4d6;vue3专栏 &#x1f4d6;MyBatis专栏&#x1f4d6;Spring专栏&#x1f4d6;SpringMVC专栏&#x1f4d6;SpringBoot专…

【攻破css系列——第九天】常规流

文章目录1. 常规流2. 常规流布局2.1 定义2.2 包含块2.3 块盒2.3.1 每个块盒的总宽度&#xff0c;必须等于包含块的宽度2.3.2 每个块盒垂直方向上的auto值2.3.3 百分比取值2.3.4 上下外边距合并&#xff08;margin塌陷&#xff09;2.4 行盒2.4.1 盒子沿着内容延伸2.4.2 宽高不可…

C++模拟OpenGL库——图片处理及纹理系统(三):图片缩放操作:简单插值二次线性插值

目录 简单插值 二次线性插值 简单插值 如图&#xff0c;我们想把一张小图缩放成一张大图&#xff0c;自然的想法就是按照它们的长宽比例进行缩放&#xff08;zoomX&#xff09;。 但是问题也显而易见&#xff0c;在缩放的过程中&#xff0c;小图的像素并不能一一映射到大图的…

关于Conversational QA 的一些调研

文章目录Paper1: Understanding User Satisfaction with Task-oriented Dialogue SystemsMotivation:Classification:Contributions:DatasetKnowledge:Paper2: Evaluating Mixed-initiative Conversational Search Systems via User SimulationMotivationClassification:Contri…

第十三届蓝桥杯c++b组-积木画

题目描述 小明最近迷上了积木画&#xff0c;有这么两种类型的积木&#xff0c;分别为 I 型&#xff08;大小为 2 个单位面积&#xff09;和 L 型&#xff08;大小为 3 个单位面积&#xff09;&#xff1a; 同时&#xff0c;小明有一块面积大小为 2 N 的画布&#xff0c;画布…

【mysql】mysql 数据备份与恢复使用详解

一、前言 对一个运行中的线上系统来说&#xff0c;定期对数据库进行备份是非常重要的&#xff0c;备份不仅可以确保数据的局部完整性&#xff0c;一定程度上也为数据安全性提供了保障&#xff0c;设想如果某种极端的场景下&#xff0c;比如磁盘损坏导致某个时间段数据丢失&…

L848字母位移

//有一个由小写字母组成的字符串 s&#xff0c;和一个长度相同的整数数组 shifts。 //我们将字母表中的下一个字母称为原字母的 移位 shift() &#xff08;由于字母表是环绕的&#xff0c; z 将会变成 a&#xff09;。 //例如&#xff0c;shift(a) b, shift(t) u, 以及 shift…