基于docker安装HDFS

news/2024/5/20 3:39:58 标签: docker, hdfs

docker_0">1.docker一键安装见

docker一键安装

2.拉取镜像

sudo docker pull kiwenlau/hadoop:1.0

在这里插入图片描述

3.下载启动脚本

git clone https://github.com/kiwenlau/hadoop-cluster-docker

在这里插入图片描述

4.创建网桥

由于 Hadoop 的 master 节点需要与 slave 节点通信,需要在各个主机节点配置节点 IP,为了不用每次启动都因为 IP 改变了而重新配置,在此配置一个 Hadoop 专用的网桥,配置之后各个容器的 IP 地址就能固定下来。

sudo docker network create --driver=bridge hadoop

5.下载完成后进入该目录

cd hadoop-cluster-docker/

docker_26">6.编辑docker启动脚本

为了方便后续通过 Java API 访问 HDFS,需要修改脚本,添加一个端口映射,将容器的 9000 端口映射到本地的 9000 端口,我们需要在-p 8088:8088 \下添加一行,如下图所示
在这里插入图片描述

7.在容器内启动hadoop

./start-hadoop.sh

8.访问

http://IP:50070/
在这里插入图片描述
http://IP:8088
在这里插入图片描述
HDFS访问地址为:IP:9000

9.hadoop权限问题解决

客户端错误:hadoop.security.AccessControlException: Permission denied root:supergroup:drwxr-xr-x
解决:java实现:System.setProperty(“HADOOP_USER_NAME”,“root”);


http://www.niftyadmin.cn/n/5383711.html

相关文章

Sora一出 哪里又要裁员了?

上班前夕迎来大新闻,那就是Sora了,Sora是什么,有什么牛逼之处,怎么实现的,我们跟着官方文档透露出来的一点点信息,简单的捋一捋。 一、Sora是什么 官方给出的定义是:世界模拟器。这很明显有夸大…

外汇天眼:Capital One 将以 353 亿美元收购 Discover

Capital One Financial Corporation(纽约证券交易所代码:COF)和Discover Financial Services(纽约证券交易所代码:DFS)已达成一项最终协议,根据该协议,Capital One将以总值353亿美元…

Spring两大核心思想:IOC和AOP

目录 IOC:控制反转 Ioc概念 Ioc的优点 Spring Ioc AOP:面向切面编程 AOP的优点 Spring AOP 1.添加依赖 2.核心概念 3.通知的类型 4.切点表达式 5.公共切点 pointCut 6.切面优先级 Order 7.使用自定义注解完成AOP的开发 Spring AOP实现有几种方式? S…

拍立淘助力电商新趋势:以图搜图购物成主流

拍立淘(或称为“以图搜图”)是一种基于图像识别的购物搜索技术,它允许用户通过上传图片或拍摄照片来搜索相似的商品。这一功能为电商领域带来了新的购物体验,使得搜索更加直观和便捷。 为了实现这样的功能,需要后端支…

【python】网络爬虫与信息提取--scrapy爬虫框架介绍

一、scrapy爬虫框架介绍 scrapy是一个功能强大的网络爬虫框架,是python非常优秀的第三方库,也是基于python实现网络爬虫的重要技术路线。scrapy不是哟个函数功能库,而是一个爬虫框架。 爬虫框架:是实现爬虫功能的一个软件结构和功…

ChatGPT-02 一些常用指令总结

1 提问模板 现在你担任xx平台的xx(职位)。 我的任务是要你xxx。例如我的任务是根据我提供给你的主题(确定范围),撰写一篇小红书的笔记。 要求或者目标是xxx。要求是实现xxx。要求如下。 2 反客为主 我计划xxx了,我需要提供什么信息给你,…

Nginx解决单页应用刷新报错404的问题

一、问题 1.1 问题概述 将React应用打包后,部署到服务器上,在非首页的地方使用浏览器自带的刷新功能,页面刷新失败,显示404; 如果你的问题和我类似,可以往下看~ 1.2 问题详细描述 在项目开发完成后&am…

2024年刷题记录

马上要开始找实习了,又开始重启刷题计划了!加油冲冲冲!刷题的顺序follow代码随想录的60天刷题计划!感谢FuCosmo的总结!之前都是按照C的语法进行刷题的,这次也同样使用C。 Day 1 数组 这些题过年前都刷过了…