Hadoop使用教程(1):单节点部署

news/2024/5/20 0:49:42 标签: hadoop, 大数据, hdfs

部署jdk环境
jdk版本:8u311
解压
tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/
更改文件名
mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8
添加jdk环境变量
vim /etc/profile
内容添加(文件末尾)
#jdk8

export JAVA_HOME=/opt/module/jdk8

export PATH= P A T H : PATH: PATH:JAVA_HOME/bin

刷新环境文件
source /etc/profile
查看是否生效
java # 三个任意查看都行

javac

java -version

部署hadoop环境
hadoop版本:2.10.1
解压
tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
更改文件名
mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
添加hadoop环境变量
vim /etc/profile
内容添加(末尾)

hadoop210_40">hadoop2.10

export HADOOP_HOME=/opt/module/hadoop2.10

#jdk8

export JAVA_HOME=/opt/module/jdk8

export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin

刷新环境文件
source /etc/profile
查看hadoop环境是否生效
hadoop version

配置hadoop核心文件
每个文件的详细作用参考:(148条消息) 一、Hadoop主要配置文件的作用hadoop五个配置文件一 乐的博客-CSDN博客
路径
cd /opt/module/hadoop2.10/etc/hadoop/
core-site.xml

<property>

	<name>fs.defaultFS</name>

	<value>hdfs://master:9000</value>

</property>

<property>

	<name>hadoop.tmp.dir</name>

	<value>/opt/module/hadoop2.10/data/tmp</value>

</property>
hadoop-env.sh export JAVA_HOME=/opt/module/jdk8 # 大概在25行左右的位置 yarn-site.xml
<property>

	<name>yarn.nodemanager.aux_services</name>

	<value>mapreduce_shuffle</value>

</property>

<property>

	<name>yarn.resourcemamager.hostname</name>

	<value>master</value>

</property>
hdfs-site.xml
<property>

	<name>dfs.replication</name>

	<value>1</value>

</property>
mapred-site.xml
<property>

	<name>mapreduce.framework.name</name>

	<value>yarn</value>

</property>
slaves master

添加ssh免密登录
下载ssh服务
yum -y install openssh
配置host映射
vim /etc/hosts
内容,末尾添加
192.168.200.100 master
添加ssh密钥
ssh-keygen -t rsa # 三下回车

拷贝密钥

ssh-copy-id master

输入yes

输入密码:任意

格式化namenode节点
hadoop namenode -format
关闭防火墙
systemctl stop firewalld # 单次关闭防火墙

systemctl disable firewalld # 永久关闭防火qiang

启动hadoop
start-dfs.sh

start-yarn.sh
查看进程
jps
9751 SecondaryNameNode

9913 ResourceManager

10313 Jps

9450 NameNode

10011 NodeManager

9581 DataNode
Web端:192.168.200.100:50070
端口号:50070

关闭hadoop
stop-dfs.sh
stop-yarn.sh


http://www.niftyadmin.cn/n/329452.html

相关文章

威胁猎人 | 2018年上半年国内公有云云上资产合规现状报告

声明&#xff1a;本报告版权属于威胁猎人情报中心&#xff0c;并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的&#xff0c;应注明“来源&#xff1a;威胁猎人”。违反上述声明者&#xff0c;将追究其相关法律责任。 一、报告背景 自2005年亚马逊发布AWS伊始…

vue中路由的基本使用

文章目录 前言创建路由的五步曲1.第一步&#xff0c;引入js文件&#xff0c;放在vue.js后面2.第二步&#xff0c;创建路由实例3.第三步&#xff0c;创建映射关系4.第四步&#xff0c;将路由实例挂载到vue实例上。5.第五步&#xff0c;预留展示区域。 总结 前言 路由分为后端路…

$nextTick与原生js先渲染dom再执行函数的方式

$nextTick与原生js先渲染dom再执行函数的方式 vue的$nextTick 简述 Vue.js 的 $nextTick 方法是用于在 DOM 更新后执行延迟回调的方法。 当 Vue.js 更新 DOM 后&#xff0c;有时候需要执行一些操作&#xff08;如获取更新后的 DOM 元素的位置等&#xff09;&#xff0c;但是…

从0开始学习数据库(持续更新)

一个数据库最重要的部分是什么&#xff1f; 关系型数据库mysql有着四大特性&#xff0c;原子性&#xff0c;隔离性&#xff0c;一致性&#xff0c;持久性。 kv数据库有着原子性&#xff0c;持久性&#xff0c;弱一致性。 可见&#xff0c;不管数据库的存储引擎是什么&#xff0…

Qt——Qt控件之输入窗口-QDateTimeEdit日期时间编辑框控件的使用总结(例程:设置时间日期,弹出日期设置框 )

【系列专栏】:博主结合工作实践输出的,解决实际问题的专栏,朋友们看过来! 《项目案例分享》 《极客DIY开源分享》 《嵌入式通用开发实战》 《C++语言开发基础总结》 《从0到1学习嵌入式Linux开发》 《QT开发实战》 《Android开发实战》

【JAVAEE】JUC(java.util.concurrent)的常见类

目录 1.Callable接口 1.1简介 1.2代码演示 1.3Runnable与Callable的区别 2.ReentrantLock 2.1ReentrantLock的常用方法 2.2ReentrantLock的代码演示 2.3ReentrantLock和synchronized的区别 3.Semaphore信号量 3.1概念 3.2代码演示 4.CountDownLatch 4.1概念 4.2代…

第7章链接:如何动态连接共享库、从应用程序中加载和链接共享库

文章目录 7.10 动态链接共享库静态库的缺点何为共享库共享库的"共享"的含义动态链接过程 7.11 从应用程序中加载和链接共享库运行时动态加载和连接共享库的接口 dlopen函数 dlsym函数 dlclose函数 dlerror动态加载和链接共享库的应用程序示例 7.10 动态链接共享库 静…

探究C++构造函数及其优化

目录 一、 类的六个默认成员函数1.1 框架图1.2 具体介绍&#xff08;1&#xff09;构造函数&#xff08;2&#xff09;析构函数&#xff08;3&#xff09;拷贝构造函数&#xff08;4&#xff09;赋值运算符重载函数 归纳我们不写&#xff0c;编译器默认生成了什么&#xff1a; …