部署jdk环境
jdk版本:8u311
解压
tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/
更改文件名
mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8
添加jdk环境变量
vim /etc/profile
内容添加(文件末尾)
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
刷新环境文件
source /etc/profile
查看是否生效
java # 三个任意查看都行
javac
java -version
部署hadoop环境
hadoop版本:2.10.1
解压
tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
更改文件名
mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
添加hadoop环境变量
vim /etc/profile
内容添加(末尾)
hadoop210_40">hadoop2.10
export HADOOP_HOME=/opt/module/hadoop2.10
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin
刷新环境文件
source /etc/profile
查看hadoop环境是否生效
hadoop version
配置hadoop核心文件
每个文件的详细作用参考:(148条消息) 一、Hadoop主要配置文件的作用hadoop五个配置文件一 乐的博客-CSDN博客
路径
cd /opt/module/hadoop2.10/etc/hadoop/
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop2.10/data/tmp</value>
</property>
hadoop-env.sh export JAVA_HOME=/opt/module/jdk8 # 大概在25行左右的位置 yarn-site.xml
<property>
<name>yarn.nodemanager.aux_services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemamager.hostname</name>
<value>master</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
slaves master
添加ssh免密登录
下载ssh服务
yum -y install openssh
配置host映射
vim /etc/hosts
内容,末尾添加
192.168.200.100 master
添加ssh密钥
ssh-keygen -t rsa # 三下回车
拷贝密钥
ssh-copy-id master
输入yes
输入密码:任意
格式化namenode节点
hadoop namenode -format
关闭防火墙
systemctl stop firewalld # 单次关闭防火墙
systemctl disable firewalld # 永久关闭防火qiang
启动hadoop
start-dfs.sh
start-yarn.sh
查看进程
jps
9751 SecondaryNameNode
9913 ResourceManager
10313 Jps
9450 NameNode
10011 NodeManager
9581 DataNode
Web端:192.168.200.100:50070
端口号:50070
关闭hadoop
stop-dfs.sh
stop-yarn.sh