自学大数据第四天~hadoop集群的搭建

在这里插入图片描述

Hadoop集群安装配置

当hadoop采用分布式模式部署和运行时,存储采用分布式文件系统HDFS,此时HDFS名称节点和数据节点位于不同的机器上;
数据就可以分布到多个节点,不同的数据节点上的数据计算可以并行执行了,这时候MR才能发挥其本该有的作用;

没那么多机器怎么办~~~~多几个虚拟机不就行了

克隆虚拟机

电脑存储不够的可以使用链接克隆的方式
在这里插入图片描述

修改虚拟机的网络配置~

以其中一个slave节点为例

启动虚拟机
关闭网卡服务,然后修改节点的ip

由于本节点启动时默认没有启动网卡,所以就不关闭了,
在这里插入图片描述

修改节点ip为静态IP

 vi /etc/sysconfig/network-scripts/ifcfg-ens160

修改成如下地址:
在这里插入图片描述

设置网卡自动启动后启动网卡

[root@node1 hadoop]#  vi /etc/sysconfig/network-scripts/ifcfg-ens160 
[root@node1 hadoop]# systemctl enable NetworkManager
Created symlink /etc/systemd/system/multi-user.target.wants/NetworkManager.service → /usr/lib/systemd/system/NetworkManager.service.
Created symlink /etc/systemd/system/dbus-org.freedesktop.nm-dispatcher.service → /usr/lib/systemd/system/NetworkManager-dispatcher.service.
Created symlink /etc/systemd/system/network-online.target.wants/NetworkManager-wait-online.service → /usr/lib/systemd/system/NetworkManager-wait-online.service.
[root@node1 hadoop]# systemctl start  NetworkManager
[root@node1 hadoop]#