Hadoop客户端
一、Big Data Tools工具
-
Pycharm专业版下载Big Data Tools工具。
-
获取hadoop.dll与winutils.exe文件放置于$HADOOP_HOME/Bin中。
-
配置系统环境变量：E:\hadoop-3.3.4
-
配置Big Data Tools，登录。
-- 如果需要走第二种路径配置登录, 需要修改etc/hadoop中的core-site.xml等文件。
二、HDFS NFS Gateway
HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其他系统挂载使用。
NFS网关支持NFSv3，并允许讲HDFS作为客户机本地文件系统的一部分挂载，现在支持：
-
上传，下载，删除，追加内容
''' 挂载使用，类似于在我的电脑生成的放置于云端的百度网盘。'''
配置NFS
配置HDFS需要配置如下内容：
- core-site.xml，新增配置项，以及hdfs-site.xml，新增配置项。
- 开启portmap，nfs3两个进程。
在node1进行如下操作
- 在core-site.xml内新增如下两项
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
"""
允许hadoop用户代理任何其他用户组
"""
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
"""
允许代理任意服务器的请求
"""
-
在hdfs-site.xml中新增如下项
<property> <name>nfs.superuser</name> <value>hadoop</value> </property> """ NFS操作HDFS系统，所使用的超级用户（HDFS的启动用户为超级用户）。 """ <property> <name>nfs.dump.dir</name> <value>/tmp/.hdfs-nfs</value> </property> """ NFS接收数据上传时使用的临时目录。 """ <property> <name>nfs.exports.allowed.hosts</name> <value>192.168.88.1 rw</value> </property> """ NFS允许连接的客户端IP和权限，rw表示读写，IP整体或者部分可以以*代替。 课程设置的允许192.168.88.1以rw连接 （这个IP是电脑虚拟网卡VMnet8的IP，连接虚拟机就是走的这个网卡） """ -
将配置好的文件分发到node2和node3上
scp core-site.xml hdfs-site.xml node2:`pwd`/ scp core-site.xml hdfs-site.xml node3:`pwd`/ -
重启Hadoop的HDFS集群
-
停止系统的NFS相关进程（必须root用户权限执行）
- systemctl stop nfs; systemctl disable nfs 关闭系统nfs
- yum remove -y rpcbind 卸载系统自带rpcbind
-
启动portmap(HDFS自带的rpcbind功能)（必须root用户权限执行）
hdfs --daemon start portmap -
启动nfs(HDFS自带的NFS功能)（必须以Hadoop用户执行）
hdfs --daemon start nfs3 -
验证是否成功：
在node2和node3执行：rpcinfo -p node1
出现mountd和nfs后
再输入：showmount -e node1
可以看到 /192.168.88.1即为成功
-
在cmd中输入：
# 注意空格 net use X: \\192.168.88.101\!
