HDFS NFS Gateway(环境配置,超级详细!!)

news/2024/5/20 0:49:17 标签: hdfs, gateway, hadoop

🐮博主syst1m 带你 acquire knowledge!

✨博客首页——syst1m的博客💘

😘《CTF专栏》超级详细的解析,宝宝级教学让你从蹒跚学步到健步如飞🙈

😎《大数据专栏》大数据从0到秃头👽,从分析到决策,无所不能❕

🔥 《python面向对象(人狗大战)》突破百万的阅读量,上过各种各样的官方大型专栏,python面向对象必学之一!🐽

🎉希望本文能够给读者带来帮助,更好地理解这个问题或解决你的困惑🐾

HDFS NFS Gateway简介:

​ HDFS NFS Gateway是Hadoop Distributed File System(HDFS)中的一个组件,它允许客户端通过NFS(Network File System,网络文件系统)与HDFS进行交互。具体来说,HDFS NFS Gateway允许客户端像访问本地文件系统一样挂载和访问HDFS文件系统,支持上传,下载,删除,追加内容,有点类似于windows的文件共享。下面正文即开始讲解该组件的功能使用,以及配置

正文

以图片的方式描述NFS,让读者能更好的理解!

​ 如下图,将HDFS挂载为windows文件管理器的网络位置

在这里插入图片描述

在这里插入图片描述

hadoop内容

在这里插入图片描述

1,配置NFS

配置HDFS需要配置如下内容

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项

开启protmap,nfs3两个进程

在root1进行如下操作

1.1 在core-site.xml内新增如下两项

在这里插入图片描述

hdfssitexml_65">1.2 在hdfs-site.xml中新增如下项

在这里插入图片描述

nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)

nfs.dump.dir:NFS接受数据上传时使用的临时目录

nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,ip整体活部分可以*代替

上面写的192.168.88.1以rw连接(这个是电脑虚拟网卡VMnet8的IP,与虚拟机通讯就走这个网卡)

在这里插入图片描述

2,启用NFS功能

hdfssitexmlroot2root3_85">2.1 将配置好的core-site.xml和hdfs-site.xml分发到root2和root3

在这里插入图片描述

2.2 重启Hadoop HDFS集群(先stop-dfs.sh然后start-dfs.sh)

在这里插入图片描述

2.3 停止系统的NFS相关进程

systemctl stop nfs;systemctl disable nfs 关闭系统nfs并关闭其开机自启

在这里插入图片描述

hdfs_daemon_start_portmap_102">2.4 启动portmap(HDFS自带的rpcbind功能)(必须root执行):hdfs --daemon start portmap

在这里插入图片描述

hadoophdfs_daemon_start_nfs3_107">2.5 启动nfs(HDFS自带的nfs功能)(必须以hadoop用户执行):hdfs --daemon start nfs3

在这里插入图片描述

2.6 最后启动HDFS集群

检查NFS是否正常

以下操作在root2或root3执行(因为root1卸载了rpcbind,缺少了必要的2个命令)

执行:rpcinfo -p root1,正常输出如下

在这里插入图片描述

执行showmount -e root1

可以看到 / 192.168.88.1

在这里插入图片描述

这样就是表示正常了

3,在windows挂载HDFS文件系统(windows必须是专业版)

3.1 开启windows的NFS功能

在这里插入图片描述

3.2 在windows挂载HDFS文件系统并访问

在windows命令提示符cmd输入net use X:\192.168.88.101!

在这里插入图片描述

总结

到这里这个HDSF NFS就完全部署完成了,希望该文章能有有效的帮助到大家,如有不懂的,可留言,来帮你解决剩下的疑难问题


http://www.niftyadmin.cn/n/5279811.html

相关文章

案例082:基于微信小程序的跑腿管理系统

文末获取源码 开发语言:Java 框架:SSM JDK版本:JDK1.8 数据库:mysql 5.7 开发软件:eclipse/myeclipse/idea Maven包:Maven3.5.4 小程序框架:uniapp 小程序开发软件:HBuilder X 小程序…

Jmeter-常用的几种断言方法(基本用法)

前言 在使用JMeter进行性能测试或者接口自动化测试工作中,经常会用到的一个功能,就是断言,断言相当于检查点,它是用来判断系统返回的响应结果是否正确,以此帮我们判断测试是否通过  本文 主要介绍几种常用的断言&…

flutter + firebase 云消息通知教程 (android-安卓、ios-苹果)

如果能看到这篇文章的 一定已经对手机端的 消息推送通知 有了一定了解。 国内安卓厂商这里不提都有自己的FCM 可自行查找。(国内因无法科学原因 ,不能使用谷歌服务)只说海外的。 目前 adnroid 和 ios 推送消息分别叫 FCM 和 APNs。这里通过…

安全基础~信息搜集2

文章目录 知识补充30余种加密编码&杂项CTF信息收集资产&框架违法源码搜索CDN绕过 站点搭建分析WAF 知识补充 因此,当你用御剑扫描时: 若扫描域名,扫描的实际是网站根目录下的一个文件夹; 若扫描IP,扫描的实际…

SQL面试题挑战03:奖金瓜分问题(拼多多)

目录 问题:SQL解答: 问题: 在活动大促中,有玩游戏瓜分奖金环节。现有奖金池为10000元,代表奖金池中的初始额度。用户的分数信息如下: user_id score 100 60 101 45 102 40 103 3…

【hive】Hive中的大宽表及其底层详细技术点

简介: 在大数据环境中,处理大规模数据集是常见的需求。为了满足这种需求,Hive引入了大宽表(Large Wide Table)的概念,它是一种在Hive中管理和处理大量列的数据表格。本文将详细介绍Hive中的大宽表概念以及其底层的详细…

单词反转(字符串)

题目名字 单词反转 题目链接 题意 输入倒序的字符串,要求输出正序的字符串 思路 用while输入,这样当出现输入是空格时自动划分上一个为一个单词然后再次反输出 while循环的条件是当不再输入的时候,因为是字符串,不用getline输入…