利用hdfs gateway挂载NFS到本地

news/2024/5/20 1:25:07 标签: hdfs, hadoop

HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件,可以对外提供NFS网关,供其它系统挂载使用。
NFS网关支持NFSv3,并允许将HDFS作为客户机本地文件系统的一部分挂载,现在支持:
·上传、下载、删除、追加内容
我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式,这样就可以像操作本地磁盘一样操作上面的数据

hdfs_gatewayNFS_6">利用hdfs gateway挂载NFS

配置HDFS需要配置如下内容:

  1. core-site.xml,新增配置项以及hdfs-site.xml,新增配置项
    core-site.xml中新增:
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>

第一个配置项表示允许hadoop用户代理任何其他用户组,第二个标识允许代理服务器的请求

2.在hdfs-site.xml中新增如下项

<property>
<name>nfs.superuser</name>
<value>hadoop</value>
</property>
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>

<property>
<name>nfs.exports.allowed.hosts</name>
<value>192.168.88.1 rw</value>
</property>
  • nfs.suerpser:NFS操作HDFS系统,所使用的超级用户(hdfs的启动用户为超级用户)
  • nfs.dump.dir:NFS接收数据上传时使用的临时目录
  • nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限,rw表示读写,IP整体或部分可以以*代替
  1. 开启portmap、nfs3两个新进程
    启动NFS功能
    1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3
    2.重启Hadoop HDFS集群(先stop-dfs.sh,后start-dfs.sh)
    3.停止系统的NFS相关进程
    a.systemctl stop nfs;systemctl disable nfs
    关闭系统nfs并关闭其开机自启
    b.yum remove-y rpcbind卸载系统自带rpcbind
    4.启动portmap(HDFS自带的rpcbind功能)(必须以root执行):hdfs-daemon start portmap
    5.启动nfs(HDFS自带的nfs功能)(必须以hadoop.用户执行):hdfs–daemon start nfs.3

http://www.niftyadmin.cn/n/5479853.html

相关文章

【Unity】组件组合使用心得(单行可自动拓展Scroll View)

在这之前&#xff0c;一直是在使用Scroll View进行滑动内容设置&#xff0c;但设置的都是不明不白的&#xff0c;而且有的时候设置好了之后也不知道是为什么&#xff0c;总感觉哪里不对劲&#xff0c;而且好也不知道为什么好&#xff0c;可能是长时间在做管理上的内容&#xff…

算法刷题Day30 | 332.重新安排行程、51. N皇后、37. 解数独

目录 0 引言1 重新安排行程1.1 我的解题1.2 更好的解法 2 N皇后2.1 我的解题 3 解数独3.1 我的解题3.2 &#x1f64b;‍♂️ 作者&#xff1a;海码007&#x1f4dc; 专栏&#xff1a;算法专栏&#x1f4a5; 标题&#xff1a;算法刷题Day30 | 332.重新安排行程、51. N皇后、37. …

Java Web这一路走来

大部分Java应用都是Web或网络应用&#xff0c;MVC框架在Java框架中有着举足轻重的地位&#xff0c;一开始的Web应用并不现在这样子的&#xff0c;一步一步走来&#xff0c;每一步都经历了无数的血和泪的教训&#xff0c;以史为镜可以知兴替。 1. 草莽时代 早期的Java服务端技…

【前端捉鬼记】使用nvm切换node版本后再用node -v查看仍然是原来的版本

今天遇到一个诡异的问题&#xff0c;使用nvm切换node版本&#xff0c;明明提示已经切换成功&#xff0c;可是再次查看node版本还是之前的&#xff01; 尝试了很多办法&#xff0c;比如重新打开一个cmd窗口、切换前执行nvm install version都没成功&#xff0c;直到找到这篇文章…

2024年自然语言处理科学与信息检索技术国际会议(ICNLPSIRT 2024)

2024 International Conference on Natural Language Processing Science and Information Retrieval Technology (ICNLPSIRT 2024) ●会议简介 2024年自然语言处理科学与信息检索技术国际会议旨在汇聚来自世界各地的自然语言处理和信息检索领域的专家和学者&#xff0c;共同…

性能优化角度

1.启动角度 2.数据缓存角度比如历史信息联想 3.内存释放角度 4.配合并要求后端进行接口API整合 5.耗时较多需求&#xff0c;根据业务情况进行线程异步处理 6.通过开源的loop监控sdk日志埋点&#xff0c;可监控线程对应环路的休眠/唤醒时间间隔&#xff0c;优化卡顿 7.尽量避免离…

传输大咖22|如何利用ProtoBuf实现高效的数据传输?

在今日信息技术日新月异的时代&#xff0c;数据传输的速度与安全性无疑成为了软件开发中的重中之重。无论是微服务架构下的服务间交流&#xff0c;还是客户端与服务器间的数据互动&#xff0c;寻求一种既高效又稳妥的数据传输方式已成为共识。尽管传统的数据格式&#xff0c;如…

Spring6-单元测试:JUnit

1. 概念 在进行单元测试时&#xff0c;特别是针对使用了Spring框架的应用程序&#xff0c;我们通常需要与Spring容器交互以获取被测试对象及其依赖。传统做法是在每个测试方法中手动创建Spring容器并从中获取所需的Bean。以下面的两行常见代码为例&#xff1a; ApplicationCo…