hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)

news/2024/5/20 2:32:00 标签: hadoop, hdfs, 大数据

hadoop fs -help rm 查看rm命令作用

hadoop fs 查看命令

1. 创建文件夹:

# hdfs前缀也是可以的。更推荐hadoop
hadoop fs -mkdir /sanguo

2.上传至hdfs命令:

   作用: 从本地上传hdfs系统 (本地文件被剪切走,不存在了)

   命令:

# 新建文件
vi shuguo.txt
#进入后 输入一些文字,保存退出即可

#同shuguo.txt要在同目录下,输入命令
hadoop fs -moveFromLocal shuguo.txt /sanguo

 3. 拷贝文件上传到hdfs系统:

#新增文件
vi weiguo.txt
# 输入一些文字,保存并退出
 
# 从本地复制一份文件,至hdfs文件系统
hadoop fs -copyFromLocal weiguo.txt /sanguo


# 同上相同,更推荐这种,更加简洁
hadoop fs -put weiguo.txt /sanguo

4. 追加文件内容:

# 新建文件
vi liubei.txt
# 输入一些文字,保存并退出

# 
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

5. 从hdfs下载至本地:

# copy
hadoop fs -copyToLocal /sanguo/shuguo.txt ./


# 更推荐这种,简洁
# 下载
hadoop fs -get /sanguo/shuguo.txt ./

6. ls命令:

hadoop fs -ls /sanguo

7. cat命令:

hadoop fs -cat /sanguo/shuguo.txt

 8.更改权限:

hadoop fs -chown hadoop:hadoop /sanguo/shuguo.txt

 9. cp 复制:

# 创建文件夹
hadoop fs -mkdir /jinguo
# 复制
hadoop fs -cp /sanguo/shuguo.txt /jinguo

10. mv 移动:

hadoop fs -mv /sanguo/weiguo.txt /jinguo

11. tail 查看

hadoop fs -tail /sanguo/shuguo.txt

12. 删除文件或文件夹

# 删除文件
hadoop fs -rm /sanguo/shuguo.txt

# 递归删除文件夹
hadoop fs -rm -r /sanguo

13. 统计文件夹大小信息:

hadoop fs -du -s -h /sanguo

   27 文件大小81 副本*文件大小

下面是查看文件夹每个文件的统计信息

hadoop fs -du  -h /sanguo

14. 设置副本数量:

hadoop fs -setrep 2 /sanguo/shuguo.txt

  副本数量记录在NameNode,不要设置超过节点数量的副本,设置超过节点数,最多也只是总节点数量的副本,不会超过DataNode节点数, 如果设置8个副本,如果DataNode节点数有8个,才会有8个副本

总结:命令太多不一一列举了,同centos系统一样,只是前面加了hadoop fs, 很容易记住


http://www.niftyadmin.cn/n/5204912.html

相关文章

2023年软考机考已结束,24年软考趋势如何?

2023年软考改革成为机考,目前考试已结束,从此次考试中也可以预料一下后面的软考考试趋势,一起来看看吧! 考试环境 (1)考点设置首选人事考试机构标准化考点、大中专院校、高考或中考定点学校。 &#xff…

汇编-MOVSXD64位带符号扩展传送

允许源操作数为32位的寄存器或内存操作数 ExitProcess PROTO .code main PROCmov ebx, 0FFFFFFFFh movsxd rax, ebx ;RAX FFFFFFFFFFFFFFFFhmov ebx, 01FFFFFFFh movsxd rdx, ebx ;RDX 000000001FFFFFFFhmov ecx,0 ;结束程序call ExitProcess main ENDP E…

Vue3常用操作

一、Vue3项目构建 1、安装最新版本vue npm create vuelatest 2、选择需要的配置 3、进入项目 cd 项目名称 4、下载依赖 npm install 5、启动项目 npm run dev

MCU 的 TOP 15 图形GUI库:选择最适合你的图形用户界面(一)

在嵌入式系统开发中,选择一个合适的图形用户界面(GUI)库是至关重要的。在屏幕上显示的时候,使用现成的图形库,这样开发人员就不需要弄清楚底层任务,例如如何绘制像素、线条、形状,如果再高级一点…

Vue 重写push和replace方法,解决:Avoided redundant navigation to current location

当我们使用编程式路由导航跳转路径时,如果我们两次携带同样的参数进行跳转,会进行页面报错: 那产生这个问题的原因是什么呢? 我们接收并输出调用push方法返回的结果: 会发现这是一个Promise对象 我们都知道&#xff…

redis之高可用

(一)redis之高可用 1、在集群当中有一个非常重要的指标,提供正常服务的时间的百分比(365天)99.9% 2、redis的高可用的含义更加广泛,正常服务是指标之一,数据容量的扩展、数据的安全性 3、在r…

文件的原理和应用

常识: 1 文件包括属性和内容 2 文件有打开和未打开文件, 3 本文先讨论谁打开的文件,以及如何管理已经打开的文件 一 回忆c接口 1 fopen 我们在test.c里面用一下fopen函数,不存在打开的文件会默认创建,那为什么默认新建在当前…

接口自动化测试实战经验分享,测试用例也能自动生成

作为测试,你可能会对以下场景感到似曾相识:开发改好的 BUG 反复横跳;版本兼容逻辑多,修复一个 BUG 触发了更多 BUG;上线时系统监控毫无异常,过段时间用户投诉某个页面无数据;改动祖传代码时如履…