HDFS dfs常用命令大全

news/2024/5/20 4:09:28 标签: Hadoop, HDFS, dfs常用命令, shell脚本, hive

根据官方文档的提示我们能够知道可以通过shell的方式访问hdfs中的数据,对数据进行操作。那么首先让我们看一下hdfs的版本,使用命令hdfs version。

  • -mkdir

创建目录
Usage:hdfs dfs -mkdir [-p] < paths>
选项:-p
很像Unix mkdir -p,沿路径创建父目录。

  • -ls

查看目录下内容,包括文件名,权限,所有者,大小和修改时间
Usage:hdfs dfs -ls [-R] < args>
选项:-R:递归地显示子目录下的内容

å¨è¿éæå¥å¾çæè¿°

 

  • -put

将本地文件或目录上传到HDFS中的路径
Usage:hdfs dfs -put < localsrc> … < dst>

å¨è¿éæå¥å¾çæè¿°

  • -get

将文件或目录从HDFS中的路径拷贝到本地文件路径
Usage:hdfs dfs -get [-ignoreCrc] [-crc] < src> < localdst>
选项:

-ignorecrc选项复制CRC校验失败的文件。

-crc选项复制文件和CRC。

å¨è¿éæå¥å¾çæè¿°

  • -du

显示给定目录中包含的文件和目录的大小或文件的长度,用字节大小表示,文件名用完整的HDFS协议前缀表示,以防它只是一个文件。
Usage:hdfs dfs -du [-s] [-h] URI [URI …]
选项:
-s选项将显示文件长度的汇总摘要,而不是单个文件。
-h选项将以“人类可读”的方式格式化文件大小(例如64.0m而不是67108864)

å¨è¿éæå¥å¾çæè¿°

  • -dus

显示文件长度的摘要。
Usage:hdfs dfs -dus < args>
注意:不推荐使用此命令。而是使用hdfs dfs -du -s。

å¨è¿éæå¥å¾çæè¿°

  • -mv

HDFS文件系统中,将文件或目录从HDFS的源路径移动到目标路径。不允许跨文件系统移动文件。
Usage: hdfs dfs -mv URI [URI …] < dest>

å¨è¿éæå¥å¾çæè¿°

  • -cp

HDFS文件系统中,将文件或目录复制到目标路径下
Usage:hdfs dfs -cp [-f] [-p | -p [topax] ] URI [ URI …] < dest>
选项:
-f选项覆盖已经存在的目标。
-p选项将保留文件属性[topx](时间戳,所有权,权限,ACL,XAttr)。如果指定了-p且没有arg,则保留时间戳,所有权和权限。如果指定了-pa,则还保留权限,因为ACL是一组超级权限。确定是否保留原始命名空间扩展属性与-p标志无关。

å¨è¿éæå¥å¾çæè¿°

  • -copyFromLocal

从本地复制文件到hdfs文件系统(与-put命令相似)
Usage: hdfs dfs -copyFromLocal < localsrc> URI
选项:
如果目标已存在,则-f选项将覆盖目标。

  • -copyToLocal

复制hdfs文件系统中的文件到本地 (与-get命令相似)
Usage: hdfs dfs -copyToLocal [-ignorecrc] [-crc] URI < localdst>

  • -rm

删除一个文件或目录
Usage:hdfs dfs -rm [-f] [-r|-R] [-skipTrash] URI [URI …]
选项:
如果文件不存在,-f选项将不显示诊断消息或修改退出状态以反映错误。
-R选项以递归方式删除目录及其下的任何内容。
-r选项等效于-R。
-skipTrash选项将绕过垃圾桶(如果已启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这非常有用。

å¨è¿éæå¥å¾çæè¿°

  • -cat

显示文件内容到标准输出上。
Usage:hdfs dfs -cat URI [URI …]

å¨è¿éæå¥å¾çæè¿°

 

  • -text

Usage: hdfs dfs -text 
获取源文件并以文本格式输出文件。允许的格式为zip和TextRecordInputStream。

  • -touchz

创建一个零长度的文件。
Usage:hdfs dfs -touchz URI [URI …]

å¨è¿éæå¥å¾çæè¿°

  • -stat

显示文件所占块数(%b),文件名(%n),块大小(%n),复制数(%r),修改时间(%y%Y)。
Usage:hdfs dfs -stat URI [URI …]

  • -tail

显示文件的最后1kb内容到标准输出
Usage:hdfs dfs -tail [-f] URI
选项:
-f选项将在文件增长时输出附加数据,如在Unix中一样。

  • -count

统计与指定文件模式匹配的路径下的目录,文件和字节数
Usage: hdfs dfs -count [-q] [-h] < paths>

  • -getmerge

将源目录和目标文件作为输入,并将src中的文件连接到目标本地文件(把两个文件的内容合并起来)
Usage:hdfs dfs -getmerge < src> < localdst> [addnl]
注:合并后的文件位于当前目录,不在hdfs中,是本地文件

å¨è¿éæå¥å¾çæè¿°

  • -grep

从hdfs上过滤包含某个字符的行内容
Usage:hdfs dfs -cat < srcpath> | grep 过滤字段

å¨è¿éæå¥å¾çæè¿°

参考文献: Hadoop----hdfs dfs常用命令的使用
 


http://www.niftyadmin.cn/n/853122.html

相关文章

python cumsum函数

这个函数的功能是返回给定axis上的累计和 函数的原型如下&#xff1a;详见 doc numpy.cumsum(a, axisNone, dtypeNone, outNone) Return the cumulative sum of the elements along a given axis. 官方的文档是没有详细解释&#xff0c;本人做了测试自己把理解的写下。 1…

大数据类面试题一

一、面试中linux常见的20个命令 1.查找文件 find / -name filename.txt 根据名称查找/目录下的filename.txt文件。 2.查看一个程序是否运行 ps –ef|grep tomcat 查看所有有关tomcat的进程 3.终止线程 kill -9 19979 终止线程号位19979的线程 4.查看文件&#xff0c;包含隐…

2个游戏提高宝宝洒脱打量智能

导读&#xff1a;洒脱智能的定义是“在背景中&#xff0c;对多栽种物和动物的一种意识和分类的能力”。不像其它的一点智能&#xff0c;洒脱智能更关注在大洒脱、户外这么特定背景中的各种性命仪式。 一、畜养小虾 目标 仔细打量动物、培育亲近动物的情意。 背景与材料 家子背景…

图像处理算法工程师面试题(后续问题答案持续更新)

图像基础知识&#xff1a; 1.常用的图像空间。 颜色空间也称彩色模型(又称彩色空间或彩色系统&#xff09;它的用途是在某些标准下用通常可接受的方式对彩色加以说明。颜色空间有许多种&#xff0c;常用有RGB&#xff0c;CMY&#xff0c;HSV,HSI等。 RGB颜色空间 &#xff1a…

大数据类面试题二

一、关系型数据库和非关系型数据库比较 关系型数据库&#xff1a;Mysql&#xff0c;Oracle 非关系型数据库&#xff1a;Redis&#xff0c;MongoDB&#xff0c;HBASE 类SQL数据库&#xff1a;hive 关系型数据库&#xff08;Mysql和Oracle&#xff09; 1.表和表、表和字段、…

快排及时间复杂度简单证明

快排这里不再赘述 主要是时间复杂度 先写一下快排代码 void quick_sort(int a[], int start, int end) {int val a[start];int s start;int e end;while(s < e) {while(s < e && a[e] > val) e --;if(s < e) a[e --] a[s];//一样}//赋初值//递归}最好…

ubuntu 14.04 简单式安装 tensorflow

说明:有时候为了快速搭建tensorlfow平台&#xff0c;自然不愿意去编译源码包。 安装命令&#xff1a; sudo apt-get install python-pip python-dev python-setuptools build-essential sudo pip install --upgrade pip sudo pip install --upgrade virtualenv sudo pip insta…

Ant编译android程序

这一篇主要做了创建android项目、update已存在项目、ant编译项目。 一&#xff0c;准备ant ant 官网可下载 http://ant.apache.org/ ant 环境配置&#xff1a; 1。解压ant的包到本地目录。 2。在环境变量中设置ANT_HOME&#xff0c;值为你的安装目录。 3。把ANT_HOME/bin加到…