HDFS-命令行相关

news/2024/5/20 4:09:06 标签: hdfs, npm, node.js

HDFS-命令行相关

  • ls 列出目录
  • mkdir 创建目录
  • put 上传文件
  • cp复制
  • mv移动
  • appendToFile内容追加
  • cat

ls 列出目录

hadoop fs -ls 需要查看的文件目录
如
hadoop fs -ls /

mkdir 创建目录

hadoop fs -mkdir 需要创建的文件的路径
hadoop fs -mkdir /test/

也可以使用 -p 参数创建多级目录,如果父目录不存在,则会自动创建,命令如下:
hadoop fs -mkdir -p 需要创建的多级目录路径
hadoop fs -mkdir -p /output/file

put 上传文件

使用 put 命令可以将本地文件上传到HDFS系统中

hadoop fs -put 需要上传的文件地址 上传到HDFS的文件地址 
hadoop fs -put ~/a.txt /

cp复制

使用 cp 命令可以复制HDFS中的文件到另一个文件,在移动的过程中可以给文件重命名。此时源文件还存在(类似于复制),例如将文件 /input/a.txt 文件移动到 /input/b.txt,命令如下

hadoop fs -cp 源文件的路径 移动后的路径及名称
hadoop fs -cp /input/a.txt /input/b.txt

mv移动

使用 mv 命令可以复制HDFS中的文件到另一个文件,在移动的过程中可以给文件重命名。此时源文件不存在(类似于剪切),例如将文件 /input/a.txt 文件移动到 /input/b.txt,命令如下

hadoop fs -mv 源文件的路径 移动后的路径及名称
hadoop fs -mv /input/a.txt /input/b.txt

appendToFile内容追加

使用 appendToFile 命令可以将单个或者多个文件的内容追加到HDFS系统的文件中。例如,将本地当前目录的 a.txt 文件的内容追加到HDFS系统中 /input/b.txt 文件中,命令如下:

hadoop fs -appendToFile 需要加入的内容文件路径 被追加内容的文件路径
hadoop fs -appendToFile a.txt /input/b.txt

如果需要一次性追加多个本地文件的内容,则多个文件用 空格 隔开,例如,将本地文件 a.txt 和 b.txt 内容追加到HDFS系统文件的 /input/c.txt 文件中,命令如下:

hadoop fs -appendTofile 文件1 文件2 文件3 ... HDFS系统中被追加的文件
hadoop fs -appendTofile a.txt b.txt /input/c.txt

cat

使用 cat 命令可以查看并输出HDFS系统中某个文件的所有内容。例如,查看HDFS系统中的文件 /input/a.txt 的所有内容。命令如下:

hadoop fs -cat 需要查看的文件路径
hadoop fs -cat /input/a.txt

也可以同时查看并输出HDFS中的多个文件内容,使用空格隔开即可,结果会将多个文件的内容按照顺序合并输出。例如,查看HDFS中的文件 /input/a.txt 和文件 /input/b.txt,命令如下:

hadoop fs -cat 需要查看的文件路径1 需要查看的文件路径2 ...

http://www.niftyadmin.cn/n/5055560.html

相关文章

【算法基础】栈和队列及常见变种与使用,双栈、动态栈、栈的迭代器,双端队列、优先队列、并发队列、延迟队列的使用

目录 一、栈(Stack) 二、 队列(Queue) 三、栈和队列的常见变种与使用 3.1 栈的常见的变种与使用 3.1.1 最小栈(Min Stack) 3.1.2 双栈(Two Stacks) 3.1.3 固定大小栈&#xf…

一个简单的敏捷开发的例子

敏捷开发是一种以人为核心、迭代、循序渐进的软件开发方法。 敏捷开发以用户的需求进化为核心,采用迭代、循序渐进的方法进行软件开发。在敏捷开发中,软件项目在构建初期被切分成多个子项目,各个子项目的成果都经过测试,具备可视…

Linux IP地址、主机名

查看ip地址指令 ifconfig 如无法使用ifconfig命令,可以安装 yum -y install net-tools ip address show--显示协议地址

sentinel-dashboard-1.8.0.jar开机自启动脚本

启动阿里巴巴的流控组件控制面板需要运行一个jar包,通常需要运行如下命令: java -server -Xms4G -Xmx4G -Dserver.port8080 -Dcsp.sentinel.dashboard.server127.0.0.1:8080 -Dproject.namesentinel-dashboard -jar sentinel-dashboard-1.8.0.jar &…

react.js在visual code 下的hello World

想学习reacr.js ,就开始做一个hello world。 我的环境是visual code ,所以我找这个环境下的例子。参照: https://code.visualstudio.com/docs/nodejs/reactjs-tutorial 要学习react.js ,还得先安装node.js,我在visual …

PyTorch - 模型训练损失 (Loss) NaN 问题的解决方案

欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/133378367 在模型训练中,如果出现 NaN 的问题,严重影响 Loss 的反传过程,因此,需要加入一些微小值…

python(自4) xpath下载 lxml安装 lxml语法 使用方式

(一)安装 搜索xpath 讲解 XPath 教程 (w3school.com.cn) 一,下载地址 : https://chrome.zzzmh.cn/info/hgimnogjllphhhkhlmebbmlgjoejdpjl 二 ,拖拽 (二)lxml安装 cmd 打开终端 cd pythond…

Seata入门系列【3】Seata参数配置详解

1 启动参数 1.1 源码 Parameter(names "--help", help true)private boolean help;Parameter(names {"--host", "-h"}, description "The ip to register to registry center.", order 1)private String host;Parameter(names …