HDFS系统操作命令大全

news/2024/5/20 4:51:35 标签: hdfs, hadoop, 大数据

一,前言

HDFS作为分布式存储的文件系统,有其对数据的路径表达方式

HDFS同linux系统一样,均是以/作为根目录的组织形式

linux:/usr/local/hello.txt

HDFS:/usr/local/hello.txt

二,如何区分呢?

Linux:file:///

HDFS:hdfs://namenode:port/

协议头file:///或hdfs://root1:8020/可以省略

需要提供Linux路径的参数,会自动识别为file://

需要提供HDFS路径的参数,会自动识别hdfs://

除非明确需要写或不写会有BUG,否则一般不用写协议头

三,介绍

关于HDFS文件系统的操作命令,Hadoop提供了2套命令体系

hadoop命令(老版本),用法:hadoop fs [generic options]

hdfs命令(新版本用法),用法:hdfs dfs [generic options]

两者在文件系统操作上,用法完全一致

用哪个都可以

某些特殊操作需要选择hadoop命令或hdfs命令

1.创建文件夹

hadoop fs -mkdir [-p] <path> ….

hdfs dfs -mkdir [-p] <path>  ….

path为待创建的目录

-p选择的行为与linux mkdir -p一致,它会沿着路径创建父目录

2.查看指定目录下内容

hadoop fs -ls [-h] [-R] [<path>…]

hdfs dfs -ls [-h] [-R] [<path>…]

path指定目录路径

-h人性化显示文件size(大小)

-R递归查看指定目录以及子目录

3.上传文件到HDFS指定目录下

hadoop fs -put [-f] [-p] <localsrc>…<dst>

hdfs dfs -put [-f] [-p] <localsrc>…<dst>

-f 覆盖目标文件(以存在下)

-p 保留访问和修改时间,所有权和权限

localsrc本地文件系统(客户端所在机器)

dst 目标文件系统(HDFS)

例子:

hadoop fs -put word.txt /root

hdfs dfs -put file:///etc/profile hdfs://root1:8020/root

4.查看HDFS文件内容

hadoop fs -cat <src>…

hdfs dfs -cat <src>…

读取指定文件全部内容,显示在标准输出控制台

hadoop fs -cat /root/1.txt

hdfs dfs -cat /root/2.txt

读取大文件可以使用管道符配合more(配合grep过滤非常好用)

hadoop fs -cat <src> | more

hdfs dfs -cat <src> | more

5.下载HDFS文件

hadoop fs -get [-f] [-p] <src> … <localdst>

hdfs dfs -get [-f] [-p] <src> … <localdst>

下载文件到本地文件系统指定目录,localdst必须是目录

-f 覆盖目标文件(已存在下)

-p 保留访问和修改时间,所有权和权限

6.拷贝HDFS文件

hadoop fs -cp [-f] <src>…<dst>

hdfs dfs -cp [-f] <src>…<dst>

-f 覆盖目标文件(已存在下)

7.追加数据到HDFS文件中

hadoop fs -appenToFile <localsrc>…<dst>

hdfs dfs -appendToFile <localsrc>…<dst>

将所有给定本地文件的内容追加到给定dst文件

dst如果文件不存在,将创建该文件

如果<localsrc>为-,则输入为从标准输入中读取

8.HDFS数据移动操作

hadoop fs -mv <src>…<dst>

hdfs dfs -mv <src>…<dst>

移动文件到指定文件夹下

可以使用命令移动数据

9.HDFS数据删除操作

hadoop fs -rm -r [-skipTrash] URl [URl …]

hdfs dfs -rm -r [-skipTrash] URl [URl …]

删除指定路径的文件或文件夹

-skipTrash跳过回收站,直接删除

四,HDFS shell其他命令

命令官方指导文档

Apache Hadoop 3.3.4 – Overview

五,HDFS web浏览

除了使用命令操作HDFS文件系统外,在HDFS的web UI上也可以查看HDFS文件系统的内容


http://www.niftyadmin.cn/n/5156663.html

相关文章

掌握视频封面提取与剪辑技巧,提升视频品质

在当今的数字媒体时代&#xff0c;视频已成为人们获取信息、娱乐、社交等多种需求的重要方式。一个高质量的视频封面和剪辑技巧可以大大提高视频的吸引力和品质&#xff0c;因此&#xff0c;掌握视频封面提取与剪辑技巧对于视频制作者来说至关重要。那么现在一起来看看云炫AI智…

Python批量下载ERA5数据

1. ERA5数据简介 ERA5是第五代ECMWF大气再分析全球气候数据(ECMWF)&#xff0c;该数据集的第一部分现在可以公开使用(1979年到3个月内)。ERA5数据提供每小时的大气、陆地和海洋气候变量的估计值&#xff0c;地球数据精确到了30km网格&#xff0c;包括了137层的大气数据。 网址…

openGauss学习笔记-116 openGauss 数据库管理-设置数据库审计-审计概述

文章目录 openGauss学习笔记-116 openGauss 数据库管理-设置数据库审计-审计概述116.1 背景信息116.2 操作步骤 openGauss学习笔记-116 openGauss 数据库管理-设置数据库审计-审计概述 116.1 背景信息 数据库安全对数据库系统来说至关重要。openGauss将用户对数据库的所有操作…

UE5——源码阅读——8——引擎预初始化

初始化文本本地化 执行平台特定的初始化内容 执行应用程序的特定预初始化 将当前的工作目录设置为可执行的目录 处理命令行选项 启用内存保护&#xff08;根据命令行是否启用内存保护&#xff09; 是否启用UE5内存管理的炼狱测试 是否启用UE5内存中有问题的测试 添加bu…

医学专题(6)--多组学在肿瘤分型研究中的应用思路

研究背景 肿瘤免疫分型的由来&#xff1a;每一种肿瘤&#xff0c;甚至每一位患者的肿瘤浸润免疫细胞都存在差异&#xff0c;研究者根据免疫细胞浸润的特点将肿瘤大致分为“冷”肿瘤和“热”肿瘤&#xff0c;此概念的提出是肿瘤免疫分型的雏形。 对肿瘤免疫分型的研究有很多&a…

小红书运营篇1,新手如何快速分析拆解对标账号

hi&#xff0c;同学们&#xff0c;本期是第1期AI运营技巧篇 很多新手博主初期都非常迷茫&#xff0c;主要是因为他们没有找对标账号&#xff0c;也没有充分分析同行账号。 有些人可能会说&#xff0c;“我不想参考同行&#xff0c;我想要追求创新”。这种勇气是真的非常值得鼓…

大厂面试题-innoDB如何解决幻读

从三个方面来回答&#xff1a; 1、Mysql的事务隔离级别 Mysql有四种事务隔离级别&#xff0c;这四种隔离级别代表当存在多个事务并发冲突时&#xff0c;可能出现的脏读、不可重复读、幻读的问题。 其中InnoDB在RR的隔离级别下&#xff0c;解决了幻读的问题。 2、什么是幻读&…

ansible-playbook之file模块

1、file模块功能说明 file模块主要用于远程主机上的文件操作&#xff0c;file模块包含如下选项&#xff1a; force&#xff1a;需要在两种情况下强制创建软链接&#xff0c;一种是源文件不存在但之后会建立的情况下&#xff1b;另一种是目标软链接已存在,需要先取消之前的软…