2.2 HDFS shell操作

news/2024/5/20 4:51:39 标签: hdfs, hadoop, 大数据

2.2 HDFS shell操作

  • 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式

    • ls

      使用方法:hadoop fs -ls

      如果是文件,则按照如下格式返回文件信息:
      文件名 <副本数> 文件大小 修改日期 修改时间 权限 用户ID 组ID
      如果是目录,则返回它直接子文件的一个列表,就像在Unix中一样。目录返回列表的信息如下:
      目录名

      修改日期 修改时间 权限 用户ID 组ID
      示例:
      hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
      返回值:
      成功返回0,失败返回-1。

    • text

      使用方法:hadoop fs -text

      将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。

    • mv

      使用方法:hadoop fs -mv URI [URI …]

      将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。
      示例:

      返回值:

      成功返回0,失败返回-1。

    • put

      使用方法:hadoop fs -put …

      从本地文件系统中复制单个或多个源路径到目标文件系统。也支持从标准输入中读取输入写入目标文件系统。

      返回值:

      成功返回0,失败返回-1。

    • rm

      使用方法:hadoop fs -rm URI [URI …]

      删除指定的文件。只删除非空目录和文件。请参考rmr命令了解递归删除。
      示例:

      返回值:

      成功返回0,失败返回-1。

  • http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

2.4.1 HDFS shell操作练习

  • 在centos 中创建 test.txt

    touch test.txt
    
  • 在centos中为test.txt 添加文本内容

    vi test.txt
    
  • 在HDFS中创建 hadoop001/test 文件夹

    hadoop fs -mkdir -p /hadoop001/test
    
  • 把text.txt文件上传到HDFS中

    hadoop fs -put test.txt /hadoop001/test/
    
  • 查看hdfshadoop001/test/test.txt 文件内容

    hadoop fs -cat /hadoop001/test/test.txt
    
  • hdfshadoop001/test/test.txt文件下载到centos

    hadoop fs -get /hadoop001/test/test.txt test.txt
    
  • 删除HDFS中 hadoop001/test/

    hadoop fs -rm -r /hadoop001
    

http://www.niftyadmin.cn/n/475928.html

相关文章

用ChatGPT提高开发效率(Andoid)

一、前言 我们问了10个问题&#xff0c;开发的、生活中有疑问的&#xff0c;ChartGPT都给了我们答案。这些答案怎么样&#xff0c;请往下看吧。 ChatGPT-1、写一个车牌号的正则表达式ChatGPT-2、写一个中国大陆车牌号的正则表达式ChatGPT-3、用kotlin写一个车牌号的校验函数C…

记一次Tomcat控制台弱口令爆破事件应急响应

为方便您的阅读&#xff0c;可点击下方蓝色字体&#xff0c;进行跳转↓↓↓ 01 事件背景介绍02 流量分析过程03 事件分析结果04 安全加固建议 01 事件背景介绍 某内部应急演练中&#xff0c;安全部门在安全设备上观察到大量Tomcat控制台登录请求&#xff0c;现需根据流量情况进…

Python如何调用C库(Windows Linux)

软硬件环境 ubuntu 18.04 64bitwindows 10 64bitPython 3.8GCC 4.9visual studio 前言 在做 python 开发中&#xff0c;经常会碰到&#xff0c;需要通过调用 C 的一个动态链接库来获取相应的值。本文详细讲解了 Windows 和 Linux 2个平台上的不同实现。 linux版的动态库 写个简…

特征选择:从冗杂数据中找出真金

在机器学习项目中&#xff0c;特征选择是一个不可或缺的步骤。不论你面对的是分类问题&#xff0c;还是回归问题&#xff0c;适当的特征选择都能提升模型的性能&#xff0c;甚至能显著节约计算资源。接下来&#xff0c;我将为你详细讲解特征选择的重要性以及常用的特征选择技术…

什么是STM32单片机

一、32单片机的简介 STM32全称是意法半导体32位系列微控制器芯片。ST即意法半导体&#xff08;STMicroelectronics&#xff09;。意法半导体 &#xff08;STMicroelectronics&#xff09; 集团于1987年6月成立&#xff0c;是由意大利的SGS 微电子公司和法国Thomson 半导体公司…

HarmonyOS学习路之开发篇—AI功能开发(IM类意图识别)

IM类意图识别概述 基本概念 IM类意图识别&#xff0c;是指利用机器学习技术&#xff0c;针对用户短信或聊天类APP等IM应用的文本消息进行内容分析&#xff0c;并识别出消息内容代表的用户意图。 运作机制 基于语义分析&#xff0c;利用机器学习的相关技术识别并理解用户消息的…

Mybatis实现品牌数据的增删改查

项目目录如下图所示。Mapper包用于存储对数据库进行操作的Mapper接口文件&#xff0c;本文中通过注释的方式对sql语句进行编写。pojo包中存放实体类文件&#xff0c;文件中包含Brand对象相关字段的定义以及get、set、toString方法。service包中存放service层文件&#xff0c;调…

数字通信中的编码(学习笔记)

编码种类 RZ(Return Zero Code)编码 也称为归零码&#xff0c;就是在 一个周期内&#xff0c;用二进制传输数据位&#xff0c;在数据脉冲结束后&#xff0c;需要维持一段时间的低电平。 RZ编码又分为两种&#xff1a; 单极性归零码 低电平表示0&#xff0c;正电平表示1&…