大数据:Shell的操作

news/2024/5/20 0:49:38 标签: 大数据, hadoop, hdfs

文章目录

    • HDFS常用命令
    • 一、创建目录
      • 1、创建单层目录
      • 2、创建多层目录
    • 查看目录
    • 三、上传本地文件到HDFS
    • 四、查看文件内容
    • 五、下载HDFS文件到本地
    • 六、删除HDFS文件
    • 七、删除HDFS目录

HDFS常用命令

  • 启动Hadoop集群
  • 命令:start-all.sh
    在这里插入图片描述

一、创建目录

1、创建单层目录

  • 命令hdfs dfs -mkdir /ied
    在这里插入图片描述
  • 利用Hadoop WebUI查看创建的目录
    在这里插入图片描述

2、创建多层目录

  • 命令:hdfs dfs -mkdir -p /luzhou/lzy
    在这里插入图片描述
  • 利用Hadoop WebUI查看创建的目录
    在这里插入图片描述

查看目录

  • 命令:hdfs dfs -ls /,查看根目录(可以在任何节点上查看)
    在这里插入图片描述
  • 命令:hdfs dfs -ls /luzhou
    在这里插入图片描述
  • 如果我们要查看根目录里全部的资源,那么要用到递归参数-R(必须大写)
  • 命令:hdfs dfs -ls -R /
    在这里插入图片描述

三、上传本地文件到HDFS

  • 创建test.txt文件,执行命令:echo "hello hadoop world" > test.txt>:重定向命令)
    在这里插入图片描述
  • 查看test.txt文件内容
  • 命令:cat test.txt
    在这里插入图片描述
  • 上传test.txt文件到HDFS的/ied目录。
  • 命令:hdfs dfs -put test.txt /ied
    在这里插入图片描述
  • 查看是否上传成功
  • 命令:hdfs dfs -ls /ied
    在这里插入图片描述
  • 利用Hadoop WebUI界面查看
    在这里插入图片描述
  • 其中加上空格是18个字符,但是WedUI上显示的是19B,是因为还有看不见的结束符“\n”

四、查看文件内容

  • 命令:hdfs dfs -cat /ied/test.txt
    在这里插入图片描述

五、下载HDFS文件到本地

  • 先删除本地的test.txt文件
  • 命令:rm -rf test.txt
    在这里插入图片描述
  • 下载HDFS文件系统的/ied/test.txt到本地目录不改名
  • 命令:hdfs dfs -get /ied/test.txt
    在这里插入图片描述
  • 检查是否下载成功
  • 命令:ll test.txt
    在这里插入图片描述
  • 可以将HDFS上的文件下载到本地指定位置,并且可以更改文件名
  • 命令:hdfs dfs -get /ied/test.txt /home/exam.txt
    在这里插入图片描述
  • 检查是否下载成功
    在这里插入图片描述

六、删除HDFS文件

  • 命令:hdfs dfs -rm /ied/test.txt
    在这里插入图片描述

  • 检查是否删除成功
    在这里插入图片描述

  • 使用通配符,可以删除满足一定特征的文件

七、删除HDFS目录

  • 命令:hdfs dfs -rmdir /luhzou
    在这里插入图片描述
  • 提示-rmdir命令不能删除非空目录
  • 要递归删除才能删除非空目录
  • 命令:hdfs dfs -rm -r /luzhou(-r:recursive)
    在这里插入图片描述
  • 删除空目录/BigData,首先创建一个BigData目录。
  • 命令:hdfs dfs -mkdir /BigData
    在这里插入图片描述
  • 然后删除空目录BigData
  • 命令:hdfs dfs -rmdir /BigData
    在这里插入图片描述

http://www.niftyadmin.cn/n/10896.html

相关文章

modal对话框组件的使用

modal对话框组件的使用 普通提示弹框(不含输入内容) 应用场景: 考生点击交卷按钮弹出一次提示是否确认交卷代码: ts函数部分 const [open, setOpen] useState(false) const hide () > { setOpen(false) } const handleEn…

Trie字典树详解

字典树📖1. 什么是Trie树📖2. Trie树的一些应用场景📖3. Trie树的优缺点📖4. Trie树的节点怎样定义📖5. 代码实现📖6. 字典树的优化📖1. 什么是Trie树 Trie树,又叫字典树&#xff0…

基于PaddleOCR的集装箱箱号检测识别

基于PaddleOCR的集装箱箱号检测识别 项目背景 国际航运咨询分析机构 Alphaliner 在今年 3 月公布的一组数据,2021 年集装箱吞吐量排名前 30 的榜单中,上海港以 4702.5 万标箱的「成绩单」雄踞鳌头。 较上一年同期,上海港集装箱吞吐量增长 8…

Linux进阶-文件

Linux内核:屏蔽硬件区别,把所有的硬件设备抽象成文件,提供统一的接口给用户使用。 目录 虚拟文件系统:抽象层,对文件的访问实际上是对抽象层的访问。 普通文件系统:ext4、fat32、ubifs 特殊文件系统 文…

【面试题】原型和原型链

1. 如何用class实现继承 // 父类 class People{constructor(name){this.name name}eat(){console.log(${this.name} eat something)} }// 子类 class Student extends People{constructor(name, number){super(name)this.number number}sayHi(){console.log(姓名&#xff1a…

并发编程(三)原子性(1)

【认识原子性】: 一个小程序认识原子性: package T05_YuanZiXing;import java.util.concurrent.CountDownLatch; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock;public class T00_00_IPlusPlus {private …

减少乘法次数的优化算法(Gauss、Strassen、Winograd)

目录 Gauss算法 Strassen算法 Winograd算法 Winograd 1D Winograd 2D 在硬件设计中,乘法无论是在逻辑资源的使用上还是组合逻辑的延时上都要比加法高很多。从硬件方面考虑,我们都更倾向于将乘法转换成移位和加法,譬如乘以8,可…

【如何学习CAN总线测试】——CAN数据链路层测试

🔸【如何学习CAN总线测试】👉——👉1️⃣CAN物理层测试 🔸【如何学习CAN总线测试】👉——👉2️⃣CAN数据链路层测试 🔸【如何学习CAN总线测试】👉——👉3️⃣CAN交互层测试 🔸【如何学习CAN总线测试】👉——👉4️⃣鲁棒性测试 🔸【如何学习CAN总线测…